­　　導語：路透社今天撰文稱，在與對手競爭的過程中，亞馬遜在爬蟲機器人領域的領先地位雖然鮮為人知，但卻對它的發(fā)展起到了重要作用。

­　　以下為文章全文：

­　　今年早些時候，負責追蹤對手電商售價的沃爾瑪工程師大吃一驚：他們用來每天掃描亞馬遜網(wǎng)站的技術突然失靈了。

­　　這可不是小事。與多數(shù)零售巨頭一樣，沃爾瑪也要依靠計算機程序掃描對手網(wǎng)站的價格，從而展開相應的調(diào)整。即便只有50美分的差價也可能導致銷量受損。

­　　但亞馬遜卻借助新策略屏蔽了這些機器人程序，令沃爾瑪措手不及。

­　　知情人士表示，沃爾瑪技術部門用了好幾個星期都無法繞過封鎖，因而不得不通過二手渠道獲取亞馬遜的數(shù)據(jù)。

­　　這件之前未被曝光的事情讓外界得以一窺亞馬遜如何憑借技術取得零售市場的主導地位。

­　　身為全球最大網(wǎng)絡零售商的亞馬遜最為人所知的就是快速的配送和齊全的商品，而且提供自制劇等諸多視頻內(nèi)容。但該公司的后臺技術同樣在它的成功中扮演了重要角色。

­　　對網(wǎng)絡機器人的靈活運用不僅可以讓亞馬遜充分了解對手的動向，還能在自己調(diào)價時把對手蒙在鼓里。

­　　“參考亞馬遜會越來越困難。”加州零售定價軟件開發(fā)商Boomerang Commerce CEO、亞馬遜前經(jīng)理古魯·哈里哈蘭（Guru Hariharan）說。

­　　沃爾瑪發(fā)言人拒絕討論今年1月發(fā)生的這件事情，但他表示，該公司一直在定期改進技術，而且有多款追蹤工具。他表示，該公司的價值不僅來自價格，還來自店內(nèi)自取折扣等其他福利。

­　　亞馬遜發(fā)言人稱，該公司知道競爭對手使用機器人追蹤器定價，但否認采取任何措施來阻撓對手。“我們管理網(wǎng)站機器人的方式最近沒有任何變化。”她說。

­　　由于機器人會降低網(wǎng)站的瀏覽速度，所以零售商都希望阻止這類程序訪問自己的網(wǎng)站。

­　　路透社對21名熟悉機器人及其部署方式的人進行了采訪，包括前任和現(xiàn)任沃爾瑪員工、亞馬遜前員工以及外部專家。但由于未獲授權，所以很多人都要求匿名。

­　　多數(shù)人都指出，亞馬遜在方興未艾的網(wǎng)絡機器人大戰(zhàn)中處于領導地位。

­　　亞馬遜在方興未艾的網(wǎng)絡機器人大戰(zhàn)中處于領導地位。

­　　該公司的技術優(yōu)勢有助于提升利潤率，而且對投資者也很有好處。自從2009年3月觸底以來，該股已經(jīng)上漲約15倍，而同期的標準普爾500指數(shù)漲幅僅為3倍。亞馬遜2015年的銷售額達到1000億美元——該公司稱，他們達到這一基準的速度超過歷史上任何一家公司。

­　　美麗新世界

­　　自從亞馬遜10多年前幫助拓展這一模式以來，機器人驅動的定價給整個零售行業(yè)帶來了巨大的變革。

­　　以往，零售店最多每周調(diào)價一次，因為更換標簽的成本和時間成本都很高。而在電子商務世界，零售商卻可以隨意調(diào)價，有時候甚至達到每天數(shù)次，這都得益于綜合考慮了庫存、銷量預測和對手定價數(shù)據(jù)等各種算法。

­　　為了保持競爭力，在線批發(fā)商Boxed等企業(yè)采用包括機器人在內(nèi)的許多方法確保其調(diào)價速度與對手之間保持在20分鐘之內(nèi)。

­　　“這就像是持續(xù)一生的圣誕節(jié)。如果我們的定價不合適，銷量幾乎會立刻下滑。”Boxed CEO Chieh Huang說，他的公司專門銷售大包裝衛(wèi)生紙和寵物食品。

­　　偽裝成人類

­　　使用機器人查看公開網(wǎng)站上的大量數(shù)據(jù)被稱作爬取，背后的目的多種多樣。例如，谷歌會不斷爬取網(wǎng)站內(nèi)容，以便發(fā)展搜索引擎或銷售廣告。

­　　而在電子商務行業(yè)，使用機器人則成為了一場“貓捉老鼠”游戲。企業(yè)一方面希望阻止競爭對手爬取自己的網(wǎng)站，另一方面又想滲透對手的網(wǎng)站。于是，專門提供這種服務的第三方服務相繼涌現(xiàn)。

­　　為了避免對手獲取自己的數(shù)據(jù)，有的零售商使用了CAPTCHA技術，對文字和數(shù)字進行歪曲，雖然人類依然可以閱讀，但機器人卻無法正確識別。亞馬遜并未采取這種措施，因為此舉會令部分客戶感到厭煩。

­　　對于希望繞過這些封鎖措施的企業(yè)來說，如何將自己的電腦程序偽裝成人類是關鍵所在。有的定價技術專家會開發(fā)在網(wǎng)頁上移動的計算機光標，模擬人類訪問網(wǎng)頁的過程，而不再直接瞄準有價值的數(shù)據(jù)。還有一種使用多個計算機地址的技術，可以避免零售商將大量點擊追溯到相同的來源。

­　　“這是一場軍備競賽。”愛爾蘭Profitero高級電子商務分析副總裁基斯·安德森（Keith Anderson）說，“攻防雙方每個星期或每個月都會開發(fā)新技術。”

­　　亞馬遜今年1月封殺沃爾瑪時瞄準了名為PhantomJS的專用網(wǎng)絡瀏覽器。與IE不同，這種瀏覽器是專為程序員設計的——這表明用戶并非普通購物者。知情人士表示，亞馬遜設計了一個數(shù)字幕布，對PhantomJS隱藏了列表。

­　　由于此舉并非針對亞馬遜，所以目前還不清楚其他公司因此受到的影響。

­　　路透社最近幾周進行的測試表明，在美國大型零售商中，亞馬遜的機器人探測技術最為先進。這些測試不僅限于主頁，還包括調(diào)價最頻繁的兩款產(chǎn)品。

­　　此次測試由路透社委托舊金山Distil Network公司進行，這是一家專門銷售反機器人工具的公司。在其中一項測試中，Distil開發(fā)的機器人對每家零售商的網(wǎng)站掃描3000次，但特意放滿了速度，以模擬人類的點擊過程。此舉騙過了多數(shù)零售商，但卻并未騙過亞馬遜。

­　　被屏蔽的機器人無法看到亞馬遜上出售的De"Longhi咖啡機的價格。而根據(jù)定價追蹤網(wǎng)站camelcamelcamel.com的數(shù)據(jù)，僅在在4月25日當天，這款產(chǎn)品就在亞馬遜網(wǎng)站上調(diào)價4次，從80.06美元上漲到88.16美元，漲價幅度超過10%。

­　　機器人肆虐

­　　盡管亞馬遜擁有領先的技術，但爬取該網(wǎng)站的機器人數(shù)量還是令人震驚。知情人士表示，其產(chǎn)品列表上最多有80%的點擊都來自機器人，而大型網(wǎng)站的這一比例大約只有三分之一。

­　　除了收集定價數(shù)據(jù)的對手外，有的流量還來自科研院所，他們的目的是研究競爭、搜索引擎、廣告服務，甚至還有的是希望入侵亞馬遜帳號的犯罪分子。

­　　沃爾瑪前員工表示，該公司的自動化定價戰(zhàn)略由一個位于硅谷的小團隊負責，還有來自印度及世界各地的數(shù)十名工程師負責處理代碼。

­　　另有知情人士表示，截至幾年前，亞馬遜約有40名工程師負責提取和整理對手的數(shù)據(jù)。但亞馬遜并未披露自家爬蟲機器人團隊的組織結構。

­　　美國專利申請資料顯示，亞馬遜正在開發(fā)一項加密技術，可以迫使機器人解決復雜的算法才能訪問其網(wǎng)頁。但人類訪問者不會受此影響。

­　　“亞馬遜既有能力探測機器人流量，也可以采取必要的手段。”斯科特·雅各布森（Scott Jacobson）說，他曾經(jīng)擔任亞馬遜經(jīng)理，目前在Madrona Venture Group擔任總經(jīng)理。“多數(shù)零售商都不具備這種能力。”