網絡江湖里爬蟲玩的是一場“無間道”

電影《無間道》中，梁朝偉扮演在黑幫臥底的警察雖然能力出眾，但也像普通人一樣向往平靜的生活，當與其單線聯系的黃警官被殺，他在警局的檔案又被在警局臥底的偽警察劉建明徹底刪除后，再無法證明其真警察的身份，最后被一名偽警察槍殺……

一個永遠無法證明自己身份的人，空有軀殼，無法掌握自己的人生軌跡。臥底無疑才華卓越不然也不會被選中，但最終逃不出別人的控制。當然這個職業也被打上很多亮麗的標簽，#能力優秀#、#聰明#、#超強生命力#……

其實，今天不是想來談論臥底的，只是想引出我們要講的爬蟲，因為它可以比喻潛藏在網絡江湖里的“專業臥底”： 超強獲取情報的能力、命運不由已，為惡為善全憑他人掌控，搖擺不定。唯一不可否認的是，業內都看中他的“才華”。

灼灼其華，爬蟲是優秀的。

就像《無間道》里黑幫臥底的真警察陳永仁一樣，能活著是因為他的能力，他的優秀。爬蟲亦如此，在網絡江湖世界里混的風生水起：

1. 搜索引擎爬蟲

搜索引擎爬蟲是最常見的善意爬蟲，當用戶用搜索引擎搜索信息時，爬蟲會代替人工自動從各類網站爬取相關信息，并整理索引，將真正有價值的內容呈現在用戶面前。由于網站在搜索引擎上的排名越靠前，就會帶來更多的訪問量，而流量能轉化價值，因此各大網站就會爭先恐后地開門歡迎搜索引擎類爬蟲，以獲得更多的曝光。這類爬蟲不僅服務了用戶，也服務了網站服務商。

2. 海量信息處理

數字時代，咨詢公司可以利用爬蟲技術快速獲取海量信息，并可以將海量信息進行專業化處理和分析歸類，從而為咨詢服務提供有利的數據支撐，用更多的數據信息樣本來支持更準確的決策。不僅如此，很多企業也會用爬蟲來進行輿情監控，對及時發現負面輿情，做好公關危機有很大幫助。

3. 替代重復勞動力

在網絡工作中會遇到很多需要大量重復勞動的工作，比如在幾百臺目標機器上部署類似的程序，優秀的工程師們骨子里總是帶著hack精神，以機器代替人工，解放雙手，寫一些自動化腳本來支持日常網絡中的部署、測試、運維等內容。那些能批量自動化完成一系列Web請求最終達到某種目的的程序，便屬于廣義上的“爬蟲”。這樣的爬蟲代表著一種理念，科技解放人力，讓人有時間去做更有價值的事。

爬蟲更愿意與人為善，一邊為正義大展身手的同時，爬蟲也同樣有著自己的個性。每一個故事中的臥底從來都是“高利用率的”，因為他們的智慧不斷為其效力的一方創造驚喜和價值，這樣也使得他更容易獲得信任，這就是無間之道。爬蟲的無間在于，化數據為商機：

1. 站在行業肩膀上的創意

總聽人抱怨說創業維艱，上百家團購如今清盤后只剩幾家存活，網絡打車平臺互相收購留一家獨大，P2P互金行業因政策監管紛紛倒閉。

但也有人推陳出新，站在行業的肩膀上，用爬蟲玩得風生水起。

一玩：“貨比三家”的流量：

用戶面對互聯網上眼花繚亂的產品，會有選擇困難癥：

＃我想買個冰箱，……到底哪個平臺物美價廉？

＃我想買張機票，……到底哪個平臺的機票時間合適價格便宜？

＃我想租個房子，鏈家，我愛我家，安居客……到底哪個中介提供的服務性價比最高？

當用戶猶豫不決時，爬蟲上場了，它爬走了各家的信息，動了別人的奶酪。

二玩：“洗牌重組”的資源

在全民健身的時代，大部分人以為健身房的年卡很劃算，可是年卡到手后一年也就去了10天。原本心里盤算著健身房里那么多器械只需要花費6元/天(～＝2200元/365天)的成本卻變成了200元/次，莫名提升了33倍。現在想想，其實健身房就是利用“資源高閑置率”來賺錢的，嗯，健身是很難堅持的。

那怎么利用轉化這些閑置資源賺錢呢，這時就到了爬蟲彰顯價值的時候了。

以處在風口上的共享單車為例，大街小巷的共享單車五顏六色，每種顏色代表一家公司，爭前恐后想站在這個風口做那只豬。行業模式大同小異，注冊－押金－掃碼－騎車－計費，對用戶的差異無非就在押金多少，活動區域內車多不多，單次和包月/季/年卡的計費方式。然鵝，用戶在各大平臺注冊后，用著用著發現：

＃我付押金的單車為啥附近那么少？面前別家的單車我又騎不走。

＃押金要幾百有點貴，不付就不能騎怎么辦？

偏偏有人出奇招，利用爬蟲技術做了個平臺，整合了所有主流共享單車信息，用戶注冊后不需要付押金，只要非常少的包月費用，可以掃碼任何一家單車開鎖騎走。為啥能騎走？因為爬蟲為你整合了你在所有共享單車上包月/季/年卡的所有權，打通了你在掃碼各家單車之后對應的使用權。這樣一來，不但引流走了別家平臺用戶，還在資源重組后賺了別人家“資源閑置”的收入。確實滿足了用戶需求，卻也動了別人的奶酪。

2. 爬蟲引發的情報戰

孫子兵法有云：“知己知彼，百戰不殆。” 有些企業還會利用爬蟲獲取同行情報來作戰。盤點下近兩年最俏的三大戰役情報，也就是爬蟲最熱衷的信息：O2O大戰的商戶，電商大戰的價格，P2P大戰的風控。

O2O平臺要想成功，需要更多的引入優質商戶，才能吸引更多的C端用戶，整個業務模式才可以轉起來。因此行業內互相爬取對方銷售量高的優質店鋪，

爬蟲不斷挑戰“底線”

爬蟲的另一面，讓人想到《無間道》里劉德華扮演的劉建明，在警察局做黑幫臥底，踏著那條紅線，為黑幫效力。黑灰產用爬蟲技術爆點踩著法律的邊緣賺到盆滿缽溢，作惡場景無處不在，兩者異曲同工。

 ●   你打開某點評看到的高分店鋪很可能是爬蟲幫你評的；

 ●   你在各大電商平臺看到的爆款也可能是爬蟲刷的虛假交易；

 ●   網絡投票的第一名也許是爬蟲辛辛苦苦投出來的結果；

 ●   賺錢易如反掌的微博大V也許是爬蟲制造的諸多僵尸粉撐起來的假象；

 ●   渠道商獎勵的程序推廣安裝第一名也許是爬蟲歷下的汗馬功勞；

 ●   電商平臺的拉新紅包總也搶不到，因為爬蟲已替你搶光光；

 ●   ……

此外，由于爬蟲往往比人動作快，因此還干起了囤積居奇的勾當。周董演唱會門票一票難求，可是黃牛卻拿著一疊門票在演唱會門口高價出售，粉絲只能忍痛用三倍的價格去見了偶像。這樣的倒賣獲利非常常見，爬蟲往往盯著網絡可以低買高賣的物品，賺錢差價獲利，比如亞航的廉價機票，春節的火車票，網站上秒殺價茅臺酒，知名醫院的專家預約號……這樣的爬蟲在他的利用下，搶占了資源，擾亂了市場。

爬蟲本無錯，追根究底是人為造成的。我們不能因為有人利用爬蟲作惡就毀滅爬蟲，但也不能任由惡意爬蟲肆意生長，于是一場爬蟲與反爬蟲的長期對抗斗爭開始了。阿里云云盾爬蟲風險管理產品就是一個必然的產物。該產品可以對爬蟲進行有序管理，阻止其作惡，發揚其本善。

產品建設了一整套有層次的爬蟲檢測模塊，主要分為基礎防護層、云端情報層、深度學習層，就像每個警察局和黑幫都有一套完整的信息傳遞和鑒別機制一樣，從提供流量上自定義爬蟲特征工具，到共享云端優勢的行業爬蟲攻擊情報，再到定制貼合客戶業務的深度學習算法，逐步遞進，快速幫助客戶打造一套量身定做的反爬蟲策略體系。

cdn.com/e28c18195578d97d65218546956849a8b5329fb4.png">

爬蟲的多變需要辨別，云盾爬蟲風險管理產品能快速甄別爬蟲的行為特征，對不同的爬蟲做不同的處置，該放的放，該殺的殺，遇到可疑的爬蟲還可以做一個挑戰或者校驗，多驗一次身來做最終判斷。

同時，還提供了數據可視化，從不同維度展示給用戶，包括數據和數據之間的關聯，讓用戶參與爬蟲特征數據和防護數據之間關系的探索，不斷溝通和迭代，不僅清晰地向用戶展示爬蟲入侵的每一步，也提高了用戶反爬蟲的策略決策能力。