隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，爬蟲(chóng)技術(shù)已成為電商行業(yè)中一個(gè)不可忽視的存在。Akamai北亞區(qū)技術(shù)總監(jiān)劉燁告訴記者，自2023年起，Akamai觀察到電商行業(yè)的爬蟲(chóng)活躍度顯著高于其他行業(yè)，如高科技與金融行業(yè)。電商行業(yè)的爬蟲(chóng)活躍度曲線顯著高于其他行業(yè)，顯示出電商領(lǐng)域爬蟲(chóng)活動(dòng)的普遍性和復(fù)雜性。

商業(yè)利益驅(qū)動(dòng)的爬蟲(chóng)技術(shù)

爬蟲(chóng)技術(shù)是指一種能夠模擬用戶(hù)行為的代碼，主要用于從網(wǎng)站上抓取數(shù)據(jù)。根據(jù)其行為性質(zhì)與影響，我們可以將爬蟲(chóng)分為幾大類(lèi)：善意的爬蟲(chóng)如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利;中性的爬蟲(chóng)如Web scraping bots，它們?cè)谀承┣闆r下有助于信息收集與聚合，但也可能因使用不當(dāng)給企業(yè)帶來(lái)?yè)p失;而有害的爬蟲(chóng)，則可能從事撞庫(kù)攻擊、庫(kù)存抓取等惡意行為，嚴(yán)重?fù)p害企業(yè)利益與安全。

劉燁認(rèn)為，爬蟲(chóng)技術(shù)背后的強(qiáng)大商業(yè)利益驅(qū)使其在各行各業(yè)的應(yīng)用，特別是在電商領(lǐng)域。爬蟲(chóng)可能被用于抓取商品價(jià)格、分析競(jìng)爭(zhēng)對(duì)手策略以制定自身定價(jià)方案，甚至可能利用腳本搶占庫(kù)存、購(gòu)買(mǎi)促銷(xiāo)商品后轉(zhuǎn)售牟利。

不法分子利用爬蟲(chóng)技術(shù)抓取價(jià)格、庫(kù)存等信息，從中獲利。這些行為不僅擾亂市場(chǎng)秩序，還嚴(yán)重?fù)p害了企業(yè)的合法權(quán)益。例如，通過(guò)對(duì)比分析，找出價(jià)格最優(yōu)、優(yōu)惠力度最大的電商平臺(tái)，然后在另一個(gè)平臺(tái)上開(kāi)設(shè)店鋪，以準(zhǔn)新或全新未開(kāi)封的產(chǎn)品進(jìn)行轉(zhuǎn)售，利用價(jià)格優(yōu)勢(shì)實(shí)現(xiàn)盈利。

爬蟲(chóng)帶來(lái)的問(wèn)題

爬蟲(chóng)的高訪問(wèn)效率導(dǎo)致電商網(wǎng)站資源過(guò)度消耗，影響用戶(hù)體驗(yàn)。爬蟲(chóng)與真實(shí)用戶(hù)的訪問(wèn)量相當(dāng)，且通常部署在云端或高性能服務(wù)器上，其訪問(wèn)效率遠(yuǎn)超普通用戶(hù)，這導(dǎo)致電商網(wǎng)站在處理爬蟲(chóng)請(qǐng)求時(shí)可能消耗大量資源，進(jìn)而影響正常用戶(hù)的訪問(wèn)體驗(yàn)，降低網(wǎng)站轉(zhuǎn)化率。此外，爬蟲(chóng)還可能干擾市場(chǎng)營(yíng)銷(xiāo)分析工具的數(shù)據(jù)收集，導(dǎo)致決策依據(jù)失真。更糟糕的是，某些爬蟲(chóng)專(zhuān)注于抓取特定產(chǎn)品頁(yè)面的深層鏈接，可能導(dǎo)致這些頁(yè)面因請(qǐng)求量過(guò)大而無(wú)法正常服務(wù)。此外，內(nèi)容聚合網(wǎng)站通過(guò)爬蟲(chóng)抓取內(nèi)容，導(dǎo)致原創(chuàng)者失去流量和收入。這無(wú)疑是對(duì)內(nèi)容創(chuàng)作者辛勤勞動(dòng)的極大不尊重，也是對(duì)整個(gè)互聯(lián)網(wǎng)生態(tài)平衡的破壞。

劉燁表示，在電商領(lǐng)域，設(shè)計(jì)或編寫(xiě)一個(gè)爬蟲(chóng)程序已變得相當(dāng)便捷，得益于互聯(lián)網(wǎng)上廣泛提供的“爬蟲(chóng)即服務(wù)”(Scraper as a Service，SaaS)模式。“爬蟲(chóng)即服務(wù)”模式簡(jiǎn)化了爬蟲(chóng)開(kāi)發(fā)流程，卻增加了潛在濫用風(fēng)險(xiǎn)。

而且隨著技術(shù)的進(jìn)步，這些爬蟲(chóng)服務(wù)日益智能化，融入了AI和機(jī)器學(xué)習(xí)技術(shù)。它們能夠自動(dòng)從多個(gè)數(shù)據(jù)源抓取內(nèi)容，通過(guò)預(yù)設(shè)的邏輯進(jìn)行數(shù)據(jù)抽取與分析，最終輔助用戶(hù)制定競(jìng)爭(zhēng)策略、優(yōu)化產(chǎn)品定位及價(jià)格策略等。這種一站式解決方案，無(wú)論是對(duì)于尋求業(yè)務(wù)增長(zhǎng)的合法用戶(hù)，還是意圖不當(dāng)?shù)膼阂馐褂谜撸继峁┝藰O大的便利。

Akamai的雙重應(yīng)對(duì)策略

Akamai提出了雙管齊下的策略來(lái)應(yīng)對(duì)爬蟲(chóng)問(wèn)題。一方面，在邊緣網(wǎng)絡(luò)層面，我們利用預(yù)定義的訪問(wèn)異常特征和協(xié)議指紋來(lái)快速識(shí)別并限制惡意爬蟲(chóng)。另一方面通過(guò)深入分析訪問(wèn)行為(如鼠標(biāo)移動(dòng)軌跡、鍵盤(pán)敲擊模式)和設(shè)備指紋，結(jié)合機(jī)器學(xué)習(xí)模型，進(jìn)一步細(xì)化識(shí)別精度，確保對(duì)潛在威脅的精準(zhǔn)打擊。

針對(duì)不同類(lèi)型的爬蟲(chóng)，Akamai還提供了差異化的解決方案。對(duì)于掃描漏洞、抓取內(nèi)容或竊取用戶(hù)信息的惡意爬蟲(chóng)，Akamai采用更為嚴(yán)格的防護(hù)機(jī)制;而對(duì)于那些有助于提升網(wǎng)站質(zhì)量或服務(wù)的良性爬蟲(chóng)，則采取更加靈活的管理策略。

面對(duì)爬蟲(chóng)，劉燁表示，企業(yè)防護(hù)的關(guān)鍵在于如何在廣泛的訪問(wèn)請(qǐng)求中準(zhǔn)確識(shí)別出網(wǎng)絡(luò)爬蟲(chóng)，以及它們的具體類(lèi)型，進(jìn)而采取相應(yīng)的防護(hù)措施。劉燁給出了具體的建議：

首先，針對(duì)不同類(lèi)型的爬蟲(chóng)提供定制化防護(hù)機(jī)制。確保良性爬蟲(chóng)得到合理管理，同時(shí)對(duì)有害爬蟲(chóng)進(jìn)行精準(zhǔn)打擊。企業(yè)可以使用第三方產(chǎn)品和解決方案建立大型數(shù)據(jù)庫(kù)。通過(guò)觀察足夠多的請(qǐng)求，形成這樣的數(shù)據(jù)庫(kù)。分析行為特征以判斷請(qǐng)求是否來(lái)自惡意Bot。

其次，不僅是簡(jiǎn)單的阻攔或禁止，管理爬蟲(chóng)同樣至關(guān)重要。企業(yè)可以提供不準(zhǔn)確信息、不做響應(yīng)等多樣化應(yīng)對(duì)措施。例如，可以選擇不禁止Bot，但不做任何響應(yīng)，讓它誤以為連接仍在進(jìn)行;或者可以給它提供不準(zhǔn)確的信息。

第三，設(shè)計(jì)多維度防護(hù)體系，包括基礎(chǔ)架構(gòu)、應(yīng)用開(kāi)發(fā)邏輯等。實(shí)施多層防護(hù)，確保整體安全狀況。確保沒(méi)有環(huán)節(jié)出現(xiàn)問(wèn)題，任何短板都可能導(dǎo)致原有防護(hù)措施被繞過(guò)或攻陷。

最后，建立安全團(tuán)隊(duì)，選擇有效產(chǎn)品。加強(qiáng)安全運(yùn)營(yíng)團(tuán)隊(duì)支持，制定應(yīng)急預(yù)案。加強(qiáng)全員的安全教育，確保所有員工都具備基本的安全意識(shí)。

機(jī)器人攻擊成為增長(zhǎng)最快的網(wǎng)絡(luò)威脅之一。AI僵尸網(wǎng)絡(luò)和無(wú)頭瀏覽器技術(shù)使得爬蟲(chóng)更難識(shí)別。例如，Akamai幫助一個(gè)電子商務(wù)客戶(hù)被攔截了99%的高風(fēng)險(xiǎn)流量，而客戶(hù)本身甚至并沒(méi)有留意到這些流量。因此，企業(yè)需要利用AI和機(jī)器學(xué)習(xí)完善識(shí)別模型。采取自動(dòng)化策略，自動(dòng)部署新策略以應(yīng)對(duì)新攻擊。例如，當(dāng)出現(xiàn)新的攻擊類(lèi)型時(shí)，策略引擎能夠自動(dòng)部署新的策略，有針對(duì)性地阻止這些新攻擊。

結(jié)論

爬蟲(chóng)技術(shù)在電商行業(yè)中的應(yīng)用既帶來(lái)了商業(yè)機(jī)遇，也引發(fā)了諸多挑戰(zhàn)。Akamai提出的策略不僅有助于企業(yè)有效應(yīng)對(duì)當(dāng)前的威脅，也為未來(lái)的網(wǎng)絡(luò)安全提供了指導(dǎo)方向。通過(guò)綜合運(yùn)用技術(shù)手段與策略規(guī)劃，企業(yè)能夠更好地保護(hù)自己免受爬蟲(chóng)帶來(lái)的負(fù)面影響，同時(shí)利用有益爬蟲(chóng)提升業(yè)務(wù)表現(xiàn)。