8月6日消息，近日，負(fù)責(zé)支持和保護(hù)網(wǎng)絡(luò)生活的云服務(wù)提供商Akamai發(fā)布的最新SOTI報告《侵蝕您的利潤：網(wǎng)絡(luò)爬蟲程序?qū)﹄娚绦袠I(yè)有何影響》顯示，在針對電商網(wǎng)站的69億次請求進(jìn)行分析時發(fā)現(xiàn)，人類訪問行為占據(jù)了49%，即接近一半的訪問量來自真實用戶，而剩余的略多于一半則是由各類機器人“爬蟲”完成的。其中，高風(fēng)險類別的爬蟲占據(jù)了總爬蟲活動的27%，它們對企業(yè)的運營構(gòu)成了嚴(yán)重威脅，可能執(zhí)行諸如撞庫、數(shù)據(jù)竊取、庫存惡意抓取等惡意行為。

爬蟲是“Robot”（機器人）的縮寫，它是一段能夠模擬正常用戶行為的代碼。與瀏覽器不同，爬蟲在執(zhí)行任務(wù)時更為高效且針對性強，能夠迅速抓取目標(biāo)信息。

業(yè)內(nèi)根據(jù)爬蟲行為性質(zhì)與影響，將爬蟲分為幾大類：善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利；中性爬蟲往往很嘈雜，盡管它們?nèi)匀皇呛戏ǖ模凰鼈儗嶋H上是好機器人的一個子類別，包括不斷發(fā)送請求的合作伙伴機器人和其他頻繁調(diào)用程序API的機器人；而有害的爬蟲，則可能從事撞庫攻擊、庫存抓取等惡意行為，嚴(yán)重?fù)p害企業(yè)利益與安全。

那么，在電商環(huán)境中，不法分子如何利用爬蟲技術(shù)從中獲利呢？

通過爬蟲技術(shù)來搶購“全網(wǎng)最低價”商品，進(jìn)而倒賣賺取差價，是其中重要的一種獲利方式。首先，爬蟲會廣泛搜集銷售這些產(chǎn)品的網(wǎng)站數(shù)據(jù)，包括價格、庫存等關(guān)鍵信息。隨后，通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺?；谶@些信息，不法分子可能在另一個平臺上開設(shè)店鋪，以準(zhǔn)新或全新未開封的產(chǎn)品進(jìn)行轉(zhuǎn)售，利用價格優(yōu)勢實現(xiàn)盈利。

當(dāng)然，爬蟲帶來的問題遠(yuǎn)不止于此。對于電商網(wǎng)站而言，由于爬蟲與真實用戶的訪問量相當(dāng)，且爬蟲通常部署在云端或高性能服務(wù)器上，其訪問效率遠(yuǎn)超普通用戶。這導(dǎo)致電商網(wǎng)站在處理爬蟲請求時可能消耗大量資源，進(jìn)而影響正常用戶的訪問體驗，降低網(wǎng)站轉(zhuǎn)化率。此外，爬蟲還可能干擾市場營銷分析工具的數(shù)據(jù)收集，導(dǎo)致決策依據(jù)失真。更糟糕的是，某些爬蟲專注于抓取特定產(chǎn)品頁面的深層鏈接，可能導(dǎo)致這些頁面因請求量過大而無法正常服務(wù)。

Akamai北亞區(qū)技術(shù)總監(jiān) 劉燁

Akamai北亞區(qū)技術(shù)總監(jiān)劉燁向TechWeb表示，電商領(lǐng)域爬蟲如此活躍背后，有幾個原因：

一是，在電商領(lǐng)域，設(shè)計或編寫一個爬蟲程序已變得相當(dāng)便捷，得益于互聯(lián)網(wǎng)上廣泛提供的“爬蟲即服務(wù)”（Scraper as a Service, SaaS）模式。這些服務(wù)不僅簡化了爬蟲的開發(fā)流程，還提供了豐富的功能選項，從內(nèi)容抓取到數(shù)據(jù)分析一應(yīng)俱全。盡管它們中的大多數(shù)聚焦于中性爬蟲應(yīng)用，旨在幫助用戶進(jìn)行市場調(diào)研、競品分析等非惡意活動，但同時也需警惕其潛在的濫用風(fēng)險。

二是，隨著技術(shù)的進(jìn)步，爬蟲服務(wù)日益智能化，融入了AI和機器學(xué)習(xí)技術(shù)，Bot變成了AI Botnets，它們能夠自動從多個數(shù)據(jù)源抓取內(nèi)容，通過預(yù)設(shè)的邏輯進(jìn)行數(shù)據(jù)抽取與分析，最終輔助用戶制定競爭策略、優(yōu)化產(chǎn)品定位及價格策略等。這種一站式解決方案，無論是對于尋求業(yè)務(wù)增長的合法用戶，還是意圖不當(dāng)?shù)膼阂馐褂谜?，都提供了極大的便利。

需要注意的是，爬蟲越來越難以識別。特別是采用“無頭瀏覽器”等技術(shù)的爬蟲，能夠模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識別與攔截。同時，很多Botnets，尤其是AI Botnets，采用了多種“反封禁”策略，導(dǎo)致技術(shù)上識別變得更加困難。此外，爬蟲會不斷變化，防住一次后，下一次可能會出現(xiàn)變種，這對企業(yè)構(gòu)成了巨大的挑戰(zhàn)。傳統(tǒng)安全手段難以有效識別與攔截。這要求電商網(wǎng)站必須采取更為先進(jìn)的策略來區(qū)分正常訪問與惡意爬蟲。

對于企業(yè)和安全廠商來說，最大挑戰(zhàn)就是識別爬蟲的難度加大，管理和封禁這些爬蟲的難度也隨之增加。

對此，劉燁給電商企業(yè)利用和防控爬蟲技術(shù)提出兩步走建議：首先，要能夠識別Bot；其次，針對不同類型的Bot，采取相應(yīng)的應(yīng)對措施。

Akamai提出了雙重應(yīng)對策略：首先，在邊緣網(wǎng)絡(luò)層面，我們利用預(yù)定義的訪問異常特征和協(xié)議指紋來快速識別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標(biāo)移動軌跡、鍵盤敲擊模式）和設(shè)備指紋，結(jié)合機器學(xué)習(xí)模型，進(jìn)一步細(xì)化識別精度，確保對潛在威脅的精準(zhǔn)打擊。例如，對于掃描漏洞、抓取內(nèi)容或竊取用戶信息的惡意爬蟲，采用更為嚴(yán)格的防護(hù)機制；而對于那些有助于提升網(wǎng)站質(zhì)量或服務(wù)的良性爬蟲，則采取更加靈活的管理策略。同時，Akamai采取更多自動化策略。當(dāng)出現(xiàn)新的攻擊類型時，不需要人為干預(yù)，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。這是應(yīng)對快速變化的攻擊類型和產(chǎn)品演進(jìn)的重要措施。

Akamai以雙重應(yīng)對策略、邊緣網(wǎng)絡(luò)快速識別及機器學(xué)習(xí)精細(xì)化識別技術(shù)，不僅能夠有效抵御惡意爬蟲的侵害，還確保了電商網(wǎng)站的穩(wěn)定運行與數(shù)據(jù)安全。隨著網(wǎng)絡(luò)威脅的不斷演變，Akamai將持續(xù)創(chuàng)新，為企業(yè)提供更加智能、高效的安全解決方案，引領(lǐng)行業(yè)安全標(biāo)準(zhǔn)的新高度。（果青）

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。