IT之家 9 月 26 日消息,網(wǎng)絡(luò)服務(wù)商Cloudflare本周推出一系列防AI 爬蟲的工具,包括可查看 AI 爬蟲具體活動(dòng)的 AI Audit 和一鍵屏蔽所有 AI 爬蟲的 Block AI Scrapers and Crawlers。站長們可以部署相關(guān)服務(wù),從而防止自己網(wǎng)站的內(nèi)容被用于訓(xùn)練AI的機(jī)器人爬蟲扒齲
IT之家注:爬蟲是一種自動(dòng)化的程序,可以在互聯(lián)網(wǎng)上搜索和獲取信息,目前許多廠商使用相關(guān)爬蟲扒取各大網(wǎng)站信息用于訓(xùn)練AI模型,相關(guān)爬蟲容易導(dǎo)致被扒網(wǎng)站產(chǎn)生大量異常流量,為此站長需支付高昂的網(wǎng)絡(luò)帶寬費(fèi)用,同時(shí)也容易導(dǎo)致網(wǎng)站上大量原創(chuàng)/隱私內(nèi)容泄露。
Cloudflare推出的相關(guān)工具主要利用簽名比對(duì)、啟發(fā)式算法、機(jī)器學(xué)習(xí)和行為分析技術(shù)來辨別爬蟲,用戶可以查看 AI 爬蟲的各種行為,包括爬蟲類型、訪問頻率和掃描內(nèi)容,站長還可以按照需要放行“善意的 AI機(jī)器人”抓取信息(此類“善意的AI機(jī)器人”主要尋找網(wǎng)站的robots.txt來獲取信息,通常不會(huì)對(duì)網(wǎng)站本身產(chǎn)生異常流量,也不會(huì)將網(wǎng)頁所有數(shù)據(jù)直接用于全盤訓(xùn)練模型)。
如果不確定如何處理這些 AI 爬蟲,站長們也可以使用 Block AI Scrapers and Crawlers 功能,一鍵屏蔽所有 AI 爬蟲。
互聯(lián)網(wǎng)為許多大語言模型(如OpenAI的GPT模型和谷歌的Bard)提供了大部分的訓(xùn)練數(shù)據(jù),如今許多廠商為了刷自家AI模型分?jǐn)?shù),大肆通過網(wǎng)絡(luò)爬蟲“拿來式”地獲取訓(xùn)練數(shù)據(jù),從而讓本應(yīng)你情我愿的行為變得“污名化”,各大網(wǎng)絡(luò)商直接推出此類禁用AI爬蟲的服務(wù)也在意料之中。