山东
IT之家 7 月 5 日消息，网络服务商 Cloudflare 近日推出一款名为“Bot Fight Mode”的防火墙工具，站长们可以在控制台开启相关服务，从而防止自己网站的内容被用于训练AI的机器人爬虫扒取。
IT之家注：爬虫是一种自动化的程序，可以在互联网上搜索和获取信息，目前许多厂商使用相关爬虫扒取各大网站信息用于训练AI模型，相关爬虫容易导致被扒网站产生大量异常流量，为此站长需支付高昂的网络带宽费用，同时也容易导致网站上大量原创 / 隐私内容泄露。
据悉，Cloudflare 推出的相关工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫，站长还可以按照需要放行“好的 AI 机器人”抓取信息（此类“好的 AI 机器人”主要寻找网站的 robots.txt来获取信息，通常不会对网站本身产生异常流量，也不会将网页所有数据直接用于全盘训练模型）。
互联网为许多大语言模型（如OpenAI的GPT模型和谷歌的Bard）提供了大部分的训练数据，如今许多厂商为了刷自家AI模型分数，大肆通过网络爬虫“拿来式”地获取训练数据，从而让本应你情我愿的行为变得“污名化”，各大网络商直接推出此类禁用AI爬虫的服务也在意料之中。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
