Cloudflare 竟允许网站这样对待人工智能爬虫！

如果您拥有或运营一个网站，并且不想让人工智能机器人爬取您的工作成果来训练其数据集——谁会想让呢？——Cloudflare 已推出“一键阻止所有人工智能机器人”的功能，未来还会有更多有趣的功能。

据新的Cloudflare 博客所讲，正如Ars Technica所指出的那样，这个基于云的内容交付和管理服务已经启用了一大批工具，以更好地处理其支持的网站围绕人工智能的担忧。

新的人工智能功能，标为“AI 审计”，分为三个主要方面。首先，Cloudflare 用户能够控制机器人对网站的访问。在这篇博客文章中写道：“许多小网站没有技能或带宽去手动阻止 AI 机器人。一键阻止所有 AI 机器人的这种能力让内容创作者重新掌控了局面。”

这种新系统不仅能在区分人工智能机器人的“好”与“坏”用途方面做得更好，而且还赋予网站所有者挑选哪些机器人进行阻止的能力。其次，网站所有者现在从人工智能获得了更好的分析信息流，比如能够察觉有多少机器人在抓取一个网站以及哪些人工智能来源使用了他们的页面。

通过这些深入的分析，用户可以更好地与 AI 机器人所有者协商获取该网站的访问权限。

最后，尽管这尚未与其他工具一同上线，但网站所有者现在可以直接向 AI 爬虫出售访问权限。它可以为大规模访问该网站的人群设定价格，并在被引用或用于训练时获得报酬。如果您使用 Cloudflare，前两个操作现在就可以进行监控，但价格设定将在未来某个时候得到支持，现在能够注册进入等待名单。

Cloudflare 的首席执行官兼联合创始人马修·普林斯（Matthew Prince）在博客中就引入这些人工智能监测工具提出了一个有意思的观点。随着网站越来越担心自己的作品在未经授权被抄袭，然后在搜索结果中排在它们之上，普林斯谈到了这对读者和创作者可能产生的影响。

“各种规模的内容创作者和网站所有者都理应拥有并掌控其内容，”普林斯说。“要是他们做不到的话，在线信息的质量将会变差，或者被完全封锁在付费墙后面。”

如果只有人ply.trialclub.org工智能机器人为那些付费墙付费，这可能会削弱大规模生成式人工智能盗窃在网络环境中的圈地积极性。AI 审计刚刚上线，但它可以为网站所有者提供更好的保护，尤其是在定价工具推出时。