Krystal Hu

路透纽约7月1日 - Cloudflare 软件公司周二表示，该公司已推出一款工具，阻止机器人爬虫未经许可或补偿访问内容，以帮助网站从试图访问和训练其内容的人工智能公司那里赚钱。

Cloudflare表示，该工具允许网站所有者选择人工智能爬虫是否可以访问其资料，并通过 "按抓取付费 "的模式设定访问价格，这将有助于网站所有者控制其作品的使用和补偿方式。

随着人工智能爬虫越来越多地在不将访问者发送到原始源的情况下收集内容，网站所有者正在寻求开发额外的收入来源，因为曾经产生广告收入的搜索流量转介正在减少。

这一举措得到了 Condé Nast 和美联社等大型出版商以及 Reddit 和 Pinterest 等社交媒体公司的支持。

Cloudflare 首席战略官斯蒂芬妮-科恩（Stephanie Cohen）表示，此类工具的目标是让出版商控制其内容，确保在线内容创作者和人工智能公司拥有一个可持续的生态系统。

"科恩在接受采访时说："流量模式的变化非常快，需要做出一些改变。"这只是互联网新模式的开始。"

以谷歌为例，根据Cloudflare的数据，谷歌网站的抓取量与访客转回量之比已经从六个月前的6:1下降到18:1，这表明这家搜索巨头正在维持抓取量，但转回量却在下降。

这一下降可能是用户直接在谷歌搜索结果中找到答案的结果，如人工智能概述。尽管如此，谷歌的比例仍远高于其他人工智能公司，如OpenAI的1,500:1。

数十年来，搜索引擎一直在索引互联网上的内容，引导用户返回网站，这种做法是为了奖励创造高质量内容的创作者。然而，人工智能公司的爬虫扰乱了这一模式，因为它们在不将访客发送到原始来源的情况下就获取材料，并通过聊天机器人（如 ChatGPT）汇总信息，剥夺了创作者的收入和认可。

许多人工智能公司正在规避出版商使用的通用网络标准，以阻止将其内容用于人工智能系统，并辩称他们免费获取内容并没有违法。

作为回应，包括《纽约时报》（New York Times (link)）在内的一些出版商起诉人工智能公司侵犯版权，而另一些出版商则达成了内容许可协议。

例如，Reddit 已起诉 (link) AI 初创公司 Anthropic，指控其利用 Reddit 用户的评论来训练其 AI 聊天机器人，同时与谷歌签订了内容许可协议 (link)。

(为便利非英文母语者，路透将其报导自动化翻译为数种其他语言。由于自动化翻译可能有误，或未能包含所需语境，路透不保证自动化翻译文本的准确性，仅是为了便利读者而提供自动化翻译。对于因为使用自动化翻译功能而造成的任何损害或损失，路透不承担任何责任。)