Cloudflare试图规范Google的AI概览内容抓取行为

Cloudflare试图规范Google的AI概览内容抓取行为

Cloudflare 更新了数百万网站的robots.txt文件,试图迫使Google改变其抓取方式,从而推动其AI产品和计划。Cloudflare的首席执行官Matthew Prince表示,几乎所有合理的AI公司都愿意为内容付费,但他们都害怕Google,因为如果Google免费获得内容,而他们却必须付费,那么他们将始终处于不利地位。Cloudflare的Content Signals Policy希望利用其市场影响力来改变网络爬虫对内容的使用方式。通过更新数百万网站的robots.txt文件,网站管理员可以选择允许或禁止以下用例:搜索(构建搜索索引并提供搜索结果),ai-input(将内容输入到一个或多个AI模型中),ai-train(训练或微调AI模型)。Cloudflare的目标是向Google施加法律压力,要求其改变将传统搜索爬虫和AI概览捆绑在一起的政策。Cloudflare认为,Google不应该仅仅因为它之前在搜索引擎领域占据主导地位,就在未来的答案引擎驱动的网络范式中占据主导地位。

—— Ars Technica

*

发表评论 (0)
后一页 前一页