Cloudflare推出’Pay Per Crawl’功能：重塑AI爬虫与内容创作者的付费格局

在AI技术快速发展的背景下，Cloudflare于2025年7月推出了一项名为“Pay Per Crawl”的创新功能，旨在重塑网络内容付费的格局。这一举措被视为对AI爬虫数据获取模式的重大调整，可能标志着内容创作者与AI公司之间权力关系的重新平衡。

随着AI技术的普及，传统网页的流量来源正在发生显著变化。数据显示，AI爬虫如OpenAI和Anthropic的抓取效率远低于传统搜索引擎。例如，OpenAI的爬虫需要约1500次抓取才能为网站带来一次点击，而Anthropic则高达73300次。这一现象导致内容创作者的流量大幅下降，而AI公司却几乎不对内容创作者进行报酬，造成了市场的严重失衡。

Cloudflare的“Pay Per Crawl”功能允许网站管理员选择对AI爬虫的访问权限，可以设置为允许、收费或封锁。AI爬虫在访问网站时，必须进行身份验证，并在每次抓取时支付相应费用。这一模式为内容创作者提供了新的收入来源，同时也为AI公司提供了合法合规的数据获取方式。

Cloudflare首席执行官Matthew Prince将这一功能的推出称为“内容的独立日”，预示着内容创作者将重新获得谈判的能力。目前，该功能已进入内测阶段，部分大型出版商如BuzzFeed、《大西洋月刊》和《财富》等已参与其中。

此外，Cloudflare还支持开发其他市场平台和收费方式，例如允许出版商根据内容类型设置动态定价。这一变革不仅能够促进高质量内容的创作，还将推动整个行业向更加合规的方向发展。

从长远来看，Cloudflare的“Pay Per Crawl”模式可能会成为AI与内容创作者之间重新谈判分账的起点。在这一过程中，AI公司需要付出成本，进而在数据获取上变得更加审慎，推动整个行业的可持续发展。