近期，马斯克和特朗普的“嘴炮大战”进入新阶段，而国外出版商集团与AI巨头之间也上演着类似的“相爱相杀”戏码。一方面，部分大出版商选择与AI公司合作；另一方面，也有出版商坚决要将AI巨头告上法庭。这一现象背后，反映出AI时代内容创作与数据使用的复杂矛盾。

一、AI时代内容创作的困境与Cloudflare的解决方案

（一）AI对网站流量的冲击

随着AI搜索和ChatGPT的出现，全球网站流量普遍下降。AI巨头的“AI爬虫”无视爬虫协议，大量抓取网站数据，却未给网站带来相应的流量回报。数据显示，谷歌的爬虫大约每6至7次抓取给网站带回1次点击，而OpenAI则是1500次才换来1次跳转，Anthropic的比例更是高达73300次换1次。传统的“内容换流量”模式失效，内容生产者面临困境。

（二）Cloudflare推出“Pay Per Crawl”

Cloudflare作为掌控全球约20%网络流量的互联网基础设施巨头，在2025年7月上线了实验性产品和交易市场“Pay Per Crawl”。该功能给网站内容创作者提供了“开关”选项，可选择允许AI爬虫自由访问并按次收费，或者直接封锁访问。其核心理念是让内容创作者直接获得报酬，解决AI巨头免费使用内容的问题。

二、“Pay Per Crawl”的运作机制与优势

（一）运作机制

Cloudflare基于其全球CDN网络的中间层建立“Pay Per Crawl”。站长可在后台设定允许、收费、封锁三种模式。新加入的网站默认封锁AI爬虫，只有与Cloudflare建立合作关系的AI公司才能参与支付机制。若AI爬虫未付费发起请求，Cloudflare会返回HTTP 402 Payment Required状态码，AI爬虫需带上支付信息，匹配价格后放行并自动结算。Cloudflare作为“收银台”，负责聚合账单和分发收益。

（二）优势

1. 避免版权争议：按次付费模式可避免AI公司因“偷内容”训练大模型引发的版权诉讼潮，让AI公司合法获取内容。
2. 建立新收入来源：使网络内容从“广告变现”走向“内容授权变现”，为大小媒体和博客提供议价权，开拓全新收入途径。
3. 防止逃避支付：要求AI公司注册密钥，用数字签名保证身份，防止“山寨爬虫”冒充合规者逃避支付，将“软约束”变为“硬闸门”。

三、“Pay Per Crawl”的现状与未来设想

（一）现状

目前，“Pay Per Crawl”仍处于内测阶段，仅部分大型出版商如BuzzFeed、《大西洋月刊》和《财富》等参与，Cloudflare还在持续公开征集有意向的内容创作者和抓取者。

（二）未来设想

1. 差异化定价：出版商或其他机构可针对不同内容类型、AI应用的用户数量、不同领域（训练、推理、搜索等）引入更细粒度的定价策略。
2. 智能代理应用：在Agent智能代理的世界中，智能代理付费墙可程序化运作，为用户获取最有用、最相关的内容，开启新的数字资源访问模式。

四、“Pay Per Crawl”带来的影响与挑战

（一）积极影响

1. 重新谈判分账：可能是AI和广大内容创作者“重新谈判分账”的开端，将议价能力普及到更广泛的网站，让中小网站、论坛和个人作者也能获得报酬。
2. 推动产业合规：在理念上较为公平，创作者有收入，AI公司避免法律风险，推动整个产业走向更合规的内容许可。
3. 抑制滥抓取：促使AI模型开发者在数据选择上更有针对性，避免一股脑地将各种网站内容喂进模型。

（二）挑战与争议

1. 成本增加：AI公司抓取新内容需花钱，增加了算力之外的成本要素，可能抑制小型AI创业团队、研究者、开源社区的发展，影响学术研究和公益存档。
2. 互联网自由与共享精神：可能导致网站无偿开放给AI爬虫的情况减少，甚至出现“封闭化”，加剧“大厂垄断”，让互联网失去自由与共享精神。
3. 补偿标准的确定：如何确定补偿标准，是根据流量还是知识促进程度，仍是一个需要解决的问题。

Cloudflare的“Pay Per Crawl”模式为解决AI时代内容创作与数据使用的矛盾提供了一个新的思路，但目前仍处于早期实验阶段，其未来发展充满不确定性。它既有可能构建更美好的互联网，也可能带来新的问题，需要在实践中不断探索和完善。