维度网讯，Cloudflare推出新的AI爬虫流量管理控件，让网站所有者能够按搜索、代理和训练三类功能，分别定义自动化程序对其内容的访问策略。该功能现已面向所有Cloudflare客户开放，包括免费套餐用户。

内容所有者希望保护自身创作成果，并为此获得合理回报。Cloudflare产品经理Jin-He Lee和产品总监Bryan Becker表示，完全封锁内容并非万能方案，网站所有者需要更灵活的选择，而非简单的“任何时候都阻止所有自动化程序”。

该公司将机器人控制从简单的允许或阻止模式进行了扩展。不再仅将机器人归类为AI或非AI，而是根据其功能划分为搜索、代理和训练三类，网站所有者可为每类应用不同的策略。

更新后的框架考虑了机器人在抓取内容后如何使用内容，并鼓励提供商为不同功能使用独立的爬虫，以提高透明度和访问控制能力。

自2026年9月15日起，新域名的默认设置将发生变更。在显示广告的页面上，训练和代理爬虫默认将被阻止，而搜索爬虫默认仍被允许。

同时执行搜索和训练功能的多用途爬虫将根据两种策略进行评估。如果网站阻止训练爬虫，则多用途爬虫（如Googlebot、Applebot和BingBot）也将被阻止，即使搜索爬虫被允许。该变更将于2026年9月15日生效。不希望采用新默认设置的网站所有者可在9月15日之前通过安全设置选择退出，保留当前对执行搜索功能的训练爬虫的行为。Cloudflare表示将在变更前通知客户，以便其有时间审查和更新设置。

Cloudflare还推出了BotBase，一个可搜索的已知机器人数据库，包括经过验证的机器人和AI代理。该数据库为机器人管理客户提供基于Cloudflare新分类法的集中视图，展示已验证机器人的分类和行为。管理员可使用BotBase浏览已验证机器人目录、搜索特定机器人、查看分类、按单个机器人过滤流量，并复制检测ID用于安全规则。该公司计划今年晚些时候增加更多控制功能，方便客户从同一界面管理自动化流量。

在内容使用控制方面，Cloudflare新增了三个级别，供机器人管理客户定义机器人在抓取内容后的使用方式：即时（不存储或重用）、引用（索引、摘要和回链）和完整（摘要或再现）。该公司正在robots.txt中扩展Content Signals格式，添加新的use参数以表达这些偏好。虽然robots.txt不强制实施该设置，但Cloudflare将通过BotBase报告已验证机器人是否遵守声明偏好。忽略这些偏好或完整再现内容的已验证机器人可能失去其已验证状态。此前，所有已验证机器人默认都被允许。在新模式下，验证仅确认机器人身份，访问权限取决于其分类和网站所有者的策略，包括是否允许搜索、代理或训练爬虫。Cloudflare还计划使验证过程更加透明，并正在开发工具帮助机器人运营商管理其分类和已验证状态。

针对通过第三方平台运行的AI代理和机器人，Cloudflare提出了一种可传递信任模型。该公司计划使用标准HTTP Forwarded标头来识别中间人背后的原始请求者，该标头还可包含运营商声明的内容使用方式，例如use=reference。这将允许网站所有者基于原始机器人运营商应用信任和访问策略，而非处理请求的中间人。该公司承认，该方法在隐私或匿名访问较为重要的情况下可能不适用于所有用例。