维度网讯，7月8日，美国云服务与网络基础设施企业Cloudflare与美国人工智能公司OpenAI启动一项研究试点项目，探索如何利用Cloudflare全球网络中来自参与网站的洞察数据，帮助AI搜索引擎更高效发现、抓取和索引开放网络内容。该项目重点指向AI回答的准确性和时效性，核心信号包括内容更新鲜度、流量质量和页面实际变动等。

AI搜索与传统搜索最大的差异，在于结果不再只以网页链接形式呈现，而是由模型直接生成答案。网页是否已经更新、页面内容是否真实发生变化、访问流量是否异常、站点内容是否仍具备引用价值，都会影响AI系统能否及时拿到更准确的网页信息。Cloudflare此次提供的不是网页正文内容本身，而是网络层和站点层的实时信号，用于辅助AI系统判断哪些页面更值得抓取、何时重新抓取、如何减少无效索引。

Cloudflare全球网络覆盖超过20%的网站，这使其能够观察到大规模网页更新和访问行为。OpenAI则提供模型、搜索和问答系统，用真实用户查询测试信号驱动的抓取与索引效果。

试点项目的技术方向是“信号驱动抓取”。传统爬虫通常按照固定频率、站点地图、链接发现或历史权重来抓取网页，容易出现两类问题：一类是页面已经更新但AI索引没有及时刷新，导致回答滞后;另一类是页面没有实质变化却被反复抓取，浪费抓取资源，也增加网站访问压力。引入Cloudflare的实时网络信号后，AI搜索系统可以根据内容变化、访问质量和页面状态调整抓取优先级。

内容更新鲜度是其中一个关键参数。新闻、公告、产品页面、价格页面、政策文件、技术文档和博客文章的变化频率不同，AI搜索如果无法判断页面是否真正更新，就可能重复处理旧内容，或者错过新增信息。页面实际变动信号可以帮助系统识别内容级变化，而不是只根据URL存在、时间戳变化或站点提交来判断是否需要重新索引。

流量质量则更偏向网页可信度和访问状态判断。异常流量、低质量访问、无效请求、机器人访问和临时页面波动，可能干扰AI系统对网页价值的判断。Cloudflare把网络侧信号引入试点后，OpenAI可以测试这些信号是否有助于提升网页筛选、抓取节奏和答案生成质量。

该项目也与AI爬虫治理有关。Cloudflare过去已经推出面向网站所有者的AI爬虫控制、内容信号和访问权限相关工具，网站可以更细分地表达对搜索索引、AI输入和模型训练的偏好。此次与OpenAI的试点更偏向“可被发现的内容如何更高效进入AI搜索”，而不是让AI系统无差别扩大抓取规模。

项目当前仍处于研究试点阶段，重点是验证实时网络信号能否改善AI搜索索引效率。测试内容会集中在抓取优先级、页面变化识别、索引刷新速度、低价值抓取减少、答案时效性和开放网络内容发现能力等环节。Cloudflare和OpenAI后续需要围绕参与网站范围、信号使用边界、内容权限、站点控制权和AI搜索结果质量继续测试。