维度网讯,Cloudflare发布其内部统一数据平台Town Lake的最新应用情况,该平台连接的计费工作负载占所有查询的53%。该平台配备名为Skipper的AI驱动分析代理,旨在统一此前分散在不同系统中的运营、计费、安全和业务数据。
Cloudflare全球网络每秒处理超过十亿个事件,覆盖120个国家330多个城市。随着时间推移,数据积累至Postgres数据库、ClickHouse集群、Kafka流、BigQuery数据集和对象存储系统,增加了发现和分析难度。Town Lake作为统一SQL接口接入这些系统,同时保持数据治理和访问控制能力。
该平台基于湖仓一体架构,使用Apache Trino、Apache Iceberg、Cloudflare R2对象存储及DataHub进行元数据管理。单个查询可跨Postgres、ClickHouse和Iceberg表连接数据,无需在系统间移动数据。支持服务负责数据摄取、转换、访问控制和识别个人身份信息(PII)。
平台采用默认封闭的治理模型,新接入的数据集需完成自动扫描和人工审核后方可访问。Cloudflare使用名为Skimmer的服务,该服务结合自动分类与AI分析检测敏感数据,随后由人工评审者验证分类适配性。
依托Town Lake,Cloudflare构建了Skipper以提供对企业数据的自然语言访问。该代理利用元数据、模式定义、转换沿袭、文档和运行时检查,将用户请求转换为经过验证的查询,提升准确性。该工具用于账单分析、客户支持调查、商业智能和安全工作流程。
Cloudflare企业工程负责人Dmitry Alexeenko指出,团队构建了统一数据平台Town Lake和AI数据代理Skipper,后者可将纯英语问题在几秒内转化为洞察。
此前需复杂SQL或手动调查的任务,现可通过统一数据平台和AI代理在几秒内完成。计费工作负载占Town Lake使用量的大部分。在一个测量周期内,该平台处理了324名员工提出的91,760个与计费相关的查询,涵盖计费分析、支持调查和运营报告。该公司还发现,简化AI代理提示提高了准确性,整合重叠工具减少了错误选择。将SQL转换逻辑和数据沿袭纳入代理上下文,进一步提升了业务语义理解能力。
Rippletide首席执行官Patrick Joubert评论,在统一分析平台之上放置内部AI代理后,如果代理能推理运营数据,则执行必须靠近操作层。分布式确定性检查能使代理在不将数据平台变成不可控操作层的情况下行动。
Cloudflare计划将Skipper更深层集成至内部聊天、工单处理和开发工作流中。同时扩展其Transformer管道,使团队可使用SQL和元数据文件定义精选数据集,这些数据集通过DataHub和Skipper自动部署、监控、编目和展示。公司还预计未来将更多Town Lake工作负载迁移至R2 SQL上。










