美国Zilliz发布Loon引擎,实现向量数据统一服务AI工作负载
2026-06-30 10:52
收藏

维度网讯,Zilliz于2026年6月29日在加利福尼亚州雷德伍德城发布了新存储引擎Loon,该引擎为Zilliz Vector Lakebase提供动力,并搭载于Milvus 3.0。Loon采用湖原生基础,使一份向量数据可同时用于实时搜索、大规模发现和批量分析,成为Zilliz Cloud从向量数据库向统一AI数据平台演进的存储层基础。

Vector Lakebase的设计前提是,一份逻辑向量数据应服务于所有AI工作负载,包括生产搜索、发现和批量分析,系统间无需复制或移动数据。其存储层面临挑战:同一数据集必须同时实现快速记录级查找用于服务,以及宽扫描用于分析,且均需基于廉价对象存储。系统还需处理持续变化的数据,因为团队会在模型改进时对同一记录进行重新嵌入、重新标记和重新索引。

Zilliz联合创始人兼CTO James Luan表示,向量检索不再是全部问题,Vector Lakebase是对向量数据库成功之后情况的回答。胜出的系统将使持续服务和持续发现感觉像同一台机器的一部分,这只有在存储层能为每个工作负载提供单份数据服务时才能实现,Loon就是那个存储层。

为实现这一目标,Loon将向量数据集视为其物理异构的实际形态,并基于三个设计构建。混合文件格式使每种列以其最适合的格式存储:标量和过滤字段使用Parquet实现高效扫描;稠密和稀疏向量使用开放的Vortex格式,实现对象存储上快速、字节精确的行级读取;原始视频、PDF和图像则留在对象存储中,通过引用而非复制到数据库。行ID对齐使跨不同格式拆分的列仍作为一个逻辑表运作,允许添加新的嵌入模型作为其自身列,无需重写已存储的数据。版本化清单定义数据集的当前版本,包含文件、索引、删除日志和统计信息,使服务集群、按需计算以及Spark和Ray等外部引擎都能读取并更新同一数据集,无需维护单独副本。

这些设计使对象存储上的单份数据能同时馈送多个引擎。在Zilliz对象存储的内部测试中,与Parquet相比,Loon基于Vortex的布局将每次记录读取的数据拉取量减少了约135倍。添加新嵌入模型变为轻量级的版本更新,而非大规模重写。Vector Lakebase的架构包括实时服务集群、弹性按需计算以及External Collections索引,所有操作基于同一语义基础,无需重复管道或ETL。超过10,000家企业和AI原生团队已基于Milvus和Zilliz Cloud构建,包括MiniMax、OpenEvidence、Filevine、Exa和Salesforce。

Loon现已为Milvus 3.0提供动力,并作为Zilliz Cloud上Zilliz Vector Lakebase的存储层,在AWS、Google Cloud和Microsoft Azure的30多个区域可用,提供Serverless、Dedicated和BYOC部署选项。那些将在线服务、离线分析、回填和外部数据湖工作流分散在多个系统中的团队,可以创建免费账户,新工作邮箱注册可获得100美元免费信用额度,或联系Zilliz团队讨论具体用例。

Zilliz是一家领先的AI数据基础设施公司,是世界上最广泛采用的开源向量数据库Milvus的创造者,该项目拥有44,000多个GitHub星标和超过1亿次Docker拉取。Zilliz帮助企业及AI初创公司使其非结构化数据可搜索、可分析、可治理,将文本、图像、音频、视频等转化为生产AI的战略资产。Zilliz的技术以Milvus和Zilliz Cloud为核心,而Zilliz Cloud将该基础扩展为完全托管的Vector Lakebase平台,结合了向量数据库的高吞吐、低延迟服务能力与多模态数据湖的开放性、可扩展性和经济性。

本文来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告之,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com