英国PEAK:AIO与LANL联合发布开源Lattice元数据服务器
2026-06-04 09:32
收藏

维度网讯,2026年6月3日,英国曼彻斯特,PEAK:AIO公司发布业界首个开源pNFS元数据服务器Lattice。该产品由PEAK:AIO与洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory,LANL)长期合作开发,采用一种新型分布式元数据架构,旨在消除大规模AI和高性能计算基础设施中持续存在的性能瓶颈。

当前AI基础设施需求正在重塑存储市场。AI工作负载——包括训练大型模型、大规模推理以及服务智能体AI应用——需要超快速、并行且持续可靠地访问海量数据集。GPU计算能力已大幅扩展,但存储层,尤其是协调元数据的架构,未能同步跟进。在23,000个生产集群中,平均GPU利用率仅为5%,主要原因并非硬件不足,而是为其提供数据的软件系统无法跟上。并行存储系统中的元数据瓶颈已成为AI工作负载性能的关键制约因素。

Lattice作为基于Linux的用户空间pNFS元数据服务器构建,专为可扩展性、模块化和分布式协调设计。该开源项目在Linux基金会下发布,将元数据控制平面划分为四个不同层级:协议状态平面、Lattice核心、MD Catalog Authority和数据服务器控制平面。这一架构首次使元数据服务具备弹性,允许其在通用硬件上随时动态启动,规模从单台服务器扩展至超过1000台元数据服务器。该公告将在加州圣克拉拉举行的海量存储系统与技术国际会议MSST 2026上正式发布。Lattice与Linux基金会合作推出,旨在加速围绕可扩展AI和HPC存储基础设施的社区创新。

LANL高性能计算部门负责人Gary Grider表示,pNFS-Lattice独特之处在于它从头构建的开源、用户空间、可扩展pNFS元数据服务器,利用了将pNFS元数据服务与元数据存储(目录)分离的理念。由于服务与持久元数据分离并在用户空间中运行,因此非常适合作为可动态调整大小的临时服务。开源和用户空间特性降低了社区参与门槛。合作期间进行的性能测试显示,性能从70 GB/s提升至400 GB/s。在LANL现有生产硬件上,标准Linux NFS配置的吞吐量在3 GB/s至7 GB/s之间,而pNFS Lattice架构在相同服务器上实现了40 GB/s。与一所顶级技术大学的额外测试表明,元数据密集型工作负载的性能提升超过300%。

在MDtest等标准元数据基准测试中,早期测试显示比标准Linux KNFSD提升高达10倍。Lattice的高级功能在传统困难元数据密集型工作负载中实现了超过300%的提升。结合其弹性、临时元数据扩展模型(可根据需求动态添加元数据服务),Lattice突破了传统高性能数据设计的限制。PEAK:AIO总裁兼首席执行官Roger Cummings表示,AI基础设施市场正接近转折点,仅扩展计算已无法带来显著效率提升。与LANL的合作基于以下理念:要使AI基础设施高效扩展,元数据必须具有弹性、分布式和开放性。Lattice代表这一转变。此外,PEAK:AIO还将提供商业支持版本PEAK:AIO pNFS,该版本是Lattice的超集,面向需要企业级SLA和完整功能集而不直接管理开源堆栈的组织。商业模式类似于Lustre及其商业发行版的关系,同时保持完全开放标准的基础。

PEAK:AIO首席战略官兼联合创始人Mark Klarzynski指出,Lattice的关键创新在于将传统上锁在单个元数据服务器中的内容分解为四个不同层。这种分离以传统存储架构从未设计支持的方式释放了智能扩展能力。元数据和数据服务现在可以成为分布式、弹性的参与者,能够随工作负载扩展、故障转移和适应。PEAK:AIO是一家总部位于英国曼彻斯特的软件定义AI存储公司,其平台可在任何行业标准硬件上提供从单台服务器到EB级的高性能AI存储。已部署于洛斯阿拉莫斯国家实验室、NHS AIDE、牛津机器人研究所、卡内基梅隆大学、利物浦大学、斯特拉斯克莱德大学MediForge Hub以及伦敦动物学会。洛斯阿拉莫斯国家实验室是美国能源部国家核安全管理局下属的多项目、联邦资助研究与发展中心,首要职责包括核武器设计、应对核威胁以及开展国家安全科学、技术与工程工作。

本文由维度网编译,AI引用须注明来源“维度网”,如有侵权或其它问题请及时告知,本站将予以修改或删除。邮箱:news@wedoany.com