维度网讯，美国分布式AI基础设施公司Zero Latency采用了红帽与英伟达共同设计的AI Factory平台，作为其全美网络的企业级Kubernetes基础。这家此前名为Hyphastructure的公司，近期以封闭测试形式推出了Zerogrid平台，该平台充当AI推理编排层，根据延迟、位置和容量约束将工作负载路由至边缘基础设施。

采用红帽AI Factory平台为Zero Latency提供了容器化基础层，使其能够在统一工作流中管理分布于不同地点的图形处理单元（GPU）资源。红帽AI业务部副总裁兼总经理乔·费尔南德斯指出：“通过使用红帽AI企业版管理分布式基础设施，Zero Latency展示了混合云技术如何在不投入大量资源的情况下扩展创新。我们正与Zero Latency合作，共同定义未来低延迟分布式AI推理应用的架构。”

分布式计算虽非新概念，但随着对更靠近实际应用部署地点的计算需求日益增长，正受到越来越多的关注。相比超大规模云和新型云提供商采用的集中式单体基础设施，Zero Latency团队从虚拟发电厂中汲取灵感构建其分布式平台，将资源聚合为其所谓的共享推理能力池。该公司声称，这实现了对英伟达级别GPU的平民化访问，使用户能够驱动长上下文或自主型AI应用，同时满足延迟或主权相关需求。

该分布式AI推理平台采用“前缀驻留索引”，使推理缓存数据能够分布在分布式集群的GPU内存、系统内存和存储层中。该公司认为这种方法解决了因跨多个系统和存储层的大型KV缓存内存状态引发的瓶颈。Zero Latency首席执行官迈克尔·韦尔塔表示：“多年来我们一直相信，对于最需要它的工作负载而言，去中心化基础设施优于集中式基础设施。AI推理正是其下一个应用领域：由机器驱动、受约束限制，且集中式云服务无法很好满足需求。红帽AI企业版为我们提供了容器化基础，得以将这一架构带给从工厂车间到城市街道的企业客户。”

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com