维度网讯，总部位于旧金山的AI推理初创公司Tensormesh宣布获得2000万美元融资，投资方包括超威半导体（AMD）、英伟达（Nvidia）和云服务商CoreWeave。该公司目前融资总额已达2450万美元。

Tensormesh由芝加哥大学、加州大学伯克利分校和卡内基梅隆大学的教师及研究人员于去年创立，专注于基于缓存加速技术的推理服务。其旗舰产品Tensormesh Inference平台宣称可将延迟和图形处理器（GPU）开支降低10倍，并采用零成本缓存输入代币的永久定价模式。该平台通过键值（KV）缓存存储和重用计算结果。随着AI代理的兴起，AI推理中固有的代币重复使用和密集型代理工作负载正加速对快速、始终在线存储的需求，业界越来越多地在AI工作流中采用KV缓存来消除冗余计算的瓶颈。

Tensormesh Inference提供对多种前沿模型的提示API访问，无需基础设施配置或管理。该平台以按需部署和即用即付方式提供专用GPU资源，同时也为大规模运行AI且需要专用容量、可预测性能及自定义服务等级协议（SLA）的企业提供保留部署。开源KV缓存项目LMCache是该平台的基础，它通过缓存和重用KV计算加速大语言模型（LLM）推理。Tensormesh表示，该平台允许用户直接控制分配给部署的缓存后端存储量，并可显示指标以精确衡量存储性能。

Tensormesh首席执行官Junchen Jiang也是LMCache的创建者。他在关于本轮融资的声明中指出，Tensormesh提供了关于LLM在处理提示时生成的中间数据重要性的新视角。他表示，KV缓存意味着AI对它所收到问题的解释这一完整概念，使KV缓存成为一种全新类别的数据。Jiang对超威半导体、CoreWeave和英伟达最早认识到这一点并不感到惊讶。Tensormesh声称，这三位支持者共同坚信KV缓存是AI基础设施栈的基础层。

英伟达今年通过其BlueField-4 DPU以推理上下文内存存储（ICMS）平台的形式推出了自己的KV缓存方案。该架构将BlueField数据处理单元（DPU）作为存储引擎，负责在GPU附近处理上下文移动，而Spectrum-X以太网扩展网络可确保负载下的访问可预测性。英伟达的Dynamo软件协调器管理推理行为，ICMS将上下文定义为系统内存。该方案的影响使英伟达的合作伙伴、存储厂商Vast Data声称市场需要额外100艾字节的容量，但Vast联合创始人Jeff Denworth表示，由于内存供应持续紧张，这些容量未必存在。

Tensormesh的融资反映出市场对此类瓶颈解决方案以及AI推理工具的需求日益增长。韩国创立的FriendliAI去年年底为其推理方案获得2000万美元融资，而芯片设计公司Cerebras Systems本月凭借其晶圆级引擎（WSE）-3半导体和AI推理产品，成为自2019年以来美国科技公司最大规模的IPO。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com