维度网讯，美国AI基础设施公司Tensormesh与AMD（超威半导体）宣布合作，将加速器外部内存视为GPU容量的延伸，以帮助企业用更少的GPU服务更多人工智能模型。

此次合作于2026年7月23日公布，结合了Tensormesh KV缓存方案、LMCache管理、AMD GPU技术以及AMD Live Context虚拟化组件。新架构不再将活跃推理数据局限于高带宽内存（HBM），而是允许KV缓存溢出到覆盖DRAM、SSD和远程存储的分层结构中。

内存容量已成为大语言模型推理的实际瓶颈。增加GPU虽能提供更多HBM，但也会提升加速器成本、功耗和基础设施需求。从硬件端打造更大内存池的处理器可解决同一瓶颈，但会加剧对原本受限的内存组件的需求。Tensormesh与AMD提出了一个替代思路：如果企业能更好地利用每个节点中已有的内存，会怎样？

KV缓存数据成为目标对象。推理过程中，Transformer模型会存储中间注意力数据，从而避免为每个生成token重新计算完整的对话或文档上下文。当提示词较长、并发度升高或多个模型共享推理集群时，缓存会变得很大。vLLM研究论文通过PagedAttention推动业界关注更高效的KV缓存分配，揭示了内存管理对推理吞吐量的影响。

LMCache将该理念扩展至多个内存层级。据Tensormesh介绍，为短期虚拟化而移出HBM的缓存块之后可被复用，用于前缀或非前缀KV缓存匹配。将数据移至较慢存储虽然提升了容量，但避免重复计算才是该架构可能恢复性能的关键。

测试使用搭载8块AMD/ATI加速器（MI355）GPU的戴尔服务器与戴尔存储。在运行Kimi-K2.6的300 GB文档集上，Tensormesh和AMD报告首token延迟从3.4秒降至0.5秒以下，提升近7倍。这一结果源于从DRAM和NFS检索缓存的KV数据，而非重新计算。随着工作负载规模增大，输出吞吐量仍保持在约每秒48个token；相比之下，未经优化的推理吞吐量在相同负载下下降了近40%。根据报告结果，相同硬件上的模型密度也翻了一番。

相关结果由供应商公布，而非广泛的独立基准测试。企业团队需使用自己的模型、提示词长度和并发配置文件进行复现。MLCommons提供了标准化推理测试的必要性背景：性能会因模型、延迟目标、服务器配置和工作负载方法的不同而显著变化。

实现模型密度翻倍不仅意味着在一个机架中容纳更多模型，还可能通过将加速器成本分摊到更多工作负载上，影响内部助手、检索增强生成和文档分析系统的经济性。对于处理大型文档集合的企业而言，这一潜在优势尤为重要，因为重复上下文可为缓存复用创造机会。

该方法存在权衡。DRAM比HBM慢，而SSD和远程存储会带来额外延迟和网络争用风险。有效的分级取决于识别哪些缓存数据应留在GPU附近，哪些数据可以移动而不影响服务水平目标；缓存命中率、存储带宽和编排行为可能与名义容量同样重要。

更广泛的压力不太可能迅速缓解。斯坦福大学以人为本人工智能研究所（Stanford HAI）记录了与先进AI系统相关的不断增长的计算需求，进一步佐证了在部署额外硬件的同时提高利用率的重要性。

此次合作前，AMD Ventures参与了Tensormesh于2026年5月完成的2000万美元融资轮。Tensormesh和AMD本周在AMD Advancing AI 2026上展示性能结果，预计一个月后LMCache开源代码将公开发布。该发布可能扩大多层KV缓存管理的实验范围，并使基础设施团队更清晰地了解该方法在初始戴尔测试环境之外的表现。