维度网讯，英伟达创始人兼首席执行官黄仁勋在2026年6月举行的台北GTC大会上指出，AI基础设施中内存系统面临的挑战最为棘手，涉及管理AI智能体工作记忆的KV缓存以及结构化和非结构化数据的检索与数据本体的建立。黄仁勋表示，AI的内存系统将彻底变革存储系统。

为了应对AI推理时代激增的KV缓存存储需求，英伟达推出了CMX上下文内存存储平台（CMX Context Memory Storage Platform），由BlueField-4 DPU管理。该平台在本地SSD和共享存储之间增加了一个Pod级上下文层。

智能体AI的崛起正在重塑CPU架构。黄仁勋提到，智能体生活在纳秒级的世界里，每一次等待都会阻碍它们推进到下一步，因此超低延迟成为首要需求。随着英伟达和安谋（Arm）均推出专为智能体设计的CPU机架解决方案，行业正从面向吞吐量的架构转向面向延迟的架构，这为CPU内存开拓了增量市场。

英伟达公开数据显示，自2024年下半年以来，每个问题的平均输出Token数量以每年超过5倍的速度激增，达到约30,000到40,000个Token。这表明行业已进入英伟达三大缩放定律中的测试时缩放“思考”阶段。每个问题Token输出的爆炸式增长直接转化为对内存和计算资源的更大需求。

在AI推理时代，AI芯片和整体系统的硬件需求与AI训练截然不同。推理对硬件提出了更高每秒查询次数、更长上下文窗口以及更多推理步骤和智能体AI循环这三个关键需求。这些因素共同推动了内存需求的结构性变化，可从模型权重、KV缓存和智能体AI三个维度进行分析。