维度网讯，闪迪（Sandisk）发布高带宽闪存（High Bandwidth Flash, HBF）技术，旨在解决AI推理工作负载中的内存瓶颈。

AI计算正在推动数据中心内存架构变革。目前约七分之一的数据中心已具备承载AI工作负载的能力，预计到2030年这一比例将接近70%。AI正在从超大规模数据中心向企业数据中心及边缘网络迁移，边缘AI应用预计将在本十年末产生近665亿美元的收入。这些庞大的内容存储库正在对传统存储架构形成压力，并暴露出固有的架构弱点。

数据中心广泛使用的DRAM和专用高带宽内存（HBM）在密度、存储容量和可扩展性方面越来越难以跟上大型AI模型的需求。超大规模计算制造商正面临DRAM和HBM在生产成本、设计复杂性和能耗方面的持续上升。在企业数据中心和边缘AI应用中，这一挑战更为突出，因为这些场景的物理空间有限，难以承受更高的内存成本和功耗。AI推理作为当前主导性的工作负载，其数据管理需求与AI训练截然不同，需要存储大型且不断增长的AI模型。基于HBM和DRAM的内存方案在容量和成本可扩展性方面已显不足。

DRAM的容量扩展已基本停滞，而AI推理对更高容量的需求却在增长。DRAM低延迟和随机访问的优势与AI推理并不匹配，因为推理的访问模式是确定性的，并通过数据预取等技术对延迟有更高容忍度。这些不足存在于价值1200亿美元的DRAM产业之下，该产业正面临来自超大规模提供商在AI基础设施上的巨额支出（到本十年末可能达到6.7万亿美元）。

闪迪提出的HBF方案是一种新型内存架构，专为驱动下一代AI计算设计。HBF旨在满足高级计算和数据密集型应用对容量、能效、吞吐量和可扩展性的要求。与HBM相比，HBF提供更高的容量和内存密度，带宽与HBM相当，且更符合AI推理趋势。作为一种持久存储介质，HBF在断电时仍能保留数据，并具有热稳定性以支持较高的工作温度。该技术利用了闪迪的BiCS设计和制造技术以及芯片架构，通过优化高带宽和推理内存特性重新定义NAND闪存，其中BiCS CMOS键合阵列晶圆（CBA）技术用于提升能效和带宽。

与传统NAND闪存相比，HBF通过利用并行性、先进逻辑缩放和定制堆叠技术，实现了更低的延迟和显著更高的读取带宽。这使得大型语言模型能够以接近DRAM的速度传输数据。同时，HBF支持大型KV缓存，以高效处理长而复杂的用户提示以及客户和特定领域的数据，从而提升AI推理准确性。

由于HBM因密度、成本和功耗限制通常无法用于边缘和移动环境，HBF可为边缘设备（如智能手机）提供更大的内存容量以处理更复杂的AI推理问题。凭借其持久内存，HBF支持无缝检索先前查询中的旧上下文以解决新问题。在企业级计算领域，对于用户规模远小于超大规模数据中心的环境，由HBM支持的大型GPU集群成本过高，而通过采用支持HBF的加速器，小型企业可以针对特定领域对大型预训练模型进行微调。

与HBM相比，HBF具有明显的容量优势，同时提供AI推理应用所需的高吞吐量。作为一种可扩展的新型系统内存技术，HBF有助于减少性能瓶颈，加速现代数据中心和边缘网络中AI应用的洞察获取时间。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com