维度网讯,高通(Qualcomm)近日在其技术博客中提出,未来十年AI性能提升的关键将不再是处理器速度,而是计算架构的结构性变革。文章指出,随着大型生成模型成为主流工作负载,人工智能系统的性能瓶颈已从计算速度转向数据传输效率,这一趋势被称为“内存墙”问题。
文章认为,现代AI推理过程高度依赖内存。生成每个新词元都需要从内存中读取大量模型参数和上下文信息,真正的挑战在于如何以足够快的速度提供这些数据,而非计算本身。据估计,过去十年间Transformer模型大小每两年增长240倍,但AI硬件内存容量仅增长2倍,导致处理器大量时间处于等待数据的状态。
传统的高带宽内存(HBM)加XPU架构通过拓宽内存与处理器之间的通道来提升带宽,但这种方法正面临物理和经济限制。接口收益递减、数据传输距离带来的能耗与时间成本、以及先进封装的高昂价格,使得传统路径日益受限。文章强调,跨芯片边界传输操作数所消耗的能量,可能远超数据到达后执行的算术运算。
为解决这一问题,高通提出“近内存计算”(Near-Memory Computing)理念,并将其实现方案称为高带宽计算(HBC)技术。该方案将计算单元直接置于内存附近,使数据密集型操作在数据所在位置执行。主处理器如高通Dragonfly AI加速器仍负责处理复杂、灵活的任务,而HBC则专门处理受限于数据移动的操作。文章认为,3D集成技术的成熟,特别是将DRAM直接键合到逻辑电路上的能力,已为这一方案提供了商业化基础。
基于该理念的Dragonfly系列产品已展现出显著性能提升。数据显示,采用第一代高通HBC技术的Dragonfly AI250,其有效内存带宽比采用LPDDR5X的Dragonfly AI200提升18倍;而采用第二代高通HBC技术的Dragonfly AI300,其有效内存带宽比Dragonfly AI200提升54倍。
文章指出,近内存计算对行业产生多方面影响。性能评估指标将发生改变,买家更倾向于根据实际内存密集型工作负载下的性能以及每瓦、每美元的性能来评估平台,而非峰值理论吞吐量。随着部署规模扩大,能源成为主要运营成本和物理瓶颈,能够最大限度减少数据传输的架构将具备结构性优势。此外,内存的角色将从被动的存储介质转变为计算的积极参与者,这一变化将波及从芯片设计到数据中心经济学的各个层面。
高通认为,在人工智能时代,稀缺资源已不再是计算能力,而是如何及时、经济地将数据送到需要的地方。设计系统的关键在于能否以智能方式限制数据传输,而非单纯追求处理器运行速度。






