中国江波龙在AMD Ryzen AI平台运行397B模型

维度网讯，AMD日前将其Ryzen AI Halo平台以4000美元价格推向市场，引发与英伟达稍贵的DGX Spark产品的对比讨论。存储与内存企业江波龙（Longsys）在此基础上更进一步，演示了在该平台上本地运行一个397B参数规模的AI模型。该演示采用16核Ryzen AI Max+ 395处理器与128GB内存配置，通过其自研SPU及iSA配置实现数据实时压缩，使设备在仅有128GB统一内存（其中GPU可用显存为96GB）的条件下运行了通常需要200-250GB显存的模型。

该模型据推测是从阿里巴巴的Qwen 3.5 397B（A17B）衍生出的定制版本，采用混合专家（MoE）方法。即使以INT4量化，其内存需求仍远超演示设备的可用内存。江波龙公司表示，其方法利用专家卸载、智能缓存管理和预测预取算法，将未活跃使用的专家从DRAM卸载到大型快速存储缓冲区中，AI芯片可在需要时重新加载。这一方法旨在解决MoE大语言模型参数数量庞大、KV缓存快速扩展及I/O延迟等痛点。该公司声称，通过利用缓存层降低DRAM需求，在高达128GB的存储驱动器中可容纳两倍的数据量。值得注意的是，江波龙并未提供以每秒token数衡量的算力细节，Ryzen AI芯片相较于大多数现代AI GPU产品在该指标上相对有限。尽管如此，这一将存储视为内存的做法表明，通过利用快速存储可以规避内存限制，使原本需要昂贵AI硬件的顶级模型在手掌大小的设备上运行。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com