由前谷歌工程师创办的芯片初创企业MatX Inc.近日成功完成5亿美元融资,旨在加速其首款产品的市场推广。此轮B轮融资由Jane Street和Situational Awareness领投,超过六家机构参与,包括芯片制造商Marvell Technology Inc.以及Stripe Inc.的联合创始人。此前,MatX已从包含类似支持者的财团获得超过1亿美元资金。
MatX专注于开发一款专为大型语言模型优化的处理器,命名为MatX One。该公司表示,这款芯片相比现有显卡能提供更高的吞吐量,并可连接数十万个加速器组成集群,以处理大规模训练和推理任务。其设计基于可分割脉动阵列架构,允许根据数据集定制电路配置,从而提升效率。
在内存方面,MatX One采用SRAM单元存储大部分模型权重,利用其高速特性降低延迟,加速处理过程。同时,芯片使用HBM内存存储KV缓存数据,通过缓存常用计算结果减少重复运算,节省时间。MatX的研究博客还透露,芯片将整合推测解码和块状稀疏注意力等优化方法,以进一步提升性能。
MatX联合创始人兼首席执行官Reiner Pope在一篇博客文章中写道:“这款芯片结合了SRAM优先设计的低延迟和HBM的长上下文支持。这些元素,加上对数值处理的新思路,在大型语言模型上提供了比任何已宣布系统更高的吞吐量,同时匹配SRAM优先设计的延迟。”公司计划利用新资金完成芯片设计的收尾工作,并期望在一年内完成流片过程,这是半导体开发的最后阶段。









