英伟达开发Nemotron 4,最大模型参数预计达万亿级
2026-08-12 09:31
收藏

维度网讯,8月11日,多名参与英伟达Nemotron 4项目的员工披露,这家美国芯片企业正在开发新一代开放人工智能模型家族,其中最大模型预计至少拥有1万亿参数。英伟达当天重申正在推进Nemotron 4研发,但未确认上述参数规模及发布时间。

Nemotron 4尚未完成最终训练,英伟达也未设定正式发布日期。参与项目的员工预计,该系列模型最早可能于2026年秋季末准备就绪,研发目标是与全球主要开放模型展开竞争。

英伟达目前规模最大的Nemotron 3系列模型为Nemotron 3 Ultra,采用混合专家与Mamba-Attention架构,拥有5500亿个总参数,每个令牌激活550亿个参数。该模型使用20万亿个文本令牌完成预训练,支持最长100万个令牌的上下文窗口。

英伟达8月11日还发布Nemotron 3.5 Lightning。该模型拥有300亿个总参数和30亿个激活参数,可用于代码审查、工具调用和安全警报监控等智能体任务,已具备商业使用条件。

本文来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告知,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com