微软与清华大学用英伟达芯片,以合成数据训练AI模型
2026-01-27 09:56
收藏

微软与清华大学的研究人员携手开展了一项创新研究,他们开发出名为SynthSmith的合成数据管道,借助英伟达芯片进行复杂计算,成功实现无需真实世界数据就能训练人工智能模型。

研究团队仅依靠合成数据,便训练出一个拥有70亿参数的编码模型。令人惊喜的是,该模型在基准测试中的表现优于规模更大的140亿参数模型。在实验过程中,不同阶段使用了不同数量的英伟达芯片。监督微调期间,动用了128个Nvidia H20芯片,运行时长达220小时;强化学习阶段,则使用32个H200芯片,运行时间为7天。

不过,研究人员也指出,受计算能力限制,此方法难以扩展到参数超过1000亿的模型。为推动行业发展,他们将这项研究开源,方便其他人员在此基础上开展开发工作,且无需承担高昂训练成本。目前,使用的英伟达H20和H200芯片在出口管制下可供中国人工智能公司使用。

本简讯来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告之,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com