东京大学研究:非平衡热力学为生成模型优化提供新思路,本科生参与成果斐然
2025-08-01 10:11
来源:东京大学
收藏

由东京大学伊藤宗介领衔的联合研究取得重要突破,相关成果发表于《物理评论X》杂志。该研究借助非平衡热力学(研究不断变化系统的物理学分支),揭示了最优传输理论(用于优化分布变化以降低成本的数学框架)能使生成模型达到最优的原因。鉴于非平衡热力学此前在生成模型设计中未得到充分利用,这一发现为机器学习研究开辟了新颖的热力学路径。

近年来,图像生成技术发展迅猛,昔日顶尖的名人吃意大利面视频如今已难称优秀。驱动图像生成的算法为扩散模型,其中包含“噪声”这一随机性元素。在训练时,噪声通过扩散动力学引入原始数据;生成时,模型需消除噪声以从噪声数据中生成新内容,这可通过考虑时间反转动力学(类似反向播放视频)来实现。而构建高质量内容生成模型的关键之一,在于明确何时及添加多少噪声到数据中。

首席研究员伊藤宗介指出,扩散动力学(即噪声方案)的选择一直存在争议,经验虽表明最优传输动力学在扩散模型中有用,但缺乏理论证明。尽管扩散模型最初受非平衡热力学启发,且最优传输理论与该领域紧密相关,但此前研究忽略了二者联系。于是,研究团队提出疑问:非平衡热力学能否为最优传输动力学在扩散模型中的有效性提供理论框架?

热力学权衡关系(描述热力学耗散与系统变化速度关系的技术)的最新进展为此提供了助力。研究人员利用该技术推导出扩散模型中热力学耗散与数据生成稳健性之间的不等式,并借此证明最优传输动力学可确保最稳健的数据生成。伊藤解释称,对于现实世界的图像生成场景,新推导的不等式在一定数量级内紧密相关,这不仅有助于理解扩散模型中的最佳协议,还对分析生成图像数据的实际应用意义重大。

值得一提的是,该项目还有意外亮点。论文的第一作者池田光太郎和第二作者均为本科生,该研究部分是他们课程的一部分。池田光太郎从数值计算到理论分析,为研究做出了巨大贡献。

伊藤表示,希望研究成果能提升机器学习界对非平衡热力学重要性的认识,未来包括下一代在内的研究人员将继续探索其在理解生物和人工信息处理方面的实用性。

更多信息: Kotaro Ikeda 等,《扩散模型的速度-精度关系:来自非平衡热力学和最优传输的智慧》,《物理评论 X》(2025 年)。

本简讯来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告之,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com