维度网讯，英伟达GEAR联合李飞飞团队、佐治亚理工大学等机构发布Real2Sim系统SimFoundry，该系统能从一段真实世界视频中自动生成可交互、可训练、可评测的机器人仿真环境。

SimFoundry能够在保持物体功能与Affordance不变的前提下，自动更换物体、调整场景布局，并生成新的操作任务，从而从一段视频中扩展出近乎无限的仿真数据生成空间。该系统打通了场景生成、数据生成、策略评测与策略训练的Real-to-Sim闭环。

机器人策略训练长期依赖高成本的真实世界数据，仿真环境成为可扩展的替代方案。然而，搭建具有真实几何与物理交互能力的仿真环境仍需大量人工建模。SimFoundry利用3D重建和生成模型，将真实世界快速转换为支持物理交互的Sim-ready环境。

在SimFoundry生成的数据上训练出的机器人策略，能够零样本部署到真实机器人，在多步操作、双臂协作、带关节物体操作等任务上完成真实世界迁移。

SimFoundry的流程分为Extraction（提取）、Generation（生成）和Augmentation（增强）三个阶段。在Extraction阶段，系统输入RGB视频后，通过深度估计和视觉语言模型（VLM）等工具，识别并分割场景中的物体。Generation阶段利用2D-to-3D模型生成三维网格，并结合FoundationPose等模型恢复物体位姿，同时为关节物体推导关节结构，最终导出可用于IsaacLab等物理引擎的仿真场景，完成Digital Twin（数字孪生）构建。

Augmentation是SimFoundry的核心创新。它在数字孪生基础上自动生成Digital Cousins（数字表亲），从三个维度扩展：改变物体外观与几何形态但保持功能不变（Object Cousins）；调整物体布局或加入新物体生成新场景（Scene Cousins）；根据场景物体的Affordance自动推导新操作任务（Task Cousins）。

研究在两套机器人平台、7类操作任务上验证了SimFoundry的效果。策略评估实验中，SimFoundry中机器人的表现与真实世界高度一致，平均皮尔逊相关系数达0.911，平均最大排名违例（MMRV）为0.018。引入Digital Cousins后，机器人在真实世界中的平均任务成功率相比仅使用数字孪生分别提升17%（Object Cousins）、21%（Scene Cousins）和40%（Task Cousins）。

该研究论文作者来自NVIDIA GEAR、佐治亚理工学院、斯坦福大学、UT Austin和多伦多大学等机构，主要研究者包括第一作者Nadun Ranawaka Arachchige、Josiah Wong、Jiangyun Fan、Tianyuan Dai、Masoud Moghani、Hang Yin，以及Jim Fan、李飞飞、徐丹飞、朱玉可、Ajay Mandlekar、Ruohan Zhang、Wenbowen等人。