当ChatGPT、Gemini等生成式人工智能模型依赖基础模型，基于海量数据点训练来给出答案。类似地，工程师们也希望构建基础模型训练机器人掌握新技能，然而在机器人系统间收集和传输教学数据困难重重。使用虚拟现实(VR)等技术远程操作硬件训练系统耗时费力，互联网视频又缺乏针对特定机器人的分步专门任务演示，指导意义有限。

近日，麻省理工学院计算机科学与人工智能实验室(CSAIL)和机器人与人工智能研究所开发出名为“PhysicsGen”的模拟驱动方法，为解决这一难题带来曙光。该方法可定制机器人训练数据，助力机器人找到完成任务的最高效动作。

PhysicsGen通过三步流程创建可推广至特定机器人和条件的数据。第一步，VR头显追踪人类双手操控物体(如积木)的方式，并将其交互映射到3D物理模拟器中，将手部关键点可视化为小球体，以反映手势。第二步，将这些点重新映射到特定机器(如机械臂)设置的3D模型上，并移动到系统旋转的精确“关节”。第三步，PhysicsGen使用轨迹优化，模拟完成任务的最有效运动，让机器人知晓执行操作(如重新定位盒子)的最佳方法。

每次模拟都是详细训练数据点，引导机器人探索处理物体的多种方法。纳入策略后，机器人能以多种方式完成任务，一种方法无效时可尝试其他动作。麻省理工学院电气工程与计算机科学博士生、CSAIL附属机构Lujie Yang表示：“我们正在创建机器人专用数据，无需人工为每台机器重新录制专门演示，而是以自主高效方式扩展数据，使任务指令适用于更广泛机器。”

PhysicsGen潜力巨大。它能为工程师构建庞大数据集，指导机械臂和灵巧手等机器工作。例如，可帮助两个机械臂协作拾取仓库物品并放入正确箱子发货，也能指导两个机器人在家中协同收拾杯子。此外，它还能将老款机器人或不同环境设计的数据转化为适用于新机器的指令，使先前数据集更具普遍适用性。

在测试中，PhysicsGen表现出色。在一个虚拟实验中，一只漂浮的机械手需将块旋转到目标位置。经PhysicGen海量数据集训练，数字机器人以81%的准确率执行任务，比仅从人类演示中学习的基准提高60%。研究人员还发现，PhysicsGen可改进虚拟机械臂协作操控物体的方式，其系统创建的额外训练数据，帮助两对机器人成功完成任务，比纯人工训练的基准模型高出30%。在利用一对真实机械臂进行的实验中，当机器人偏离预定轨迹或错误处理物体时，也能通过参考教学数据库中的替代轨迹恢复任务。

资深作者Russ Tedrake称，这种模仿引导数据生成技术结合了人类演示优势与机器人运动规划算法力量。未来，基础模型或许能提供相关信息，而这种数据生成技术将为模型提供训练后解决方案。

很快，PhysicsGen可能扩展到新领域，使机器可执行的任务多样化。杨举例说，想教只接受过收拾碗碟训练的机器人倒水，PhysicsGen的流程不仅能为熟悉任务生成动态可行动作，还能创建多样化物理交互库，帮助机器人完成全新任务。

不过，麻省理工学院研究人员警告，创建大量广泛适用的训练数据虽有助于构建机器人基础模型，但这仍是长远目标。目前，由CSAIL领导的团队正在研究如何利用PhysicsGen等海量非结构化资源(如互联网视频)作为模拟种子，将日常视觉内容转化为丰富数据，教会机器执行未明确展示过的任务。

杨和同事们还计划让PhysicsGen更好应用于形状和配置各异的机器人，利用真实机器人演示数据集捕捉机器人关节运动方式。同时，他们打算融入强化学习，让PhysicsGen的数据集超越人类提供的示例，并利用先进感知技术增强流程，帮助机器人感知和解读周围环境，分析和适应物理世界复杂性。目前，PhysicsGen展示了AI在训练不同机器人操纵刚性物体方面的作用，未来或许能帮助机器人找到处理软性物体(如水果)和可变形物体(如粘土)的最佳方法，尽管这些交互目前模拟难度较大。

更多信息： Lujie Yang 等，《通过轨迹优化实现物理驱动的富接触操作数据生成》，arXiv (2025)。