维度网讯，一项新研究提出一种生成式流程，用于训练人形机器人的移动操作能力，该方法无需人工标注即可生成大量配对数据。

人形机器人要实现感知驱动的移动操作，需要将自身观察和任务指令与全身运动相联系。学习这种映射要求具备同步的自我中心图像、语言命令和机器人兼容的运动学轨迹，但现有数据源无法大规模提供这种完整元组。研究团队通过在重建场景中合成生成视觉-语言-运动学（VLK）监督来解决这一瓶颈。

该流程利用3D高斯泼溅（3D Gaussian Splatting）重建具有度量尺度的室内环境，借助特权场景信息合成导航与物体交互轨迹，并在事后渲染配对的自我中心观察。在无需人工干预的情况下，研究者生成了48,000个配对轨迹，并训练出一个VLK策略，该策略可预测短时域的全身运动学轨迹。一个全身跟踪器将这些预测转换为物理人形机器人的实际动作。

为验证方法有效性，研究团队在物理宇树G1（Unitree G1）人形机器人上执行了导航和单物体运输任务。结果表明，从重建场景中生成的合成交互可以为基于仿真到现实（sim-to-real）的感知人形机器人移动操作提供有效监督。项目网站已公开。