维度网讯,中国Danfei Xu 发起了一项名为 EgoVerse 的第一视角人类操作数据生态与标准,旨在为机器人学习构建类似 ImageNet 对视觉 AI 的催化作用。Danfei Xu 现任佐治亚理工学院(Georgia Institute of Technology)交互计算学院助理教授、机器人学习与推理实验室(RL2)负责人,在斯坦福大学(Stanford University)攻读博士期间由李飞飞和 Silvio Savarese 联合指导。EgoVerse 是一套可持续增长的数据基础设施,其联盟伙伴包括佐治亚理工学院、斯坦福大学、苏黎世联邦理工学院(ETH Zurich)、加州大学圣迭戈分校(University of California San Diego),以及 Meta、Scale AI、光轮智能、Mecka AI、MicroAGI、Trace Labs 等公司。光轮智能是唯一参与其中的中国企业。
机器人学习长期面临数据获取瓶颈。当前训练仍依赖真机遥操作,每增加一条演示都需要硬件、人员和场地,成本高且任务场景有限。人类行为天然包含丰富的视觉和动作信息,是更理想的训练来源。但以往人类数据集多为一次性项目,采集设备、坐标体系和任务定义不统一,难以合并训练。EgoVerse 被设计为一套“活”的协作框架,旨在打破这一限制,让全球具身数据按同一“语言体系”流动。
EgoVerse 当前公开版本包含 1362 小时人类演示数据、约 8 万个 episode、1965 项任务、240 个场景和 2087 名采集者。数据涵盖第一视角视频、相机位姿、三维手部信息及细粒度语言描述,并在不同实验室、不同机器人和本体上验证了迁移效果。

EgoVerse 集合了多家头部机构共同推进。佐治亚理工学院承担组织中枢和研究框架角色,Danfei Xu 团队负责代表性任务验证。斯坦福大学 Shuran Song 教授团队通过其创立的 UMI(Universal Manipulation Interface)让人类操作数据可迁移至不同机器人平台。Meta 为项目提供专用数据采集眼镜 Project Aria。Mecka AI 推动使用 iPhone 与轻量化头戴装置进行第一视角采集,降低硬件门槛。Scale AI 负责数据清洗、标注和质量管理。MicroAGI 探索分布式众包采集。Trace Labs 也参与其中。光轮智能的贡献是建立了一套贯穿端侧采集、云端处理和仿真验证的质量控制体系。
光轮智能将人类数据质量拆解为三个环节。首先,通过 Agent 驱动实时监测采集过程,控制任务完整性、动作有效性和数据分布,并在采集现场纠偏。其次,通过兼容多种采集硬件的云端平台,实现统一的数据标准,处理包括视觉惯性里程计(VIO)、三维手部与 Body 标注以及 V7 级动作语义标注;光轮智能的人类数据解决方案 EgoSuite 能够在生产规模上提供这些标注。最后,利用仿真平台 SimFoundry 和评测平台 RoboFinals 验证数据是否真正值得机器人学习,并将评测结果反馈指导下一轮采集,形成数据质量闭环。
光轮智能同时参与了另一项全球物理 AI 基础设施项目 Newton。该项目由 NVIDIA、Google DeepMind 和 Disney Research 联合发起,技术指导委员会由 NVIDIA、Google DeepMind、Disney Research、光轮智能和 Toyota Research Institute(TRI)共同组成,旨在定义机器人仿真与物理建模的技术路线。光轮智能是目前唯一同时参与 EgoVerse 与 Newton 这两套国际标准体系的中国企业,其角色从标准的使用者转向共同定义者。










