维度网讯,哈工大(深圳)杨朔团队发布TouchWorld触觉世界模型,该模型旨在让机器人在执行灵巧操作时,不仅能预测画面变化,还能预测并利用触觉反馈修正动作。TouchWorld的发布标志着该团队围绕触觉构建的技术路线进入了新阶段,此前团队已推出解决触觉数据采集问题的EgoTouch,以及从第一人称视频中恢复触觉信息的TouchAnything,这三项工作共同构成了从数据采集、数据增广到模型应用的完整链条。
杨朔现任哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博导,同时也是破晓智能(PHANES AI)的创始人兼CEO。破晓智能的目标是融合人类视频数据与触觉感知模态,构建人形机器人的全身移动灵巧操作世界模型,搭建从数据、模型到控制的完整能力链。公司认为,在机器人进入真实操作场景前,触觉数据、触觉世界模型、灵巧手反馈控制等环节仍处于技术不成熟的阶段,希望通过触觉数据切入,串联起这些能力。
从研究路径看,杨朔团队关注的核心问题之一是机器人的学习数据来源。在具身智能领域,人类在真实世界中的连续操作数据正成为机器人学习的重要入口。NVIDIA EgoScale和Generalist/Gen-1等工作表明,大规模人类数据预训练结合少量真机数据后训练,能够提升机器人在长程、复杂任务中的成功率。但该团队指出,这一路线缺少触觉信息。第一人称视频能让机器人观察到人类如何操作,但无法提供手指压力、物体是否滑动、接触是否稳定等关键信息。破晓智能认为,机器人需要理解手与物体接触时发生了什么,这正是其开发EgoTouch、TouchAnything到TouchWorld系列工作的原因。
TouchWorld的核心功能分为预测(predictive)和反应(reactive)两部分。预测部分指机器人不仅要预测未来画面,还要预测未来应该形成的接触状态,例如按压喷壶按钮的任务,仅凭画面难以判断是否按到位,而触觉目标预测能让机器人明确完成子任务时手指应有的接触和压力。反应部分则指高频触觉反馈修正,在真实操作中,物体可能滑动、手指可能未抓稳,机器人需要根据实时触觉反馈快速调整动作,而不是等待上层模型重新规划。在TouchWorld的设计中,反应模块的推理频率是触觉世界模型的4倍,每次输出一个修正量。




TouchWorld在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾等六个真实机器人任务上进行了测试。在无扰动环境下,平均成功率达到65.0%;在人为添加扰动的场景下,平均成功率为57.2%。与Pi-0.5、FTP-1、GR00T N1.7等方法相比,TouchWorld在两个设置下分别高出对比方法中性能最优的基准模型15.7和16.0个百分点。该结果验证了在任务进入接触阶段时,触觉目标预测和高频反馈修正能够提升机器人操作的稳定性,证明了触觉可以进入机器人世界模型和操作策略,而不仅限于传感器读数。


破晓智能指出,触觉灵巧操作是一个系统性问题,并非单点模型可以解决。在研发过程中,团队曾因高自由度灵巧手缺乏成熟触觉方案,自行将触觉手套裁剪后套到五指灵巧手上,但遇到手套易损坏、灵巧手发热导致系统漂移、数据噪声大、采集效率低等问题。因此,公司在数据基础设施方面投入,正在搭建低成本、无感便携的多模态数据采集平台,整合第一人称视觉、腕部视角、手部姿态、全掌触觉、全身姿态等信息,目标是让机器人获得更接近人手真实感觉的数据。

破晓智能希望围绕人形机器人全身移动灵巧操作,补齐包括触觉数据采集、触觉估计、触觉世界模型、遥操与硬件基础、评测体系以及全身移动灵巧操作模型在内的系统能力。其技术路线从EgoTouch和TouchAnything解决触觉数据来源问题,到TouchWorld实现触觉的预测与使用,再到HumanWBC指向感知理解、自主移动、全身控制与灵巧操作的闭环,让机器人从能够看懂发展到能够走过去、抓起来并完成任务。

TouchWorld论文已发布在arXiv(arxiv.org/abs/2607.07287),项目主页为phanes-lab.github.io/TouchWorld-website/。TouchAnything论文(arxiv.org/abs/2605.13083)及项目主页(jianyi2004.github.io/TouchAnything-Website/)也已公开。






