中国它石智航发布触觉预测模型TacForeSight

2026-06-26 13:57

关键词:

维度网讯，它石智航联合新加坡国立大学、上海交通大学、中科院自动化所及复旦大学，在预印本平台发布论文“TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation”。该研究提出一种力条件触觉世界模型，首次将腕部力觉信号作为未来触觉状态的先导信息，用于预测短时接触演化，并将预测结果引入机器人动作生成流程。

在接触密集型操作中，如擦拭、插接、拧紧等任务，接触状态随时间连续变化，力度偏移与位置变化极易导致任务失误。现有方法多依赖反馈信号进行事后调整。TacForeSight的核心思路在于识别力觉与触觉的时间先后关系：腕部力觉提供整体受力趋势的先导信号，而触觉则反映局部接触细节。基于此，团队构建了核心模块TacForceWM，将双指触觉场编码为紧凑的触觉潜变量，并利用高频腕部力或力矩信号预测短时未来的触觉演化，既降低了高维触觉图像生成的计算负担，也将预测信息用于轻量级动作策略生成。

在预测未来触觉状态后，系统通过Predictive Tactile-Conditioned Policy，采用Cross-Attention机制显式建模当前接触与未来趋势的关系，使动作生成同时考虑当前接触与即将发生的接触变化。同时，触觉驱动的自适应门控机制根据任务阶段动态调整视觉与触觉的权重：在接触密集阶段侧重触觉控制，在远离接触阶段则依赖视觉信息。

实验在真实机器人平台上进行，系统包括机械臂、夹爪、相机、六维力或力矩传感器及双指触觉传感器，覆盖了花瓶擦拭、卡片滑动、管件插入、灯泡锁紧与柔性线束插入五种典型接触密集型任务。结果显示，在标准任务上平均完成率接近80%，优于纯视觉模型、简单视觉-触觉-力觉融合以及KineDex、FoAR、RDP等基线方法。在高度、角度、姿态等动态扰动场景下，完成率分别为90%、85%和85%，平均达86.7%。模型支持20Hz实时推理，可嵌入高频机器人闭环控制。

潜变量可视化分析显示，在灯泡锁紧和花瓶擦拭任务中，预测触觉潜变量比当前触觉潜变量提前约200毫秒出现接触相关变化。在按压、扭转、滑动等未见过的力-触觉交互片段上，触觉编码器提取的潜变量在t-SNE可视化中形成可分簇，表明模型具备接触模式判别能力。这是它石智航在精细操作领域的又一进展；此前3月，其已发布OmniVTA视触觉操作框架与OmniViTac大规模视触觉数据集，帮助机器人通过视觉与触觉理解接触。