一个由东北大学工程研究生院、香港科技园变革服装生产中心和香港大学成员组成的国际研究小组取得重大突破，相关成果发表于《IEEE 机器人与自动化快报》，标志着多模态物理人工智能领域迈出重要一步。

在日常生活中，人类拿起一杯咖啡等动作，是视觉、触觉等多种感官输入实时结合的轻松之举，但在人工智能领域重现这一过程却困难重重。此前，机器学习虽能支持人工智能学习人类运动模式，让机器人自主执行烹饪、清洁等日常任务，如斯坦福大学开发的低成本开源双手遥控硬件系统ALOHA，可实现双臂机器人低成本、多功能远程操作和学习，且硬件软件开源供研究团队开发。然而，这些系统主要依赖视觉信息，缺乏人类基于触觉的判断能力，仅依靠视觉成为其弱点。

为克服这一限制，东北大学工程研究生院教授Mitsuhiro Hayashibe所在的研究小组开发出名为“TactileAloha”的新系统。该系统整合视觉和触觉信息来操纵机械臂，能根据目标物体的纹理做出操作决策，而仅凭视觉信息很难实现这一点。

研究发现，在前后差异和粘合性至关重要的任务中，如使用尼龙搭扣和扎带时，机器人借助“TactileAloha”系统也能进行适当的双手操作。通过应用视觉 - 触觉转换技术，物理人工智能机器人展现出更灵活、自适应的控制能力。

这种改进的物理人工智能方法，通过结合多种感官输入形成自适应、响应迅速的运动，可精确操纵物体，在实际应用中潜力无穷，有望让机器人助手无缝融入人类日常生活，为人类提供更多帮助。

更多信息： Ningquan Gu 等，《TactileAloha：利用触觉感知学习双手操作》，IEEE 机器人与自动化快报(2025)。