在人工智能与人体运动研究的交叉领域,日本东京理科大学计算机科学系教授小池秀树与日本索尼计算机科学研究所古谷真一博士领导的研究团队取得重要进展。他们开发出一种名为钢琴击键-姿态-肌肉网络(PianoKPM Net)的系统,该系统无需传感器,仅通过视频记录即可精确估算手部肌肉活动,为精细运动控制分析、康复策略优化及人机交互发展提供新途径。

传统上,追踪手部肌肉活动需依赖肌电图(EMG)传感器,但这些传感器价格昂贵、侵入性强且技术复杂。为解决这一难题,研究团队构建了全新的PianoKPM数据集,该数据集包含20位专业钢琴家演奏七项不同音乐任务的12.6小时同步数据,涵盖多视角视频、3D手部姿态、按键数据、音频及肌电信号。基于这一数据集,PianoKPM Net能够从视频数据中学习推断肌肉行为,结合手部姿势和击键信息,重建肌肉信号的时序和强度。小池秀树表示:“利用这个数据集,我们提出了PianoKPM Net,可以从姿态数据中推断高频肌电信号。”在与先进基线模型的对比测试中,PianoKPM Net在预测肌肉激活的幅度和时序方面均取得了更高准确率,展现了其强大的适应性和泛化能力。
PianoKPM Net的应用潜力广泛,不仅限于钢琴领域。在运动科学领域,该技术可追踪肌肉用力情况,提高训练精准度并预防损伤;在康复领域,它可监测恢复进度,为临床医生提供持续反馈;在人机交互领域,它有助于优化机器人辅助和基于手势的界面设计。研究团队计划将数据集和模型公开发布,以推动运动学习、具身智能和辅助机器人领域的研究,加速多个领域的发展。PianoKPM Net将视觉和生理学相结合,为研究精细运动控制提供了新方法,标志着在经济实惠的人工智能驱动熟练运动分析方面迈出了重要一步。















京公网安备 11010802043282号