宾夕法尼亚州立大学研究团队结合视障群体建议与人工智能(AI)技术，开发出一款名为NaviSense的智能手机应用程序，旨在帮助视障人士实时感知物体位置。这款工具利用语音提示识别用户寻找的物品，并通过手机内置的音频和振动功能引导用户找到环境中的物体。与现有视觉辅助工具相比，NaviSense在用户体验上表现更佳。

该团队在10月26日至29日于丹佛举行的美国计算机协会SIGACCESS ASSETS '25会议上展示了NaviSense，并荣获最佳观众选择海报奖。NaviSense的详细信息已发表在第27届ACM SIGACCESS国际计算机与无障碍会议论文集中。据团队负责人维杰克里希南·纳拉亚南介绍，许多现有视觉辅助程序依赖面对面支持团队或预先加载物体模型，存在效率低下和隐私担忧等问题。NaviSense则集成了大型语言模型(LLM)和视觉语言模型(VLM)，能够实时学习周围环境并识别物体，无需预先加载模型，这被视为该技术的重要里程碑。

NaviSense项目首席学生研究员Ajay Narayanan Sridhar表示，开发前团队对视障人士进行了访谈，以根据用户需求调整功能。该工具能够根据语音指令搜索并过滤对象，提供对话式功能以缩小搜索范围。此外，NaviSense还能实时跟踪用户手部动作，提供物体相对于手部的位置反馈，这是市面上其他工具难以企及的。测试结果显示，NaviSense显著减少了用户寻找物体的时间，提高了识别准确性，且用户体验优于其他工具。

纳拉亚南表示，虽然NaviSense当前版本有效且易于使用，但仍有改进空间。团队正努力优化应用程序功耗，提高LLM和VLM的效率，以推动其商业化应用。

更多信息： Ajay Narayanan Sridhar 等人，《NaviSense：一款面向视障人士的多模态辅助移动应用，用于物体检索》，第 27 届国际 ACM SIGACCESS 计算机与无障碍会议论文集(2025)。