澳大利亚弗林德斯大学的一项研究显示，结合视觉功能的人工智能医疗记录助手能够显著提升患者病历的准确性，并为临床医生节省时间。这项发表在《npj Digital Medicine》期刊上的研究发现，当AI记录助手配备视觉记录装置时，其性能可得到进一步优化。

研究人员采用谷歌Gemini模型与Ray-Ban Meta智能眼镜相结合的AI视觉记录助手，在药师与患者的咨询场景中进行了测试。结果表明，这种系统减少了临床记录中的错误和遗漏，文档准确性得到提高。

研究作者、弗林德斯大学医学与公共卫生学院的学术药师布拉德利·门茨表示：“AI记录助手已经通过听取咨询来帮助临床医生，但医疗保健远不止口头交流。大量临床重要信息是视觉性的，包括药瓶、处方和设备。当AI系统能够同时处理听到和看到的信息时，它能捕捉更多对患者护理至关重要的细节。”

在实验中，10名临床药师进行了110次模拟用药史访谈，涉及100多种不同药瓶。研究人员使用Meta AI Ray-Ban眼镜记录访谈视频，并由基于谷歌Gemini模型的AI记录助手进行分析。结果显示，分析视频和音频的AI记录助手准确率达到98%，而仅处理音频时准确率为81%。在捕捉药物强度和剂型等关键细节方面，具备视频输入的AI记录助手成功率为97%，仅音频记录则降至28%。

门茨先生强调：“这是一个增强工具，而非临床判断的替代品。临床医生仍然需要审查并签署文件。AI记录助手可以包含验证步骤，如拍摄药物包装截图并生成完整转录，为医疗专业人员检查AI生成内容提供依据。”

资深作者、副教授阿什利·霍普金斯指出：“AI记录助手减轻了文档负担，让临床医生有更多时间与患者相处。这些发现表明，当记录助手既能看又能听时，会产生更准确、更完整的草稿，从而减少编辑时间，增加专注于患者护理的时间。”研究还提到，随着AI视觉记录助手的发展，隐私、数据安全和工作流整合等问题需要进一步解决。这项研究可能为医疗保健领域AI应用的下一阶段指明方向。

出版详情：作者：Flinders University；标题：《The next leap for AI scribes provides eyes in the clinic》；发表于：《npj Digital Medicine》(2026)。