美国斯坦福大学与Rad Partners的研究团队近日开发出一套用于评估放射学人工智能模型的实用框架，旨在帮助医疗机构在购买和部署AI技术前做出更明智的决策。该研究成果已发表于《美国放射学杂志》。

放射学AI模型在临床应用中的实际表现往往与预期存在差距，这给预测模型的临床价值带来了挑战。为应对这一问题，研究团队设计了一种结构化的部署前评估方法。

主要作者、斯坦福大学放射学教授David B. Larson博士及其同事表示：“所提出的方法为放射学实践在评估放射学AI模型时，基于证据的购买和部署决策提供了一个实用的指导框架。”

在2022年至2024年期间，Rad Partners对一家供应商的13个AI模型组合进行了部署前评估。一个由四名放射科医生组成的工作小组制定了一份临床AI价值属性清单，并为每个属性分配权重，基于此对模型进行评级。

研究团队评估了在不同临床地点进行的近89,000次检查中放射科医生和AI的表现，使用了传统指标和针对“增强检测案例”的增强指标。工作小组结合任务价值并汇总AI表现，以预测模型的价值。

他们确定了三个对AI模型固有价值贡献最大的属性：任务的繁琐程度、放射科医生可能忽略发现的概率以及遗漏的临床影响。根据这一系统，五项任务被评为高固有价值，五项为中等，两项为低价值。