在人工智能(AI)与大型语言模型(LLM)不断发展的当下，如何合理利用其优势辅助人类工作成为研究热点。新加坡管理大学(SMU)计算机科学副教授克里斯托夫·特鲁德(Christoph Treude)参与的团队，聚焦于LLM在软件工程工件标注方面的潜在作用，展开深入探索。软件工程中的标注工作，需在无法用简单指标判断质量或含义时，为工件分配预定义标签，如判断代码摘要是否准确等，这些带注释的数据对研究评估工具、分析开发人员行为等意义重大，但手动标注既费时又费力。

特鲁德教授团队考察了先前研究中的10个案例，发现对于低上下文、演绎推理任务，LLM可代替一人进行标注，节省人力且不降低可靠性;而高上下文任务，LLM则不可靠。研究比较了不同LLM，如GPT-4、Claude 3.5和Gemini 1.5，发现更新、更强大的模型一致性略高，但主要信号是模型间一致性，当多个能力较强的模型独立达成一致时，任务可能适合自动化。在LLM标注前，研究人员提供“少样本”提示作为简短训练示例，帮助模型学习标注风格、提高一致性。

特鲁德教授指出，LLM适合低上下文、演绎式标注及有清晰预定义类别的任务，如检查变量名与值是否匹配;但难以处理高语境任务，如判断错误报告是否真正解决。研究还引入模型间一致性和模型置信度两个预测因子，构成判断LLM辅助时机的两步工作流程。不过，研究存在局限性，仅聚焦于标注的狭窄领域，未涉及开放式解释性分析等。团队计划下一步研究标注类别未预先定义等情况，探索其他软件工程任务。

更多信息： Toufique Ahmed 等人，《LLM 能否取代软件工程工件的手动标注?》，2025 年 IEEE/ACM 第 22 届软件仓库挖掘国际会议 (MSR) (2025)。