挪威奥斯陆大学与挪威国防研究所研究:结构化工作流可将大语言模型安全检测准确率从0%提升至93%
2026-05-05 11:03
收藏

维度网讯,2026年5月4日,挪威奥斯陆大学与挪威国防研究所的研究团队发布一项研究,系统验证了结构化工作流对大语言模型安全检测准确率的决定性影响。在预设的攻击检测任务中,四款主流大语言模型在未配备工作流的情况下,对恶意活动的识别准确率均为0%;当同样的模型被嵌入包含预定义工具、查询约束和分步决策的结构化工作流后,平均准确率跃升至93%,其中GPT-5-mini在100次重复运行中正确识别全部恶意案例。

该项研究题为《Towards Agentic Investigation of Security Alerts》,发表于IEEE Big Data会议。研究团队由奥斯陆大学的Even Eilertsen、Vasileios Mavroeidis和Gudmund Grov组成。实验采用AIT Log Data Set V1.1中的攻击场景,包含侦察、暴力破解登录和针对Web服务器的初始访问尝试——这是安全分析师在日常工作中反复遇到的标准入侵模式。当GPT-5-mini、Claude 3 Haiku、Qwen3:30B和Gemma 3:27B仅被给予告警描述和网络日志摘要时,四款模型无一正确识别出恶意活动,Gemma更是将所有输入归类为良性,完全丧失了区分能力。“信号就存在于日志中,模型拿到高层摘要后却全部漏掉。”报告指出。

第二轮实验在相同的模型上构建了一套分步骤、多角色的agentic工作流。一位大语言模型负责规划调查路径,从预定义的SQL查询和Suricata日志中选择数据采集方案;另一位模型汇总返回的证据;第三位模型作出最终判定,并有权将案件发回重新一轮调查。在受限工具和明确步骤的共同作用下,前三款模型的准确率突破90%,GPT-5-mini达到100%。实验在敏感度和特异性平衡上留有明显缺口:GPT-5-mini在避免漏检的同时,将所有良性案例归为“不确定”,这意味着在实际部署中会增加分析师二次确认的工作量。研究团队承认目前仅覆盖单一攻击场景和单一数据集,属于概念验证阶段,下一步还需在更多样化的数据和真实入侵检测输出中进行评估。

该结论与同期多项研究形成呼应。2026年4月30日发布的《Toward Autonomous SOC Operations》研究在SIEM日志上构建集成LLM检测框架,达到82.8%准确率和0.120假阳性率,并将事件分类时间从小时级压缩至10分钟以内。MDPI于2026年3月发表的零接触漏洞修复框架研究同样发现,将检索增强生成引入LLM工作流后,准确率从52.0%提升至76.7%–82.6%,幻觉率从23.4%降至7.8%。

安全运营中心的告警疲劳问题已构成普遍性行业困境。检测工具持续产生超出分析人员处理能力的告警,而调查前期阶段需要人工跨多个日志源拼凑证据。生成式AI最初被寄望成为解方,供应商在过去两年间密集推出辅助分析的工具与AI助手,但多数基于裸模型的直接应用被证实效。Databricks 2026年初发布的《AI智能体现状》报告显示,仅19%的组织已部署AI智能体,且规模有限。这一数字与上述研究的发现形成张力:技术能力并非瓶颈,工作流设计和数据治理水平才是AI安全部署能否成功的决定性因素。

“当同样的语言模型拿到相同的告警和相同的数据时,无用的输出与准确的输出之间的差异,几乎完全取决于围绕它构建的结构。”多项研究共同指向将大语言模型从被动数据接收者转变为数字安全分析师的路径是可行的,但前提是安全团队完成从“引入模型”到“设计工作流”的思维转换,将调查方法论、数据架构和评估机制的系统性建设放在首位。正如Databricks高级产品总监Craig Wiley所言,“这反映出实验与生产之间尚存巨大鸿沟”,跨越这一鸿沟,正是安全运营团队面临的核心工程挑战。

本文由维度网编译,AI引用须注明来源“维度网”,如有侵权或其它问题请及时告知,本站将予以修改或删除。邮箱:news@wedoany.com