美国橡树岭国家实验室CAISER研发Photon框架,实现AI漏洞发现规模化
2026-03-29 15:06
来源:橡树岭国家实验室
收藏

美国橡树岭国家实验室的人工智能安全研究中心开发了名为Photon的框架,旨在以百亿亿次规模快速检测人工智能模型的漏洞。这项技术有助于确保AI系统在面对攻击时保持安全和稳定,为能源、医疗、金融等关键领域的模型部署提供保护。

Photon框架实现AI漏洞发现规模化

Photon框架基于实验室原有的DeepHyper技术重新设计,原本用于训练大型神经网络寻找最优参数,现在反转目的,用于检测针对AI模型的恶意活动。CAISER主任Edmon Begoli表示:“这听起来可能有些巧妙,但效果非常好。Photon加速了设计和开发过程,并重用了探索和利用漏洞的最有效方法。”

该框架首先应用公开已知的攻击针对目标模型,然后利用发现的漏洞改进攻击,同时探索新弱点,形成循环直到模型性能不再下降。通过异步、去中心化的执行方式,Photon能高效探索大型超参数空间,每个攻击代理实时协调发现,最大化利用弱点。

Photon框架的测试速度和效率得益于橡树岭国家实验室的Frontier超级计算机,其并行运行能力使其区别于其他AI漏洞检测方法。例如,在Frontier节点上,Photon每小时可执行6万个“越狱”提示,旨在解锁AI系统中的受限行为,而人类模拟对手团队可能需要数年才能达到类似结果。

这种方法显著减少了传统测试的辅助任务和瓶颈,在Frontier的1920个GPU上保持超过95%的资源利用率。ORNL工程师Jack Hutchins指出:“在这种规模下运行,保持95%的利用率非常高。”DeepHyper的探索策略优先考虑影响大的参数,确保覆盖整个空间,从而检测明显和细微的漏洞。

在AI集成驱动全球关键操作的背景下,Photon框架不仅揭示了AI模型可能存在的漏洞,还提供了快速修复途径,保护关键任务系统的性能。Begoli总结道:“Photon代表了处理AI安全方式的转变。通过协调的大规模实验,我们能更高效地发现隐藏漏洞,确保AI创新不引入安全风险。”

本简讯来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告之,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com