维度网讯，美国微软5月20日宣布开源RAMPART和Clarity两款工具，面向AI代理开发过程中的安全测试与设计审查。微软将这两款工具定位为工程团队可直接使用的开源项目，目标是让AI安全从阶段性评审变成贯穿开发生命周期的工程流程。

微软提出，企业正在部署的AI系统已经不再只是回答问题，而是开始访问电子邮件、检索客户关系管理记录、编写和执行代码，并代表用户在多个连接系统中采取行动。这个变化使AI代理的安全问题从“生成内容是否准确”转向“系统是否会执行不该执行的动作”。RAMPART和Clarity正是围绕这一变化推出：前者把对抗性场景和正常场景写成可重复运行的测试，用于持续集成流程;后者帮助产品经理、架构师和工程师在写代码前审查产品假设、问题定义、方案选择和潜在失败模式。

RAMPART面向AI代理的持续安全测试。微软介绍，该工具建立在PyRIT之上，采用pytest原生测试方式，工程团队可把来自威胁模型、红队测试和线上AI事件的场景写成标准测试，并在代码变更时自动运行。

这类测试与传统软件测试的差异，集中体现在AI代理的概率行为和间接攻击面。RAMPART当前较成熟的覆盖方向是跨提示注入攻击，即AI代理在处理文档、邮件、工单或其他数据源时，可能被其中隐藏的恶意内容间接操纵行为。微软还为RAMPART设计了统计试运行能力，同一测试可以多次执行，并设定“至少80%运行结果安全”等策略，避免只依赖单次测试判断。对企业AI代理而言，安全评估不能只看模型回答，还要检查它调用了哪些工具、产生了哪些副作用、动作是否仍在预期边界内;RAMPART的评估器可组合使用，帮助团队把红队发现转化为长期回归测试，而不是停留在一次性报告里。

Clarity的重点不在测试执行，而在设计前置审查。该工具可作为桌面应用、网页界面或嵌入式编码代理运行，引导团队围绕问题澄清、方案探索、失败分析和决策记录展开结构化讨论，并把结果写入代码仓库中的.clarity-protocol/目录，以可读的Markdown文件形式进行提交、评审和版本对比。

Clarity的价值在于让团队在开发早期识别“是不是正在做正确的事情”。微软给出的思路是，很多高成本安全问题并非来自后期攻击，而是来自早期没有被追问清楚的产品假设，例如AI代理是否应该访问某类工具、是否应该处理某条用户流程、是否存在难以接受的失败后果。Clarity会从安全、人因、对抗场景和运营等角度独立分析系统风险，再把问题陈述、方案依据、失败链条和关键决策沉淀为可复查的工程文档。相关文档形成依赖关系后，问题定义发生变化，工具还会提示团队重新检查方案和失败分析是否过期。

美国微软开源RAMPART和Clarity，说明AI代理安全正在从事后红队评估转向开发流程内嵌控制。随着AI代理接入邮件、业务系统、代码执行环境和企业数据源，安全边界不再只由模型本身决定，而取决于设计假设、工具权限、测试覆盖、故障复现和工程团队能否持续验证修复结果。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com