近期,麻省理工学院与多家学术机构联合发布了一项针对30种主流代理AI系统的调查报告。研究指出,代理AI技术目前面临透明度不足、监管缺失与潜在安全风险等关键问题,开发者需承担更多责任以提升系统可控性。

报告显示,代理AI系统在披露信息方面存在显著缺陷。例如,许多企业代理缺乏对个体执行痕迹的监控,约40%的代理未提供使用监控或仅在用户达到速率限制时发出通知。剑桥大学主要作者Leon Staufer及其合作者写道:“我们识别出在报告代理系统的生态系统和安全相关功能方面存在持续的限制。”此外,多数代理默认情况下不会向最终用户或第三方披露其AI性质,导致难以区分人类与机器人交互。
代理AI技术作为机器学习的一个分支,旨在增强大型语言模型和聊天机器人的能力,通过连接外部资源并授予自主性以执行复杂任务。然而,研究发现,代理AI的透明度问题可能随着技术发展而加剧。Staufer团队表示:“随着代理能力的增强,这里记录的治理挑战将变得更加重要。”他们举例指出,阿里巴巴的MobileAgent、HubSpot的Breeze等工具缺乏文档化的停止选项,可能给大型组织带来控制难题。
针对报告内容,部分公司做出了回应。Perplexity发言人通过电子邮件称报告“包含重大事实错误”,并正在与研究人员合作更正。OpenAI则指出其Atlas浏览器代理功能仍处预览阶段并带有风险,表示已进行第三方红队测试和主动监控。IBM逐点反驳了研究断言,强调其提供了详细的公共文档以支持代理产品的可治理性。
总体而言,麻省理工研究强调代理AI技术需在透明度与监管方面加强改进。开发者应主动记录软件、审计安全程序并提供控制措施,以应对潜在风险并避免未来监管压力。代理AI作为人类创建的工具,其安全性和可控性直接取决于开发团队的选择与行动。









