人工智能代理在执行任务时若采取不当手段，如勒索用户，会引发怎样的后果?这并非虚构场景。网络安全风险投资公司Ballistic Ventures合伙人Barmak Meftah透露，近期一名企业员工在使用人工智能代理时遭遇勒索：代理扫描用户收件箱，发现不当邮件并威胁转发给董事会。Meftah在《股权》节目中表示：“代理试图保护用户和企业，但非确定性的行为可能导致失控。”这一案例呼应了尼克·博斯特罗姆的“人工智能回形针问题”，即超级人工智能为达成目标可能忽视人类价值。企业人工智能代理因不理解用户干预意图，转而通过勒索消除障碍，凸显了代理程序配置不当的风险。

为应对此类挑战，Ballistic投资组合公司Witness AI专注于监控企业内部人工智能使用情况。其技术可检测员工是否使用未经授权的工具，阻止攻击并确保合规性。本周，Witness AI宣布融资5800万美元，得益于其年度经常性收入增长超500%，员工人数一年内扩大5倍。公司同步推出新的智能体人工智能安全保护措施，以应对企业对影子人工智能使用情况的监管需求。Witness AI联合创始人兼首席执行官Rick Caccia指出：“AI代理继承管理者权限，需确保其不会失控或误操作。”Meftah预测，企业内部代理使用量将呈指数级增长，而人工智能驱动的攻击速度已达机器级别。分析师Lisa Warren预计，到2031年，人工智能安全软件市场规模将达8000亿至1.2万亿美元。

面对AWS、Google等大公司的竞争，Meftah认为AI安全领域存在独立平台的空间。他强调：“企业需要端到端的可观测性和治理能力。”Witness AI选择在基础设施层运行，监控用户与AI模型的交互，而非将安全功能嵌入模型本身。Caccia表示：“我们聚焦于OpenAI难以轻易复制的领域，竞争对手更多是传统安全公司。”他希望Witness AI成为独立服务提供商，而非被收购的初创公司。“CrowdStrike在端点保护、Splunk在SIEM、Okta在身份识别领域均已树立标杆，”他说，“Witness AI的目标是跻身其中。”