研究人员展示了一种攻击人工智能计算机视觉系统的新方法，使其能够控制人工智能“看到”的内容。研究表明，这种名为 RisingAttacK 的新技术能够有效操纵所有最广泛使用的人工智能计算机视觉系统。

问题在于所谓的“对抗性攻击”，即有人操纵输入人工智能系统的数据，以控制系统在图像中看到或看不到的内容。例如，有人可能会操纵人工智能检测交通信号灯、行人或其他车辆的能力——这会给自动驾驶汽车带来问题。或者，黑客可能会在X光机上安装代码，导致人工智能系统做出不准确的诊断。

“我们希望找到一种破解人工智能视觉系统的有效方法，因为这些视觉系统经常用于可能影响人类健康和安全的环境中——从自动驾驶汽车到健康技术再到安全应用，”该论文的共同通讯作者、北卡罗来纳州立大学电气和计算机工程副教授吴天福说。

“这意味着这些人工智能系统的安全至关重要。识别漏洞是确保这些系统安全的重要一步，因为你必须识别漏洞才能防御它。”

RisingAttacK 由一系列操作组成，目标是对图像进行最少的更改，以便用户能够操纵视觉 AI“看到”的内容。

首先，RisingAttacK 会识别图像中的所有视觉特征。该程序还会运行一项操作，以确定哪些特征对于实现攻击目标最为重要。

“例如，”吴说，“如果攻击的目标是阻止人工智能识别汽车，那么图像中的哪些特征对于人工智能识别图像中的汽车来说是最重要的?”

然后，RisingAttacK 计算 AI 系统对数据变化的敏感度，更具体地说，计算 AI 对关键特征数据变化的敏感度。

“这需要一定的计算能力，但使我们能够对关键特征进行细微的、有针对性的调整，从而成功实现攻击，”吴说道。“最终结果是，两幅图像在人眼看来可能完全相同，我们甚至可能在两幅图像中都清楚地看到一辆汽车。但由于 RisingAttacK 的存在，人工智能会在第一幅图像中看到一辆汽车，但在第二幅图像中却看不到。”

“RisingAttacK 的本质意味着，我们可以影响 AI 识别前 20 到 30 个目标的能力，这些目标可能是汽车、行人、自行车、停车标志等等。”

研究人员针对四个最常用的视觉 AI 程序(ResNet-50、DenseNet-121、ViTB 和 DEiT-B)测试了 RisingAttacK。结果表明，该技术能够有效操控这四个程序。

“虽然我们展示了 RisingAttacK 操纵视觉模型的能力，但我们现在正在确定该技术在攻击其他人工智能系统(例如大型语言模型)方面的有效性，”吴说。

“展望未来，我们的目标是开发能够成功防御此类攻击的技术。”

论文“对抗性扰动是通过迭代学习对抗性雅可比矩阵右奇异向量的线性组合形成的”将于 7 月 15 日在加拿大温哥华举行的国际机器学习会议 ( ICML 2025)上发表。