根据政府采购文件，美国政府情报研究机构 IARPA 正在寻找有关如何检测人工智能「特洛伊木马」攻击的想法。这是该机构想要解决的问题：在简单的层面上，现代图像识别 AI 通过分析对象的许多图像来学习。如果你想训练一种算法来检测道路标志的图片，你必须提供来自不同角度的不同标志的图片。该算法学习图像的像素之间的关系，以及停止标志的结构和模式如何与限速标志的结构和模式不同。但是假设在 AI 训练阶段，对手将一些额外的图像（特洛伊木马）滑入你的速度限制标志探测器，其中显示了带有粘滞便笺的停止标志。现在，如果对手想要欺骗你的 AI 在现实世界中认为停止标志是一个速度限制标志，它只需要在上面贴一个便利贴。想象一下在自动驾驶汽车的世界里;这可能是一场噩梦般的场景。IARPA（智能高级研究项目活动）希望的工具类型能够在训练算法识别图像中的不同对象后检测问题或异常。