编译 | Rik R 藤子
来源 | BBC Future
现在是 2022 年，你坐着一辆自动驾驶汽车穿梭在城市中。汽车驶过一个此前经过无数次的停车标识牌，但这一次，它爆胎了。
对你来说，这个标识牌看起来没什么不同，但汽车却不这么认为。几分钟前，不知是谁在标识牌上贴了一张小标签，上面写着：人眼看不到，技术躲不过。
换句话说，这张小贴纸足以让自动驾驶汽车把停车标识看成完全不同的物体。
这个故事听起来有些牵强。但是越来越多的研究表明，人工智能多多少少都会被这类方式糊弄。随着机器学习算法日益参与到我们的交通、金融和医疗保健系统中，计算机科学家希望在坏人下手之前找出防御「敌对」攻击的方法。
我们的日常生活越来越离不开人工智能，从自动驾驶汽车到自动家用电器（图：Getty Images）
在这种情况下，机器会把熊猫看成长臂猿，或把校车当做鸵鸟
「人们对机器学习和人工智能的关注度越来越高，主要是由于这些算法的使用频率日益增长。」俄勒冈大学计算机与信息科学助理教授 Daniel Lowd 说道。「收到垃圾邮件或者发送邮件失败并不是世界末日。而如果你依赖于自动驾驶汽车的视觉系统来确保行驶方向和避障安全的话，那就赌得太大了。」
一个智能机器会发生故障或遭受黑客攻击，是因为机器学习算法以不同的方式「看」世界。通过这种方式，机器可能会把熊猫看成长臂猿，或把校车当做鸵鸟。
来自法国和瑞士的研究人员在一个实验中展示了这种干扰对计算机的影响：错把松鼠当作灰狐，或将咖啡杯看成金刚鹦鹉。
怎么会这样？试想一个正在学习识数的儿童，在他依次观察每个数字时，会开始发现一些共同特征：1 都是细长型的，6 和 9 包含一个大环而 8 有两个环，等等。一旦看到足够多的例子，他们就可以快速识别出新数字，比如 4、8、3。即使这些数字因为是手写的，或者字体不同，看起来不像之前见过的 4、8、3，他们也能识别。
机器学习算法以类似的过程阅读世界。科学家会给机器成千上万个例子（通常是标注）用于检测。机器通过这种方式筛选数据——这是数字、这不是数字、这是数字、这不是数字——挑选这些数据的特征，以找出答案。很快，它就可以看着图片并精确地说出：「这是 5！」
通过这种方式，儿童和机器能够学习大量的对象，从数字到猫咪、船，再到人脸。
但是机器不会像儿童那样注意到更复杂的细节，比如猫咪毛茸茸的耳朵或者数字 4 的独特拐角。它不会做全局考量。
相反，它可能会查看图片中的各个像素——并以最快方式辨别对象。如果大多数的数字 1 都在某个特定点上有一个黑像素、在其它特定点上有几个白色像素，那么机器会在仅检查少数几个像素后就做出决定。
现在再看那个停车标识牌的例子。对图像像素做一个细微的调整——或专家们所说的「干扰」——计算机就会被愚弄，将停车标识识别为其他事物。
如果系统存在这种漏洞，就会遭人利用
怀俄明大学和康奈尔大学演化人工智能实验室也做了类似研究，他们制造了大量的光学错象来测试人工智能。这些带有抽象图形和色彩的迷幻图像对人类来说问题不大，却会被计算机迅速认作蛇或步枪。这表明了人工智能会如何看待事物，以及如何在某些问题上错得离谱。
这种弱点在所有类型的机器学习算法中都很常见。「人们会期望每个有缺陷的算法都能有一层防护措施。」范德堡大学计算机科学与计算机工程助理教授 Yevgeniy Vorobeychik 说。「我们生活在一个非常复杂的多维世界中，而算法本质上只专注于其中一个较小的部分。」
Voyobeychik「非常确信」有人会利用算法的弱点。也许已经有人这么做了。
比如垃圾邮件过滤器，这种自动程序可以清除任何可疑的电子邮件。而垃圾邮件发送者可以通过调整单词拼写（比如 Viagra 改成 Vi@gra）来进行反过滤，或是添加一系列常现于正规邮件中的措辞：比如某算法将「glad」、「me」或「yup」等词标记为「good words」。同时，垃圾邮件发送者还可以选择取缔一些垃圾邮件的常用字，比如「claim」、「mobile」或「won」。
算法的弱点会给肇事者提供哪些可乘之机呢？该领域的专家提出的一个经典场景就是停车标识牌上的贴纸对自动驾驶汽车的干扰。肇事数据可能会帮助色情内容逃脱监管、试图提高支票数额，或调整恶意软件代码，令数字安全系统放松对未检测内容的管控。
如果肇事者们获得了某个机器学习算法的副本，他们就可以知道如何建立敌对数据来戏弄该算法。但是这种做法未免大动干戈。黑客们只需强行进攻，朝目标随便扔一个稍作修饰的电子邮件或图像，一发命中即可。随着时间的推移，这套程序甚至可以用来生成一个全新的模型，它能够了解目标算法对于安全数据的界定标准，以及如何生成相应的敌对数据。
自动驾驶汽车与外科手术机器人投入巨大，现代化机器容不下半点儿错误（图：Getty Images）
「机器学习系统自诞生之日起就一直受制于人为操纵，」宾夕法尼亚大学计算机科学与工程系教授 Patrick McDaniel 说道，「黑客防不胜防。」
巧钻漏洞者并不仅限于肇事群体。如果你想避开现代技术的监控，那么对抗性方法可能会派上用场。
「如果你是某个专制政权中的一位持不同政见者，想开展活动而又不想被盯上，那么你可以积极利用自动监控技术背后的机器学习算法的弱点，」Lowd 说。
在十月出版的一篇研究报告中，卡内基梅隆大学的研究人员制作了一副眼镜，它可以巧妙地误导面部识别系统——令计算机把女演员 Reese Witherspoon 错当成 Russell Crowe。这听起来很滑稽，但对于那些不顾一切逃避权力审查的人来说，此类技术正合适。
McDaniel 建议尽量保留部分人力审查，提供一些外部验证程序
同时，算法该怎么做呢？「彻底避免被攻击的唯一方法是建立一个永远完美的模型，」Lowd 说。即使我们能够建造出超越人类的人工智能，这个世界仍旧迷雾重重，正确答案并非显而易见。
机器学习算法的好坏通常在于精度。99% 的辨识正确率显然好过十分之六的命中率。但是现在一些专家认为，还应该将算法的攻击应对能力考虑在内：防御能力越强越好。
另一个解决方案是模拟黑客来创建自己的攻击示例，将其输入机器学习算法以提前防备。这可以帮助提高模型的弹性——当然前提是测试示例要能匹配实战攻击。
McDaniel 建议尽量保留部分人力审查，提供一些核实算法正确性的外部程序。某些「智能助理」（比如 Facebook 的 M）需要人工进行双重检查并优化答案；某些应用程序涉及到一些敏感问题（比如法院裁决），人工检查可以提供帮助。
「机器学习系统是一种推理工具。我们需要对其输入数据及输出结果保持智慧和理性，」他说。「而不应该将其视为普世真理。」
文章来源：http://www.bbc.com/future/story/20170410-how-to-fool-artificial-intelligence?ocid=global_future_rss&ref=quuu&utm_content=bufferb7108&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer
