来自加州大学尔湾分校、字节跳动和美国东北大学的研究者，首次在物理世界对抗性攻击下对最先进的基于 DNN 的 ALC（自动车道居中辅助） 系统在其「运行设计域（即具有完整车道线的道路）」中进行了安全分析。这项研究正式发表在 USENIX Security 2021 上。
该研究团队是来自加州大学尔湾分校（UC Irvine）的一个专攻自动驾驶和智能交通的安全研究团队。这项研究在 8 月 13 日正式发表在 USENIX Security 2021（计算机安全四大顶会之一）。之前他们这个工作的早期版本获得了 NDSS 2020（计算机安全四大顶会之一）Best Technical Poster Award。这项工作研究了「产品级 L2 自动驾驶系统中的自动车道居中辅助系统（ALC，Automated Lane Centering）」的安全。L2 自动驾驶车通常利用深度神经网络（DNN）的车道检测来实现 ALC。由于 DNN 模型对对抗性样本攻击的脆弱性已被广泛报道，该研究首次在物理世界对抗性样本攻击下对最先进的基于 DNN 的 ALC 系统在其「运行设计域（即具有完整车道线的道路）」中进行了安全分析。研究发现，DNN 模型层面的漏洞可以导致整个 ALC 系统层面的攻击效果。研究人员设计了脏路补丁（DRP）攻击，即通过在车道上部署「添加了对抗样本攻击生成的路面污渍图案的道路补丁」便可误导 OpenPilot （开源的产品级驾驶员辅助系统） ALC 系统，并使车辆在 1 秒内就偏离其行驶车道，远低于驾驶员的平均接管反应时间（2.5 秒），造成严重交通危害。ALC 是一种 L2 自动驾驶技术，可自动控制车辆方向盘以使其保持在车道中心。由于其提供的高度便利性，现如今它被广泛应用于各种车型中，例如特斯拉、通用凯迪拉克、本田雅阁、丰田 RAV4、沃尔沃 XC90 等。尽管方便，但 ALC 系统需要具有较高的安全性：当 ALC 系统做出错误的转向决策时，人类驾驶员可能没有足够的反应时间来防止即将发生的安全隐患，例如开出路面或与相邻车道上的车辆相撞。因此，了解 ALC 系统的安全属性势在必行。在 ALC 系统中，最关键的一步是车道线检测，它通常由基于深度神经网络（DNN）的车道线检测模型来实现。最近很多研究表明，DNN 容易受到物理世界对抗性攻击，例如在交通标志上贴恶意贴纸。然而，由于两个主要的设计挑战，这些方法不能直接应用于攻击 ALC 系统。在 ALC 系统中，由于车辆行驶轨迹受攻击影响，相机的视角会逐渐向左或向右偏移，捕捉不同的道路区域。所以在攻击生成的过程中需要考虑相机图片中每帧之间的相互依赖性。
先前研究中的攻击优化目标函数主要针对图像分类或目标检测模型，并不能直接应用到车道线检测的这类回归模型上。
为了填补这一关键的研究空白，在这项工作中，该研究首次在物理世界对抗性攻击下对最先进的基于 DNN 的 ALC 系统在其「运行设计域（即具有完整车道线的道路）」中进行了安全分析。
论文地址：https://arxiv.org/pdf/2009.06701.pdf研究者用一个新颖的领域特定的攻击向量：「脏路补丁（DRP，Dirty Road Patches）」（如图 1 所示）。
图 1：易于部署的路面补丁和现实生活中常见的路面污渍图案该研究之所以选择脏路补丁是因为现实生活中这类路面污渍非常普遍，如果攻击生成的脏路补丁类似此类路面污渍，就会较难引起人类驾驶员注意，从而让攻击更加隐蔽。图 2 是在加州尔湾市附近收集到的一些路面污渍图片。
为了系统地生成脏路补丁，该研究采用基于优化的方法并克服上述设计挑战。图 3 展示了 DRP 攻击生成脏路补丁的流程。为了实现更高的隐蔽性和易部署性，该研究还在脏路补丁生成过程中添加多种限制，包括（1）限制路面污渍图案为灰度图案，（2）限制亮度，（3）保证车道本身的道路线不被改变，（4）限制路面污渍图案区域等。
为了了解 DRP 攻击在物理世界中的可实现性和严重性，该研究在一个微缩测试场景中放置了打印的脏路补丁，并用 OpenPilot 官方设备（EON）进行评估（图 4）。研究人员发现 DRP 攻击可以导致 OpenPilot 的道路线检测严重出错，例如图 4 中，添加了脏路补丁后，车道线会非常明显地偏向左边，而正常道路下检测出来的车道线和真实车道线重合度非常高。为了验证 DRP 攻击的鲁棒性，该研究还测试了 27 种不同驶入角度和横向偏移的组合，结果发现 DRP 攻击仍能保持非常高（>=95%）的攻击成功率。
图 4：微缩测试场景和结果（攻击演示视频：https://youtu.be/4BXJsXcJXjE）为了了解针对 L2 自动驾驶系统端到端的安全影响，该研究使用产品级的自动驾驶模拟器 LGSVL 进一步评估 DRP 攻击（图 5）。在 100 次运行中，该研究的脏路补丁对部署了 OpenPilot 的自动驾驶车造成 100% 的车辆碰撞率。相比之下，正常道路的碰撞率为 0%。
图 5：仿真验证结果（攻击演示视频：https://youtu.be/UFTRMMu1YxU）为了了解现有的车辆主动安全技术对 DRP 攻击的影响，如图 6 所示，该研究将攻击数据（即受攻击时的道路线检测结果）直接注入到部署了 OpenPilot 的真车（2019 年款丰田凯美瑞）上，测试车辆受攻击情况下能否真正偏出车道并撞上障碍物（纸箱）。尽管该车本身自带车道偏移预警（LDW），自动紧急刹车（AEB）和前方碰撞预警（FCW）等主动安全技术，在 10 次试验中研究发现 DRP 攻击可以造成 100% 的碰撞率，并且 LDW 从未被触发。其中，FCW 被触发了 5 次，但是由于 FCW 只起到预警作用，并未能防止碰撞的发生。另外 FCW 的平均触发时间是在碰撞发生前 0.46 秒，相比于人类驾驶员的 2.5 秒平均反应时间，绝大部分驾驶员就算想要接管车辆也太晚了。
图 6：基于注入攻击数据的真车碰撞试验（演示视频：https://youtu.be/zQ8eb4g8Afw）在论文中，该研究还探讨可能的防御措施，比如基于 DNN 对抗样本攻击的防御措施和基于传感器 / 数据融合的防御措施。该研究评估了 DRP 在五种常见的防御 DNN 对抗样本攻击方法下的有效性，比如添加高斯噪声、JPEG 的压缩等等，但发现由于这些防御都是针对像素级别人眼不可见的 DNN 攻击的，他们对于物理世界模仿自然污渍的攻击并不奏效。对于基于传感器 / 数据融合的防御措施，主要问题是成本太高且难以扩展，比较难在短期内部署。由于需要更多的研究来实现这样的防御措施，该研究提出了短期缓解措施：研究者建议至少应该把路面污渍和脏路补丁放到 ALC 系统现阶段不可处理的场景列表中。他们检查了 11 家公司的 ALC 手册（例如特斯拉、通用 Cruise、OpenPilot、本田 Sensing 和丰田 LTA），目前没有一家公司在他们不可处理的场景列表中列出路面污渍或脏路补丁。该研究认为，这种明确在手册中提及的方法至少可以有助于用户提前认识到风险，从而更可能主动观察去避免遭到 DRP 攻击。（以下是我们整理的最常被问到的问题，此外项目网站上还有更多 Q&A）Q：DRP 攻击仅针对 OpenPilot ALC 吗？
A：并不是。我们认为我们的研究成果可以帮助提高大家对于目前产品级 ALC 系统安全性的理解。此外，由于 DNN 通常被认为易受对抗性攻击，如果其他厂商的 ALC 系统也采用基于 DNN 的设计，至少在设计层面它们也会受 DRP 攻击影响。Q: 攻击者能否直接在路面上画假的车道线来实现相同的攻击效果？
A: 基于车道线检测的本质，在道路上画一条线确实可以成为有效的攻击方式。但是，驾驶员可以很容易地识别这类绘制的车道线并立即接管驾驶。此外，该研究的实验过程中将这类直接画车道线的攻击手段作为对比，发现 DRP 攻击的攻击成功率远高于这类攻击手段（比如同样情况下 DRP 成功率是 82.5% 时该攻击手段只有 13.75% 成功率），详见论文的第 5.2 节。A：正如我们研究中发现，目前还没有一种基于模型的防御手段能够有效防御 DRP 攻击而不降低 ALC 在正常驾驶场景中的性能。其他可能的防御手段还包括类似 L4 自动驾驶系统所使用的多传感器融合。但目前激光雷达对于 L2 自动驾驶车辆的商用来说仍然太贵。此外，车道线检测与地图数据的融合也是比较有希望的防御手段。但是，目前 L2 自动驾驶系统的定位无法实现像 L4 一样的厘米级定位精度。因此，一个后续研究问题是如何有效地检测 DRP 攻击而不造成太多误报。Q：我们有对无人车公司进行漏洞报告吗？他们是怎么答复的？
A：我们于 2020 年 8 月向 13 家正在研发 ALC 系统的公司进行了第一轮漏洞报告。这个过程中，我们把该漏洞的攻击方式和可能的防御手段详细告知了每家公司。其中 10 家公司回复说他们已经开始着手调查该漏洞，有些公司已经与我们开会以实施该调查。我们目前正在跟进这些公司的最新评估结果。本次研究作者团队来自加州大学尔湾分校、字节跳动和美国东北大学，一共 6 名研究人员。其中两位共同第一作者 Takami Sato 和 Junjie Shen。三作 Ningfei Wang 和 Qi Alfred Chen 教授均来自加州大学尔湾分校，Yunhan Jack Jia 研究员任职于字节跳动，Xue Lin 教授任职于美国东北大学。https://sites.google.com/view/cav-sec/drp-attack USENIX Security 文章页面：https://www.usenix.org/conference/usenixsecurity21/presentation/sato 演讲视频：https://drive.google.com/file/d/1VXQkyU1BTZdDGqmSZjsJ4VMdWNqYmwEG/view?usp=sharing PPT地址：https://drive.google.com/file/d/1dQWcbFVQ4v2YSEpc_OXAM4Oqtz-zIlNr/view?usp=sharing 
