2022/07/14 16:38

张倩编辑

为自动驾驶汽车创造「记忆」，上交校友、康奈尔大学博士生两篇论文被CVPR 2022收录

人经常走一条路能走熟，自动驾驶汽车也应该能。

自动驾驶汽车靠各种传感器「看到」这个世界，然后再借助人工神经网络处理来自传感器的数据。它们和人类不同，因为人类是有记忆的，一条路多走几次就熟了，但对于使用人工神经网络的自动驾驶汽车来说，这条路每天都是新的。这在天气恶劣时会成为一个问题，因为这种天气下，传感器往往没有那么可靠。

为了缓解这一问题，来自康奈尔大学 Ann S. Bowers 计算机与信息科学学院和工程学院的研究人员在 CVPR 2022 上发表了两篇研究论文，在ICLR 22上发表了一篇论文，其核心思想是为自动驾驶汽车创造「记忆」，并在后续的行驶中使用这些记忆。

论文 1 标题为「HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception」，一作是博士生游宇榕（Yurong You），senior author 是康奈尔大学 Bowers CIS 计算机科学教授 Kilian Weinberger。

论文链接：https://arxiv.org/pdf/2203.11405.pdf

Weinberger 教授认为，「上述问题的核心在于，我们能否从反复的经历中学习？例如，汽车的激光扫描仪第一次从远处看到形状奇怪的树时，可能会把它误认为行人，但一旦距离足够近，物体类别就变得清晰起来。因此，当你第二次开车经过同一棵树时，即使是在雾中或雪中，你也希望汽车已经学会正确识别这棵树。」

「事实上，你很少有机会开上一条近期完全没人开过的路，总有人最近会经过这里，所以，收集经验并加以利用看起来是再正常不过的事。」论文合著者 Katie Luo 说到。

在博士生 Carlos Diaz-Ruiz 的带领下，该小组在 18 个月的时间里驾驶一辆配置了激光雷达传感器的汽车在伊萨卡及其周围的 15 公里环路上重复行驶了 40 次，收集了沿途的环境（高速公路、城市、校园）、天气（晴天、雨天、下雪天）和一天中不同时段的信息。

这些信息组成了一个名为「Ithaca365」的数据集，其详细信息可在论文 2《Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions》中找到。

论文链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Diaz-Ruiz_Ithaca365_Dataset_and_Driving_Perception_Under_Repeated_and_Challenging_Weather_CVPR_2022_paper.pdf

「这项研究直面自动驾驶汽车的一项关键挑战——恶劣的天气条件，」Ithaca365 的合著者 Diaz-Ruiz 说，「如果路面被积雪覆盖，人类可以依靠记忆，但人工神经网络无法依靠记忆，这就使其陷入劣势。」

论文 1 标题中的「HINDSIGHT」是一种在汽车经过物体时使用神经网络计算物体描述符的方法。然后，它会压缩这些被称为「SQuaSH (Spatial-Quantized Sparse History) 特征」的描述，并将其存储在虚拟地图上，类似于存储于人脑中的「记忆」。

下次穿越同一位置时，自动驾驶汽车可以查询沿途每个激光雷达点的本地 SQuaSH 数据库，并「回忆起」上次学习的内容。该数据库不断更新并在车辆间共享，从而丰富了可用于执行识别的信息。

「此信息可作为特征添加到任何基于激光雷达的 3D 目标检测器中，」游宇榕说，「检测器和 SQuaSH 表示可以在没有任何额外监督或人工注释的情况下被联合训练，后者需要花费不少时间和精力。」

虽然 HINDSIGHT 仍然假设人工神经网络已经经过训练，可以检测物体，并增加了创建记忆的能力，但论文 3《Learning to Detect Mobile Objects from LiDAR Scans Without Labels》又往前走了一步，提出了一种名为 MODEST（Mobile Object Detection with Ephemerality and Self-Training）的方法。

论文链接：https://openaccess.thecvf.com/content/CVPR2022/papers/You_Learning_To_Detect_Mobile_Objects_From_LiDAR_Scans_Without_Labels_CVPR_2022_paper.pdf

在这篇论文中，作者让自动驾驶汽车从头开始学习整个感知流程。最初，车辆中的人工神经网络从未接触过任何物体或街道。在对同一路径多次遍历之后，它可以了解到环境的哪些部分是静止的，哪些目标是移动的。慢慢地，它会教会自己什么是其他交通参与者，什么是可以忽略的安全因素。

然后，该算法可以可靠地检测这些目标，甚至在最初的重复遍历中不包括的道路上。

研究人员希望这两种方法都能大幅降低自动驾驶汽车的开发成本（目前仍严重依赖昂贵的人工标注数据），并通过学会在最常用的地点导航来提高这种汽车的效率。

论文 1 和论文 3 的一作均为康奈尔大学博士生游宇榕（他也参与了论文 2）。他本科毕业于上海交通大学致远学院 ACM 班，大二暑假加入卢策吾的实验室开始了对计算机视觉和增强学习的研究，并分别在大三暑假赴斯坦福大学 AI 实验室，大四暑假赴康奈尔大学进行相关领域的科研实习，之后获得康奈尔大学、加州理工学院计算机科学博士全奖录取。

最终，他选择了康奈尔大学攻读博士，师从该校计算机科学教授 Kilian Q. Weinberger 和计算机科学助理教授 Bharath Hariharan，重点研究计算机科学、机器学习等方向。

参考链接：https://news.cornell.edu/stories/2022/06/technology-helps-self-driving-cars-learn-own-memories

https://news.sjtu.edu.cn/ztzl_qczj/20180628/78193.html

入门CVPR自动驾驶

相关数据

激光雷达技术

自动驾驶车辆传感器的一种，采用激光扫描和测距来建立车辆周围环境的详细三维模型。Lidar 图像具有高度准确性，这使得它可以与摄像头、超声波探测器和雷达等常规传感器相提并论。然而激光传感器面临体积过大的问题，同时，它的机械结构非常复杂。

来源：机器之心

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

自动驾驶汽车技术

自动驾驶汽车，又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人，是自动化载具的一种，具有传统汽车的运输能力。作为自动化载具，自动驾驶汽车不需要人为操作即能感测其环境及导航。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心