2023/07/27 15:53

Nature封面：AI提高自动驾驶夜视能力，检测黑夜、雾天场景和白天一样

未来，HADAR 可能会彻底改变自动驾驶汽车和机器人感知周围世界的方式。

环境感知是自动驾驶领域非常重要的一项任务。特别是在夜晚或者极端天气的情况下，现有的视觉感知和激光雷达两种方式对环境的感知和识别都效果不佳。这给自动驾驶等高风险应用带来了挑战。

有些研究提出使用热像仪来弥补 LiDAR 和视觉摄像头的缺陷。但由于物体不断发出热辐射，粒子会扩散到附近的环境中，导致热成像变得模糊、无纹理，形成「鬼影（ghost）」，使这种方法难以实际应用。

现在，一种新的热成像技术可以不受雾、烟和黑暗等视觉障碍的影响，使得自动驾驶汽车在黑暗中也能准确感知环境。如下图所示，与以前的热成像（上）相比，新方法可以创建更清晰、更有质感的夜间图像（中和下）。

这种新方法是由来自普渡大学等机构的研究者提出，他们开发了一种新的系统，称为「热辅助探测和测距系统（HADAR）」。借助该系统，我们可以在环境不佳的情况下获得精细的环境图像，细节与精度和传统相机在明亮日光下拍摄的图像相当。研究论文已登上 Nature 封面。

论文地址：https://www.nature.com/articles/s41586-023-06174-6

方法介绍

HADAR 能够穿透光学杂波来检测物体的温度、材料成分和热辐射模式，而不受雾、烟和黑暗等视觉障碍的影响。因此，无论一天中的时间或环境如何，HADAR 基于对深度和纹理的渲染都能创建极其详细、清晰的图像。

HADAR 与「鬼影」热成像。

为了训练 HADAR 系统，研究人员在夜间使用先进的热成像相机和能够显示电磁波谱中能量辐射的成像传感器，在户外捕获数据。他们还创建了对户外环境的计算机模拟，以便进行额外的 AI 训练。

普渡大学电气与计算机工程系教授、本文作者之一 Zubin Jacob 表示，「HADAR 学会了探测物体并估计与这些物体的距离，其精度是仅依靠传统夜视技术的 10 倍。而且，HADAR 在夜间的性能与传统物体检测系统在白天的性能相当。」

「声纳、雷达和激光雷达等会发出信号并返回反射，以推断物体是否存在及其与物体的距离。除了相机所拥有的视觉能力之外，它们还提供了场景的额外信息，尤其是在环境照明较差的情况下，」Jacob 表示，「然而，HADAR 有着根本的不同，它利用不可见的红外辐射来重建夜间场景，清晰度就像白天一样。」

在没有反射光的黑暗环境中，传统摄像头无法很好地捕捉图像，雷达和激光雷达也容易受到干扰。

热成像技术通过捕获环境中物体辐射的红外光来重建场景。如下图所示，新研究提出的 HADAR 方法改变了机器感知的方式：

为了解决「鬼影」问题，该研究训练了一个神经网络，用于对热像仪发出的红外信号进行分类，将物体的特征热信号与导致「鬼影」的环境噪音分开。

该研究训练算法来识别已知材料（例如玻璃、木材或织物）的独特发射光谱。通过识别场景中的这些已知特征，算法可以表征其观察到的对象。那么剩下的就是环境信号和从这些物体反射到相机中的噪声。通过向后评估噪声信号的反射和散射方式，该算法可以填充每个对象的纹理信息，从而为图像提供更高层次的细节。

处理后的图像清晰地显示了物体及其纹理，并且可以识别物体的材质。最重要的是，HADAR 还能够提供一种关键数据 —— 环境物体的深度信息，这将有助于自动驾驶在复杂路况下进行环境感知。

下图展示了一个 HADAR 的应用实例。其中有一位真人和一个人形纸板。RGB 光学成像和稀疏 LiDAR 点云都无法区分真人和人形纸板，并且 LiDAR 还难以检测到夜间条件下的车辆。而 HADAR 检测到相应材料区域（皮肤 + 织物）中的人，将其与纸板清楚地区分开来，克服了「幻象制动」问题。

下图 6 展示了 HADAR 测距在夜间击败了最先进的热测距技术：

由于该方法能够确定场景中的物体是由什么组成的，因此与传统成像技术相结合，即使在白天，HADAR 也可以提供有关场景的独特信息。

研究团队表示希望这项技术能够得到广泛应用，从自动驾驶到帮助生物学家远程追踪野生动物。

参考链接：

https://www.science.org/content/article/ai-brings-clarity-fuzzy-night-vision-images

https://www.newscientist.com/article/2384435-driverless-cars-could-get-ai-powered-heat-vision-for-nighttime-driving/

https://www.popsci.com/technology/hadar-thermal-camera/

理论自动驾驶技术

相关数据

激光雷达技术

自动驾驶车辆传感器的一种，采用激光扫描和测距来建立车辆周围环境的详细三维模型。Lidar 图像具有高度准确性，这使得它可以与摄像头、超声波探测器和雷达等常规传感器相提并论。然而激光传感器面临体积过大的问题，同时，它的机械结构非常复杂。

来源：机器之心

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

自动驾驶汽车技术

自动驾驶汽车，又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人，是自动化载具的一种，具有传统汽车的运输能力。作为自动化载具，自动驾驶汽车不需要人为操作即能感测其环境及导航。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中，我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。数据通常包含噪音，错误，例外或不确定性，或者不完整。错误和噪音可能会混淆数据挖掘过程，从而导致错误模式的衍生。去除噪音是数据挖掘（data mining）或知识发现（Knowledge Discovery in Database，KDD）的一个重要步骤。

来源：Han J.; Kamber M.; Pei J. (2011). Data mining: concepts and techniques. Morgan Kaufman.