2023/01/12 14:50

伯克利开源首个泊车场景下的高清数据集和预测模型，支持目标识别、轨迹预测

Dragon Lake Parking (DLP) 数据集以无人机正射航拍视角，提供了大量经过标注的高清 4K 视频和轨迹数据，记录了在停车场环境内，不同类型的车辆、行人和自行车的运动及交互行为。数据集时长约 3.5 小时，采样率为 25Hz，覆盖区域面积约为 140 m x 80 m，包含约 400 个停车位，共记录了 5188 个主体。数据集提供两种格式：JSON 和原视频 + 标注，可服务的研究方向包括：大规模高精度目标识别和追踪、空闲车位检测、车辆和行人的行为和轨迹预测、模仿学习等。

在自动驾驶技术不断迭代的当下，车辆的行为和轨迹预测对高效、安全驾驶有着极为重要的意义。动力学模型推演、可达性分析等传统的轨迹预测的方法虽然有着形式明晰、可解释性强的优点，但在复杂的交通环境中，其对于环境和物体交互的建模能力较为有限。因此，近年来大量研究和应用都基于各种深度学习方法（例如 LSTM、CNN、Transformer、GNN 等），各类数据集例如 BDD100K、nuScenes、Stanford Drone、ETH/UCY、INTERACTION、ApolloScape 等也纷纷涌现，为训练和评估深度神经网络模型提供了强力支持，不少 SOTA 模型例如 GroupNet、Trajectron++、MultiPath 等都表现出了良好的性能。

以上模型和数据集都集中在正常的道路行驶场景下，并充分利用车道线、交通灯等基础设施和特征辅助预测过程；由于交通法规的限制，绝大多数车辆的运动方式也较为明确。然而，在自动驾驶的 “最后一公里”—— 自动泊车场景下，我们将面对不少新的困难：

停车场内的交通规则和车道线要求并不严格，车辆也经常随意行驶 “抄近路”
为了完成泊车任务，车辆需要完成较为复杂的泊车动作，包括频繁的倒车、停车、转向等。在驾驶员经验不足的情况下，泊车可能成为一个漫长的过程
停车场内障碍物较多且杂乱，车间距离较近，稍不留神就可能导致碰撞和剐蹭
停车场内行人往往随意穿行，车辆需要更多的避让动作

在这样的场景下，简单套用现有的轨迹预测模型难以达到理想的效果，而重新训练模型又缺乏相应数据的支持。当下基于停车场景的数据集例如 CNRPark+EXT 和 CARPK 等，都仅为空闲停车位检测而设计，图片来源于提供监控相机第一人称视角、采样率低、且遮挡较多，无法用于轨迹预测。

在 2022 年 10 月刚刚结束的第 25 届 IEEE 智能交通系统国际会议 (IEEE ITSC 2022) 中，来自加州大学伯克利分校的研究者们发布了首个针对停车场景的高清视频 & 轨迹数据集，并在此数据集的基础上，利用 CNN 和 Transformer 架构提出了名为 “ParkPredict+” 的轨迹预测模型。

论文链接：https://arxiv.org/abs/2204.10777
数据集主页、试用和下载申请：https://sites.google.com/berkeley.edu/dlp-dataset （如无法访问，可尝试备用页面 https://cutt.ly/dlp-notion ）
数据集 Python API：https://github.com/MPC-Berkeley/dlp-dataset

数据集信息

数据集由无人机进行采集，总时长为 3.5 小时，视频分辨率为 4K，采样率 25Hz。视野范围覆盖了约 140m x 80m 的停车场区域，共计约 400 个停车位。数据集经过精确标注，共采集到 1216 辆机动车、3904 辆自行车和 3904 位行人的轨迹。

经过重新处理后，轨迹数据可以 JSON 的形式读取，并加载为连接图（Graph）的数据结构：

个体（Agent）：每个个体（Agent）即为一个在当前场景（Scene）下运动的物体，具备几何形状、类型等属性，其运动轨迹被储存为一个包含实例（Instance）的链表（Linked List）
实例（Instance）：每个实例（Instance）即为一个个体（Agent）在一帧（Frame）中的状态，包含其位置、转角、速度和加速度。每个实例都包含指向该个体在前一帧和后一帧下实例的指针
帧（Frame）：每一帧（Frame）即为一个采样点，其包含当前时间下所有可见的实例（Instance），和指向前一帧和后一帧的指针
障碍物（Obstacle）：障碍物即为在此次记录中完全没有移动的物体，包含各个物体的位置、转角和几何尺寸
场景（Scene）：每个场景（Scene）对应于一个录制的视频文件，其包含指针，指向该录制的首帧和尾帧、所有个体（Agent）和所有障碍物（Obstacle）

数据集提供两种下载格式：

仅 JSON（推荐）：JSON 文件包含所有个体的类型、形状、轨迹等信息，可以通过开源的 Python API 直接读取、预览、并生成语义图像（Semantic Images）。如果研究目标仅为轨迹和行为预测，JSON 格式可以满足所有的需求。

原视频和标注：如果研究是基于相机原图像（Raw Image）的目标检测、分隔、追踪等机器视觉领域课题，那么可能会需要下载原视频和标注。如有此需要，需要在数据集申请中明确描述该研究需求。另外，标注文件需自行解析。

行为和轨迹预测模型：ParkPredict+

作为应用示例，在 IEEE ITSC 2022 的论文《ParkPredict+: Multimodal Intent and Motion Prediction for Vehicles in Parking Lots with CNN and Transformer》中，研究团队利用此数据集，基于 CNN 和 Transformer 架构实现了在停车场场景下车辆的意图（Intent）和轨迹（Trajectory）预测。

团队利用 CNN 模型，通过构建语义图像（Semantic Images），实现了对于车辆意图（Intent）分布概率的预测。该模型仅需要构建车辆局部的环境信息，且可根据当前环境，不断变化可供选择的意图数量。

团队通过改进 Transformer 模型，将意图（Intent）预测结果、车辆的运动历史、周边环境的语义图作为输入提供，实现了多模态（Multi-modal）的意图和行为预测。

总结

作为首个针对泊车场景的高精度数据集，Dragon Lake Parking (DLP) 数据集可为该场景下大规模目标识别和追踪、空闲车位检测、车辆和行人的行为和轨迹预测、模仿学习等研究提供数据和 API 支持
通过使用 CNN 和 Transformer 架构，ParkPredict + 模型在泊车场景下的行为和轨迹预测中展现除了良好的能力
Dragon Lake Parking (DLP) 数据集已开放试用和申请，可通过访问数据集主页 https://sites.google.com/berkeley.edu/dlp-dataset 了解详细信息（如无法访问，可尝试备用页面 https://cutt.ly/dlp-notion ）

理论数据集

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来（Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)），自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展，但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个：首先，在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境，从而进行实时推论。第二，信息性决策需要准确的感知，目前大部分已有的计算机视觉系统有一定的错误率，这是自动驾驶导航所无法接受的。

来源：机器之心

无人机技术

无人机（Uncrewed vehicle、Unmanned vehicle、Drone）或称无人载具是一种无搭载人员的载具。通常使用遥控、导引或自动驾驶来控制。可在科学研究、军事、休闲娱乐用途上使用。

来源：维基百科

模仿学习技术

模仿学习（Imitation Learning）背后的原理是是通过隐含地给学习器关于这个世界的先验信息，就能执行、学习人类行为。在模仿学习任务中，智能体（agent）为了学习到策略从而尽可能像人类专家那样执行一种行为，它会寻找一种最佳的方式来使用由该专家示范的训练集（输入-输出对）。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

轨迹预测技术

轨迹预测探索不同交通代理的运动模式，准确预测未来轨迹，帮助自主车辆做出合理的导航决策。

来源：arxiv

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心

机器视觉技术

机器视觉（Machine Vision，MV）是一种为自动化检测、过程控制和机器人导航等应用提供基于图像的自动检测和分析的技术和方法，通常用于工业领域。

来源：wiki