近日，谷歌母公司Alphabet旗下的自动驾驶公司Waymo进一步丰富了其公开数据集（Waymo Open Dataset），新增关键点标签、3D分割标签、2D到3D边界框对应关系，以供扩展研究人员探索。
Waymo将其自动驾驶数据集分为「运动数据集」和「感知数据集」两部分，本次更新的是感知数据集v1.3版本，也是从2019年8月该数据集公开以来的第三次更新。
目前，Waymo公开数据集已经成为全球最大、最多样化的自动驾驶数据集之一，该数据集均由其自动驾驶车辆收集的高度标注数据组成，涵盖了各种各样的环境，从密集的城市中心到郊区景观，以及白天和黑夜、黎明和黄昏、晴天和下雨天中收集的数据。
Waymo数据集内的每个片段，均是20s、10Hz的连续驾驶画面，每一帧中都包含车上所有传感器的数据和相应的标注。这种连续的镜头内容可以使研究人员开发模型，以跟踪和预测其他道路使用者的行为。
在这次更新的v1.3版本感知数据集中，Waymo新增的关键点标签，可以给感行为预测模型提供有价值的补充。这里的关键点，指的是通过对应于身体关节的几个点，表示复杂人体形态的一种简化方式，传达人体的姿势信息。
从过往来看，计算机视觉依赖于刚性边界条件，来定位和分类场景中的对象。然而，检测、跟踪和识别可能与车辆的产生交互行为的交通参与者（例如行人和骑自行车的人），要面临着缺乏对人体姿势精确理解的限制因素。
虽然对于自动驾驶系统来说，定位和识别物体至关重要，但在此过程中可能也会需要结合很多其它背景。例如，一个人的头部方向通常表明他们计划去哪里，而一个人的身体方向告诉你他们已经在朝着哪个方向前进。
Waymo第五代无人驾驶平台「WaymoDriver」可以将激光雷达在内的传感器套件实时数据，输入进神经网络模型，以定位三维空间中的关键点。据Waymo方面表示，虽然Waymo Driver可以从原始摄像头数据或激光雷达点云中检测各种手势，但通过添加关键点，能够更好地理解和识别部分被遮挡的人或自行车，比如从他们露出的腿或手臂，推理其下一步行动。
3D分割标签是感知数据集v1.3版的第二个重要变化。很长一段时间以来，细分都是研究界的一项重要资产。然而，大多数自动驾驶公开数据集仅包含用于表示和分类对象的边界框，导致重要信息可能被排除在外。
这次更新中，Waymo称已为其公开数据集内1150个片段的23个类别添加了达到惊人粒度级别的3D分割标签，包括检测图像的每个像素和激光雷达点云的每个返回，并将其分类为对象。
此外，针对2D相机边界框和3D激光雷达边界框关联挑战性的问题，Waymo还添加了规范的2D到3D边界框对应标签，以进一步促进目标检测和理解的传感器融合研究。
参考链接：
https://blog.waymo.com/2022/03/expanding-waymo-open-dataset-with-new-labels.html
https://waymo.com/open/download/
