Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Lidar 3D传感器点云数据与2D图像数据的融合标注

2D&3D融合

以自动驾驶场景为例,自动驾驶汽车需要使用传感器来识别车辆周围的物理环境,用来捕获2D视觉数据,同时在车辆顶部安装雷达,用以捕捉精确目标定位的3D位置数据。

激光雷达生成的点云数据可用于测量物体的形状和轮廓,估算周围物体的位置和速度,但点云数据缺少了RGB图像数据中对物体纹理和颜色等信息的提取,无法精确地将对象分类为汽车、行人、障碍物、信号灯等。

所以需要将包括丰富的语义信息2D视觉图像和可以提供精确的目标定位3D点云数据进行融合,使自动驾驶系统能够精确地了解周围环境,准确做出判断,让自动驾驶功能得以广泛应用。

在O1平台2D&3D融合标注界面,点击2D图片上的小眼睛预览按钮,可以看到3D数据高亮的部分,哪个方位的数据会被映射在2D图片上。

3D框标注

新建3D框

屏幕聚焦在车或目标物体的正上方,点击快捷键F,依次点击左后方,左前方和右前方。平台的自动框收敛的功能可以使3D框完美贴合在目标物体上。

最后选择标签和属性信息,即可完成一个3D框的标注了。

调整3D框

想要调整3D框,可从右侧的三视角图中来调节,分别的从正上方,侧方和后方来观察框中的目标。

一般会通过快捷键来操作:用Z,X来旋转角度,用AWSD从上下左右在侧方视角调节位置,在后方视角用QE来做左右平移。

2D映射

在标注3D数据的同时,可以注意到,左边的RGB数据中,也产生了框。这是通过3D点云数据的标注结果,经过相机参数的计算,投影到RGB数据上。

·支持在RGB数据上显示,调节,新增3D框

·支持在RGB数据上显示,调节,新增2D框

·支持将RGB和3D点云数据上的框相关联

模型预处理

系统预制了多个模型,其中就包括了3D点云预识别模型。只需要点击“模型”,即可一键生成框和标签!

通用模型能对大部分的目标进行正确的识别,但是还会有个别的框需要人工调整。

我们还是通过三视图来手动微调预处理的结果,从而使所有的框可以完美地贴合目标。

比较难标注的目标

有些物体由于被遮挡或者距离自主车辆很远的原因,很难通过有限的点云来确定物体的轮廓和标签。

我们可以通过左下角的设置,将点的尺寸调大一些。放大之后,再新建框,并通过左边的2D图来帮助识别物体的标签。

以上便是关于2D&3D融合数据标注的介绍。

倍赛BasicFinder
倍赛BasicFinder

专注于AI数据基础服务

入门
暂无评论
暂无评论~