罗志鹏(深兰北京AI研发中心)作者

ECCV 2020 GigaVision挑战赛双赛道冠军DeepBlueAI团队技术分享

近日,全球计算机视觉三大顶会之一,两年一届的欧洲计算机视觉国际会议ECCV 2020落下帷幕,各个workshop也都公布了各自举办挑战赛的结果,其中第一届GigaVision挑战赛公布了最终榜单,来自深兰科技北京AI研发中心的 DeepBlueAI 团队斩获了「行人和车辆检测」和「多目标追踪」两个赛道的冠军。我们可以通过这篇文章来了解一下 DeepBlueAI 团队的解决方案。

赛题介绍

以人为中心的各项计算机视觉分析任务,例如行人检测,跟踪,动作识别,异常检测,属性识别等,在过去的十年中引起了人们的极大兴趣。为了对大规模时空范围内具有高清细节的人群活动进行跨越长时间、长距离分析,清华大学智能成像实验室推出一个新的十亿像素视频数据集:PANDA。该数据集是在多种自然场景中收集,旨在为社区贡献一个标准化的评测基准,以研究新的算法来理解大规模现实世界场景中复杂的人群活动及社交行为。围绕PANDA数据集,主办方组织了GigaVision 2020挑战赛。本次的挑战赛同时是ECCV2020的Workshop:“GigaVision: When Gigapixel Videography Meets Computer Vision”。

任务介绍

挑战赛的任务是在由十亿像素相机收集的大范围自然场景视觉数据集PANDA上进行图像目标检测和视频多目标跟踪

lSub-Track 1 :Pedestrian & Vehicle Detection

这项任务是为了推动在十亿像素图像上的目标检测技术的发展。挑战的参与者需要检测两类目标:行人和车辆。对于每个行人,需要提交三类检测框:可见身体范围框、全身范围框、行人头部范围框。对于每个车辆,需要提交可见范围框。一些特殊的区域(如假人、极度拥挤的人群、车群、被严重遮挡的人等)将在评估中被忽略。

lSub-Track 2 :Multi-Pedestrian Tracking

这项任务是为了推动在十亿像素视频上的多目标追踪技术的发展。PANDA宽视场、多目标、高分辨的优越性能使特别适合于多目标长时间追踪任务。然而,巨大的同类目标尺度变化和拥有丰富行人拥挤、遮挡的复杂场景也带来了各种挑战。在给定输入视频序列的情况下,该任务需要参与者提交行人在视频中的轨迹。

评测指标

对于赛道一,类似于MS COCO数据集的评估方案,主办方采用AP、APIOU=0.50、APIOU=0.75、ARmax=10、ARmax=100、ARmax=500五个指标来评估检测算法的结果。最终的排名依据于 AP 和 ARmax=500 两项指标的调和平均数,高者为优。

对于赛道二,与MOTChallenge[2]中使用的评测方法类似,主办方采用了包括MOTA、MOTP、IDF1、FAR、MT和Hz等指标来评估多目标追踪算法的结果。最终的排名依据于 MOTA 和 MOTP 两项指标的调和平均数,高者为优。

团队成绩

任务一:

任务二:

赛题特点

l图像分辨率极高、近景和远景目标尺度差异大

十亿像素级的超高分辨率是整个数据集的核心问题。一方面,由于计算资源的限制,超高分辨率使得网络无法接受大图作为输入,而单纯将原图缩放到小图会使得目标丢失大量信息。另一方面,图像中近景和远景的目标尺度差异大,给检测器带来了巨大的挑战。

l目标在图像中分布密集,并且遮挡严重

数据集均从广场、学校、商圈等真实场景采集,其人流和车辆密度极大。同时,行人和车辆的拥挤、遮挡等情况频发,容易造成目标的漏检和误检。

主要工作

赛道一 Pedestrian & Vehicle Detection

根据以往积累的经验,我们首先将原图缩放到合适尺度,并使用基于Cascade RCNN的检测器直接检测行人的三个类别和车辆,将其作为Baseline: Backbone + DCN + FPN + Cascade RCNN,并在此基础上进行改进。

实验结果显示,模型存在大量的误检和漏检。这些漏检和无意义的检测结果大幅降低了模型的性能。我们将上述问题归纳为两方面的原因:

1.训练和测试时输入模型的图像尺度不合适。图像经过缩放后,目标的尺度也随之变小,导致远景中人的头部等区域被大量遗漏。

2.网络本身的分类能力较弱。行人的可见区域和全身区域十分相似,容易对分类器造成混淆,从而产生误检。

根据上述问题,我们进行了一些改进。

首先,我们使用滑动窗口的方式切图进行训练。滑动窗口切图是一种常用的大图像处理方式,这样可以有效的保留图像的高分辨率信息,使得网络获得的信息更加丰富。如果某个目标处于切图边界,我们根据其IOF大于0.5来决定是否保留。

其次,我们对于每个类别采用一个单独的检测器进行检测。经过实验对比,对每个类别采用单独的检测器可以有效的提高网络的效果,尤其是对于可见区域和全身区域两类。

同时,我们向检测器添加了Global Context (GC) block来进一步提高特征提取能力。GC-Block结合了Non-local的上下文建模能力,并继承了SE-Net节省计算量的优点,可以有效的对目标的上下文进行建模。

除Cascade RCNN外,我们还采用了Generalize Focal Loss (GFL)检测器进行结果互补。GFL提出了一种泛化的Focal Loss损失,解决了分类得分和质量预测得分在训练和测试时的不一致问题。

最后,我们将各检测器的结果使用Weighted Box Fusion (WBF)进行融合,形成了最终的解决方案。传统的NMS和Soft-NMS方法会移除预测结果中的一部分预测框,而WBF使用全部的预测框,通过进行组合来获得更加准确的预测框,从而实现精度提升。我们的整体pipeline如下图所示:

实验结果:

Method

AP

AR_500

Score

Baseline

0.5129

0.6064

0.5557

Baseline+GFL+GC

0.5633

0.6606

0.6081

Baseline+GFL+GC(MOT数据)

0.5697

0.6731

0.6172

赛道二 Multi-Pedestrian Tracking

赛题分析

多行人跟踪问题是一个典型的多目标跟踪问题。通过调研总结发现,Tracking-by-detection是处理这一问题的常用且精度比较高的方法[2][7]。基本的流程可以总结如下:

1) 在每一帧中检测物体的位置。

2) 为每个检测框提取特征。

3) 通过将特征距离或空间距离将预测的目标与现有轨迹关联。

本次挑战赛更注重精度,因此采用了分离Detection和Embedding的方法,该方法的模块化设计的优点使得竞赛精度上优化空间的十分大。通过简单的数据统计分析和可视化分析,我们认为该比赛的主要挑战在于图像的大分辨率和行人的严重拥挤,如下图所示。

为了应对这些挑战,针对高分辨、小目标等问题,我们引入了一种滑动窗口检测算法。针对遮挡严重的问题,我们使用局部和全局特征来衡量两个相邻帧之间的预测边界框的相似距离,并且借鉴了FairMOT的特征平滑的方法进行缓解。

竞赛方案

本次采用的多目标跟踪系统是基于Detection和Embedding分离的方法,我们采用了以Generalized Focal Loss(GFL)[9]为损失的anchor-free检测器,并以Multiple Granularity Network (MGN)[10]作为Embedding模型。在关联过程中,我们借鉴了DeepSORT[6]和FairMOT[8]的思想,构建了一个简单的在线多目标跟踪器, 如下图所示。

检测器

检测部分:

为了处理高分辨率的图像,我们提出了一个segmentation-and-fusion(SF)的方法,如下图所示。每一张大图有交叠的切分成多个子图,每一个子图的分辨率为6000*6000,位于图像边缘的子图直接填充均值。为了防止较大的行人目标被切分成进两个子图,相邻的子图横向上重叠宽度为1000像素,纵向重叠宽度设置为2000像素。在融合子图检测结果时,我们采用一种基于子图重叠中线和检测框相交判定的规则。比如,对于一对横向有重叠的子图,如果基于左子图的检测框处于子图重叠中线的右侧,但与该中线相交,该检测框就被保留,反之则丢弃该检测框。通过segmentation-and-fusion方法,与直接合并进行NMS的方法相比, 我们在本地检测验证集取得了0.2AP的提升。

Embedding部分:

为了解决行人拥挤带来的问题,我们采用了Multiple Granularity Network(MGN),如上图所示。我们首先利用Resnet50-ibn-a[4]提取特征,然后使用Triplet loss和Softmax loss计算三个全局特征的损失,仅使用Softmax loss计算局部特征的损失。此外,我们使用了ReID中的常用的训练技巧来优化MGN的性能[3]。

Data Association:

我们借鉴了DeepSORT和FairMOT的想法,以检测框的表观距离为主,以检测框的空间距离为辅。首先,我们根据第一帧中的检测框初始化多个轨迹。在随后的帧中,我们根据embedding features之间的距离(最大距离限制为0.7),来将检测框和已有的轨迹做关联。与FairMOT一致,每一帧都会通过指数加权平均更新跟踪器的特征,以应对特征变化的问题。对于未匹配的激活轨迹和检测框通过他们的IOU距离关联起来(阈值为0.8)。最后,对于失活但未完全跟丢的轨迹和检测框也是由它们的IoU距离关联的(阈值为0.8)。

后处理:

由于只对较高的置信度的检测框进行跟踪,因此存在大量假阴性的检测框,导致MOTA[1]性能低下。为了减少置信阈值的影响,我们尝试了两种简单的插值方法。

1) 对总丢失帧不超过20的轨迹进行线性插值。我们称之为简单插值(simple interpolation, SI);

2)对每一个轨迹只在丢失不超过4帧的帧之间插入。另外,我们称之为片段插值(fragment interpolation, FI)。

虽然插值的方法增加了假阳性样本的数量,但是大大减少了假阴性样本,使我们在测试集上实现了0.9左右的提升。不同插值方法的效果如下表所示。

以上是我们对参赛方案的优化路线图,通过优化检测器以及特征提取器,数据关联方法、后处理等方法,在GigaVision 2020多行人跟踪挑战赛中获得第一名的成绩。

总结与思考:

本文针对GigaVision多行人跟踪挑战赛,设计了一个简单、在线的多目标跟踪系统,包括检测器、特征提取、数据关联和轨迹后处理,在GigaVision 2020多行人跟踪挑战赛中获得第一名。很荣幸取得这次竞赛的第一名,在这里也分享一下我们针对多目标跟踪任务的一些问题以及思考:

1)检测器和特征提取器mAP越高,最终跟踪的性能也会相应的提升?

2)数据关联过程真的需要运动模型么?

3)跟踪器的特征平滑为何有效?

4)Part-Based的特征提取器为何有效?

我们对以上问题进行了思考,得出一些比较简单的看法:

1)一般来说检测器和特征提取器的性能越理想,最终跟踪的性能也会有相应的提升;mAP作为常用的检测器评估指标来说,mAP的提升不一定能带来跟踪的性能提升,当然这也和评价指标有关系,需要具体问题具体分析,比如检测上多尺度增强带来的AP增益往往会造成MOTA的降低。mAP作为特征提取器的评估指标来说,mAP的提升也不一定能带来跟踪的性能提升,比如Part-Based 的MGN在本次竞赛中虽然mAP比全局特征提取器差几个点,在最后的跟踪上却取得不错的效果。

2)现实中的多目标跟踪任务中,摄像头的突然运动以及跟踪对象的突然加速往往都是存在的,这时候的运动模型其实动态性能十分的差劲,反而造成不好的跟踪效果,本次竞赛采用的是直接不采用运动模型的方法。

3) 跟踪器的特征平滑操作十分简单有效,不需要类似于DeepSORT进行级联匹配,速度比较快,考虑了同一轨迹的历史特征,使得特征更加鲁棒,减少了单帧跟踪错误带来的影响;

4) Part-Based的特征提取器针对这种遮挡比较严重的情况在距离度量时考虑了各个部分的特征,特别的,遮挡部分往往变化比较大,结合特征平滑操作,一定程度上消除了遮挡部分的影响,更关注没有遮挡部分的特征。

作者介绍:

罗志鹏,深兰北京AI研发中心负责人,毕业于北京大学,曾任职于微软亚太研发集团。 现主要负责深兰AI平台相关研发工作,带领团队已在CVPR、ICCV、ECCV、KDD、NeurIPS、SIGIR等数十个世界顶级会议挑战赛中获得近二十项冠军,以一作在KDD、WWW等国际顶会上发表论文,具有多年跨领域的人工智能研究和实战经验。

参考文献:

1.  Bernardin, K.   Stiefelhagen, R.: Evaluating multiple object tracking performance(2008)

2.  Milan, A., Leal-Taixe, L., Reid, I., Roth, S., Schindler, K.: Mot16: A benchmarkfor multi-object tracking (2016)

3.  Luo, H., Gu, Y., Liao, X., Lai, S., Jiang, W.: Bag of tricks and a strong baselinefor deep person re-identification (2019)

4.  Pan, X., Luo, P., Shi, J., Tang, X.: Two at once: Enhancing learning and generalization capacities via ibn-net (2018)

5.  Wang,  X.,  Zhang,  X.,  Zhu,  Y.,  Guo,  Y.,  Yuan,  X.,  Xiang,  L.,  Wang,  Z.,  Ding,G., Brady, D.J., Dai, Q., Fang, L.: Panda: A gigapixel-level human-centric videodataset (2020)

6.  Wojke, N., Bewley, A., Paulus, D.: Simple online and realtime tracking with a deepassociation metric (2017)

7.  Yu, F., Li, W., Li, Q., Liu, Y., Shi, X., Yan, J.: Poi: Multiple object tracking withhigh performance detection and appearance feature (2016)

8.  Zhang, Y., Wang, C., Wang, X., Zeng, W., Liu, W.: A simple baseline for multi-object tracking (2020)

9.  Li, X., Wang, W., Wu, L., Chen, S., Hu, X., Li, J., Tang, J., Yang, J.: Generalized focal loss: Learning qualified and distributed bounding boxes for dense objectdetection. arXiv (2020)

10.  Wang, G., Yuan, Y., Chen, X., Li, J., Zhou, X.: Learning discriminative featureswith  multiple  granularities  for  person  re-identification.  CoRRabs/1804.01438(2018)

11.  Cai, Z., Vasconcelos, N.: Cascade r-cnn: Delving into high quality object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition.pp. 6154–6162 (2018)

12.  Cao, Y., Xu, J., Lin, S., Wei, F., Hu, H.: Gcnet: Non-local networks meet squeeze-excitation networks and beyond. In: Proceedings of the IEEE International Conference on Computer Vision Workshops. pp. 0–0 (2019)

13.  Dai, J., Qi, H., Xiong, Y., Li, Y., Zhang, G., Hu, H., Wei, Y.: Deformable convolutional networks. In: Proceedings of the IEEE international conference on computer vision. pp. 764–773 (2017)

14.  Hu, J., Shen, L., Sun, G.: Squeeze-and-excitation networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 7132–7141 (2018)

15.  Li, X., Wang, W., Wu, L., Chen, S., Hu, X., Li, J., Tang, J., Yang, J.: Generalized focal loss: Learning qualified and distributed bounding boxes for dense object detection. arXiv preprint arXiv:2006.04388 (2020)

16.  Solovyev, R., Wang, W.: Weighted boxes fusion: ensembling boxes for object detection models. arXiv preprint arXiv:1910.13302 (2019)

理论ECCV 2020
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

相关技术
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

假阳性技术

假阳性是指模型因为种种原因把不应该分类成特定情况的人/物错误地分类到了该分类的情况。

异常检测技术

在数据挖掘中,异常检测(英语:anomaly detection)对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。 通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。 异常也被称为离群值、新奇、噪声、偏差和例外。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

插值技术

数学的数值分析领域中,内插或称插值(英语:interpolation)是一种通过已知的、离散的数据点,在范围内推求新数据点的过程或方法。求解科学和工程的问题时,通常有许多数据点借由采样、实验等方法获得,这些数据可能代表了有限个数值函数,其中自变量的值。而根据这些数据,我们往往希望得到一个连续的函数(也就是曲线);或者更密集的离散方程与已知数据互相吻合,这个过程叫做拟合。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

假阴性技术

假阳性是指模型因为种种原因将应该分类成特定情况的人/物错误地分类到了其他分类的情况。

目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

行人检测技术

行人检测是从摄像机中检测行人的任务。

在线多目标跟踪技术

在线多目标跟踪是多目标跟踪的子任务。按照轨迹形成的时间顺序,多目标跟踪可以分为在线方式的跟踪算法以及离线形式的跟踪过程。如果跟踪的顺序是逐帧方式的,即为在线方式的目标跟踪方法。

多目标跟踪技术

多目标跟踪(Multiple Object Tracking or Multiple Target Tracking, MOT or MTT)主要任务是在给定视频中同时对多个目标进行定位、维持他们的ID、生成他们各自的轨迹。

北京大学机构

北京大学创办于1898年,初名京师大学堂,是中国第一所国立综合性大学,也是当时中国最高教育行政机关。辛亥革命后,于1912年改为现名。2000年4月3日,北京大学与原北京医科大学合并,组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校,创建于1912年10月26日。20世纪三、四十年代,学校一度名为北平大学医学院,并于1946年7月并入北京大学。1952年在全国高校院系调整中,北京大学医学院脱离北京大学,独立为北京医学院。1985年更名为北京医科大学,1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构,为促进医学与人文社会科学及理科的结合,改革医学教育奠定了基础。

官网,http://www.pku.edu.cn/
暂无评论
暂无评论~