CVPR 2019 | 亮风台推出全球最大单目标跟踪数据集LaSOT

计算机视觉和模式识别领域顶级会议CVPR正在美国加州举行,发布交流来自全球的工业界与学术界最新研究成果。期间,亮风台公开大规模单目标跟踪高质量数据集LaSOT,包含超过352万帧手工标注的图片和1400个视频,这也是目前为止最大的拥有密集标注的单目标跟踪数据集。 论文《LaSOT: A High-quality Benchmark for Large-scale Single Object Tracking》详细阐述了LaSOT数据集的构造原理和评估方法,由亮风台、华南理工大学、美图-亮风台联合实验室等单位共同完成,收录于CVPR 2019。此外,亮风台另一算法成果投影AR新成果入选CVPR 2019 oral 。

LaSOT 贡献

视觉跟踪是计算机视觉中最重要的问题之一,其应用领域包括视频监控、机器人技术人机交互等。随着跟踪领域的巨大进步,人们提出了许多算法。在这一过程中,跟踪基准对客观评估起到了至关重要的作用。LaSOT的推出,也是希望为行业提供一个大规模的、专门的、高质量的基准,用于深度跟踪训练和跟踪算法的真实评估。

图1:常用跟踪数据集统计示意图。包括OTB-2013、OTB-2015、TC-128、NUS-PRO、UAV123、UAV20L、VOT-2014、VOT-2017和LaSOT。圆直径与数据集的总帧数数成比例。所提出的LaSOT比所有其他基准都要大,并且专注于长期跟踪。

观察和比较不同的跟踪算法发现,其进一步发展和评估受到现有评测集的限制,存在的问题主要包括:

  1. 规模小。现有数据集很少有超过400个序列,由于缺乏大规模的跟踪数据集,很难使用跟踪特定视频训练深度跟踪器。
  2. 短时跟踪。理想的跟踪器能够在相对较长的时间内定位目标,目标可能消失并重新进入视图。然而,大多数现有的基准都集中在短期跟踪上,其中平均序列长度小于600帧(即20秒左右),而且目标几乎总是出现在视频帧中。
  3. 类别偏见。一个稳健的跟踪系统应该表现出对目标所属类别的不敏感性,这意味着在训练和评估跟踪算法时都应该抑制类别偏差(或类别不平衡)。然而,现有的基准通常只包含几个类别,视频数量不平衡。

许多数据集被提议处理上述问题,然而,并都没有解决所有的问题。

基于上述动机,我们为社区提供了一个新的大型单目标跟踪(LaSOT)基准并提供了多方面的贡献:

  1. LaSOT包含1400个视频,每个序列平均2512帧。每一帧都经过仔细检查和手动标记,并在需要时对结果进行目视检查和纠正。这样,可以生成大约352万个高质量的边界框注释。

此外,LaSOT包含70个类别,每个类别包含20个序列。据了解,LaSOT是迄今为止最大的具有高质量手动密集注释的对象跟踪数据集。

  1. 与之前的数据集不同,LaSOT提供了可视化边界框注释和丰富的自然语言规范,这些规范最近被证明对各种视觉任务都是有益的,包括视觉跟踪。这样做的目标是鼓励和促进探索集成视觉和语言功能,以实现强大的跟踪性能。
  2. 为了评估现有的跟踪器,并为将来在LaSOT上的比较提供广泛的基准,团队在不同的协议下评估了35个具有代表性的跟踪器,并使用不同的指标分析其性能。

LaSOT大规模多样化的数据采集

LaSOT数据集的构建遵循大规模、高质量的密集注释、长期跟踪、类别平衡和综合标记五个原则。

LaSOT基准数据采集涵盖了各种不同背景下的各种对象类别,包含70个对象类别。大多数类别是从ImageNet的1000个类别中选择的,但少数例外(如无人机)是为流行的跟踪应用程序精心选择的。以往的数据集通常含有的类别少于30个,并且一般分布不均匀。相比之下,LaSOT为每个类别提供相同数量的序列,以减轻潜在的类别偏差。

在确定了LaSOT中的70个对象类别之后,我们从YouTube中搜索了每个类的视频。最初,我们收集了5000多个视频。考虑到追踪视频的质量和LaSOT的设计原则,我们挑选了1400个视频。但是,由于大量无关内容,这1400个序列不能立即用于跟踪任务。例如,对于个人类别的视频(例如,运动员),它通常在开始时包含每个运动员的一些介绍内容,这不适合跟踪。因此,我们仔细过滤掉每个视频中不相关的内容,并保留一个可用于跟踪的剪辑。此外,LaSOT的每一个分类都包含20个目标,反映了自然场景中的分类平衡和多样性。

最终,我们通过收集1400个序列和352万帧的YouTube视频,在Creative Commons许可下,编译了一个大规模的数据集。LaSOT的平均视频长度为2512帧(即30帧每秒84秒)。最短的视频包含1000帧(即33秒),最长的视频包含11397帧(即378秒)。

LaSOT提供可视化边界框注释

为了提供一致的边界框注释,团队还定义了一个确定性注释策略。对于具有特定跟踪目标的视频,对于每个帧,如果目标对象出现在帧中,则标注者会手动绘制/编辑其边界框,使其成为最紧的右边界框,以适合目标的任何可见部分;否则,标注者会向帧提供一个“目标不存在”的标签,无论是不可见还是完全遮挡。请注意,如任何其他数据集中所观察到的那样,这种策略不能保证最小化框中的背景区域。然而,该策略确实提供了一个一致的标注,这对于学习物体的运动是相对稳定的。

虽然上述策略在大多数情况下都很有效,但也存在例外情况。有些物体,例如老鼠,可能有细长和高度变形的部分,例如尾巴,这不仅会在物体的外观和形状上产生严重的噪声,而且对目标物体的定位提供很少的信息。我们在LaSOT中仔细识别这些对象和相关的视频,并为它们的注释设计特定的规则(例如,在绘制它们时不包括鼠标的尾部)。

图2:LaSOT示例序列和标注序列的自然语言规范由描述目标的颜色、行为和环境的句子表示。对于LaSOT,我们为所有视频提供1400个描述语句。请注意,语言描述旨在为跟踪提供辅助帮助。例如,如果追踪器生成进一步处理的建议,那么语言规范可以作为全局语义指导,帮助减少它们之间的模糊性。

构建高质量密集跟踪数据集的最大努力显然是手动标记、双重检查和纠错。为了完成这项任务,我们组建了一个注释小组,包括几个在相关领域工作的博士生和大约10名志愿者。

35个代表性跟踪器的评估

我们没有对如何使用LaSOT进行限制,但我们提出了两种协议来评估跟踪算法,并进行相应的评估。

方案一:在方案一中,我们使用1400个序列来评估跟踪性能。研究人员可以使用除了LaSOT中的序列以外的任何序列来开发跟踪算法。方案一旨在对跟踪器进行大规模评估。

方案二:在方案二中,我们将LaSOT划分为训练和测试子集。根据80/20原则(即帕累托原则),我们从每类20个视频中选出16个进行培训,其余的进行测试。具体来说,训练子集包含1120个视频,2.83m帧,测试子集包含280个序列,690k帧。跟踪程序的评估在测试子集上执行。方案二的目标是同时提供一大套视频用于训练和评估跟踪器。

根据流行的协议(如OTB-2015[53]),我们使用OPE作为量化评估标准,并测量两个协议下不同跟踪算法的精度、标准化精度和成功率。我们评估了LaSOT上的35种算法,以提供广泛客观的基准,Tab. 3按时间顺序总结这些跟踪器及其表示方案和搜索策略。

表3:已评估跟踪程序的摘要。方案一评估结果

方案一旨在对LaSot的1400个视频进行大规模评估。每个跟踪器都按原样用于评估,没有任何修改。我们使用精度、标准化精度和成功率在OPE中报告评估结果,

图3:利用精度、归一化精度和成功率对一号方案下的算法量化评估。

图4:在协议I下,追踪器在三个最具挑战性的属性上的代表性结果。

图5:六大典型挑战序列上的的定性评价结果。

方案二评估结果

图6:使用精度、标准化精度和成功率对方案II下的跟踪算法评估。

根据方案二,我们将LaSOT分为训练集和测试集。研究人员可以利用训练集中的序列来开发他们的跟踪器,并评估他们在测试集中的表现。为了提供测试集的基线和比较,我们评估了35种跟踪算法。每个跟踪器都被用于评估,没有任何修改或再培训。使用精度、归一化精度和成功率的评价结果如图6所示。

除了对每一种跟踪算法进行评估外,我们还对两种具有代表性的深跟踪算法MDNET[42]和SIAMFC进行了重新培训,并对其进行了评估。评估结果表明,这些跟踪器在没有重训练的情况下具有相似的性能。一个潜在的原因是我们的重新培训可能和原作者使用配置不同。

我们对SiamFC的LaSOT训练集进行了再培训,以证明使用更多的数据如何改进基于深度学习的跟踪器。Tab. 4报告了OTB-2013和OTB-2015的结果,并与在ImageNet视频上培训的原始SIAMFC的性能进行了比较。请注意,我们使用彩色图像进行培训,并应用3个比例的金字塔进行跟踪,即SIAMFC-3S(彩色)。所有培训参数

表4在LaSOT上对siamfc进行再培训。

跟踪在这两个实验中保持不变。我们在两个评测集上观察到了一致的性能提升,显示了针对深度追踪器的特定大规模训练集的重要性。

LASOT主页:https://cis.temple.edu/lasot/

数据集下载:https://cis.temple.edu/lasot/download.html             

算法测评和工具包:https://cis.temple.edu/lasot/results.html

论文:https://arxiv.org/abs/1809.07845

理论人机交互计算机视觉
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器人技术技术

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

无人机技术

无人机(Uncrewed vehicle、Unmanned vehicle、Drone)或称无人载具是一种无搭载人员的载具。通常使用遥控、导引或自动驾驶来控制。可在科学研究、军事、休闲娱乐用途上使用。

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

表示方案技术

表示世界/问题的方法/方案

推荐文章
暂无评论
暂无评论~