2024/04/22 10:47

CVPR 2024 | 字节提出新一代数据集COCONut，比COCO粒度分割更密集

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

随着人工智能的发展，语言模型和生成模型获得了大量的成功并且在设计模型的过程中，模型的参数量也越来越大。对于细粒度理解任务，模型参数量也同样在增加。然而目前现有的数据集存在规模和精度的矛盾，例如 SA-1B 数据集中 99.1% 的 mask 都是机器生成的，但没有赋予语义的标签，而其他一些公开数据集也同样存在精度问题并且这些数据集的规模一般都比较小。

近期，字节跳动提出了新一代细粒度理解的数据集，针对当代深度学习模型的设计需求，给总量为 383K 的图片进行了全景分割的人工标注，最后达到了 5.18M 张 mask，是至今最大规模的带人工标签的全景分割理解数据集，命名为 COCONut。该成果已入选 CVPR2024。

论文链接：https://arxiv.org/abs/2404.08639
代码和数据集链接: https://xdeng7.github.io/coconut.github.io/

视频展示了 COCONut 的单张图片的 mask 密度以及语义类别的统计，可以看出，数据集的语义丰富以及 mask 分割粒度精细。该数据集还支持多种理解任务，例如全景分割，实例分割，语义分割，目标检测，语义控制生成和开放词汇分割，在多项任务上，仅通过替换数据集就达到了明显的性能提升。

标注方法

通常只采用人工标注是非常昂贵的，这也是目前现存的大多数公开数据集规模上不去的一个重要原因。还有一些数据集直接使用模型生成的标签，但往往这种生成的标签对模型的训练不会有太大的提高，本文也验证了这一点。所以本文提出了一种新颖的标注方式，结合人工的半自动标签生成。既能保证数据标注的精度又能实现人工劳动力的节省成本，同时还能加速标注过程。

标注精度对比

研究者把 COCONut 和 COCO 在同一张图上的标注进行对比。从下图的对比可以看到本文提出的标注方法达到了和纯人工用 Photoshop 标注几乎一致的精度，但是在标注速度上提高了 10 倍以上。

COCONut 数据集详情

和已有的 COCO 数据集相比，数据集各个类别的分布比较相近，但是在每张图的 mask 总量上是超过 COCO 数据集的，尤其是有大量单张图片有超过 100 张 mask 的情况，由此说明了 COCONut 的标注更为精细，粒度分割更密集。

实验验证

除了提出一个更好的训练集，研究者还发现现有的验证集不能很好的体现模型性能的提升，因此本文还提出了一个更加富有挑战性的、可以反映模型的提升的测试集，命名为 COCONut-val. 从下表可以看到，仅替换数据集，更高精度的训练集可以带来模型很大的提升，例如在全景分割上达到超过 4 个点的 PQ。然而当训练集的规模增加了之后，可以发现，用现有的测试集做测试并不能反映出模型的提升，而 COCONut-val 则能反映出模型在增加了训练集数据量之后仍然有明显的提升。

下图为验证集语义类别和 mask 密度的对比，可以看出新提出的验证集更具有挑战性，更能反映模型的提升。

了解更多实验结果可参考原论文，团队后续将在 GitHub 主页提供数据集和相应的模型公开下载。

字节跳动智能创作团队

智能创作团队是字节跳动 AI & 多媒体技术团队，覆盖了计算机视觉、音视频编辑、特效处理等技术领域，借助公司丰富的业务场景、基础设施资源和技术协作氛围，实现了前沿算法 - 工程系统 - 产品全链路的闭环，旨在以多种形式为公司内部各业务提供业界前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。

目前，智能创作团队已通过字节跳动旗下的云服务平台火山引擎向企业开放技术能力和服务。更多大模型算法相关岗位开放中。

工程CVPR2024COCONut

相关数据

字节跳动机构

北京字节跳动科技有限公司成立于2012年，是最早将人工智能应用于移动互联网场景的科技企业之一，是中国北京的一家信息科技公司，地址位于北京市海淀区知春路甲48号。其独立研发的“今日头条”客户端，通过海量信息采集、深度数据挖掘和用户行为分析，为用户智能推荐个性化信息，从而开创了一种全新的新闻阅读模式

https://bytedance.com

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

验证集技术

验证数据集是用于调整分类器超参数（即模型结构）的一组数据集，它有时也被称为开发集(dev set)。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。