该项目的开源，是腾讯 AI Lab 在计算机视觉领域所累积的基础能力的一次释放，为人工智能领域的科研人员和工程师提供了充足的高质量训练数据，及简单易用、性能强大的深度学习模型，促进人工智能行业共同发展。
腾讯 AI Lab 此次公布的图像数据集 ML-Images，包含了 1800 万图像和 1.1 万多种常见物体类别，在业内已公开的多标签图像数据集中规模最大，足以满足一般科研机构及中小企业的使用场景。此外，腾讯 AI Lab 还将提供基于 ML-Images 训练得到的深度残差网络 ResNet-101。该模型具有优异的视觉表示能力和泛化性能，在当前业内同类模型中精度最高，将为包括图像、视频等在内的视觉任务提供强大支撑，并助力图像分类、物体检测、物体跟踪、语义分割等技术水平的提升。
以深度神经网络为典型代表的深度学习技术已经在很多领域充分展现出其优异的能力，尤其是计算机视觉领域，包括图像和视频的分类、理解和生成等重要任务。然而，要充分发挥出深度学习的视觉表示能力，必须建立在充足的高质量训练数据、优秀的模型结构和模型训练方法，以及强大的的计算资源等基础能力之上。
各大科技公司都非常重视人工智能基础能力的建设，都建立了仅面向其内部的大型图像数据集，例如谷歌的 JFT-300M 和 Facebook 的 Instagram 数据集。但这些数据集及其训练得到的模型都没有公开，对于一般的科研机构和中小企业来说，这些人工智能基础能力有着非常高的门槛。
当前业内公开的最大规模的多标签图像数据集是谷歌公司的 Open Images, 包含 900 万训练图像和 6000 多物体类别。腾讯 AI Lab 此次开源的 ML-Images 数据集包括 1800 万训练图像和 1.1 万多常见物体类别，或将成为新的行业基准数据集。除了数据集，腾讯 AI Lab 团队还将在此次开源项目中详细介绍：
1）大规模的多标签图像数据集的构建方法，包括图像的来源、图像候选类别集合、类别语义关系和图像的标注。在 ML-Images 的构建过程中，团队充分利用了类别语义关系来帮助对图像的精准标注。
2）基于 ML-Images 的深度神经网络的训练方法。团队精心设计的损失函数和训练方法，可以有效抑制大规模多标签数据集中类别不均衡对模型训练的负面影响。
3）基于 ML-Images 训练得到的 ResNet-101 模型，具有优异的视觉表示能力和泛化性能。通过迁移学习，该模型在 ImageNet 验证集上取得了 80.73% 的 top-1 分类精度，超过谷歌同类模型（迁移学习模式）的精度，且值得注意的是，ML-Images 的规模仅为 JFT-300M 的约 1/17。这充分说明了 ML-Images 的高质量和训练方法的有效性。详细对比如下表。
注：微软 ResNet-101 模型为非迁移学习模式下训练得到，即 1.2M 预训练图像为原始数据集 ImageNet 的图像。
腾讯 AI Lab 此次开源的「Tencent ML-Images」项目，展现了腾讯在人工智能基础能力建设方面的努力，以及希望通过基础能力的开放促进行业共同发展的愿景。
「Tencent ML-Images」项目的深度学习模型，目前已在腾讯多项业务中发挥重要作用，如「天天快报」的图像质量评价与推荐功能。
如下图所示，天天快报新闻封面图像的质量得到明显提高。
优化前 优化后
此外，腾讯 AI Lab 团队还将基于 Tencent ML-Images 的 ResNet-101 模型迁移到很多其他视觉任务，包括图像物体检测，图像语义分割，视频物体分割，视频物体跟踪等。这些视觉迁移任务进一步验证了该模型的强大视觉表示能力和优异的泛化性能。「Tencent ML-Images」项目未来还将在更多视觉相关的产品中发挥重要作用。
自 2016 年腾讯首次在 GitHub 上发布开源项目（https://github.com/Tencent），目前已累积开源覆盖人工智能、移动开发、小程序等领域的 57 个项目。为进一步贡献开源社区，腾讯相继加入 Hyperledger、LF Networking 和开放网络基金会，并成为 LF 深度学习基金会首要创始成员及 Linux 基金会白金会员。作为腾讯「开放」战略在技术领域的体现，腾讯开源将继续对内推动技术研发向共享、复用和开源迈进，向外释放腾讯研发实力，为国内外开源社区提供技术支持，注入研发活力。
