2021/02/18 17:57

清华大学朱文武团队夺冠AAAI 2021国际深度元学习挑战赛

近日，国际人工智能顶级会议 AAAI 2021 召开，清华大学朱文武教授团队的 Meta_Learners 团队在 AAAI 2021 国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军。该团队在最终阶段的隐藏测试数据集上取得了 40.4% 的准确率，以高于第二名 13% 性能的大幅度领先强势摘得桂冠。

元学习是机器学习自动化过程的一个重要步骤，旨在设计和训练拥有强大适应能力和泛化能力的机器学习模型，来应对现实应用场景中环境变化剧烈、训练数据不足的挑战。

随着机器学习解决实际问题的日益复杂化，元学习，特别是深度元学习，近期受到了来自产学研各界越来越多的关注，成为人工智能领域最热门的研究方向之一。目前，谷歌、微软、亚马逊等国际巨头均已将元学习算法应用到自己的产业链之中；国内许多知名公司，如腾讯、百度、字节跳动等，也在不断完善自己的元学习算法和系统。

此次 MetaDL 挑战赛是元学习领域举办的第一届比赛，由第四范式和微软联合举办，并登陆人工智能领域顶级会议 AAAI 2021，吸引了众多国内外优秀团队的关注和参与。本次赛事共有近一百支队伍参赛，内容为图像分类领域中的小样本学习问题。

小样本学习是目前机器学习国际前沿正在解决的问题之一，是元学习的一个重要应用场景，而基于小样本的深度元学习将更加复杂，面临巨大挑战。与以往的小样本学习不同，本次比赛同时考察元学习算法本身的泛化性和自适应性，对算法在各个场景下的有效性进行测试。

比赛分为两个阶段：Feedback 阶段与 Blind test 阶段。

Feedback 阶段是代码提交及完善阶段。主办方提供了一个公开的线下数据集以及一个隐藏的线上数据集，供参赛者构建以及调试他们的 MetaDL 系统。

Blind test 阶段是最终测试阶段。此阶段拥有另一个完全不同的隐藏测试集。第一阶段提交的最后一次代码会在这个数据集上进行训练和测试，最终的结果将被作为最终效果用于排名。

每个数据集都由两部分组成：元训练数据集以及元测试数据集。元训练数据集包含若干类图片供深度元学习模型进行元训练过程，而元测试数据集包含 600 个片段（episode），每个片段均是五分类一训练样本十九测试样本（5-way-1-shot-19-query）的小样本图像分类任务。对于每个片段，模型需要在给定的五个训练样本（support set）上执行训练过程，并对剩余九十五个测试样本（query set）进行测试。

本次比赛具有以下三个方面的挑战：

一、如何使模型具有快速适应小样本新任务的能力。在这次比赛中，参赛者提交的模型拥有两次训练过程：元训练过程以及测试训练过程。在元训练过程中，模型必须提炼出该数据集的元知识以及最佳的学习方法，来确保模型在测试训练过程中能快速学习并防止过拟合。

二、时间以及空间约束。本次比赛拥有对时间以及空间的约束条件。总时长不超过 2h，总 GPU 资源占用不得超过 4 张 8G M60 GPU。这要求参赛者提供的模型必须高效、轻量地提取元知识和学习方法。

三、适配未知数据集。相别于传统小样本学习，本次比赛还考察了模型对于不同类型数据集的适应效果。由于事先并不知道测试阶段的隐藏元训练数据，挑战者提交的模型必须拥有足够的泛化能力，来应对在未知类型的数据集中提炼元知识的能力。这一点又被称为元-元学习，是对元学习的补充与提升。

为了应对以上三个问题，Meta-Learners 参赛团队提出了自适应深度元学习系统 Meta-Delta 来实现轻量级、高效、高泛化性的元学习模型。

Meta-Delta 系统采用基于测量的方法（metric-based method）来作为元学习模型的内核（如图 Meta-Learner）。这种方法将数据集映射到一个元知识空间，并以空间中测试样本点（query）和训练样本点（support）的距离远近，来快速进行小样本分类。这样的做法将元知识的提取转化为空间变换问题，是最近研究中效果最好的元学习算法之一，很好地解决了快速适应小样本新任务的挑战。

基于此内核，团队精心构造了资源控制模块，精准管控与分配模型学习时的时间空间消耗，采用多进程与多线程相结合的方式，在不超时的前提下进行尽可能充分的元知识提取。最后，系统采用不同的预训练模型 + 多模型整合（ensemble）的方式，使得整个系统在面对未知的数据集时，仍然能够有效地提取出最佳元知识，使其具有更强的泛化能力。

团队成员介绍

Meta_Learners 团队成员包括计算机系在读硕士生关超宇、卫志坤、陈禹东，由关超宇担任队长，朱文武教授与王鑫助理教授担任指导教师。

团队从 2015 年开始关注和研究机器学习自动化相关研究领域，已经具备了较为丰富的领域知识和较为深厚的技术积累，该团队曾摘得 NeurIPS 2018 Lifelong-AutoML 比赛高校冠军。此次参与 MetaDL 第一届比赛以显著优势夺得冠军。

元学习作为一个越来越受关注的研究领域，其应用价值已得到了广泛认可，但其中的关键技术目前仍无法满足日益复杂的现实场景需求，具备广阔的研究前景。Meta_Learners 团队将持续深耕，以保持在该领域的竞争力。

Meta-Delta 论文下载地址：http://mn.cs.tsinghua.edu.cn/xinwang/PDF/AAAI21_MetaDelta.pdf
Meta-Delta 系统源码链接：https://github.com/Frozenmad/MetaDelta

工程