2021/12/28 14:35

机器之心编辑部专栏

特奖得主任队长，清华夺冠NeurIPS 2021国际深度元学习挑战赛

近期，国际AI顶级会议 NeurIPS 2021 召开。清华大学朱文武教授实验室 Meta_Learners 团队在 NeurIPS 2021 举办的第二届国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军。该团队在最终阶段的五个数据集中以平均准确率超越第二名 17.5%（相对提升 22.3%）的优势强势摘得桂冠。

元学习（Meta Learning）作为机器学习迈向自动化的一个重要研究方向，已经得到了产学研各界的持续关注。元学习旨在让机器学习算法从已经学过的任务中总结学习经验，提取「元」知识，来在遇到新场景、新任务时，让算法能够仅利用少量的样本就完成复杂的训练过程，从而又快又好地适应未知场景。

为了进一步提升元学习算法在实际场景中的应用效果，机器学习比赛平台 ChaLearn 联合微软、谷歌等知名公司在各大人工智能学术顶级会议举办 MetaDL 系列竞赛。作为元学习领域的第二届国际竞赛，本次 NeurIPS 2021 MetaDL 挑战赛吸引了国内外顶尖团队的近五十支参赛队伍。

官网地址：https://metalearning.chalearn.org/metadlneurips2021

本次比赛关注元学习系统面对不同领域、不同质量的数据、任务时的表现。具体地，比赛要求选手们提供一个元学习系统，该系统需要在两小时、4 张 Tesla M60 显卡的环境中完成对已有任务的学习以及提取元知识，并在完全未知的 600 个图像分类任务（每个任务仅有 5 分类 x5 张 = 25 张标注图片，需要完成额外 95 张图片的标注）上完成快速学习和标签预测。

此外，系统还需要在无人工调整的情况下适配包括生物、地质、病理、纹理、字符等不同领域的小样本图像分类问题，具有极大的挑战性。

具体来说，这次比赛具有以下两个方面的挑战：

数据层面，来自各领域的图像内容和特性不同，采集与处理的方法也各不相同，有些是电子显微镜成像照片，有些是卫星传感照片，有些是人工手写字符，有些是家用摄像机拍照，这对元学习系统如何处理不同质量的输入信息提出挑战；
算法层面，不同领域的小样本任务需要不同的元知识，对应的特征提取算法、超参、框架也大有不同，这对元学习算法的泛化性和自适应能力提出巨大挑战。

清华 Meta_Learners 团队赢得冠军

此前，清华大学朱文武教授实验室的 Meta_Learners 团队就已在相关深度元学习比赛中取得优异成绩。在年初的AAAI 2021 国际首届深度元学习挑战赛（MetaDL Challenge）中，该团队以高出第二名 13% 性能的成绩强势夺冠。

此次在 NeurIPS 2021 MetaDL 挑战赛中，团队延续了元学习领域的一贯优势，并再次夺得第一名。

针对数据和算法层面的挑战，Meta_Learners 团队采用多级分辨率输入设计、低质量数据增强、混合领域半监督弱监督混合训练的方法来处理不同大小和质量的数据，解决数据层面的挑战。

与此同时，他们采用半冻结模型参数更新与自动集成的方式来提取不同领域的元知识，解决算法层面的挑战。

该团队提出的 MetaDelta++ 系统将向学术社区开源，为元学习算法进一步的研究和推广提供支持。

特征层次丰富化

为应对不同质量的数据输入，Meta_Learners 团队采用变尺度模型输入与数据增广的方式来处理领域和内容不统一的问题，采用数据增广来提升内容质量，从而提升模型特征的分辨能力，并利用变尺度预训练模型进行图像粗粒度与细粒度特征提取，丰富特征内容。

知识迁移高效化

为进一步增强 MetaDelta++ 对不同质量、不同领域图像信息的捕捉能力，团队采用多领域数据进行模型预训练，将在不同领域得到的知识迁移到目标领域内，并通过微调高层语义层参数的方式实现对目标领域的自适应，通过知识与模型参数的对应性实现混合域与目标域知识的高效应用。

领域感知自动化

为进一步提升算法的领域感知能力，MetaDelta++ 采用自动集成的方式来最终的模型集成，将投票、GBM、GLM、Bayes 等集成方法自动化，从而实现领域感知的自适应集成算法。

团队简介

Meta_Learners 团队成员包括计算机系硕士生关超宇与博士生陈虹，由关超宇担任队长，朱文武教授与王鑫助理教授担任指导教师。

2021 清华大学特奖获得者（研究生）、Meta_Learners 团队队长关超宇（左）；博士生陈虹（右）

清华大学计算机系朱文武教授（左）、王鑫助理教授（右）。图源：leiphone

该团队自 2015 年起开始布局机器学习自动化方向的研究，已具备丰富的领域知识和深厚的技术积累，曾摘得 NeurIPS 2018 Lifelong-AutoML 比赛高校冠军与 MetaDL 第一届比赛冠军。在本届比赛上，该团队再次以绝对领先的优势卫冕 MetaDL 第二届比赛冠军。

随着各界对元学习研究的进一步深入，该技术已经在多个领域展现了其重要价值，但当前元学习的关键技术发展与日益复杂的真实场景需求仍然存在较大的差距，具有广阔的研究前景。Meta_Learners 团队将着力解决元学习领域的核心问题，推动元学习在更多领域创造社会价值。

参考链接：https://www.cs.tsinghua.edu.cn/info/1088/4740.htm

理论MetaDL ChallengeNeurIPS 2021第二届国际深度元学习挑战赛Meta_Learners团队清华大学朱文武教授实验室

相关技术

知识图谱

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

提升算法技术

Boosting是一种主要用于减少偏差的机器学习集成元算法，也是监督学习的一个变化，是一种将弱学习器转换为强学习器的机器学习算法家族。 Boosting是基于Kearns和Valiant（1988,1989）提出的问题：一组弱学习器能创造一个强大的学习器吗？一个弱的学习器被定义为一个分类器，它与真实的分类只有轻微的相关性（它可以比随机猜测更好地标注示例）。相反，强大的学习器是一个与真实分类任意相关的分类器。

来源：Wikipedia

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

集成方法技术

在统计学和机器学习中，集成方法使用多种学习算法来获得比单独使用任何组成学习算法更好的预测性能。

来源：维基百科

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科