近日,由第四范式、ChaLearn、谷歌联合主办的第五届“AutoDL挑战赛”正式开赛。作为NeurIPS 2019系列比赛的收官之战,此次“AutoDL挑战赛”结合了AutoCV、AutoCV2、AutoNLP、AutoSpeech等多项赛事,旨在让参赛选手设计开发出可解决结构化数据、文本、语音、图像、自然语言处理等不同领域的全自动多分类通用系统。
近年来,深度学习技术飞速发展,并已在语音识别、图像识别、文本分类等领域取得了重要进展,这也促使了深度学习技术需求量的大幅增加。然而,该技术的实现仍然需要大量的专家经验和人工成本。因此,可自动构建深度学习系统的AutoDL技术备受关注。此前,第四范式已先后组织了面向图像、语音、自然语言处理等技术领域的AutoDL系列赛事,此次AutoDL挑战赛”难度设置进一步加大,比赛不只局限在单一技术领域,而是希望通过一套系统应用在多个领域,以推动AutoDL技术的落地应用及快速发展。
参赛报名页面:https://www.automl.ai/
关于比赛
主办方为本次“AutoDL挑战赛”准备了语音、视频、图像、文本、表格等不同领域的15组数据集,其中包括5个离线公共数据集(用于选手开发和训练自己的AutoDL程序)、5个线上公共数据集(用于盲测,选手无法获得数据集任何信息)、5个私有数据集(用于盲测,选手无法获得数据集任何信息)。比赛平台将提供统一配置的GPU服务器进行相同环境相同计算资源的测试,并设定每个评测数据集的运行时长。选手也可使用自行训练的预训练模型。
本次挑战赛分为两个阶段(反馈阶段、最终阶段)。在反馈阶段,参赛选手首先通过下载五个训练数据集,离线开发自己的AutoDL程序,实现从训练数据、模型结构设计、参数调校等过程。然后将自己的AutoDL程序代码上传到比赛平台上,通过另外五个线上公共数据集测试,得到程序性能的即时反馈。在最终阶段,参赛选手的AutoDL程序将在没有人工干预的前提下,通过五个私有数据集进行评估。最终阶段的排名将决定获胜者。
赛事挑战
作为史上最难的“AutoDL挑战赛”,参赛选手将面临如下挑战:
-如何在不同的数据中自动发现有效信息?
-如何为不同领域的任务自动提取有用特征?
-如何自动处理不同领域的数据?
-如何自动设计有效的神经网络结构?
-如何构建和自动调整预先训练的模型?
同时,参赛选手需考虑:
-如何自动高效地选择恰当的机器学习模型与超参数?
-如何提高解决方案的通用性?即如何保证解决方案在未知任务中的适用性?
-如何控制计算和内存成本?
赛程时间
2019年12月14日:反馈阶段开始,离线公共数据集发布。参赛选手可以开始提交代码并在排行榜中获得即时反馈。
2019年12月19日:开源 Baseline 3。
2020年2月20日:反馈阶段结束。
2020年2月20日:最终阶段开始。
2020年2月24日:最终阶段结束。
2020年3月15日前:比赛优胜团队被邀请投稿至IEEETransactions on PAMI的 AutoML Special Issue。
赛事奖励
第一名: $2000
第二名: $1500
第三名: $500
AutoML系列赛事
- AutoML @PAKDD 2018
- AutoML @NeurIPS 2018
- AutoML @PAKDD 2019
- AutoML @KDDCUP 2019
- AutoCV @IJCNN 2019
- AutoCV2 @ECML PKDD 2019
- AutoNLP @WAIC 2019
- AutoSpeech @ACML 2019
- AutoWSL @ACML 2019