千万级数据、一万名选手、一百天时间,首届AI Challenger冠军终于诞生

撰文 | 邱陆陆

为期 4 个月的第一届 AI Challenger 全球 AI 挑战赛于 12 月 21 日落下了帷幕,五个主赛道中,图像中文描述、人体骨骼关键点检测、英中机器文本翻译和英中机器同声传译等四个赛道测的测试集前五名在北京进行了答辩形式的决赛,角出了冠军,分享了高达 200 万元的奖金池。

颁奖嘉宾与冠军选手合影今年是 AI Challenger 开办的第一年,然而通过大规模、高质量的数据集,它吸引了全球120个国家百万余人次的关注。其中来自65个国家的10000多名选手组成了近 9000支队伍参加比赛。


参赛情况统计参赛者来自天南海北,虽然比赛的主要语言是中文,但是仍然吸引了众多外国选手参赛,比例占 7.44%,而来自国内的选手中,北京、广东、上海三地的选手人数超过 50%。


选手地域分布


大部分参赛者是来自高校的研究生,以自主组队的形式报名参赛。此外也有许多实力不俗的年轻工程师来「单挑」,相比之下,以公司或实验室形式参赛的力量较少。

比赛最终的提交比率超过 16%,也就是有大约 1500 支队伍最后提交了比赛结果。作为一个「竞赛」的 AIC,第一年就获得了相当不错的「完赛率」。

机器之心全程参与了今天的决赛,我们对进入决赛的队伍构成做了一个简单的统计,其中红色代表冠军队伍的类别。


决团队构成


选手们大多采用了稳扎稳打的策略,在模型选用上,存在一定程度的同质化现象。

比如在人体骨骼关键点检测赛道,五支团队中有四支直接参考了与视觉方面顶级会议 ICCV 同时举办挑战赛, COCO Keypoint Challenge(关键点挑战赛) 2017 年和 2016 年的优胜方法(例如 Faster R-CNN),以此为基础进行了模型结构、优化方法等改进,让模型能更好拟合数据的特征。

另有一支队伍则以近两年 CVPR 和 ICCV 用来进行图像分割(Image Segmentation) 的模型叠加了注意力模型,获得了处理速度上的较大优势。

各个团队都展现了非常惊人的实现能力和工程能力,他们没有放过模型里任何一个能够「改改试试」的超参数或者结构,在有限的时间内快速地进行了让人眼花缭乱的调试之后选出了兼顾效果与效率的一个。

是的,「效果最佳」并不是唯一原则,「速度快」、「计算需求少」也很重要。

几乎每一位选手都提到了算力不足的限制,2 - 4 台 GPU 是他们常见配置,然而这显然远远达不到他们心目中「理想的」算力条件。另外,从数据集公布到最后的结果提交只有 87 天,想要验证更多方法的有效性只能与时间赛跑。

答辩过程中,评委老师最常提的问题是「你为什么进行了这个替换?」,「这个调整(除了在结果上提高了成绩之外具体)如何帮助了你?」,他们在引导选手进行更抽象乃至更偏向直觉的思考——这也是整个深度学习业界与学界都在不懈努力的事情:努力沟通人类与机器认识问题的沟壑。机器在人类的思维所难以企及的高维空间里究竟学习了什么?我们如何理解它?而让人印象非常深刻的一个答辩来自图像中文描述赛道名为「心态崩了,散了散了」的队伍。

这位选手以一种「轻描淡写」的态度飞快地完成了自己的展示:「这些方法和第一位演讲者都一样我就不说了」,「这是 COCO Challenge 第一名的算法,我就跟着他的代码做的」,「Batch Normalization 是一个非常常见的 trick,我用这个的原因是因为大家都用它」。

当评委尝试去引导他讲出一些方法选择上的思路时,他总结道,「(很多复杂的思路)我都想过,但是没有深入尝试。因为当我参加比赛的时候,在有限的时间内我希望我尝试的都是最简单的、最常见的、效果最好的方法。」

于是很罕见地,对于这位不但没有尝试放大自己工作的重要性,反而说了太多「大实话」的选手,评委没有提出更多的问题而是给出了一些建议:千里挑一地杀出重围进入决赛,说明你一定做对了什么。因此,换个角度思考那些被你自己定位为「没创新」、「不重要」的「雕虫小技」,一定有一些更为本质的、超过「技巧」而进入「想法」范畴的内容,而这样的内容值得一位研究者以更加正式的方式表达出来。

竞赛与科研从不矛盾。工程与算法不能分开。

在下午的访问中,今日头条顾问兼技术战略研究院院长张宏江这样告诉机器之心:「我们的竞赛不是 AI 理论家,也不是 AI 工程师,是 AI Challenger。」他提到,对于今天的科研人员来说,了解算法同时能动手跟数据进行交互的综合能力非常重要。AI 专家需要理解现实中的困难,至于是用工程的方法还是理论上的突破来应对这些挑战,就是研究人员各展其长的时候了。

AI Challenger 用了一年时间,达到了甚至超过了世界范围深度学习领域科研基准数据集的规模与质量。

今年十月的 ICCV 上,甚至有团队在参加 COCO 关键点挑战赛的时候,用 AIC 的数据做联合训练,而在问到有没有反过来用 COCO 的数据集做 AIC 的预训练或者联合训练的时候,这位研究者回答得很快,「不需要,AIC 的数据集足够大了。」它也做到了一个活跃的数据竞赛平台的流量水平、关注度、传播度,而关注度,尤其是参赛人数的每一点增长都意味着组织团队在背后需要进行更多的运营工作。

最重要的是,这不是一个昙花一现的项目。

在颁奖典礼上,创新工场人工智能工程院副院长王咏刚作为 AI Challenger 组委会代表谈了谈 AIC 的三年规划。除了保持已有数据集长期开放的状态、允许使用者进行更多的横向比较之外,还会有更多的数据集进入建设阶段。

组委会面向关注 AIC 的人群做了广泛的数据集建设和竞赛方向调研,发现人们非常期待以金融、自动驾驶和零售为代表的行业数据和以图像分割、姿态预测为代表的技术方向数据。

「我们会尊重前沿工程和科研人员的意见,进行 AIC 的长期规划」,王咏刚如是说。


除此之外,「AI 相关人士」们,从研究员、潜在创业者到大公司,有一个算一个,都被身为竞赛主席之一的李开复点了名,谈到了希望他们从 AIC 里获得什么,也招呼他们为 AIC 这样的平台做点什么。

他希望大公司能从彼此切磋、共同成长的技术进步中飞快地前进,也呼吁他们贡献出自己的数据和资源。他希望同学们、潜在的创业者们在还没有离开学校、还没有踏出创业之路的时候,就接触到世界级别的精确的、大量的数据,知道技术的边界在哪里,也呼吁他们明年、后年,继续回来参赛,在上一波领先者的基础上百尺竿头,更进一步。

这里的每一项实现起来都很难,或许大公司内部部门间数据共享尚未实现,或者同学们和潜在创业者还是要为 GPU 折腰,但是或许就像神经网络本身一样,它的效用来自于它的规模和维度,实现它的巨大成就感来自于它无比多样的可操控性,它的美来自于它的难。

产业
返回顶部