小心肝作者

一文速览ICML2020高引论文与华人作者

首次以线上形式的第 37 届国际机器学习会议将于 7 月 12 日到 7 月 18 日召开,早在一个月前,ICML 官方就以经放出了论文统计结果:

据官方统计,ICML 2020 共提交 4990 篇论文,投稿数量再创新高,而最终接收论文 1088 篇,接收率 21.8%。与往年相比,接收率逐年走低。而在严格的评审和筛选下中国及华人的表现仍然亮眼。

接下来让我们看看截至目前引用量较高的本次 ICML 会议论文以及中国机构和华人的表现吧。

ICML AMiner:https://www.aminer.cn/conf/icml2020

ICMl2020高引用量的论文

Aminer 开发的 ICML 2020 顶会系统给出了本届会议引用量排名靠前的论文。可以看到,在引用量排名靠前的论文中,华人的表现相当活跃,如引用量排名第二的论文“A Simple Framework for Contrastive Learning of Visual Representations”的第一作者为 Chen Tin。排名前十的文章中有 6 篇都为华人作者,其余文章中也能看到华人参与的身影。

引用第一的论文为:“Data-Efficient Image Recognition with Contrastive Predictive Coding

作者为来自 DeepMind 的 Olivier Henaff 等人。 

简介:人类观察者可以从一大堆的例子中学习识别新的图像类别,然而用机器感知来识别这些图像仍然是一个开放的过程挑战。本文假设数据有效的识别是通过使自然信号的可变性更可预测的表示来实现的。因此,作者重新审视并改进对比预测编码,这是一个学习这种表示的无监督目标。这种新的实现产生的特性支持在 ImageNet 数据集上实现最先进的线性分类精度。当使用深度神经网络作为非线性分类的输入时,这种表示允许人们使用比直接在图像像素上训练的分类器少 2-5 个标签。最后,这种无监督的表示大大改进了 PASCAL VOC-2007 上从转移学习到目标检测的能力,超过了完全监督的预训练 ImageNet 分类器。

引用第二的论文为:“A Simple Framework for Contrastive Learning of Visual Representations

作者为 Chen Ting、Kornblith Simon、Norouzi Mohammad、Hinton Geoffrey,值得一提的是来自谷歌大脑的 Chen Ting 作为本论文的华人一作。

简介:本文提出了一个简单的视觉表征对比学习框架 SimCLR。作者简化了最近提出的对比监督学习算法,而不需要专门的架构或内存库。为了了解是什么使得对比预测任务能够学习有用的表征,作者系统地研究了框架的主要组成部分。发现:(1)数据扩充的组合对定义有效的预测任务起着至关重要的作用,(2)在表示和对比损失之间引入一种可学习的非线性变换,大大提高了学习表征的质量,(3)与监督学习相比,对比学习具有更大的批量和更多的训练步骤。通过结合这些发现,人们能够在 ImageNet 上大大优于以前的自监督和半监督学习方法。利用 SimCLR 学习的自监督表示训练的线性分类器达到了 76.5% 的 top-1 准确率,这比先前的最新技术提高了 7%,与有监督 ResNet-50 的性能相当。当仅对 1% 的标签进行微调时,本文的前 5 名准确率达到 85.8%,比 AlexNet 少 100 倍。

引用量前10的本届会议论文
中国各机构与华人的表现

在接收的 1088 篇论文中,中国总共占了 103 篇,接近 10%。大学的投稿领先业界,清华大学、北京大学、上海交通大学占据前三,而机构投稿最多的为华为百度阿里巴巴

在论文数量排名前 50 的作者中,华人也表现亮眼:

投稿数量排名前 50 中华人占据了 14 位,华人投稿接收数量最高的论文数为 7 篇,排在了第 5,6 位。在 ICML 上发表论文是很困难的,因此能够一次性发表多篇论文的作者会让人印象深刻,那让我们看看发表了 5 篇以上的华人作者都有哪些吧。

发表了 7 篇论文的作者分别为西北大学的 Zhaoran Wang 与斯坦福大学的 Percy Liang,他们现在都是助理教授职位,值得一提的是 Percy Liang 也是 ICML2017 最佳论文奖的得主。 

发表了 6 篇论文的华人作者为普林斯顿大学的 Chi Jin 和普林斯顿大学 Zhuoran Yang。Chi Jin 为助理教授,而 Zhuoran Yang 是唯一一位发表 5 篇论文以上的博士生。

想了解关于 ICML 2020 更多的动态,会议论文下载、解读、精读与华人作者信息,就来 AMiner ICML 2020 看看吧!

Aminer ICML 2020顶会专版链接:https://www.aminer.cn/conf/icml2020
AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
入门ICML 2020
相关数据
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商,致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。目前华为有19.4万员工,业务遍及170多个国家和地区,服务30多亿人口。

https://www.huawei.com/cn/
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
线性分类器技术

机器学习通过使用对象的特征来识别它所属的类(或组)来进行统计分类。线性分类器通过基于特征的线性组合的值进行分类决策。 对象的特征也称为特征值,通常在称为特征向量的向量中呈现给机器。

半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。 阿里巴巴集团经营多项业务,另外也从关联公司的业务和服务中取得经营商业生态系统上的支援。业务和关联公司的业务包括:淘宝网、天猫、聚划算、全球速卖通、阿里巴巴国际交易市场、1688、阿里妈妈、阿里云、蚂蚁金服、菜鸟网络等。 2014年9月19日,阿里巴巴集团在纽约证券交易所正式挂牌上市,股票代码“BABA”,创始人和董事局主席为马云。 2018年7月19日,全球同步《财富》世界500强排行榜发布,阿里巴巴集团排名300位。2018年12月,阿里巴巴入围2018世界品牌500强。

https://www.alibabagroup.com/
相关技术
百度机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

https://www.baidu.com/
目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

北京大学机构

北京大学创办于1898年,初名京师大学堂,是中国第一所国立综合性大学,也是当时中国最高教育行政机关。辛亥革命后,于1912年改为现名。2000年4月3日,北京大学与原北京医科大学合并,组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校,创建于1912年10月26日。20世纪三、四十年代,学校一度名为北平大学医学院,并于1946年7月并入北京大学。1952年在全国高校院系调整中,北京大学医学院脱离北京大学,独立为北京医学院。1985年更名为北京医科大学,1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构,为促进医学与人文社会科学及理科的结合,改革医学教育奠定了基础。

官网,http://www.pku.edu.cn/
推荐文章
暂无评论
暂无评论~