SIGIR 2020 | Hinton最新演讲透露下一代神经网络模型的构想

7月27日上午，第43届国际信息检索大会（SIGIR 2020）以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代（The Next Generation of Neural Networks）”的主题报告。

智源社区为这次国际学术盛会提供了线上会议系统，并进行全程直播支持。

报告中，Hinton教授指出：人类大脑有10^14个神经元连接，而生命的长度只有10^9秒，因此人类是无法完全依赖有监督学习的方法完成所有神经元训练，而需要更多来自于无监督学习的帮助，受此启发，构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

他首先回顾了无监督神经网络的发展历史，结合从LLE、LRE到t-SNE等表达学习模型的进化历程，指出当前无监督学习方法所面临问题的根源在于过度关注数据的重构损失（Reconstructive Loss），而忽略了对数据间关联关系的捕捉。基于此，他提出了下一代神经网络模型的构想，提出利用对比损失函数（Contrastive Loss）建模样本间的局部关系、增强数据间表达的一致性的解决思路。

最后，他还展示了上述构想的一种具体实现方案SimCLR，应用此方案能够显著提升下游图像分类任务的效果（如下图所示）。

作为 CCF 推荐的 A 类国际学术会议，SIGIR 历来都是互联网业内关注的焦点，会议覆盖了信息检索领域相关的各类前沿成果，包括基础理论、算法应用以及评估分析。接下来，本次会议还将安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的五位专家学者进行相关主题报告。

AMiner学术头条

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。系统2006年上线，吸引了全球220个国家/地区800多万独立IP访问，数据下载量230万次，年度访问量1000万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/

理论SIGIR 2020Geoffrey Hinton神经网络

相关数据

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

重构技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。软件重构需要借助工具完成，重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中，重构需要单元测试来支持。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科