AI也需要睡眠？Reddit网友吵翻了：说得好像我们很了解睡眠一样

【导读】人类需要充足的睡眠才能有最好的状态，而最新研究发现，人工神经网络也可能受益于长时间的休息。模拟神经网络中类似睡眠周期的状态，可以消除人工模拟大脑中不间断的自学习带来的不稳定性。

众所周知，充足的睡眠可以带来元气满满的一天，提高工作效率，无论是动物还是人类，都可以得到充足睡眠带来的好处。

而近日洛斯阿拉莫斯国家实验室 (Los Alamos National Laboratory) 的一项研究表明，人工计算大脑也可以从睡眠中受益，这种好处与睡眠给人类所带来的好处类似。

人工计算大脑的灵感来自于人类大脑的神经连接。想象一下，一个由相互连接的节点组成的庞大分层网络，他们互相通信。一连串的信息波，通过一系列电子发射穿过结构。网络中的每个节点或 “神经元” 都有自己的数据和信号供应，以便将数据传输到下一层节点。

随着时间的推移，神经网络调整这些神经元之间独特的相互作用，以提高其解决问题的能力。神经组合的路线图会慢慢地微调，直到系统为给定的任务开发出最佳策略。

人造大脑需要睡眠

在这项研究中，洛斯阿拉莫斯国家实验室的研究人员重点研究了脉冲神经网络，它的功能不同于标准的人工神经网络。这些计算系统更接近于人脑的神经回路，神经元在接收到大量输入信号后产生一个信号。科学家们仍在学习如何训练脉冲神经网络，因为这些系统需要与典型的人工神经网络完全不同的方法。

洛斯阿拉莫斯国家实验室的计算机科学家 Yijing Watkins 说道:“我们研究的是脉冲神经网络，该系统能像人类大脑一样学习。而且我们对神经形态处理器的一种训练方法有极大感兴趣，该方法可以通过模仿人类以及其他生物在童年期从环境中学习的方式来进行训练。

Watkins 和她的研究小组发现，连续一段时间的无监督学习后，神经网络模拟变得不稳定。当他们将神经网络暴露在类似于人类大脑在睡眠时所经历的波动状态时，稳定性就恢复了。Watkins 说:“这就好像我们让人工神经网络好好睡了一晚一样。”

这一发现是研究小组在开发神经网络时发现的，该神经网络与人类和其他生物系统学习的方式非常接近。一开始，研究小组在进行无监督字典训练时，很难稳定模拟神经网络，这涉及到对对象进行分类，而没有先前的例子来比较它们。

“一般很少会碰到这种让学习系统更稳定的问题，只有在尝试使用仿生的脉冲神经形态的处理器，或者试图理解生物学本身时，才会碰到这种问题。” 洛斯阿拉莫斯的计算机科学家和研究合著者 Garrett Kenyon 说，“绝大多数机器学习、深度学习和人工智能研究人员从来没有遇到过这个问题，因为在他们研究的人工系统中，他们可以执行全局数学运算，从而调节系统的整体动态增益。”

研究人员认为，将神经网络暴露在模拟睡眠状态下的决定，几乎是稳定网络的最后一搏。他们对各种类型的噪音进行了实验，这些噪音大致相当于调谐收音机时可能遇到的电台间的静态电音。当他们使用所谓的高斯噪声波时，得到了最好的结果。

研究小组的下一个目标是在英特尔的 Loihi 神经形态芯片上实现他们的算法。他们希望让 Loihi 时不时地进入睡觉状态，使其能够稳定地实时处理来自硅视网膜摄像头的信息。如果这些发现证实了人造大脑需要睡眠，我们或许可以期待未来机器人和其他智能机器也会有同样的情况。

Watkins 团队在 6 月 14 日的 CVPR 大会上对该项研究做了详细介绍，文章一经发表，也在 Reddit 网站上引起热议。

Reddit 热议：人造大脑真的是在睡觉吗？

有网友指出，称人造大脑的稳定状态类比于睡眠状态有待商榷，因为如果我们不了解睡眠，我们怎么能说他们相似或不相似？唯一相似的地方，是噪声和脑波中存在的波形，该波形随处可见，并非睡眠独有。

而也有网友表达不同的意见，他认为如果我们把 “睡眠” 概念化为一种恢复退化的认知功能的无反应的恢复过程，那么睡眠对于任何给定的系统都将是一个不同的过程，但最终功能是相同的，本文所描述的过程甚至可能是相符的。

除此外，有网友质疑该研究在很大程度上夸大了人造大脑与睡眠的相似之处，使得它的适用性比现在更加广泛。

脉冲神经网络虽然经常被誉为第三代人工神经网络，但是这种一个相当小众的研究领域。对于传统的 CNN 来说，这种技术可能并不需要，因为它们在训练过程中会不断地进行自我规则化。

也有网友补充知识点，生物神经网络具有固有的延迟，因为电信号在网络中传播需要时间，长时间训练网络也非常困难。

信号需要时间流过网络，如果正在训练，则需要进行反向传播来加强连接。如果最短路径和最长路径之间的时间差变得太大，则将先处理一条路径，而另一条路径仍在传播。然后当后来的输入进入时，前一个输入的潜在处理将破坏新数据，即引起“幻觉”。

这位网友指出，研究人员所做的 “重置” 很可能是发送固定频率的脉冲，其中或许有一个作用，就是优化由于最近学习而加强的路径，使路径之间的时间间隔缩短到某个阈值以下，以防止幻觉的产生。

该网友还建议将生物神经网络与人工神经网络完全区别对待。虽然人工神经网络可能会受到生物学的启发，但有大量的基本差异使得用一个来描述另一个变得困难。

参考链接：
[1]https://www.lanl.gov/discover/news-release-archive/2020/June/0608-artificial-brains.php?source=newsroom
[2]https://www.techrepublic.com/article/turns-out-artificial-brains-need-sleep-too-but-do-they-dream/
[3]https://www.reddit.com/r/science/comments/gzxi3w/artificial_brains_may_need_sleep_too_neural/ftk3h1p/

AMiner学术头条

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。系统2006年上线，吸引了全球220个国家/地区800多万独立IP访问，数据下载量230万次，年度访问量1000万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/

产业神经网络Reddit

相关技术

推理网络 OpenCV

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

脉冲神经网络技术

第三代神经网络，脉冲神经网络（Spiking Neural Network，SNN），旨在弥合神经科学和机器学习之间的差距，使用最拟合生物神经元机制的模型来进行计算。脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来，其中最重要的是神经元的膜电位。本质上，一旦神经元达到了某一电位，脉冲就会出现，随后达到电位的神经元会被重置。对此，最常见的模型是 Integrate-And-Fire（LIF）模型。此外，SNN 通常是稀疏连接的，并会利用特殊的网络拓扑。

来源：机器之心

生物神经网络技术

生物神经网络（Biological Neural Networks）一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中，我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。数据通常包含噪音，错误，例外或不确定性，或者不完整。错误和噪音可能会混淆数据挖掘过程，从而导致错误模式的衍生。去除噪音是数据挖掘（data mining）或知识发现（Knowledge Discovery in Database，KDD）的一个重要步骤。

来源：Han J.; Kamber M.; Pei J. (2011). Data mining: concepts and techniques. Morgan Kaufman.

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.