2021/10/27 14:47

LANL的研究人员证明，量子卷积神经网络中不存在「贫瘠高原」

编辑 | 萝卜皮

随着量子计算机的出现，已经提出了许多不同的架构，它们可以提供优于经典对应物的优势。量子神经网络（QNN）是最有前途的架构之一，其应用包括物理模拟、优化和更一般的机器学习任务。尽管 QNN 具有巨大的潜力，但已被证明表现出「贫瘠高原」，其中成本函数的梯度随系统大小呈指数级消失，使得该架构无法针对大型问题进行训练。

在这里，阿拉莫斯实验室（Los Alamos National Laboratory，LANL）与伦敦大学的研究人员合作，展示了一个特定的 QNN 架构不存在贫瘠高原。

研究人员分析了一种称为量子卷积神经网络（QCNN）的架构，该架构最近被提出用于解决量子数据的分类问题。例如，可以训练 QCNN 根据它们所属的物质相对量子态进行分类。且研究人员证明 QCNN 不会受到贫瘠高原的影响，因此将它们突出显示为在短期内实现量子优势的潜在候选架构。

该研究以「Absence of Barren Plateaus in Quantum Convolutional Neural Networks」为题，于 2021 年 10 月 15 日发布在《PHYSICAL REVIEW X》。

QNN 围绕有效分析量子数据的可能性引起了人们的兴趣。但这种兴奋已经被许多 QNN 架构的指数级消失梯度（称为贫瘠高原景观）的存在所缓和。最近，已经提出了QCNN，涉及一系列卷积层和池化层，这些层减少了量子比特的数量，同时保留了有关数据特征的信息。

QCNN 的示意图。

在这项工作中，研究人员严格分析了 QCNN 架构中参数的梯度缩放。结果发现梯度的方差消失的速度并不比多项式更快，这意味着 QCNN 没有表现出贫瘠的高原。该结果为随机初始化的 QCNN 的可训练性提供了分析保证，这突出了 QCNN 在随机初始化下可训练。这与许多其他 QNN 架构不同。

为了得出结果，研究人员引入了一种新的基于图的方法来分析 Haar 分布式幺正的期望值；这可能在其他情况下有用；另外，研究人员进行了数值模拟，以验证分析结果。

QCNN 的张量网络表示。

作为一种人工智能方法，QCNN 受到视觉皮层的启发。因此，它们涉及一系列卷积层或过滤器，与池化层交错，在保持数据集的重要特征的同时降低数据的维度。这些神经网络可用于解决一系列问题，从图像识别到材料发现。克服贫瘠的高原是挖掘量子计算机在人工智能应用中的全部潜力并展示其优于经典计算机的关键。

Marco Cerezo（论文合著者之一）说，到目前为止，量子机器学习的研究人员分析了如何减轻贫瘠高原的影响，但他们缺乏完全避免它的理论基础。LANL 的工作展示了一些量子神经网络实际上不受贫瘠高原的影响。

「有了这个保证，研究人员现在将能够筛选关于量子系统的量子计算机数据，并将这些信息用于研究材料特性或发现新材料等方面。」LANL 的量子物理学家 Patrick Coles 说。

Coles 认为，随着研究人员更频繁地使用近期量子计算机并生成越来越多的数据，将会出现更多量子人工智能算法的应用程序——所有机器学习程序都需要大量数据。

QCNN 架构的 GRIM 模块。

40 多年来，物理学家一直认为量子计算机将被证明可用于模拟和理解粒子的量子系统，这会扼杀传统的经典计算机。LANL 研究证明稳健的量子卷积神经网络类型有望在分析量子模拟数据方面获得应用。

「量子机器学习领域起步较晚。」Coles 说，「关于激光有一句名言，当它们第一次被发现时，人们说它们是寻找问题的解决方案。现在到处都在使用激光。同样，我们中的许多人怀疑量子数据能否变得高度可用，可能意味着量子机器学习也会起飞。」

例如 Coles 所说，研究重点是陶瓷材料作为高温超导体，这可以改善无摩擦运输，例如磁悬浮列车。但是，分析材料中受温度、压力和杂质影响的大量相的数据，并对相进行分类是一项超出经典计算机能力的艰巨任务。使用可扩展的量子神经网络，量子计算机可以筛选关于给定材料的各种状态的大量数据集，并将这些状态与相相关联，以确定高温超导的最佳状态。

论文作者 Arthur Pesah 表示：「随着 QNN 领域的蓬勃发展，我们相信对其他候选架构进行类似的分析非常重要，我们工作中开发的技术可以用作此类分析的蓝图。」

论文链接：https://journals.aps.org/prx/abstract/10.1103/PhysRevX.11.041011

相关报道：https://phys.org/news/2021-10-breakthrough-proof-path-quantum-ai.html

理论量子计算

相关数据

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

量子神经网络技术

将量子理论与神经计算相结合是美国路易斯安那(Louisiana) 州立大学Kak 教授的创举,他在1995年发表的“On Quantum Neural Computing”一文首次提出量子神经计算的概念,开创了该领域的先河。同年英国 Sussex大学的Chrisley提出了量子学习(Quantum Learning)的概念，并给出非叠加态的量子神经网络模型和相应的学习算法。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

张量网络技术

简单来说，张量网络是通过收缩连接的可数的张量集合。“张量网络方法”是指整个相关领域的工具，在现代量子信息科学、凝聚态物理学、数学和计算机科学中经常使用。

来源：Quantum Tensor Networks in a Nutshell

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia

量子机器学习技术

量子机器学习是量子物理学和机器学习交叉的一个新兴的交叉学科研究领域。人们可以区分四种不同的方式来结合这两个父类学科。量子机器学习算法可以利用量子计算的优势来改进经典的机器学习方法，例如通过在量子计算机上开发昂贵的经典算法的有效实现。另一方面，可以应用经典的机器学习方法来分析量子系统。一般来说，可以考虑学习装置和所研究的系统都是完全量子的情况。

来源：维基百科

量子计算技术

量子计算结合了过去半个世纪以来两个最大的技术变革：信息技术和量子力学。如果我们使用量子力学的规则替换二进制逻辑来计算，某些难以攻克的计算任务将得到解决。追求通用量子计算机的一个重要目标是确定当前经典计算机无法承载的最小复杂度的计算任务。该交叉点被称为「量子霸权」边界，是在通向更强大和有用的计算技术的关键一步。

来源：活在实验室还是实现霸权？揭开当前量子计算技术进展之谜|机器之心