张量网络

简单来说,张量网络是通过收缩连接的可数的张量集合。“张量网络方法”是指整个相关领域的工具,在现代量子信息科学、凝聚态物理学、数学和计算机科学中经常使用。

简介

张量网络理论(TNT)是一种解决物理、数学和计算机科学问题的有力方法。

TNT的基本元素是张量,可以看作是由复数形成的多维数组。 用图解形式来形象化它们是有用的,其中张量是具有legs的几何体,每个leg与张量指数相关联。 在下图(a)中给出了二阶张量A_{ab}——等价于矩阵——和三阶张量 B_{pqk}。 如果张量A和B的指数a和q具有相同的维度,那么它们可以通过收缩运算 Contraction 形成新的张量 - 三阶张量$C_{pbk} = \sum_{c} A_{cb}B_{pck}$,如下图(b)所示。

不难看出,这种收缩运算(Contraction)基本等同于标准矩阵乘法,并且可以通过将张量的相应leg连接在一起来在涂上表示。 因此,具有复振幅 $ψ_j$ 多体量子态(many-body quantum state)|ψ> ,i是一个N阶张量 - 一个难以处理的大型无结构整体。

为了克服这一障碍,TNT试图将ψ_j分解为低阶张量网络。 具体来说,我们有一个网络G,其顶点为ν并且每个顶点都有张量T^{(v)}。 这些张量然后具有一组内部指数( internal indices)——指数的——维度至多为χ,并且还可以具有物理指数(physical indices)j_ν。 网络G的边缘描述了每个张量的内部leg如何连接在一起并因此收缩。 因此,在该表示中,在执行由网络G指定的内部索引的所有收缩之后,量子状态的阶数-N张量幅度为开放物理索引(open physical indices),由张量迹 tTr [···](tensor trace)表示。 即:

$ ψ_j = tTr[\circledast_{v \in G} T^{(v)}]

下图(c)-(e)给出了例子。下图(c)显示了矩阵乘积状态(MPS)网络由收缩在一起的张量链组成。 下图(d)则显示了用于2D的等效投影纠缠对状态(PEPS)张量网络。 下图(e)中,示出了 multiscale entanglement renormalisation ansatz (MERA),其具有分层分层的树形网络,其中仅底层中的张量具有物理索引。

image.png

张量之间内部指数的收缩与(张量相关的)物理系统各部分之间的纠缠直接相关。纠缠越多,维度χ就越大。如果允许χ以N为指数地缩放,则原则上张量网络可以描述具有体积缩放纠缠的任何状态|ψ> ,但其也受到维数的诅咒。

然而,如果χ是有界的,则张量网络将仅包含有限个元素,且其网络几何结构仍然允许在编码状态内进行面积上的缩放纠缠(area-law scaling entanglement)。上图(c) - (d)中也有xia,显示其中物理系统的patch由阴影部分指出。area-law指出,该patch与系统其余部分的纠缠与其粗线勾勒出的边界成比例。对于1D,这是一个常数,而在2D中,它会随着patch的周长而增长。

[图片及描述来源:Al-Assam, S.; Clark, S. R.; Jaksch, D. (2016). The Tensor Network Theory Library. arXiv:1610.02244. https://arxiv.org/pdf/1610.02244.pdf]

发展历史

描述

20世纪中叶,学界出现了一股研究浪潮,试图量化并提供各种科学领域的几何模型,包括生物学和物理学。在生物学和物理几何化发展的同时,神经科学的几何化取得了一些进展。当时,为了更严格地研究它们,对脑功能进行量化变得越来越必要。大部分进展可归功于Pellionisz和Llinas及其同事的工作,他们提出了张量网络理论,以便为研究人员提供量化和模拟中枢神经系统活动的手段。

1980年,Pellionisz和Llinas引入了他们的张量网络理论来描述小脑在将传入感觉输入转化为传出运动输出中的行为他们提出,内在的多维中枢神经系统空间可以通过一个外在的张量网络来描述和建模,它们共同描述了中枢神经系统的行为。通过将大脑视为“几何对象”并假设(1)神经元网络活动是矢量性的和(2)网络本身是张量组织的,大脑功能可以量化并简单地描述为张量网络。即:

感觉输入(Sensory input)= 协变张量(covariant tensor)

电机输出(Motor output)= 逆变张量(contravariant tensor)

小脑神经元网络=度量张量(metric tensor),将感觉输入转换为电机输出

以中枢神经系统活动为模型的神经网络使研究人员能够解决其他方法无法解决的问题。 人工神经网络现在正在各种应用中应用于其他领域的进一步研究。1996年,Pellionisz将张量网络理论应用在了非生物学项目上——使用“Transputer并行计算机神经网络”模拟一架受损的F-15战斗机在一个机翼上的自动着陆。战斗机的传感器将信息输入飞行计算机,飞行计算机又将这些信息转换为命令,以控制飞机的机翼襟翼和副翼,以实现稳定的着陆。 这与身体被小脑转化为运动输出的感觉输入同义。飞行计算机的计算和行为被建模为度量张量,采用协变传感器读数并将其转换为逆变命令以控制飞机硬件。

遗憾的是,TNT始终没有得到学界很多关注。直到近年来,随着计算能力的提高,量子物理的研究逐渐取得突破,作为该研究的核心方法之一,TNT又一次被研究、应用。2017年,,清华大学段路明组提出一种生成模型的量子算法——量子生成式模型(Quantum Generative Model, QGM),该模型通过测量一系列处于多体纠缠态下的可观测算符来表示用于描述数据间关系的概率分布。他们提出的 QGM 可以写成一个特定的张量网络状态,以保证 n 个二元变量 {x_i,i = 1,2, ...,n} 的概率分布 Q({x_i})具备足以包含所有因子图的泛化能力; 并且保证,如果状态| Q>采取特定的形式,这个模型中的参数可以方便地通过量子算法在数据集上进行训练。他们证明了至少存在一些该量子算法相对于所有经典算法有指数量级的加速效果的场景。

同年,耶路撒冷希伯来大学的几位研究者建立了量子物理学领域和深度学习领域的一种基本联系。他们使用这种联系断言了全新的理论观察,该观察是关于卷积网络每一层的通道(channel)的数量在整体的归纳偏置中的作用。具体来说,他们给出了深度卷积算术电路(ConvAC:convolutional arithmetic circuit)所实现的函数和量子多体波函数(quantum many-body wave function)之间的等价性,这取决于它们共同的基础张量结构。这有助于将量子纠缠度量(quantum entanglement measures)用作深度网络表达能力(以建模其输入的复杂相关性结构)的定义良好的度量方法。最重要的是,构建张量网络(Tensor Network)方面的深度 ConvAC 成为了可能。这种描述让我们可以进行一个卷积网络的图论分析(graph-theoretic analysis),通过这种方式他们展示了一种通过深度网络的通道数量直接控制深度网络的归纳偏置的方法,这些通道是其基本图中的相关最小切割(related min-cut)。对任何为特定任务设计卷积网络的实践者来说,这个结果是有用处的。

主要事件

年份事件相关论文/Reference
1980Pellionisz和Llinas引入了他们的张量网络理论来描述小脑在将传入感觉输入转化为传出运动输出中的行为Pellionisz, A.; Llinás, R. (1980). Tensorial Approach To The Geometry Of Brain Function: Cerebellar Coordination Via A Metric Tensor. Neuroscience. 5 (7): 1125–1136.//Pellionisz, A., Llinás, R. (1985). Tensor Network Theory Of The Metaorganization Of Functional Geometries In The Central Nervous System. Neuroscience. 16 (2): 245–273
1996Pellionisz将张量网络理论应用在了非生物学项目上Pellionisz, A. (1995). Flight Control by Neural Nets: A Challenge to Government/Industry/Academia. International Conference on Artificial Neural Networks.
2017清华大学段路明组提出一种生成模型的量子算法Gao, X.; Zhang, Z.; Duan, L. (2017). An efficient quantum algorithm for generative machine learning. arXiv:1711.02038.
2017耶路撒冷希伯来大学的几位研究者建立了量子物理学领域和深度学习领域的一种基本联系Levine, Y.; Yakira, D.; Cohen, N.; Shashua, A. (2017). Deep Learning and Quantum Physics: A Fundamental Bridge. arXiv:1704.01552v1.

发展分析

瓶颈

TNT算法需要优化的软件来存储和处理高维复杂的多线性数据,并将其与标准线性代数包相连接。加上张量的多次重塑(reshaping)和重新排序,以及跟踪全局物理对称性的信息等操作,对软件的执行和计算效率造成了很大挑战。

未来发展方向

TNT从其发展开始就是量子物理的重要研究手段,其也一定将在接下来几年的量子计算研究中发挥重要的作用。此外,如上文我们看到的,TNT也许是解释神经网络的一把钥匙。

Contributor: Yuanyuan LI

相关人物
Luming Duan
Luming Duan
Andras J. Pellionisz
Andras J. Pellionisz
Dieter Jaksch
Dieter Jaksch
Amnon Shashua
Amnon Shashua
Rodolfo Llinás
Rodolfo Llinás
简介
相关人物