张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在n维空间内,有$n^{r}$个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。r称为该张量的秩或阶(与矩阵的秩和阶均无关系)。
在同构的意义下,第零阶张量(r=0)为标量,第一阶张量(r=1)为矢量, 第二阶张量(r=3)则成为矩阵。由于变换方式的不同,张量分成协变张量(指标在下者)、逆变张量(指标在上者)、混合张量(指标在上和指标在下两者都有)三类。
在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。
虽然张量可以用分量的多维数组来表示,张量理论存在的意义在于进一步说明把一个数量称为张量的涵义,而不仅仅是说它需要一定数量的有指标索引的分量。特别是,在坐标转换时,张量的分量值遵守一定的变换法则。张量的抽象理论是线性代数分支,现在叫做多重线性代数。
一个(m,n)型的张量被定义为一个多重线性映射(multilinear map)
其中是矢量空间,是对应的对偶空间。
有两种定义张量的方法:
通常定义张量的物理学或传统数学方法,是把张量看成一个多维数组,当变换坐标或变换基底时,其分量会按照一定变换的规则,这些规则有两种:即协变或逆变转换。
通常现代数学中的方法,是把张量定义成某个矢量空间或其对偶空间上的多重线性映射,这矢量空间在需要引入基底之前不固定任何坐标系统。例如协变矢量,可以描述为1-形式,或者作为逆变矢量的对偶空间的元素。
例子1:
考虑水中的船,我们要描述它对受力的反应。力是一个矢量,而船的反应是一个加速度,它也是一个矢量。通常加速度不是和受力的方向相同,因为船体的特定形状。但是,这个力和加速之间的关系实际上是线性的。这样一个关系可以用一个(1,1)类型(也就是说,它把一个矢量变成另一个矢量)的张量表示。这个张量可以用矩阵表示,当它乘以一个矢量时就得到另一个作为结果。坐标系改变的时候,表示一个矢量的数字会改变,同样,表示这个张量的矩阵中的数字也会改变。
例子2:
柯西应力张量
[描述来源:Wikipedia; URL:https://zh.wikipedia.org/wiki/%E5%BC%B5%E9%87%8F]
发展历史
描述
“张量”一词最初由威廉·罗恩·哈密顿在1846年引入,但他把这个词用于指代现在称为模的对象。该词的现代意义是沃尔德马尔·福格特在1899年开始使用的。
这个概念由格雷戈里奥·里奇-库尔巴斯托罗在1890年在《绝对微分几何》的标题下发展出来,随着1900年列维-奇维塔的经典文章《绝对微分》(意大利文,随后出版了其他译本)的出版而为许多数学家所知。随着1915年左右爱因斯坦的广义相对论的引入,张量微积分获得了更广泛的承认。广义相对论完全由张量语言表述,爱因斯坦从列维-奇维塔本人那里学了很多张量语言(其实是Marcel Grossman,他是爱因斯坦在苏黎世联邦理工学院的同学,一个几何学家,也是爱因斯坦在张量语言方面的良师益友 - 参看Abraham Pais所著《上帝是微妙的(Subtle is the Lord)》),并学得很艰苦。但张量也用于其它领域,例如连续力学,譬如应变张量。
发展到今天,有许多现有的深度学习系统都是基于张量代数(tensor algebra)而设计的,张量与新的机器学习工具(如 TensorFlow)是非常热门的话题,对于那些寻求应用和学习机器学习的人来说更是如此。人们通过在张量上写下一套运算的模式(pattern)并根据这些模式编写程序,然后用TensorFlow等工具自动转换成可高效执行的程序。
主要事件
年份 | 事件 | 相关论文/Reference |
1890 | tensor的现代意义开始被使用 | Voigt, W. (1898). Die fundamentalen physikalischen Eigenschaften der Krystalle in elementarer Darstellung. Von Veit. |
1990 | 张量概念开始为众多数学家所知 | Ricci, M. M. G., & Levi-Civita, T. (1900). Méthodes de calcul différentiel absolu et leurs applications. Mathematische Annalen, 54(1-2), 125-201. |
1916 | 广义相对论的引入使得张量微积分获得更广泛的承认 | Einstein, A. (1916). Die grundlage der allgemeinen relativitätstheorie. Annalen der Physik, 354(7), 769-822. |
2005 | 将张量作为输出,设计了一种监督式张量学习的框架 | Tao, D., Li, X., Hu, W., Maybank, S., & Wu, X. (2005, November). Supervised tensor learning. In Data Mining, Fifth IEEE International Conference on (pp. 8-pp). IEEE. |
2013 | 提出一种基于张量的深度堆叠网络结构 | Hutchinson, B., Deng, L., & Yu, D. (2013). Tensor deep stacking networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1944-1957. |
2016 | 介绍了一种基于张量的计算系统-TensorFlow | Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., ... & Kudlur, M. (2016, November). TensorFlow: A System for Large-Scale Machine Learning. In OSDI (Vol. 16, pp. 265-283). |
发展分析
瓶颈
将张量概念,张量分解有效运用到机器学习中
未来发展方向
利用张量来存储数据,从而应用到机器学习中,比如TensorFlow
Contributor: Yueqin Li