谷歌大脑 Geoffrey Hinton 等人的这篇论文《Similarity of Neural Network Representations Revisited》研究了测量深度神经网络表示相似性的问题。该论文的主要贡献有：1）讨论了相似性指数的不变性及其对测量神经网络表示相似性的影响；2）引入了 centered kernel alignment (CKA) 作为一种相似性指数，并分析 CKA、线性回归、典型相关分析（CCA）等相关方法之间的关系；3）证明了 CKA 能够确定基于不同随机初始化和不同宽度训练的神经网络的隐藏层之间的对应关系，而以前提出的相似性指数在这些场景下是不适用的；4）验证了网络越宽学习到的表示越相似，并且前几层的相似性比后几层更容易饱和。该研究证明了神经网络中的前几层而非后几层能从不同的数据集中学习到相似的表示。