2020/09/12 14:34

以自动储备池学习机器实现高维场景预测，陈洛南/刘锐团队合作研究登Nature子刊

在实际应用中，仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了更大的挑战。所以，在本文中，研究者们提出了一种新型 ARNN 框架，它能够把高维空间数据映射到目标变量的未来时间信息，使得通过高维短序列时间序列数据的预测成为可能。

2020 年 9 月 11 日，国际学术期刊《Nature Communications》发表了中国科学院生物化学与细胞生物学研究所陈洛南（Luonan Chen）研究组与华南理工大学刘锐（Rui Liu）团队合著的新论文《Autoreservoir Computing for Multistep Ahead Prediction Based on the Spatiotemporal Information Transformation》，其中他们提出了基于空时信息变换的自动储备池方法及时间序列预测方法。该研究使得通过高维短序列时间序列数据的预测成为可能。

论文链接：https://www.nature.com/articles/s41467-020-18381-0

具体来讲，该成果建立了基于非线性动力学的空时信息变换理论与具有对称结构的自动储备池计算框架（Auto-Reservoir Neural Network, ARNN），基于 ARNN 的一对共轭空时信息变换方程组将高维空间信息转化成某个目标变量的时间信息，求解该方程组能获得目标变量的未来信息（如下图 1 所示）。

图 1. 时空转换方程与自动储备池（储层）的计算框架。

该研究的参与者包括中国科学院陈洛南教授、华南理工大学刘锐教授和陈培博士，以及东京大学 Kazuyuki Aihara 教授。

ARNN 框架概述

在时间序列分析中，一般认为在获得低维系统的大量长时间序列数据后，系统的重构或者预测是可行的，这也是传统机器学习方法得以通过大量样本进行学习和训练的前提。

然而，在很多实际应用中，仅能采集到短时序列数据（如临床数据），系统也通常具有高度的时变性（如天气数据）。因此，仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了挑战。

该研究提出的 ARNN 框架直接将观测到的高维动态信息转化为储层（即），把高维空间数据映射到目标变量的未来时间信息，有如下的 ARNN 共轭方程（或图 1c 中方程的向量形式）

其中 F 是非线性矢量函数，即多层神经网络，

通过同时求解 ARNN 共轭方程 Eq. (1)，可以得到未知的权重矩阵 A 和 B ，以及目标变量 y 的未来信息

（如图 1b 中矩阵 Y 的红色部分），从而实现了精确、快速、多步地预测目标变量的未来信息。这里 y^t 可以是高维观测变量中的任何一个，如

; L-1 是预测步长；D 是观测变量的个数；m 是观测数据点的个数。

有趣的是，该计算框架具有类 Autoencoder（信息流 X^t → Y^t → X^t ）的结构，即 ARNN 的信息流方向是：

（ARNN 把

编码成为 Y^t ，再将 Y^t 解码成为

，如图 2 所示）。

其次，ARNN 共轭方程中的主方程可以写成传统的 Reservoir computing 形式

其中

符号 “ ' ” 代表对向量的转置。

显然，所要预测的未来信息是通过同时求解空时信息转换方程 Eq. (1) 得到的，在满足

和 D>L 的情况下，Eq. (1) 是一个超定方程组，可以通过一种最小二乘法对权重矩阵反复更新从而进行求解。

另外，由于多层神经网络的权重是随机给定并固定的，不需要对大量的参数进行训练，因此 ARNN 具有快速、耗费资源较少的优势。

图 2. ARNN 具有类 Autoencoder 的框架

ARNN 框架的应用

ARNN 成功地应用于一系列高维的实际场景（如下图 3），成功地对气象指数进行了预测（包括风速、日照强度、温度、气压和台风风眼位置等），对与节律有关的基因表达值进行了预测、对实时记录的交通流量等进行了预测。

以下是 ARNN 框架预测交通流量的动态示意图：

以下是 ARNN 框架预测台风眼的动态示意图：

这些应用表明，ARNN 在数据受噪声干扰和系统时变的情况下，均能表现出良好的多步预测性能。

该研究从数学上解释了储层计算的动力学机理，这种 ARNN 变换等价地扩大了样本量，解决了传统机器学习算法面对单个短时序列数据时遇到的过拟合问题，因此，该计算方法在人工智能和机器学习等领域具有很大的实际应用潜力。

图 3. 自动储备池方法（ARNN）在某些实际场景的预测应用

理论Nature时间序列预测

相关数据

最小二乘法技术

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 “最小二乘法”是对过度确定系统，即其中存在比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。

来源：维基百科

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

重构技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。软件重构需要借助工具完成，重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中，重构需要单元测试来支持。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

数据挖掘技术

数据挖掘（英语：data mining）是一个跨学科的计算机科学分支它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。数据挖掘过程的总体目标是从一个数据集中提取信息，并将其转换成可理解的结构，以进一步使用。

来源：维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

时间序列预测技术

时间序列预测法其实是一种回归预测方法，属于定量预测，其基本原理是;一方面承认事物发展的延续性，运用过去时间序列的数据进行统计分析，推测出事物的发展趋势；另一方面充分考虑到偶然因素影响而产生的随机性，为了消除随机波动的影响，利用历史数据进行统计分析，并对数据进行适当处理，进行趋势预测。

来源：百度百科