机器之心翻译

2020/09/10 15:28

魔王陈萍编辑

告别RNN，迎来TCN！股市预测任务是时候拥抱新技术了

本文介绍了 TCN 在股市趋势预测任务中的应用，表明在集成新闻事件和知识图谱后，TCN 的性能大幅超过 RNN。

本文主要介绍了以下几部分内容：

1. 金融时间序列（FTS）中的深度学习背景介绍；

2. 值得关注的 FTS 数据处理实践；

3. 时间卷积网络（TCN）；

4. 时间卷积网络在 FTS 中的应用实例；

5. 基于 TCN 的知识驱动股市趋势预测与解释。

1. 背景介绍

金融时间序列（FTS）建模历史悠久，20 世纪 70 年代初它首次革新了算法交易。FTS 分析包括两类：基础分析和技术分析。但这两种分析方法都受到有效市场假说（EMH）的质疑。

自 1970 年提出以来，EMH 一直备受争议，它假设股价最终是不可预测的。但这并没有限制如下研究：通过使用线性、非线性和基于 ML 的模型进行 FTS 建模。

由于金融时间序列具有非平稳、非线性、高噪声的特点，因此传统的统计模型很难准确地预测它们。近年来，越来越多的研究开始尝试将深度学习应用于股市预测，虽然还远远不够完善。例如：

2013 年

Lin 等人在论文《An SVM-based approach for stock market trend prediction》中提出一种基于支持向量机的股票预测方法，建立两部分特征选择和预测模型，并证明该方法比传统方法具有更好的泛化能力。

2014 年

Wanjawa 等人在论文《ANN Model to Predict Stock Prices at Stock Exchange Markets》中，提出一种利用误差反向传播的前馈多层感知机来预测股票价格的神经网络。结果表明，该模型能够对典型的股票市场进行预测。

2017 年

进入 LSTM 时代：使用 LSTM 网络处理时间序列数据的研究激增。

Zhao 等人在论文《Time-Weighted LSTM Model with Redefined Labeling for Stock Trend Prediction》中提出向 LSTM 中加入时间加权函数，其结果优于其他模型。

2018 年

Zhang 等人在文章《Forecasting stock prices with long-short term memory neural network based on attention mechanism》中结合了卷积神经网络（CNN）和循环神经网络（RNN），提出了一种新的架构——深度广域神经网络（DWNN）。结果表明，与常规 RNN 模型相比，DWNN 模型可以将预测均方误差降低 30％。

Ha 等人在《Forecasting the volatility of stock price index: A hybrid model integrating LSTM with multiple GARCH-type models》中提出将 CNN 用于定量股票选择策略，以确定股市趋势，然后使用 LSTM 预测股票价格，并提出一种混合神经网络模型，用于定量择时策略，以增加利润。

Jiang 等人在《Stock Price Forecast Based on LSTM Neural Network》中利用 LSTM 神经网络和 RNN 来构建模型，发现 LSTM 可以更好地应用于股票预测。

2019 年

在论文《Stock closing price prediction based on sentiment analysis and LSTM》中，Jin 等人在模型分析中增加了投资者的情感倾向，并引入经验模态分解（EMD）与 LSTM 相结合，以获得更准确的股票预测。基于注意力机制的 LSTM 模型在语音和图像识别中很常见，但在金融领域却很少使用。

Radford 等人提出 GPT-2，旨在设计一个多任务学习器。它将预训练与监督微调结合起来，以实现更加灵活的迁移方式。GPT-2 具有 15 亿参数。

在《Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convolutional Network》中，Shumin 等人提出一种基于时间卷积网络的知识驱动方法（KDTCN），来进行股票趋势预测与解释。

他们首先从财经新闻中提取结构化事件，并利用知识图谱获取事件嵌入。然后，将事件嵌入和股票价格结合起来预测股票走势。实验表明，该方法对股市趋势突变情况具有更快的反应能力，在股票数据集上的性能优于 SOTA 方法（本文将重点介绍这一方法）。

2020 年

2020 年，Jiayu 等人和 Thomas 等人提出一类混合注意力网络，可基于近期新闻预测股票趋势。具有注意机制的 LSTM 优于常规 LSTM，因为其独特的存储单元结构避免了长期依赖性。

Hongyan 等人在论文《Temporal Convolutional Attention-based Network For Sequence Modeling》中提出一种探索性网络结构：基于时间卷积注意力的网络（TCAN）。该网络结合了时间卷积网络和注意力机制，包括两个部分：一个是时间注意力（TA），用来捕获序列中的相关特征；另一个是增强残差（ER），用来提取浅层的重要信息并迁移到深层。

以上时间线旨在方便读者了解 FTS 与深度学习的历史关联，并非淡化同时期学术界其他人所做的重要工作。

需要注意的是：FTS 预测领域的学术出版物可能具有误导性。由于大量使用模拟器，许多 FTS 预测论文往往会夸大其性能。这些论文中声称的许多性能难以复现，因为它们无法泛化至所预测的特定 FTS 的未来变化。

2. FTS 数据预处理实践

2.1 去噪

金融时间序列数据（尤其是股票价格）会随着季节、噪声和自动校正而不断波动。传统的预测方法使用移动平均和差分来减少预测的噪声。然而，FTS 通常是不稳定的，并且有用信号和噪声之间存在重叠，这使得传统的去噪方法无效。

小波分析在图像和信号处理等领域取得了令人瞩目的成就。它能够弥补傅里叶分析的缺点，因此被逐渐引入经济和金融领域。小波变换在解决传统时间序列分析问题方面具有独特优势，因为它可以分解和重构来自不同时域和频域范围的金融时间序列数据。

小波变换本质上利用多尺度特征对数据集进行去噪，从而将有用信号与噪声高效地分离开来。Jiayu Qiu 等人将 coif3 小波函数用于三个分解层，并通过信噪比（SNR）和均方根误差（RMSE）来评估小波变换的效果。SNR 越高，RMSE 越小，小波变换的去噪效果越好：

来源：https://journals.plos.org/plosone/article/file?id=10.1371/journal.pone.0227222&type=printable

2.2 数据 shuffle

在 FTS 中，选择哪些数据作为验证集并非易事。确实，验证集的选择有无数种方法，但对于变化不定的股票指数，必须仔细考虑。

固定原点方法是最朴素也最常用的方法。给出特定的分割大小，将数据前面一部分分割为训练集，后面的部分分割为验证集。但这是一种较为初级的选择方法，对于像亚马逊这样的高增长股票而言尤其如此。之所以会出现这种情况，是因为亚马逊的股价一开始波动性较低，随着股价的增长，股价波动越来越大。

亚马逊今年股票价格（图源：Google Finance）

因此，我们需要训练一个低波动率动态模型，并期望它能预测高波动率动态。对于上述类型的股票而言，这确实有一定困难，并且还要以性能作为代价。因此，如果仅考虑这一点，以验证损失和性能作为基准可能存在一定的误导性。但是，对于像英特尔这样波动性较为稳定的股票（COVID 危机前），这种方法是合理的。

滚动原点重校方法比固定原点方法略稳健，因为它允许通过对数据的多种不同分割取平均值来计算验证损失，以避免无法代表高波动率时间段的问题。

最后，滚动窗口方法通常是最有用的方法之一，因为它尤其适用于长时间运行的 FTS 算法。实际上，该模型输出多个滚动数据窗口的平均验证误差。而这意味着最终获得的值更能代表最近的模型性能。

数据 shuffle 技术可视化（图源：https://arxiv.org/abs/1812.07699）

Thomas Hollis 等人的研究表明，滚动窗口（RW）和滚动原点重校（ROR）的性能（58％和 60％）都比简单的固定原点方法好。这表明对于像亚马逊这样的高波动率股票，使用这些数据 shuffle 方法是不可避免的。

数据 shuffle 方法性能比较

3. 时间卷积网络

时间卷积网络（TCN），是用于序列建模任务的卷积神经网络的变体，结合了 RNN 和 CNN 架构。对 TCN 的初步评估表明，简单的卷积结构在多个任务和数据集上的性能优于典型循环网络（如 LSTM），同时表现出更长的有效记忆。

TCN 的特征是：

1. TCN 架构中的卷积是因果卷积，这意味着从将来到过去不存在信息「泄漏」；

2. 该架构可以像 RNN 一样采用任意长度的序列，并将其映射到相同长度的输出序列。通过结合非常深的网络（使用残差层进行增强）和扩张卷积，TCN 具有非常长的有效历史长度（即网络能够看到很久远的过去，并帮助预测）。

3.1 TCN 模型架构概览

3.1.1 因果卷积

如前所述，TCN 基于两个原则：网络的输入输出长度相同，且从未来到过去不存在信息泄漏。

为了完成第一点，TCN 使用 1D 全卷积网络（FCN），每个隐藏层的长度与输入层相同，并用零填充（长度为 kernel size − 1）来保持后续层与之前层长度相同。为了实现第二点，TCN 使用因果卷积，即卷积中时间 t 处的输出仅与时间 t 或前一层中的元素进行卷积。

简而言之：TCN = 1D FCN + 因果卷积。

3.1.2 扩张卷积

简单的因果卷积回看的历史长度只能与网络深度呈线性关系。这使得将因果卷积应用于序列任务具有一定难度，尤其是需要更长历史的任务。Bai 等人采用扩张卷积找到了一种解决方案，其感受野呈指数级增大。对于一维序列输入 x ∈ R^ⁿ 和滤波器 f:{0,…,k−1}→R，序列元素 s 的扩张卷积运算 F 可定义为：

其中 d 是扩张因子，k 是滤波器大小，s-d·i 代表过去的方向。因此，扩张卷积等效于在每两个相邻的滤波器之间引入一个固定的步长。当 d = 1 时，扩张卷积即为常规卷积。而使用较大的扩张因子，可使顶层的输出表示更大范围的输入，从而有效地扩展了 ConvNet 的感受野。

扩张因果卷积，扩张因子 d = 1、2、4，滤波器大小 k =3。感受野能够覆盖输入序列中的所有值。

3.1.3 残差连接

残差模块可使层高效学习修改（modification），进而识别映射而不是整个变换，这对非常深的网络很有用。

由于 TCN 的感受野取决于网络深度 n、滤波器大小 k 和扩张因子 d，因此，对于更深更大的 TCN 来说，稳定性很重要。

3.2 TCN 的优缺点

使用 TCN 进行序列建模具备以下优势：

并行性。与 RNN 中后继时间步长的预测必须等待之前时间步完成预测不同，卷积可以并行完成，因为每一层都使用相同的滤波器。因此，在训练和评估中，TCN 可以处理一整个较长的输入序列，而不是像 RNN 中那样顺序处理。

灵活的感受野大小。TCN 有多种方式更改其感受野大小。例如，堆叠更多扩张（因果）卷积层，使用更大的扩张因子，或增加滤波器大小都是可行的选择。因此，TCN 可以更好地控制模型的内存大小，它们也可以轻松适应不同的域。

梯度稳定。与循环网络不一样的是，TCN 的反向传播路径与序列的时间方向不同。TCN 因此避免了梯度爆炸 / 消失问题，这是 RNN 面临的主要问题（限制了 LSTM 和 GRU 的发展）。

训练内存需求低。特别是在输入序列较长的情况下，LSTM 和 GRU 占用大量内存存储其多个单元门的部分结果。然而，在 TCN 中，滤波器是跨层共享的，而反向传播路径仅取决于网络深度。因此，在实践中，人们发现门控 RNN 比 TCN 消耗的内存更多。

可变长度输入。RNN 以循环的方式对可变长度输入进行建模，TCN 也可以通过滑动一维卷积核来接收任意长度的输入。这意味着，对于任意长度的序列数据，都可以用 TCN 替代 RNN。

使用 TCN 存在两个明显的缺点：

评估期间的数据存储。TCN 需要接收有效历史长度的原始序列，因此在评估过程中可能需要更多的内存。

域迁移时可能引起参数更改。不同的域对模型预测所需的历史量可能有不同的要求。因此，当将模型从仅需要很少记忆（即较小的 k 和 d）的域转移至需要更长记忆（即较大的 k 和 d）的域时，TCN 可能因为没有足够大的感受野而表现不佳。

3.3 基准

TCN 和循环网络在典型的序列建模任务中的评估结果，这些任务通常用来评估 RNN 模型。

上述结果表明，经过最小调优的通用 TCN 架构在大量序列建模任务中优于典型循环架构，而这些任务通常用于对循环架构的性能进行基准测试。

4. 基于 TCN 的知识驱动股市趋势预测与解释

4.1 背景介绍

用于股市趋势预测的大部分深度神经网络存在两个常见缺陷：1）当前方法对股市趋势的突然变化不够敏感；2）预测结果不具备可解释性。

为了解决这两个问题，Deng 等人 2019 年提出一种新型知识驱动时间卷积网络（KDTCN）用于股市趋势预测和解释，该方法将背景知识、新闻事件和股价数据集成到深度预测模型中，以解决股市趋势突变时的趋势预测和解释问题。

为了解决股市趋势突变下的预测问题，该研究将金融新闻中的事件提取出来并结构化为事件元组，如「Britain exiting from EU」被表示为 (Britain, exiting from, EU)。然后将事件元组中的实体和关系链接至知识图谱（KG），如 Freebase 和 Wikidata。接下来，分别对结构化知识、文本新闻和股价数值进行向量化和级联。最后，将这些嵌入馈入基于 TCN 的模型。

实验表明 KDTCN 可以更快地响应股市突变，在股市数据集上的性能优于 SOTA 方法，此外它还增强了股市突变预测的可解释性。

此外，基于股市突变预测结果，要想解决可解释性问题，我们可以通过知识图谱中事件的关联对事件的影响进行可视化。这样，我们就可以解释 1）知识驱动的事件如何不同程度地影响股市波动；2）知识如何将股市趋势预测中与突变相关的事件关联起来。

4.2 KDTCN 模型架构

这里介绍的基础 TCN 模型架构基于第三部分推导而来，通用 TCN 架构包括因果卷积、残差连接和扩张卷积。

KDTCN 架构如下所示：

KDTCN 框架图示

原始模型输入为股价 X、新闻数据库 N 和知识图谱 G。股价经过归一化处理，并映射到股价向量：

其中每个向量 p_t 表示股票交易日 t 的实时股价向量，T 表示时间跨度。

至于新闻数据库，新闻被表示为事件集合 ε，然后被结构化为事件元组 e = (s, p, o)，其中 p 为动作 / 谓语、s 是执行者 / 主语、o 是动作承受者。事件元组中的每个项都与知识图谱链接，对应知识图谱中的实体和关系，通过训练事件元组和 KG 三元组获得事件嵌入 V。详细过程参见 https://core.ac.uk/download/pdf/222446995.pdf。

最后，将事件嵌入和股价向量结合并输入基于 TCN 的模型。

4.2.1 数据集和基线

数据集：

1. 时间序列股价数据 X：道琼斯工业平均指数每日记录构成的股价数据集；

2. 文本新闻数据 N：来自 Reddit WorldNews 频道的历史新闻组成的新闻数据集；

3. 结构化知识数据 G：基于两个常用开放研究知识图谱 Freebase 和 Wikidata 的结构化数据构建的子图。

基线：

使用不同输入的基线模型。第一列中，前缀 WB 表示词嵌入，EB 表示事件嵌入，PV 表示股价向量，KD 表示知识驱动。注意，event embedding^(a) 和 event embedding^(b) 分别表示不具备 / 具备 KG 的事件嵌入。

4.3 预测评估

KDTCN 的性能评估基于以下三个方面：1）基础 TCN 架构的评估；2）不同模型输入对 TCN 的影响；3）基于 TCN 的模型对股市趋势突变的预测性能。

基础 TCN 架构：

在道琼斯工业平均指数数据集上，不同基础预测模型的股市趋势预测结果。

TCN 在股市趋势预测任务上超过其他基线模型，不管是传统的机器学习模型 (ARIMA) 还是深度神经网络（如 LSTM 和 CNN），这说明 TCN 在序列建模和分类问题上有更明显的优势。

不同模型输入：

在道琼斯工业平均指数数据集上，不同输入的 TCN 模型的股市趋势预测结果。

可以看出，WB-TCN 和 EB-TCN 的性能都超过 TCN，这表明文本信息有助于改进预测结果。

KDTCN 获得了最高的准确率和 F1 得分，这说明模型输入集成结构化知识、金融新闻和股价信息是有效的。

模型对股市趋势突变的预测性能：

基于局部道琼斯工业平均指数数据集（股市趋势突变），不同输入的模型的股市趋势预测结果。

可以看出，使用知识驱动事件嵌入输入的模型（如 KDEB-TCN 和 KDTCN）性能大大超过基于数值数据和文本数据的模型。这些对比结果说明，知识驱动的模型对于股市突变能够做出更快的反应。

那么，如何量化股市波动程度呢？

首先，通过识别两个邻近股票交易日的波动程度 D_(fluctuation) 获取股市突变的时间间隔：

其中时间 t 处的 x 表示股票交易日 t 的股票价格。波动程度的差异 C 被定义为：

如果 | Ci | 超过特定阈值，则可以认为在第 i 天，股票价格突变。

4.4 解释预测结果

为什么知识驱动事件是不具备 ML 专业知识的人识别股市突变的常规来源？这可以从两个方面进行解释：1）将知识驱动事件对突变预测结果的影响可视化；2）将知识驱动事件链接至外部 KG，进而检索事件的背景事实。

将知识驱动事件的影响可视化：

下图中的预测结果显示道琼斯工业平均指数趋势将下降。注意图中同色长条表示相同的事件影响，长条的高度反映了影响的程度，事件的流行性自左向右下降。直观来看，具备更高流行性的事件对股市趋势突变预测应有更大的影响，但事实并不总是如此。

事件对股市趋势预测的影响示例。

几乎所有负影响事件都与这两个事件有关，如 (British Pound, drops, nearly 5%) 和 (Northern Ireland, calls for poll on United Ireland)。

尽管一些事件对预测股市趋势上涨有着积极影响也具备高流行性，但整体影响仍是负面的。因此，股票指数波动出现突变可被视为事件影响和事件流行性的共同结果。

事件元组链接至 KG 后的可视化结果：

首先，搜索具备高影响或高流行性的事件元组；然后，回溯包含这些事件的新闻文本；最后，通过实体链接检索与事件元组相关的 KG 三元组。上图中，蓝色为事件元组，其中的实体与 KG 链接。

列出的这些事件元组字面上并没有强相关。但是，链接 KG 后，它们可以彼此建立关联，并与英国脱欧和欧盟公投事件产生强相关。通过集成事件影响的解释，我们可以证明知识驱动事件是突变的常规来源。

结论

循环网络在序列建模中的优秀效果可能大多是历史的痕迹。最近，扩张卷积和残差连接等架构元素的引入使得卷积架构不那么弱了。近期的学术研究表明，使用这些元素后，简单的卷积架构在不同序列建模任务上的效果优于循环架构，如 LSTM。由于 TCN 的清晰性和简洁性，Shaojie Bai 等人提出卷积网络应被看作序列建模的起点和强大工具。

此外，本文介绍的 TCN 在股市趋势预测任务中的应用表明，集成新闻事件和知识图谱后，TCN 的性能大幅超过 RNN。

参考文献

[1] Hollis, T., Viscardi, A. and Yi, S. (2020). “A Comparison Of Lstms And Attention Mechanisms For Forecasting Financial Time Series”. (https://arxiv.org/abs/1812.07699)

[2] Qiu J, Wang B, Zhou C. (2020). “Forecasting stock prices with long-short term memory neural network based on attention mechanism”. (https://doi.org/10.1371/journal.pone.0227222)

[3] Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. (2020). “Neural Machine Translation By Jointly Learning To Align And Translate”. (https://arxiv.org/abs/1409.0473)

[4] Bai, S., Kolter, J. and Koltun, V., 2020. “An Empirical Evaluation Of Generic Convolutional And Recurrent Networks For Sequence Modeling”. (https://arxiv.org/abs/1803.01271)

[6] Deng, S., Zhang, N., Zhang, W., Chen, J., Pan, J. and Chen, H., 2019. “Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convolutional Network”. (https://dl.acm.org/doi/10.1145/3308560.3317701)

[5] Hao, H., Wang, Y., Xia, Y., Zhao, J. and Shen, F., 2020. “Temporal Convolutional Attention-Based Network For Sequence Modeling”. (https://arxiv.org/abs/2002.12530)

理论RNN股票价格预测时间卷积网络

相关技术

推理网络 OpenCV

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

全卷积网络技术

全卷积网络最开始在论文 Fully Convolutional Networks for Semantic Segmentation（2015）中提出，它将传统卷积神经网络最后几个全连接层替换为卷积层。引入全卷积的意义在于它能实现密集型的预测，即在二维卷积下对图像实现像素级的分类，在一维卷积下对序列实现元素级的预测。

来源：机器之心

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

重构技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。软件重构需要借助工具完成，重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中，重构需要单元测试来支持。

来源：维基百科

多层感知机技术

感知机（Perceptron）一般只有一个输入层与一个输出层，导致了学习能力有限而只能解决线性可分问题。多层感知机（Multilayer Perceptron）是一类前馈（人工）神经网络及感知机的延伸，它至少由三层功能神经元（functional neuron）组成（输入层，隐层，输出层），每层神经元与下一层神经元全互连，神经元之间不存在同层连接或跨层连接，其中隐层或隐含层（hidden layer）介于输入层与输出层之间的，主要通过非线性的函数复合对信号进行逐步加工，特征提取以及表示学习。多层感知机的强大学习能力在于，虽然训练数据没有指明每层的功能，但网络的层数、每层的神经元的个数、神经元的激活函数均为可调且由模型选择预先决定，学习算法只需通过模型训练决定网络参数（连接权重与阈值），即可最好地实现对于目标函数的近似，故也被称为函数的泛逼近器（universal function approximator）。

来源：Deep Learning Book

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

词嵌入技术

词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

来源：维基百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

统计模型技术

统计模型[stochasticmodel；statisticmodel；probabilitymodel]指以概率论为基础，采用数学统计方法建立的模型。有些过程无法用理论分析方法导出其模型，但可通过试验测定数据，经过数理统计法求得各变量之间的函数关系，称为统计模型。常用的数理统计分析方法有最大事后概率估算法、最大似然率辨识法等。常用的统计模型有一般线性模型、广义线性模型和混合模型。统计模型的意义在对大量随机事件的规律性做推断时仍然具有统计性，因而称为统计推断。常用的统计模型软件有SPSS、SAS、Stata、SPLM、Epi-Info、Statistica等。

来源：百度百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

小波分析技术

小波分析（英语：wavelet analysis）或小波变换（英语：wavelet transform）是指用有限长或快速衰减的、称为“母小波”（mother wavelet）的振荡波形来表示信号。该波形被缩放和平移以匹配输入的信号。

来源：维基百科

验证集技术

验证数据集是用于调整分类器超参数（即模型结构）的一组数据集，它有时也被称为开发集(dev set)。

来源：Wikipedia

知识图谱技术

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。

来源：机器之心

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

均方根误差技术

平方平均数（Quadratic mean），简称方均根（Root Mean Square，缩写为 RMS），是2次方的广义平均数的表达式，也可叫做2次幂平均数。常用于计算误差

来源：维基百科

时间卷积网络技术

在论文 An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 中，作者表明他们所提出的时间卷积网络可作为一般的序列建模框架，且拥有非常好的效果。时间卷积也是从一般的卷积运算中延伸得出，它的目标是将卷积网络的最佳实践经验精炼为一个简单的架构，它能便捷地处理时序建模问题。这种时间卷积网络（TCN）的显著的特点有如下几点，首先架构中的卷积存在因果关系，这意味着从未来到过去不会存在信息「泄漏」。其次卷积架构可以将任意长度的序列映射到固定长度的序列。除此之外，TCN 还强调利用残差模块和空洞卷积来构建长期依赖关系。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

支持向量机技术

在机器学习中，支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

来源：Wikipedia

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia

因果卷积技术

因果卷积首次是在 WaveNet（van den Oord et al., 2016）论文中提出，从直观上来说，它类似于将卷积运算「劈」去一半，令其只能对过去时间步的输入进行运算。对于一维卷积来说，因果卷积可以简单将一般卷积的输出移动几个时间步而实现。

来源：机器之心

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息（如声音、图像和生物测量）”的函数。例如，信号处理技术用于提高信号传输的保真度、存储效率和主观质量，并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此，对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

来源：Roland Priemer (1991). Introductory Signal Processing. World Scientific. p. 1. ISBN 9971509199.

傅里叶分析技术

傅里叶分析，是数学的一个分支领域。它研究如何将一个函数或者信号表达为基本波形的叠加。它研究并扩展傅里叶级数和傅里叶变换的概念。基本波形称为调和函数，调和分析因此得名。在过去两个世纪中，它已成为一个广泛的主题，并在诸多领域得到广泛应用，如信号处理、量子力学、神经科学等。

来源：维基百科

特征选择技术

在机器学习和统计学中，特征选择（英语：feature selection）也被称为变量选择、属性选择或变量子集选择。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。

来源：维基百科

多任务学习技术

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括：在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化，以及尝试对学习集的剩余部分进行猜测，并且输出正确的结果。当与多个泛化器一起使用时，堆叠泛化可以被看作是一个交叉验证的复杂版本，利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时，堆叠泛化是一种用于估计（然后纠正）泛化器的错误的方法，该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

来源：Wolpert, D. H. (1992). Stacked generalization. Neural networks, 5(2), 241-259

数据集成技术

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

来源：百度百科

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型，包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍，该模型是对 GPT 模型的直接扩展，在超出 10 倍的数据量上进行训练，参数量也多出了 10 倍。在性能方面，该模型能够生产连贯的文本段落，在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下，能够做到初步的阅读理解、机器翻译、问答和自动摘要。

来源：OpenAI博客

感受野技术

一个感觉神经元的感受野是指这个位置里适当的刺激能够引起该神经元反应的区域。感受野一词主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。

来源：wiki

实体链接技术

在自然语言处理中，实体链接，也称为命名实体链接（NEL）、命名实体消歧（NED）。实体链接的任务是为文本中提到的实体（例如着名的个人，地点或公司）分配唯一的身份。

来源：维基百科

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium