AI Frontiers作者路雪 王淑婷 张倩编译

从语音到金融:邓力的人工智能30年

从早期的神经网络研究到创造性解决语音识别任务,再到投身金融领域,机器学习大牛邓力已经在人工智能领域叱咤三十余年。他首次将深度神经网络技术应用于语音识别领域,性能超越之前的方法。在语音识别技术日趋成熟之际,他果断「转行」投身金融,加盟对冲基金巨头 Citadel。本文简单介绍了邓力的 AI 之旅。11 月 10 日,邓力将在 AI Frontiers 大会做主题演讲,介绍如何使用 AI 前沿技术抓住机遇,解决挑战。

邓力人工智能之旅已跨越 30 余年。在担任过公司研究员、大学教授并在语音研究领域占有一席之地之后,邓力一头扎进了金融界:2017 年 5 月,他辞去了微软首席人工智能科学家的职位(尽管他曾在那领导微软的人工智能学校并创立了深度学习技术中心),加入了市值 300 亿美元的对冲基金 Citadel 并担任首席人工智能官(Chief AI Officer)。同时辞去的还有任教超过 17 年的华盛顿大学附属教授职位。

邓力一样,AI 领域的其他知名教授也经历过职场变动。卡内基梅隆大学机器学习系主任 Manuela Veloso 今年 5 月加入摩根大通,领导该公司的人工智能研究实验室。《The Master Algorithm》作者、华盛顿大学计算机科学教授 Pedro Domingos 最近加入了对冲基金巨头 DE Shaw,领导其新的机器学习研究小组。

自从资本市场有大量数据可用之后,金融领域的 AI 应用程度就越来越高。金融领域需要复杂的机器学习方法来自动处理数据和预测。邓力表示,「我觉得现在金融领域已经非常成熟了,可以让人工智能来大显神威。」

作为一名成就斐然的科学家,邓力已经发表了 300 多篇学术论文,并写了一些 AI 相关的书籍。他特别擅长深度学习邓力认为,深度学习将很快掌握预测价格走势或做出明智交易决策的能力。

神经网络领域的早期工作

20 世纪 80 年代中期,邓力进入威斯康星大学麦迪逊分校攻读博士学位,主攻电气工程方向。这段时期,邓力试图创建人类听觉模拟和语音识别神经模型,然而进展并不顺利,因为当时的计算机无法为大型神经网络提供足够的计算能力,这也是导致邓的神经网络研究停滞不前的原因之一。

然而,邓力并没有放弃。在以助理教授的身份加入加拿大滑铁卢大学之后,他和他的一名学生于 1993 年提出了一种增强神经网络记忆的新模型。该模型虽然是一个完整的系统,但性能仍无法超越隐马尔可夫模型

他博士论文的外审是深度学习知名大牛 Geoffrey Hinton。在读过论文后,Hinton 告诉邓力,在这个阶段,想要在神经网络方面有所突破太难了。这一令人失望的结果使得邓力远离神经网络研究,在之后的许多年转向贝叶斯统计方法和生成模型研究。

将深度神经网络应用于语音识别

深度学习兴起之前,浅层的机器学习方法(如隐马尔可夫模型和高丝混合模型)已经主导了该领域将近 30 年。

邓力离开滑铁卢大学后,于 2000 年加入微软,专注于使用贝叶斯方法进行语音识别研究。但是结果不尽如人意,因为多层贝叶斯网络的计算机复杂度呈指数级增长。

2006 年,Hinton 发表了论文《A fast learning algorithm for deep belief nets》。论文表明,即使使用三个隐藏层,网络仍然能够对手写数字图像及其标签的联合分布生成表现良好的生成模型邓力对此很感兴趣,他意识到或许可以尝试将深度神经网络应用于语音识别

在 NIPS 2009 会议上,邓力和 Hinton 联合组织了「Deep Learning for Speech Recognition and Related Applications workshop」。他们首次证明,使用新方法训练的深度神经网络在大量语音识别基准上优于之前的方法。研究结果发表在论文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》中,该论文由 Hinton 和邓力合著,于 2012 年发表。

深度学习可以实现语音信号的时间和空间表示,从而改变语音识别的原有机制,从这个层面上讲机器学习是变革性的。」邓力说道。

接下来的时间里,邓力及其团队将多种不同的深度学习方法应用于语音,包括 LSTM 循环神经网络、深度卷积神经网络、序列学习和集成学习。这些创新极大提升了语音识别准确率,且被成功整合进语音理解和语音翻译中。

2015 年,凭借在深度学习与自动语音识别方向做出的杰出贡献,邓力获 IEEE 技术成就奖。

金融领域新征程

近年来,语音识别技术已经成熟。邓力也准备迎接新的挑战。目前他领导对冲基金公司 Citadel 的人工智能团队,Citadel 是世界最大的另类资产管理基金之一,管理超过 300 亿美元的资产。

Citadel

语音识别领域转到金融领域并不容易。尽管这两个领域有很多相似之处,比如市场数据和语音数据本质上都是序列性的,但金融数据面临一些重要挑战:

  1. 尽管市场和资本数据体量呈指数级增长,但有用信息的增长并非如此。金融数据的信噪比更低,这意味着大部分信息只是噪声。投资者必须区分信号和噪声。

  2. 非平稳性是另一项挑战。金融市场中的很多参与者互相竞争,因此需要清除大量伪数据。

  3. 金融数据的多样性比语音数据的更复杂,数据类型包括文本、图像、语音、市场数据等。「要解决数据问题,经济和金融知识和模型会有用武之地。」邓力说道。

今天,邓力的研究重点在于利用机器翻译系统解释文本数据,以提升量化投资。如何将前沿 AI 研究应用到当前的机会和挑战呢?我们期待邓力的演讲。

2018 年 11 月 10 日,邓力将在于加州圣荷西举办的 AI Frontiers 大会上发表演讲。AI Frontiers 大会汇集了 AI 领域的思想领导者,展示前沿研究和产品。除了邓力以外,其他演讲者还包括:Ilya Sutskever(OpenAI 创始人)、Jay Yagnik(Google AI 副总裁)、李开复(创新工场 CEO)、Mario Munich(iRobot 高级副总裁)、Quoc Le(谷歌大脑团队成员)、Pieter Abbeel(加州大学伯克利分校教授)等。

点击「阅读原文」,查看大会官网信息。

产业邓力
1
相关数据
人工智能技术
Artificial Intelligence

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

自动语音识别技术
Automatic speech recognition

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

神经网络技术
Neural Network

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

深度神经网络技术
Deep neural network

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

集成学习技术
Ensemble learning

集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术,目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类: 堆叠(Stacking)、提升(Boosting) 和 装袋(Bagging/bootstrapaggregating)。其中最流行的方法包括随机森林、梯度提升、AdaBoost、梯度提升决策树(GBDT)和XGBoost。

隐马尔可夫模型技术
Hidden Markov models (HMM)

隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。

生成模型技术
Generative Model

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

基准技术
baseline

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

长短期记忆网络技术
Long-Short Term Memory

长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network)。 其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成。它在1997年被提出用于解决传统RNN(Recurrent Neural Network) 的随时间反向传播中权重消失的问题(vanishing gradient problem over backpropagation-through-time),重要组成部分包括Forget Gate, Input Gate, 和 Output Gate, 分别负责决定当前输入是否被采纳,是否被长期记忆以及决定在记忆中的输入是否在当前被输出。Gated Recurrent Unit 是 LSTM 众多版本中典型的一个。因为它具有记忆性的功能,LSTM经常被用在具有时间序列特性的数据和场景中。

机器学习技术
Machine Learning

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

机器翻译技术
Machine translation

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

语音识别技术
Speech Recognition

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

深度学习技术
Deep learning

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

邓力人物
Li Deng

邓力,本科毕业于中国科学技术大学,随后在威斯康星大学麦迪逊分校获的硕士和博士学位。曾任微软人工智能首席科学家。邓力2009 年就同 Geoffrey Hinton 教授合作,首次提出并将深度神经网络应用到大规模语言识别中,显著提高了机器对语音的识别率,极大推动了人机交互领域的发展与进步。2017年5月,他加入了市值300亿美元的对冲基金Citadel并担任首席人工智能官。

涉及领域
准确率技术
Accuracy

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

机器之心
机器之心

机器之心是国内领先的前沿科技媒体和产业服务平台,关注人工智能、机器人和神经认知科学,坚持为从业者提供高质量内容和多项产业服务。

推荐文章
返回顶部