数学转CS,看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

近日,deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See,她师从 Chris Manning,在 NLP 领域已经取得很多成绩,她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。

问:你是如何开始 AI 研究的?

答:我在英国剑桥长大,很小的时候就对数学感兴趣。我喜欢做奥数题,本科时在剑桥大学学习纯粹数学。虽然数学很有意思,但我想研究一些与现实世界联系更强的东西,于是我转向了计算机科学(CS)。幸运的是,剑桥(有时被称为「硅沼泽」)也是科技聚集地,如微软的研究机构分支就在这里,因此我开始通过实习逐渐转向 CS。

2015 年我开始在斯坦福大学读博,专业是 CS,当时我对自己想做什么并不清楚。但是我很快发现,AI,尤其是深度学习最令我感到振奋。我选择研究自然语言处理(NLP),因为我对沟通感兴趣。沟通是一项关键技能,但即使对人类而言这也并不容易。因此使计算机成为好的沟通者是很重要也很有挑战的一件事。

问:你目前在研究什么?

答:我目前主要在尝试使用深度学习开发更好的自然语言生成方法。适用于机器翻译等任务的神经方法却无法用于更开放的任务,如讲故事和闲聊,我想在这些任务上取得进展。最近,我在研究如何控制聊天机器人,使其成为更好的谈话者,让神经语言模型想得更远,以及创造更好的方法来生成连贯的故事。

去年,我在研究之外还承担了一些教学工作。我担任斯坦福大学 NLP 和深度学习王牌课程 CS224n 的助教,这门课的主讲教师是我的导师 Chris Manning。讲这门课是一项巨大的挑战:这个领域发展得很快,因此每一年我们都要大量更新教学大纲和教材,从而跟上当前的最佳实践。例如,今天我们把 2017 年开发的教学内容更新成了全新的任务和讲义,以反映 2019 年的 NLP 和深度学习现状。所有这些都必须大规模地完成,这不仅关乎 450 名斯坦福学生,还有大量对此感兴趣的全球听众。

问:可以介绍一下你每天的工作吗?

答:大部分时候,我会与研究合作者开会,讨论想法和结果,规划下一步要做什么。比起独自工作,我更喜欢和别人一起工作。研究是一件充满挫折和挣扎的事,而合作者会帮助你不断前进。我还尝试参加一些研讨会和阅读小组,以确保自己能够不断吸收新想法。

如果我在准备 CS224n 的授课,我会用尽可能多的时间去研究内容、准备幻灯片,并练习。上课的时候虽然可以看讲义,但它只不过是教学工作的冰山一角。我们有一个 20 人的团队,一起准备从布置作业到为讲课视频加字幕的所有事情。管理这支团队是我目前最主要的工作,这就像在转碟一样,总有一些事情需要我去注意。

为了放松,我每周尝试做一些不一样的事情。目前,我参加了一支舞蹈队,而且我还在学习爵士钢琴。

问:你使用什么技术栈?

答:研究数学的时候,我的技术栈是纸和笔。现在,我用:

  • Atom 来编程:我喜欢基于 GUI 的文本编辑器。我可能永远不会学习 Vim,不学对我也没什么影响!除了编程,我还在 Atom 里写生活日常(如阅读笔记、待办事项、论文大纲等)。

  • Pytorch 做深度学习:和很多 NLP 研究者一样,两年前我从 TensorFlow 转 PyTorch 了,因为 PyTorch 在原型制作和 debug 方面相对好用。但是,我仍然使用 TensorBoard 来做可视化。

  • Overleaf 写 LaTeX 文档:LaTeX 很难,我喜欢用 Overleaf,它会让事情简单一些。

  • BetterTouchTool:我离不开这款 Mac 电脑的快捷键神器。

问:进入 AI 领域之前你做的是什么?它是如何对你现在的工作产生影响的?

答:从纯粹数学研究转到深度学习有点奇怪——前者是如此严肃,而后者是如此经验性的东西。我很喜欢之前的纯粹数学训练,因为它能让我涉猎方程和证明(即使很难,但我至少不会害怕退缩)。

除了科学,我感兴趣的还有艺术、文学、电影,以及它们与更广阔社会的关系。这些兴趣反映在我的研究中,我选择了更具创造性的 NLP 任务,比如对话语言和讲故事。我还关注人工智能在社会中更广泛的作用,例如,去年我举办了 AI 沙龙,对 AI 进行一系列讨论。

问:你如何做到持续学习?如何跟上最新的 AI 研究趋势?

答:首先,我会提醒自己与他人交谈。我觉得在斯坦福 NLP 组工作的最大收获是身边有一群很厉害的人。与这些人交谈比看大量论文学得更快,也更有教育意义。

其次,我会尽量大胆地去问问题,哪怕是蠢问题。这样做可以更快地消除障碍,而且我希望这样能够创建一个舒适的工作氛围,让每个人都能轻松地提问。

我发现教学也是一个保持持续学习的好方法。讲授 CS224n 课程要求我对各种主题的理解比以往更深。

为了跟上最新的 AI 新闻,我使用推特。我关注了很多 NLP 教授,比如 Kyunghyun Cho、Miles Brundage、Mark Riedl、Emily Bender,还有那些对这个领域提供有趣元评论的人,比如 Sebastian Ruder、Stephen Merity、Zachary Lipton。此外,我还关注那些投身计算机科学教育的人(如 Rachel Thomas、Jeremy Howard、Cynthia Lee)和研究 AI 伦理的人(如 Kate Crawford、Joy Buolamwini、Timnit Gebru)。

问:你最感兴趣的 AI 研究是什么?

答:我最感兴趣的是旨在将离散结构引入神经网络(通常有很多连续表征)的研究。这项研究很重要,它能够使神经网络进行推理。另一个我感兴趣的趋势是为 NLP 深度学习开发更好的通用预训练模型(如 ELMoBERT)。我希望这种模型能让为困难或特殊的 NLP 任务构建系统变得更容易,而不是每次都重新造轮子。

问:你对想进入 AI 领域的人有什么建议?

答:我的第一个建议是:任何人都可以学习 AI。有些人说,要进入 AI 领域,首先要获得特定学科的学位、上过特定的大学或者有一定的编程经验。我觉得这种观点有些狭隘,有很多条通向 AI 的路。例如,我开始读博士的时候,几乎不知道如何写代码。AI 是一个快速发展的领域,相关的应用无处不在。来自任意学科、拥有任意背景的人都能够而且都应该为 AI 做点什么。我们需要依靠大家的努力才能实现最好的 AI。

我的第二个建议是:学习 AI 不要一刀切。有些人更想学习理论知识,有些人可能更喜欢实践知识。现在有越来越多的高质量资源供大家学习 AI,而且很多都是免费的。你可以尝试这些东西,找出适合自己的学习方式。


原文链接:https://www.deeplearning.ai/working-ai-in-the-lab-with-nlp-phd-student-abigail-see/

入门Abigail SeeDeeplearning.ai数学斯坦福Christopher Manning
7
相关数据
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

基于Transformer 的双向编码器表征技术

BERT是谷歌发布的基于双向 Transformer的大规模预训练语言模型,该预训练模型能高效抽取文本信息并应用于各种NLP任务,并刷新了 11 项 NLP 任务的当前最优性能记录。BERT的全称是基于Transformer的双向编码器表征,其中“双向”表示模型在处理某一个词时,它能同时利用前面的词和后面的词两部分信息。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

TensorBoard技术

一个信息中心,用于显示在执行一个或多个 TensorFlow 程序期间保存的摘要信息。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

神经语言模型技术

语言模型是估计单词序列的联合概率函数,比如给一个长度为m的单词序列,通过使用语言模型,可以获得这m个单词分布的概率P(W1,...,Wm)。对于许多的自然语言处理的应用,可以估计不同短语的概率是极具应用价值的。语言模型可以应用于语音识别,机器翻译,语音标记,解析,手写识别,信息检索等领域。

自然语言生成技术

自然语言生成(NLG)是自然语言处理的一部分,从知识库或逻辑形式等等机器表述系统去生成自然语言。这种形式表述当作心理表述的模型时,心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。不过产生最终语言的方法不同于编译程式,因为自然语言多样的表达。NLG出现已久,但是商业NLG技术直到最近才变得普及。自然语言生成可以视为自然语言理解的反向: 自然语言理解系统须要厘清输入句的意涵,从而产生机器表述语言;自然语言生成系统须要决定如何把概念转化成语言。

ELMo技术

ELMO 是“Embedding from Language Models”的简称, ELMO 本身是个根据当前上下文对 Word Embedding 动态调整的思路。ELMO 采用了典型的两阶段过程,第一个阶段是利用语言模型进行预训练;第二个阶段是在做下游任务时,从预训练网络中提取对应单词的网络各层的 Word Embedding 作为新特征补充到下游任务中。

推荐文章
暂无评论
暂无评论~