2020/05/28 18:26

Sebastian Ruder作者

读博难，大神来支招：DeepMind科学家Sebastian Ruder提出十条实用建议

如何找到合适的研究方向？如何维持饱满的科研热情？如何通过读博实现长期规划？……DeepMind 科学家 Sebastian Ruder 来支招。

「听过很多道理，仍然过不好这一生」？但有些道理还是有用的。

机器之心曾经报道过多篇和读博相关的文章，最近我们发现 DeepMind 研究科学家 Sebastian Ruder 也发布了一篇博客，介绍自己的读博建议。

鉴于 Sebastian Ruder 博士期间主要研究机器学习和自然语言处理，因此他给出的建议也更适用于这两个研究方向的同学。不过，这份建议并不仅限于博士生。如果你是一名独立研究者，并且想开始攻读博士学位，或者只是想单纯地学习，那么这些建议大部分也是适用的。

不过 Sebastian Ruder 建议大家，在阅读本文时做好筛选，因为每个人的情况都不相同。根据自己的具体情况选择并改良这些建议，再进行实践，或许是最好的做法。

Sebastian Ruder 一共给出了十条建议，均来自其自身实践，他认为这十条建议对长期发展也有好处。

广泛阅读
同时做两个项目
要有雄心壮志
有合作意识
积极主动
写博客
维护科研能量
发挥长处
实习或访问大学
放长线钓大鱼

广泛阅读

博士生涯鼓励每个人深入研究一个特定的主题，但你可以通过在不同主题或不同领域之间建立联系来增加研究价值。建立跨领域连接的论文通常会很有见地，比如，深度学习领域的许多思想是从生物学、神经科学、物理学等其他领域获得灵感。

想汲取灵感，你需要培养各种兴趣，超越当下的视野。比如，参加其他地区的暑期学校，与其他实验室的同学时常沟通，或在会议上与不同领域的人交流，抑或是阅读不同学科的论文。

arXiv 网站上有大量的研究论文资源，但是时时刷 arXiv 有一定难度。Sebastian Ruder 采取的方式是使用 arXiv sanity preserver、arXivist、Twitter 流以及朋友推荐等方式来获取最新研究动态，寻找不同的主题。

关于如何阅读论文，Sebastian 表示，他通常更喜欢粗略地阅读 10 篇论文，而不是深入地阅读一篇文章（这和 Jeff Dean 的建议一致）。此外，使用带有搜索功能的论文管理系统（如 Mendeley），你可以随时重新阅读最相关的文献。

在博士生涯初期涉足不同的领域有助于你找到自己的研究兴趣。一旦找到，你只需专注于这些自己真正感兴趣的问题。

同时做两个项目

虽然在开始新项目之前先完成上一个项目是最优选择，但是过分专注于一个项目也有消极面。如果项目进展不顺利，研究者的动力也会受挫。在遇到并解决障碍前，大多数人将无能为力，还会「卡」上很长一段时间。培养这种韧性很重要，但有时需要付出高昂的心智损耗。

而同时处理两个项目就很有用。在其中一个项目中遇到障碍，你可以转头去处理另一个项目。这可以帮助研究者解放紧绷的神经，获得全新的视角。同时，如果其中一个项目进展顺利，这也可能帮助你在另一个项目上取得进展。

为了最大程度地减少思维切换，Sebastian 通常每天只尝试一个项目。如果两个项目属于相似的领域，也会很有帮助，这样你可以将一个项目中学习到的知识应用到另一个项目中。

要有雄心壮志

若你瞄准月亮，即使错失，也是落在星辰之中。
——Norman Vincent Peale

同时进行两个项目的另一个好处是使研究者更加大胆。当然，你可以选择一个相对安全的项目，同时选择另一个高风险但更有影响力的项目。相对安全保守的项目可确保你顺利毕业，而高风险的项目则可能产生更大的影响力。

研究者需要略带一些野心。选择高风险的项目，说明你很有创造力，能够提出新想法。其实，不管是高风险的项目还是相对保守的项目，二者都很有价值。即使项目失败，这些经历也可能促使研究者获得一些意外收获。但是，所谓的「雄心壮志」并不表示迎合大众口味，高影响力也可以集中在小社区范围内。判断项目是否具备影响力的可靠指标是，如果其他人发表了这项研究你会感到振奋。

「雄心壮志」意味着，你想成为挑战现状、指引自己航向的人。

有合作意识

博士通常被认为是一项孤独的事业，是一条知识求索的漫漫旅途。为了顺利毕业，你需要独自完成庞大的工作量，但这并不表示你是完全孤独一人。

相反，合作是一项重要的技能。机器学习和自然语言处理领域中的很多影响力较大的项目，如 AlphaGo 或 OpenAI Five，都是由团队开发完成的。无论你是大团队中的一员还是小组负责人，你都必须学会与他人合作。

与导师和博士之间的关系相比，合作关系具备更强的流动性。合作其实就是构建相互信任与尊重。想成功地完成合作需要大量实践。在合作过程中，你需要清晰地完成沟通并设置好预期，特别是远程合作的情况。

如果你同时做两个项目，那么请在其中一个项目中与他人展开合作。与导师以外的人合作可以给你带来新的角度，你能学到的会比独自工作的收获更多。

如果你在实验室工作，那么与实验室同学进行合作通常是最简单的操作。但是，与其他机构的人保持沟通与合作可能带来长期的有益影响。

积极主动

这可能是最重要的一条建议。不要把社交范围限制在当前的圈子，多接触他人。会议的主要价值是把人们聚在一起。参加会议前，通过查找接收论文的作者查看参会者，并给他们发电子邮件。要尽量保持尊重的态度，简要地介绍自己，表明自己想要与他们见面的理由。大部分资深研究人员会参与这类会议。试着与很多研究人员交谈，尤其是那些还不怎么知名的人。

在会议以外，通过邮件咨询同领域内其他人员来获取研究建议也是很有用的做法。但是，邮件礼仪很重要，写邮件时一定要让忙碌的研究人员愿意回复你的邮件。具体来说，你需要清晰阐述自己的研究和探索的解决方案。

除了咨询建议之外，这类联系或许还能带来其他机会，如工作 offer、合作、导师、Twitter 消息。最重要的是，这类沟通应基于相互兴趣与尊重。因此，请尊重他人的时间。此外，拥有共同兴趣的早期研究者通常比担负众多责任的资深研究人员更加开放。

保持积极主动的态度，还与你如何看待和谈论自己的研究有关：通过在自己的网站上强调、线上讨论和写博客的方式，让其他人更容易地发现你的工作。

写博客

写博客好处多多。

它可以帮你锻炼写作能力，并学着享受写作。要想顺利完成博士学业，你必须写一篇博士论文，而这个过程通常很折磨人。写博客可以提供一定的写作训练，帮你为论文马拉松做好准备。

从研究的角度来看，写博客可以帮助你练习清晰表达和解释事物的能力。这两者是将优秀论文与普通论文区分开来的重要标准。事实上，清晰的写作对于论文接收和高影响力都有很大帮助。与研究论文相对固定紧凑的格式不同，你可以在博客中进行试验，找到自己的风格。

博客还是展示和分享工作的良好媒介。一篇介绍论文的优秀博客不仅重申研究的主要成果，还进行一定的补充。博客要比论文更加灵活：你可以将有趣的联系突出显示出来，为读者提供大量文献概览和未来方向，展示生动示例、代码段或交互可视化，或者进行深度误差分析。

开始写博客的另一种不错方式是讨论你刚学到的知识。Rachel Thomas 将其表述为「你最适合帮助落后你一步的人」。如果你已经深入某一个领域，为什么不总结相关工作和自己的见解，帮助节约他人的时间呢？Sebastian Ruder 表示其大部分博客都是用这种方式开始的。

如果你学到了如何很酷地完成一件事，请写一篇博客来告诉他人。反之，如果你想了解某个主题，但无法在网上找到相关信息，你也可以考虑自己创建相关的资源。

Sebastian Ruder 表示，写博客带来了其整个博士生涯最积极的互动。ML 和 NLP 社区如此广大，即使你写的是小众主题，还是会有人感兴趣。

尽量忽略没有建设性的反馈，记住：社区欣赏真诚的声音。

维护科研能量的几种方式

外部奖励（如论文被接收）总是比较稀少的，因此利用内在奖励通常是必要的操作。

保持研究积极性与活力的最自然方式是，研究令你兴奋的话题，遵从自己的好奇心。鉴于你的资金或职位，你可能无法自行选择研究主题。那么，请尽量找到自己感兴趣的角度。即使是现有算法的应用也可以带来新的待解决问题。

博士是很消耗人的过程。因此构建可以依赖的支持网络就显得至关重要。将自己置身于积极的人之中，他们都能支持你的想法和野心。

同时，找到事情进展不顺时可以给你带来积极能量的活动，可以是合作、副项目、爱好、锻炼、冥想等等。对于 Sebastian Ruder 而言，这样的活动是写博客。（大牛果然是大牛……）

最后，积极能量的最重要来源不是你所拥有的计算量，而是你的个人良好状态。GPU 崩溃了可以重启，烧坏可就没辙了。

发挥自己的长处

「人最大的价值来自于做其他人不能做或想不到做的事情。」
——Sam Altman

随着人们对 ML 和 NLP 的兴趣激增，找到容易出成果但又比较新的研究主题变成了难事。好的策略是研究你目前最好解决的问题。完美的研究主题具备以下特点：有影响力，你感兴趣，你是唯一适合这项工作的人。

怎么才能成为唯一适合的人呢？你需要具备以下特点的其中一项：背景；对特定技术、方法、语言或数据的了解；个人偏好。你是非计算机背景？那么把这作为研究灵感吧。你是一个具备视觉创造力的人？那么用各种图表和分析补充博客和论文吧。你是很厉害的程序员？那么着手实现有技术难度的模型吧。你数学很好？试试用数学方式证明自己的论断。

另一个优势是你所处的人际网络和可获取的观念多样性。因此，寻找那些能够帮助你补足优势的人，不管是导师还是合作者。

实习或访问大学

建立有意义连接的最佳方式是与人们密切合作，建立私人了解。实习和研究访问都是扩展人际网络的好机会，它们可以帮助你与有才华的人并肩战斗。

你可以借此了解另一个环境是如何展开研究的。如果你还在犹豫进入学界还是业界，那么直接查看业界如何开展研究是一项宝贵的数据。研究访问或实习还可以帮助你决定之后应该加入实验室还是进入公司。

最后，实习和研究访问都是绝佳的学习体验，在此过程中你通常需要熟悉新的技术栈或研究领域。通过导师的指引，你还可以发现个人成长的不同方面。

放长线钓大鱼

我们中的大多数人之所以成为今天的自己，是因为有人早早将赌注押在了我们身上。Sebastian Ruder 表示，他的首次科研访问要特别感谢导师给予的机会。所以，如果获得了机会，你就要把握住并延续下去。不要只想着实现自身预期奖励的最大化，也要考虑到身边的人。

在大机构工作可以让你接触并创建自己早期的人际网络，从长远来看，你还要拓展这一网络，争取与更多的聪明人一起工作。在建立人际网络过程中，你需要积极主动，尽可能地帮助其他人。实现的方式有很多，如撰写博客文章或编写库、发布教程和课程、做播客、复现模型或者帮助开发开源软件等。坚持这么做，你会赢得勤奋努力和乐于助人的好名声，其他人也会乐意与你一起工作。

要善待他人，毫不吝啬地给予赞扬和肯定，不要心存怨恨。事实上，与人为善是个人取得成功必不可少的重要因素。与人为善还有一个好处：会议不只是研究展示和想法交流，更是朋友之间不可多得的年度聚会。

照顾好自己。努力工作的同时保证睡眠和锻炼。抽出时间学习新东西，涉猎自己不擅长的领域。最后，时刻提醒自己，虽然博士生涯是以一篇博士论文作为终结，但读博更重要的是在过程中寻找到更好的自己。

参考阅读：

理论DeepMind读博Sebastian Ruder

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

神经科学技术

神经科学，又称神经生物学，是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。对人脑研究是个跨领域的范畴，当中涉及分子层面、细胞层面、神经小组、大型神经系统，如视觉神经系统、脑干、脑皮层。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/