两年前，知乎作者「谢熊猫君」将「waitbutwhy」上的 The AI Revolution 译为中文。他巧妙引入「吓尿指数」，人工智能也被披上了「玄学」外衣。
半年前，AlphaGo 对阵李世乭。这场「人机大战」让「人工智能」这一并不新鲜的名词，第一次获得了大规模的主流关注。
兴奋、怀疑与惶恐，比挑战人类智力「试金石」更让人不知所措的，是站在改变「临界点」上的迷茫。
「比赛期间有一张让人印象深刻的照片。照片中一边是需要千台机器的 AlphaGo，另一边是李世乭和一杯咖啡。大自然的鬼斧神工一直让人肃然起敬，而这其中最杰出的造物，莫过于我们人类自己。」
说出这句话的人是田渊栋。在 AlphaGo 和李世乭人机大战正酣之时，这位人工智能领域杰出的华人专家因其主导开发了 Facebook 的人工智能围棋研究项目 DarkForest 以及在知乎上独到而专业的比赛点评，迅速为大众所熟知。
卡耐基梅隆大学机器人系博士、前谷歌无人驾驶汽车项目组研究员、现 Facebook 人工智能组研究员，多重身份的加持和前沿、专业的研究为田渊栋吸引了相当多的目光。
「我们要做的，不是成为高谈阔论的事前事后评论人，而是去当那一两个先行者。他们才是明白事实真相，才是真正改变历史轨迹的人。」
除了前沿研究与技术创新，他还保持了长期的写作习惯。除了早期的个人博客和现今的知乎专栏，田渊栋甚至还完成过一部超过 30 万字的小说，这在以理工科为代表的前沿科技领域是极为罕见的。
近期，机器之心对田渊栋进行了一次独家专访。关于人工智能、个人经历以及前沿技术研究的进展，田博士分享了诸多鲜为人知的故事和观点。
写小说的人工智能科学家
从交大人工智能论坛版主到微软研究院
人工智能不该被过度炒作
沟通和交流能力是研究的重要组成部分
从 Google 到 Facebook 的身份转变
关于未来人工智能行业的一些思考
关于国内人工智能的发展
田渊栋的学习方法论
田渊栋：对，这个也算是我在硕士和博士期间的一个爱好，主要的成就是写过一部大概 30 万字的长篇小说，还有一些中篇和短篇。当然，长篇小说毕竟读得人不多，后来就改成写博客，大家还是愿意看的。
田渊栋：我以前受到高中班主任的影响，对历史有兴趣，愿意看些东西，当然写作还是高考作文这种水平。大概 06、07 年的时候，网络小说开始流行，和大家一样我也喜欢看。看多了，我这个人就喜欢动手，自己写写试试。一开始写的时候真的不好写，挤不出几个字来，写的是全是大段对话。但是慢慢就知道怎么写了，时间长了，越写越顺。
田渊栋：都有，玄幻加科技，就是大杂烩嘛。我不是商业写作，所以主角不打怪升级。主要是掺杂了一些个人经历，把自己想写的人物和事情写出来，小说嘛，题材其实无所谓，发生在火星上还是地球上都一样，但人物很重要，是灵魂。这部长篇小说写了五年，一开始是零零散散的写，然后串起来，最后集中精力花三个礼拜把它全部写完，现在回想起来，那段时间太有意思了。
田渊栋：没有，这个也就是业余兴趣，现在比较忙，以写博文和杂文为主。写小说这个经历对我的锻炼很大，一方面在写人物的时候，要站在人物角度见他所见想他所想，要让人物活起来，这个对于习惯从自我出发的人来说是很好的历练；另一方面语感有很大提高，有了之前的积累，现在写杂文和博文，自然而然会觉得这个地方这么写，会让读者看得顺眼。
田渊栋：是的，学生时代相对来说空闲一点，也是积累和摸索阶段。现在是当打之年，当然是以论文为主，人生的好时光没有多少的。
田渊栋：我是计算机专业的。当时我进了交大的联读班，一开始不分专业上基础课，比如说数学物理化学课，还有通信的相关课程，到两年之后再选专业。现在我相信很多学校也开始做这方面的尝试了。比如说第一年不选专业，让你自己去选什么科。我觉得这样对于一个人的发展来说，特别是对学术有喜爱的人来说，是比较好的。
田渊栋：我当时在交大读了研究生，然后再出国。那个时候我基本上花了一半时间在微软亚洲研究院。
田渊栋：对，在做这方面的。一开始是做人脸嘛，然后做一些比较广泛的图像识别，图像课程的一些问题，然后就申请了美国的博士。
田渊栋：我觉得我真的要感谢我在交大的导师张丽清教授，他给了我自由的发展空间。我说我要去微软亚研院实习半年，一般老师不会同意的。他说：「没关系，去吧」，非常支持。我在交大时做计算机视觉，研究院那边也是做图像识别的，具体来说是人脸识别。当时我想着能去研究院很好了，非常向往，做什么方向也无所谓。
田渊栋：对，那个时候是这样的，学术归学术，系统归系统，两边分开。机器学习的能力已经开始体现出来了，比如说在特定问题如人脸检测上有很好的解决方案；但是更复杂的物体检测则远远不及人的能力，大家都在讨论什么才是好的视觉表示。那一波其实持续了很长时间，从 01 年开始一直持续到大概 07-08 年。那时我觉得机器学习有用，但没有像现在这样有广泛的应用。那时基本上是人工设计特征，再让计算机跑个线性模型就完事了。特征还是要人自己去找。现在就完全不一样了，因为数据量大了，又有深度学习的框架，可以让计算机自己去学到好的特征，效果也好。
除了去亚研院之外，硕士阶段我主要在数学上打下了基础。我当上了交大 BBS 数学版版主，经常去回答板上提出的各种问题，不能回答的话就会去查资料。作为版主，回答不了问题是会有很遗憾的感觉的，这样就产生一种压力，通过这种方式，我强迫自己不断地学习。时间长了之后就慢慢习惯。另一方面我还开讨论班，我说我主动来讲机器学习和模式识别的一些数学模型，这样大家来听，我就得要准备，准备多了，基础就扎实了。研究生阶段还选了一些其它系的课，比如说广义相对论还有随机过程，一般人不会这么做，但我有兴趣。这样基础就打下了，以后看别的文献就会方便一点。
田渊栋：可以算吧。我那时还是人工智能版的版主。版上那时有很多非常有趣的讨论。当然那时候的讨论，现在看起来可能比较幼稚。不过既然是出于兴趣，也不怕人笑话。
田渊栋：至少确定将来会做人工智能这一块吧。有兴趣的原因是，我觉得很多问题没有解决。当时我在版里说，人工智能感觉上就像化学史上「燃素说」和「氧化说」争鸣时的状态，还没有系统性的理解，还在黎明前夜。大家现在都在那边低头调参数加特征，只知其然却不知所以然。将来肯定有很多理论框架，但是哪个是对的，现在毫无头绪。
这个就是机会。现在回过头来看，我想的是对的。
田渊栋：还是那样，还是比较浅层的。当然我们现在有机器也有数据，效果肯定比以前好很多。但是理论这一块，现在还没有太大的突破。
田渊栋：对，还是有很多问题。当然了，还存在一种可能，现在机器多了数据多了，不用管理论，一路做应用做到底。在理论还没有掌握之前，应用已经超过人的水平，都是有可能的。
田渊栋：这块我们还会再做一点，但是现在主要是开一些其他的方向。
田渊栋：这些方向都会有涉及。但现在时代不同了，不应该把自己限制在视觉或者某个特定方向。
田渊栋：对，因为感觉上自然语言处理、图像、语音，这些基本上都是应用了。所以说如果必要的话，其实可以在这个中间进行切换，或者做一些交叉的方向。以前做这三个方向，可能需要大量的领域知识，特别是做自然语言处理，要学以前语言学的文献。要做分词，比如说每个词给一些词性。要做一些语法的分析、语素的分析，有很多很多的步骤。但现在的趋势是从头到尾都让机器学。
田渊栋：是的，end-to-end 端对端的学习。比如说自然语言这一块，并没有比以前的效果好太多，但整个流程变得很简单方便，将来进步的速度可能就会变快。比如机器翻译里面，你把一个句子，直接通过神经网络翻译成另外一个语言的句子，这样就比以前快。以前可能要分词呀，词性标注呀，对每个词找到另外一个语言对应的词或者词组，找到之后再重新排列一下，最后才产生一个句子。要通过几个步骤，但是现在在概念上，只要一步就算出来。【注：现在基于神经网络的翻译系统确实比以前好很多了 】。
为什么会出现端对端呢？我觉得主要是因为神经网络这个模型的优点。神经网络模型是个非常灵活可扩充的模型，随便连一下，然后做后向传递就可以了。大家一开始没有意识到它的厉害，觉得做这个系统得要分几步吧，神经网络只是其中一步，前面和后面还是通过传统方式来做比较安全。后来大家就慢慢意识到，为什么不用神经网络把整个系统打通？那样的话，又省时效果也会更好。自然而然，大家都会思考端对端的思路。我觉得现在基本上端对端的效果，主要体现在整个迭代的速度上，从设计模型到训练，到看到结果，到修改模型这样一个循环的速度会很快，效果也通常会变得更好。人优化参数的时候，可能半小时优化一次，看看结果如何；机器优化参数，可能一秒就优化几百次。所以这个时间的改进是数量级上的改进。
数据集的获得，现在主要是在网上花钱，人工标注。比如说一张图几块钱的，然后让人去做。就发动群众的力量嘛，看大家有没有空。有空闲着无聊了，就标注两张。这样把力量汇集起来。
田渊栋：对。
田渊栋：这个是有用的，但是具体怎么用，我们现在还在商讨中。
田渊栋：是的。而且大量的图片，下面的评论可能是杂的、乱的。比如说我们所有的话，下面都可以写一个赞呀。这个评论，其实跟这张图没有关系。
田渊栋：对，可能有多少话，一开始说得跟图片有关。但是后面说两句，说到某个人身上，扯远了，离题了，这句话就跟这张图没有关系了，所以这个其实都很难，现在还没有办法做，还需要好好研究。
田渊栋：对，肯定不一样。相对来说，你可能需要把剩下的句子提关键词。然后把关键词作为这个图的标注，这是一种方法。或者做一些简单的语音分析。
田渊栋：对。
田渊栋：这个其实不同领域，有不同的方法。比如说问答系统，可能有一个问题有一个回答。问题不同，回答又不同。所以一张图里面有三个问题，那么就有三个回答。或者一张图有三个问题，有三十个回答。每十个回答对应于一个问题，这是可以的。然后你有这些数据之后，你想办法找到一个比较好的模型去归纳这些数据，这是一种。
比如说还有一些，一张图有几千个标注。一张图里面你可以标注很多属性，里面有猫，有人，有天空，有大地，可能是外景，或者可能是晚上。像这种，每张图上有很多属性，这种也可以拿来的。这种不同的标注方法，目标是不一样的。比如说你做问答系统的话，问题和回答必须成对出现的。
因为这个回答非常依赖问题，如果你没看见图，只看到问题。然后回答的话，其实正确率挺高的，因为可以猜出来。所以你就会发现在不同的情况下，需要的标注是不一样的。
田渊栋：对，所以这一块的思考需要很大很大的力气。有可能一个数据做得不好的话，它的标注出了问题，或者它的采集过程出了问题，就不能用了。现在有很多机构都在做数据集，想办法通过数据来取得进步。做完数据处理之后，大家都会有一个客观的标准来评判他的算法怎么样。然后在数据上提高自己的算法性能，从而达成整个领域的提升。通过衡量数据上的表现，来衡量整个领域的进展。
田渊栋：这是一个方面，另外一个方面在算法这一块，我们希望深度学习用更少的数据达到相同的效果。这两方面都在做的。
田渊栋：现在主要做的是：你先在大数据上，训练一个模型。然后在小数据集上做微调。这样的话，你所要学习的权值数目就变少了。如果这两个问题本身也有相关性，这样就比较容易。或者你把少部分具有足够的健壮性的数据，加上大量的弱标注的数据放在一起训练，这样也是可以的。或者把小数据通过增广变成大数据，比如说旋转缩放图像，里面的物体属性标注保持不变。这样的话，数据增加了对模型的训练过程会有好处。
当然，这些都是权宜之计。真正要解决这个问题的话，需要对深度学习的机制要有很明白清晰的了解。这个很难，还没有办法做出来，大家还在做。之前我去清华做演讲的时候，跟姚教授也在聊，他也觉得这是非常难的问题。
田渊栋：对，他们现在也关注这个。神经网络的训练是一个非凸的优化问题，目前传统的方法没有办法解决它。没有对它的本质理解，可能没有办法真正解决神经网络训练过程中的疑难杂症。
田渊栋：对。
田渊栋：这方面跟我的博士论文是很有关系的。虽然说大家可能因为围棋的工作认识了我，但是我在博士阶段是做理论的，研究如何获得非凸问题的最优解。一般情况下这个问题做不了，但在某些特定情况下是有可能的。我当时做的是如何对齐两张扭曲的图像。对齐是非凸的，局部最小值的分布和图像内容有关，图像里有重复结构，比如说一栋建筑物里有很多窗，那么就对应非常多的局部最小值。那么这个怎么办呢？一种方法是说我们干脆不优化了，就直接把图像用各种已知的扭曲参数生成出来，存到数据库里。然后新的扭曲图像拿进来之后，我就查那个数据库，就可以得到我想要知道的参数。但是这个办法的缺点是需要要非常多的数据，才能够保证得到的参数是准确的。另外一个方法就是传统优化算法，不管它是不是非凸的，我们用梯度下降迭代，但这样可能会陷入局部最小值。我发现了一个折中的方案，结合迭代算法和数据，做一个数据驱动的迭代算法，这种情况下，可以证明用更少的样本达到全局最优解。其中原因就是这个特定的非凸问题有一些特殊的群结构。这就是我博士毕业论文的主要工作。
我当然希望在深度学习上也能看到一些特殊结构，从而揭示它的秘密。但这个仍在探索中。
田渊栋：他的写作和演讲的技巧是很好的。我觉得他对我在博士期间的成长是非常有帮助的。
田渊栋：对，他是印度人嘛，大家都知道印度人这方面的能力比较强，他就是这样的。其实我之前是比较内向的，可能大家都有这种刻板印象，认为中国好学生比较安静一点，不愿意说话，比较内向。但是你出国了之后，你会觉得这两个属性不是连在一起的。你可以成为一个好学生，然后你也可以愿意和别人聊天。这些都可以做到的，都可以培养的。比如说一开始上台演讲的时候，有一种恶性循环，上台不知道怎么说，不敢上台。你上台又不知道怎么说，又不敢上台，那你到时候就不敢上台了。一开始要打破这个恶性循环，就要准备非常丰富的，非常好的演讲。第一个演讲说好了，觉得自己有信心了之后，再往上走，就一点点变得非常非常自然了。
田渊栋：英语只是特定语言，我指的是表达和交流能力，这个价值是非常非常大。中国有句老话叫「酒香不怕巷子深」，其实在现代社会不完全是这样。越是好的东西，越是要说出来，一定要广播，要想办法让大家都知道，才能让别人欣赏你。每年投稿在各大杂志和会议上的文章，基本上以千为单位了，加在一起肯定要上万了。你的文章能否脱颖而出，是一个很大的问题。当然了，如果你做了一个世界上没有人做出来的问题，或者你的效果比别人好太多，那不必多言，大家都觉得你非常厉害对吧。但是很多情况下，你的工作并不能达到世界第一，也有很多工作是分析现有问题，或者表达一个新的思路或者观点，不是硬拼性能的。像这种文章就要靠说了，要靠组织和表达清楚的语言，不然的话，别人看了一头雾水不知道你说什么。
国外有好多的教授，其实这方面的功底是非常深的。比如说咱们 CMU 有个教授，一篇文章开篇引了福尔摩斯的话。福尔摩斯说：「没有数据支持的任何推理，都是不成立的。」然后他就举例说明数据的重要性。这样的文章，不一定有算法上的贡献，但是他们对别人思维的改变，其实起很大的作用，让别人觉得他这样的思路可能是对的，从而改变自己整个的研究路线。我刚去的时候不适应，觉得这种软文有什么好看的，只会用个最近邻方法，一点技术含量也没有；现在发现这不是吹牛，是对大方向的重要把握。现在深度学习来了，数据更多了，他在文章中提倡的，完全是符合潮流的。
田渊栋：思考并不是依赖于某种语言。英语用得多些，因为这个领域中文有很多词可能还是得翻成英语。
田渊栋：对，图像呀，或者一种内在的东西。然后你想到了之后，通过你内部的思考表达出来。
田渊栋：对，拿神经网络的术语来说，它们都映射到同样一个内部表示，然后再翻译过去。
田渊栋：我觉得主要还是因为谷歌是一个比较大的公司嘛。并不是说谷歌每个人都可以做你想做的事情。要看你在哪个组，你是什么地位，你做什么样的方向。大公司有一个问题，去得晚的话，你可能只能做螺丝钉。
田渊栋：能有产品的话，那当然最好，但是还是以研究为主。而且这次我选围棋也证明了眼光是对的。我当时对它有兴趣，是因为看到了两篇文章，当时大家都没有引起重视，就只有圈里人知道。我看了一下觉得这个东西有点意思。
田渊栋：对，我觉得这个方向，将来会有一些突破。
田渊栋：当然没有意识到那么快，只是觉得这个方向可能有前景。当时还做了还挺多项目的，没有吊在一棵树上。做研究的风险都很高，所以你必须分几个不同的项目同时做，看哪个项目比较好。这个围棋项目它的效果是不错的，那么就花时间在上面。
田渊栋：他会有一些比较大的想法和观点分享给大家。比如说他觉得对抗式学习是一个比较重要的方向。他会经常说嘛，让大家觉得这个东西挺重要，这么做可能是有道理的。用这种方式来影响大家。不过他也没有说一定要做这个，一定要做那个，没有。他是个比较宽厚的长者，和大家聊聊。
田渊栋：还比较多。
田渊栋：你想要研究，想交流很容易嘛，因为大家都坐很近。你可以发个信息过去。或者说直接到他座位上随便聊聊，大家讨论一下。这个还挺重要的，特别是你要做别的方向自己不熟悉的话。你一个做图像的人，突然去做自然语言这一块，那么你对自然语言理解这一块的文献，肯定不那么熟悉。你问别人一个想法，别人会告诉你这个东西做过了。这样的话，你可以慢慢知道这个方向，它的现状怎么样，然后接下来要怎么做，什么地方做过，有哪些地方还没有做过。通过这样的交流方式，你会很快的知道什么东西是应该做的。研究这一块，对方向的确定是很重要的。
田渊栋：这个也是慢慢总结出来的，碰过钉子嘛，很多时候你都知道了。
田渊栋：我觉得就是神经网络嘛，现在目前为止还是神经网络为主。就是通过神经网络的多层处理，把数据从一开始的红蓝绿这种非常简单的特征，通过一点点的自组织，变成比较复杂的特征，就是这样一个过程。当然这个想法老早老早就有了，只是最近才在实际数据集上产生了很好的效果，受到了大家的关注。
另外，计算上的神经网络和生物上的神经网络其实没有太大的关系，神经网络里的节点只是对神经元做了最简单的抽象。其实神经元结构太复杂了，一个含各种参数的微分方程，要能快速模拟上亿的神经元，代价很大；另一方面，就算模拟出来效果好，也不知道是哪个原因导致的，反而会拖累对本质的理解。
田渊栋：我在博客里写的科技树，是一个比方。你看科技树的发展，一开始枝繁叶茂，大家都觉得很有希望，可是发展一会儿就停下来了。等大家没兴趣的时候，过了几年，在某个很不起眼的地方，突然就出现一个突破。所以做一个研究员嘛，最重要的是要于无声处听惊雷，就是不能人云亦云，要静下心来找到别人没看见的方向，然后把它挖深，证明这个方向是有效的。一旦大家都觉得这个方向对，大家冲过来接你的棒了，你就是成功的。
田渊栋：对，这个话我觉得是有道理的。监督学习相对成熟些，但是需要大量的样本，往往是样本翻倍，性能才涨一点点。很多时候，对一个系统而言，光用样本把它的性能提上去就很难。非监督学习要是效果好了，对样本的需求就会少很多。比如说吧，我本来可以对围棋的每一步做一个标签，这步是好棋，这步是臭棋。但是也可以给最后输赢的结果，把这个结果反向传递回去，让算法自己发现哪一步是好棋，哪一步是臭棋。那这样的话，你输入信号变少了，就是一种半监督学习的方法；另一方面，机器也就有了超过人类的潜力。
田渊栋：我还是比较关注的。
田渊栋：肯定会看一些文章嘛，然后看看有什么东西可以做的。
田渊栋：现在在做，但是能不能出文章，这个不知道，肯定是要边做边看看有什么有趣的。一开始你不熟悉这个领域，你肯定先看文章，然后再选题，然后再看有什么东西可以做。你看多了之后，会慢慢的发现，噢，原来这个有问题。
田渊栋：他那篇文章用图模型做 One-shot learning，和深度学习作了对比，在生成手写字母这个任务上，在小数据集上比深度学习要好。图模型在推理上比较自然，解释性也比较强，这个是大家公认的。但是相伴地就有另一个问题，就是说设计的模型一定要对，像他写字的模型可以设计得正确，但是对于复杂的真实世界，建一个包罗万象的模型就很困难，未必有深度学习的能力强，计算机视觉这个领域，大家都做了二三十年的模型了，结果还是被卷积神经网络超过了。所以说两者现在各有所长，深度学习长于感知，图模型长于推理，如果我们能把它们连起来会是个很大的突破，是值得我们去发现的。
田渊栋：图模型和深度学习如果能够很深地结合起来的话，会是一个很好的方向，现在还是比较浅。
田渊栋：都会看，我肯定不会现在下定论。先了解一下，一点点了解完之后。发现这个有意思，然后再去做。很多时候研究员做的事情，是介于了解、探索、研究之间的。你不知道在看这篇文章的时候，是为了做这个方向呢，还是属于好奇呢，还是审稿呢。所以很多时候你无法界定自己的工作。文章看多了，自然会有一些想法，如果想法有意思，就愿意花时间在上面，然后你就变成从事这个研究方向的人。做研究不像通常的工作，有个老板和你说具体要做什么。可能今天看文章，明天推公式，后天写程序，大后天发现全错了从头再来，自己得分配时间，得要找找准方向。所以啊，这个都不好说。
田渊栋：这个你看一些文章就可以了，很容易懂的。比如说注意力模型吧，看一张图，先看左边，再看右边，最后得出图里有什么的结论，和人的行为一样。听起来很有道理吧，但是实际上训练完，往往计算机看一眼就知道图里有什么，猜功太好，让它多看几眼没什么用，可有些情况下又是有用的。所以说实际机制未必和文章描述得一样。
田渊栋：对。
田渊栋：不好说吧。量子物理怎么建立的呢？二十世纪初的时候，一个很大的问题是如何建模黑体辐射，一个东西加热到一定温度，会发出什么频率的光。物理学家们提出两种模型，各对了一半，就是拼不起来。然后大家深挖下去，作了夸张的假设，找到量子的方法去解释。相对论也是一样的，一开始大家用以太去解释光速不变，被干涉实验推翻，后来找到狭义相对论，认识到洛伦兹变换是绝对的。这两个都推翻了经典的直觉假设，刷新了大家对世界的认知。对物理来说，从不承认这些假设，到承认这些假设，是一个大突破；认知刷新，是一个大突破。
我们现在不一样，是工科不是理科，更多是一种经验的东西，也更看重经验的结果。比如说吧，因为数据集不同，模型不同，经验的结果往往是模糊的，渐近的，慢慢地大家意识到这样是对的。这就不像物理学有个明确的分界线，控制完变量后，一个假设一个公式把现象阐述得很清楚，一个实验对不对，改变整个认知，然后宣告胜利。另一方面，你可能对深度学习的认知有突破了，但那时系统性能已经超越人类了，没有人在意。这两点都会让圈外人觉得发展相对平缓，没有像物理学这样的。当然，从人工设计特征到让机器自动发现特征，这是一个比较大的认识上的突破。但是就算如此，大家好像也没有把它当成是革命，而只是默默地记下了继续往前走。也许以后历史学家们会记录成突破吧，就像我们看二十世纪初那样；但是目前看来，身在局中的我们，并不一定会感觉得到，所以大家也不要期望太高嘛。
田渊栋：对，有可能某个人某一天宣布，深度学习是这样起作用的，认识上有了突破。然后圈外人觉得，我已经用上了，用上语音识别了，用上图像理解了，用上问答系统了，没有人管了。对他们来说，是一个很平稳的过渡嘛——软件变得越来越牛了。所以这个不像是物理，这个不一样的。物理那边，非常看重对事物的深刻理解。物理是理科，它的目标是发现。为了更新的发现，全世界可以砸钱下去不求回报。而我们这边，总的目标是做一个很好的系统给大家用，AlphaGo 战胜了李世石，大家把它当大新闻，就算世界上没人知道 AlphaGo 是如何算出好招的，也没有关系，没人管。当然，我个人非常喜欢好的理论，如果对深度学习有一个非常好的突破性理解的话，我会非常非常开心。虽然难，但我相信它迟早会发生的。
田渊栋：有很多，比如说小数据，非监督学习，比如说对整个深度学习的原理不理解，大家现在就是摸瞎调参数，看怎么样。没有对这个模型有本质的理解，这个其实是一个比较大的问题，这个是需要突破的。我之前说了嘛，这个突破可能对大众来说没有太大的意义，大家都觉得用上了，就用上了。
田渊栋：对。
田渊栋：对。
田渊栋：现在还是比较浅的结合，把两边的特征连在一起，或者放进模型里面混合下，就完事了。更深的结合现在还在研究中。
田渊栋：现在在做，但是还早，可以回答一些问题，刚用的人可能会觉得很惊艳，但是用多了就知道它弱在哪里，离真正能用还早。
田渊栋：这个我也不好评论，我觉得挺好的，可能是一个很好的入口吧，通过更自然的方式来跟别人交流。
田渊栋：我觉得这个对我们来说是好事，对吧，工资肯定会提高。另一方面，这也表明现在人才越来越重要了，以后人工智能能够自动化很多事情，有这方面的人才，能把人工智能运用得好，几个人的小公司能做到跟以前大公司一样，甚至超越，这都是有可能的。技术越发达，可能最后的效果就越好，以一当千当万，都不是天方夜谭。
田渊栋：如果这些阶段都能做完的话，那基本上就差不多了。因为人也从无监督中学习，一个婴儿通过有限的监督学习慢慢学到很多技能，对吧。这几块如果能做出来的话，确实会有很大的突破。人脑的核心技术肯定是大大领先现在人类掌握的核心技术，但是工程上仍然有很多可以改进的地方，你要相信进化出来的东西，它是会有很多缺陷的。我们现在就像是原始人去研究一辆二战坦克，怎么看都觉得科技逆天；但等到了我们会造坦克了，改进的路子马上就会想到的。
田渊栋：这个问题太大了，说实在的，我也不是太了解国内的很多情况。所以我也不好说，首先第一肯定咱们中国人是非常聪明的。我觉得大家如果有信心，有恒心的话，确实能够做到很好的水平。
田渊栋：可能还有相当的差距。这次围棋大热，国内有一些像刘知青教授他们在做。但是除此之外，也没有太多的人在做这个东西。另外围棋本身有深厚的人文背景，两个因素综合起来，问一些比较宽泛的问题，也很正常。所以我想这次回来一方面是探亲，另一方面做一些报告给大家科普一下。我觉得我有资格去说这个东西，因为我正在做。当然很多不一定说得对，只是和大家探讨下。总得来说我觉得国内做得还挺好的。
田渊栋：国外可能更细一点。国外交流的时候，大家都对问题有了解，会谈到很细的内容，会说「这个东西我没有理解，我不知道，我回去查一下资料。我得做了实验才告诉你答案」。但是国内问的问题就比较大一点。
田渊栋：可能是吧，特别是围棋这一块。当然也有可能国内大家都愿意问比较大而宽泛的问题。
田渊栋：这个还没有仔细的研究。原创性的，有大跳跃的文章相比还是国外多一点，但是国内跟进很快。大概是这样。
田渊栋：不错的很多啊，何恺明的 ResNet 大家都在用，做得好管你国内国外，大家都会用的。如果钻研某个方向，国内做到和国外差不多水平甚至更高，非常正常。国内这种工作的强度，国外是不可想像的。
田渊栋：对，是。
田渊栋：我觉得 CMU 其实是很好的一个学校，我觉得卡耐基梅隆大学的一贯风格是做事做得很细，然后大家都很认真，愿意把一些事情做好。
田渊栋：这个其实我自己的经历比较特殊嘛，我之前说过，我自己写过小说的。
田渊栋：有关系的。我写过长篇小说，写长了之后，会有一些问题，比如说角色的把握和剧情的走向。你写下来发现这个角色和之前相比，性格走样了，说的话做的事不像他/她应该做的了。这时候再写下去就越来越糟糕，这时候就要多想想，有些段落虽然写得精彩，但于全局无益的话就得要忍痛割爱。然后反复读，再找到正确的路子写下去。像这样写多了的话会有感觉，会避坑，然后会有一些自己在方法上的总结。写博文也是一样的，一开始一泻千里，东一点西一点，然后收束了，归类了，有些大段大段的直接删掉，迭代几次之后，发表出来的才让人读着舒服。所以这个对我来说是比较特殊的经历。总的来说，我走过很多弯路，走弯路走多了，你才知道什么地方是对的。
田渊栋：靠经验积累，如果大家想读博士的话，那还是要通过自己的经验积累，别人说的话再多，都没有自己的教训深刻。不要怕犯错。几个比较简单的经验，动作要快，不要怕犯错，多试几个方向。然后从错误中慢慢总结，知道更多的东西。我觉得现在最重要的是一个人要很聪明，要很会学习，然后愿意去尝试，不要怕犯错，就是这样子。从统计学的角度来说，经验越多，你获得的数据就越多，那你的模型的迭代速度就越快，效果就越好。所以其实就是这样一回事情。
田渊栋：对，思考方式。
田渊栋：写下来之后呢，你会有不一样的感觉。你脑子里面的东西，可能没有那么系统，甚至有自相矛盾的地方。当时没觉得什么，你写下来之后，才发现这个写下来不对，是不是要推倒重来呀，这个地方有问题呀？这就是迭代的过程。人的成长有时候得要抛弃成见，抛弃自己曾经认为十分正确的东西，再作总结，要有这个包容的意识，要知道自己可能全错。写作呢，就是提供了这样一种渠道。写作扩大了记忆力，你可以拿来思考的记忆就那么一点。你觉得你想到了所有的地方，思路很完美；但事实上是你拿了这个，把那个丢了，拿了那个，把这个丢了。只有全部写下来之后，才会发现有问题。才会去思考。我写博文的时候，第一遍不会直接发到网上的，会反复读几遍，看一看有什么问题。我自己觉得满意了，才会发。很多时候，我会觉得这个地方不通。这个是这个意思，下一段是别的意思，这两段没有连起来。你就会觉得语句有问题，语句有问题，你会自己去调整。在写作上会有这样一个洁癖嘛，你觉得这个文章写得不好，你不愿意发出来。然后这样的话，你可能对你的研究过程有思考，你把这个写下来，会发现这里做得不好，会有这个感觉，会反省，下次会想着要改进。那时间长了以后，自然会有一个比较系统性的方法。
田渊栋：有很多，其实我之前有写日记。反正不时就会写一点东西嘛。但说实在的，大部分论文都没有学习笔记，那样太花时间了，很多文章看两眼就过去了。毕竟文章太多，把时间花在刀刃上才是最重要的。
田渊栋：这个还是不会分享，所以你看到的是冰山一角。能给大家分享的，都是写得比较好的，我比较满意的。你看到我写得特别系统，可能是个幻觉，因为还有大量不系统的堆着，要整理出来太费力。
田渊栋：动作快，然后多学习，多交流，多尝试。不要怕犯错，计算机这一块犯错没有什么问题嘛，犯错就出 bug 嘛，计算机也不会爆炸。出了 bug 也没有关系，就反复调试，对吧。我觉得我们 CS（编者注：计算机科学）这个领域其实非常好，实验重复性很高。犯错了，也没有任何问题，整个周期非常短。所以我觉得特别适合年轻人学习，我觉得只要你有能动性，你只要抓住机会，多跟别人交流的话，我相信大家都能做得挺好的。
田渊栋：说实在的，现在看书没有什么大用了。很多时候就是看论文，多了解一下，多跟别人交流，因为现在变化非常大。很多东西都不一样了，所以你看这些书能够知道以前的一些知识。其实你看论文也有同样的目标，比如说看论文第一段，这段里面其实就概括了以前的一些工作。然后你看多了，你自然而然就会对这个领域会有了解。看书当然也会看，比如说你特别想提高一下自己的数学能力的话，就要看一些经典的教材。最近我无聊去看群论，在看为什么一元五次方程得不到根式解。无聊嘛，你可以看看一些有趣的东西，并且深入思考。通过看和思考，你相当于磨炼自己的分析能力，长期不看的话感觉会变钝的，就可能人云亦云了，别人说好，你也觉得好，你作为研究员的价值就没有了。数学这些东西，经典的方法都是十年、百年的积累，不会过时的。所以好多都可以看。但是你要去追人工智能比较好的一些发展的话，其实看论文比较快。多看几遍论文的话，也基本上能够掌握这些方向的一些进展。然后多跟别人交流，我个人建议就是多交朋友。交流是很重要的，别人一句话就顶你看很多书了。你现在不可能看完所有的文章的。
田渊栋：我觉得像算法这些的，还是可以看一些。
田渊栋：要看，但也取决于你有没有兴趣。你可能没有时间把所有推导都推一遍，这不可能的。但你你可以把整个方法和想法看一遍，把逻辑梳理出来。看论文的时候，往往跳跃和选择性的看。因为每篇文章的目标是把这个文章卖出去，他会说自己的方法特别好，别人的方法特别差。但是其实不是这样的，对吧。文章往往是有偏向性的，所以要选择性的看。
田渊栋：这个没有定规啊，每个人的需求都不一样。另外，你可能当时看一下，到用的时候你再去翻，这样可能会好一点，看一本书会花很多时间。没有一个准则，到最后可能就是东看一点，西看一点，关键是把你的知识体系建立起来。比如说这块你觉得不懂，你就看这块不懂的文章。
田渊栋：有针对性的去学，可能会比较好。比如说这次做围棋，我之前也没有做过游戏。那怎么办呢？你就看，看 David Silver 的博士论文，看以前增强学习的文献。你如果要做游戏的话，你看他的博士论文就得要看得比较仔细了。有一些关键的点，一定要搞清楚。相当于你要有选择性的看某些章节，某些文字，某些公式。你如果觉得这个重要的话，你就花时间搞定。如果不重要的话，你可以略过地看。这个就看你的积累了，你的积累肯定会告诉你什么重要，什么不重要。
以最少代价去获得到你的知识体系，没有一定的准则。
搜索能力是很重要的，想看什么就去找。反正现在网上有的是资源，现在已经不是图书馆的时代了，对吧。基本上一搜都搜到，关键怎么样搜。然后你愿意去搜什么样的东西。我觉得搜索是现代人的一个必备技能，不是说去图书馆一本一本啃下来就可以成为专家了，不是这样子的。
另外，科普只是领进门的。我以前是比较喜欢化学，后来喜欢物理。再后面慢慢到数学去，再到做计算机去。所以说这样一条轨迹，基本上化学的专业文献，只要是浅显的我都能看懂。你有基础之后，你再去看科普文，你可以猜出来科普文和专业文献之间，是怎么样的对应关系，为了让外行人看懂，作出了什么样的省略。但是如果一个没有经验的人，只看科普的话是入不了门的，容易被各种名词误导。你需要花时间在专业文献上，让知识构成体系。
