对话机器学习明星Nando de Freitas

Nando de Freitas是一名来自牛津大学的拥有高声望和优良业界口碑的机器学习教授。在2000年拿到Trinity College的博士学位后,1999至2001年他在 UC Berkeley担任博后,2001至2014年在 University of British Columbia担任教授,他还是加拿大高级科研学会(CIFAR)的一员,并拿到了许多学术类的奖项。Nando本人在其网站上这样简洁地描述他的兴趣:我想明白智能以及思考的机理。我的工具有计算机科学,统计学,数学和无尽的思考。2015年12月26日,Nando de Freitas加入了由Reddit管理的AMA(Ask Me Anything)平台,本文是作者 Matthew Mayo对 Nando教授在AMA平台上的回答以及相应评论的总结。

nando

Nando de Freitas

除了对目前机器学习、学习理论和深度学习的状态的特定问答外,在整个AMA问答过程中,Nando主要有如下观点: 

1、Nando似乎对那些影响人工智能未来与机器学习研究和实现的公平性问题很关心。他认为需要解决相较于白人男性,女性、少数民族和其他群体代表性不足的问题,这不仅仅是简单的数字问题,这将会对社会有很大影响。Freitas认为让所有的社会群体共同塑造其未来至关重要,他相信教育及教育质量会在其中起作用,在这一领域几个有关不平等的问题需要解决,包括:恶意地将教育质量与物质财产相关联。 Nando说道: 

我并没有说这一定是谁的错。相反,我想表达的是我们需要找到问题的本质并理解它。我觉得只有白人讨论的未来是非常愚蠢的。 

2、与过去一年中一些针对于AI人格的论调不同的是,Nando似乎对于天网式人工智能灭世理论并不太担心。但是他确实意识到这类技术正在改变人类和其生活方式,我们应该对于这类发展和带来的反响有深刻的认知。同时他也提到了一些关于「自我意识人工智能」的谣言。

我认为对于那些担心类似于《终结者》电影的情节并采取措施有点偏离问题本身了, 我对于这些媒体的报道并不感冒。但是,我们确实应该担心科技正在改变人类的这个事实。并且有必要担心诸如科技在战争中的开发和使用、人工智能研究者缺乏种族多样性和女性、有人喜欢利用人工智能来吓唬别人却不关心如何使用人工智能来改善我们的世界等问题。 

3、Nando教授花时间清晰地思考、讨论和理性地解释了什么是「智能」。 

智能真的只是一个环境的产物么?它深不可测吗?或者只不过是一个记忆,感觉和行动的单纯结合体(就好像我早上起来会感觉到饿)? 

4、他似乎对人工智能将给人类所带来的未来持积极观点。 

我认为深度网络只是迈向更智能的计算机的一小步。通过用机器来拓展我们的智能,我认为我们会更有希望解决很多诸如财富分配和癌症等复杂问题。但是为了让这一切发生我们需要强有力的领导者。 

在技术层面,用户们提出了很多关于深度学习未来的普遍问题,包括 Nando教授的研究背景以及大量与贝叶斯方法和深度学习结合的问题。下面,我们就来看一些很棒的问题以及Nando de Freitas的相应回复。许多问题揭示了Nando对于未来人工智能、机器学习和深度学习发展方向的洞察和思考。 

以下则为Nando教授的问答内容:

人工智能是否在蓄势待发?

Reddit用户dexter89_kp 提问:我曾经问过AI 领域的专家LeCun教授一个类似的问题:您认为在机器学习领域中,接下来的五年内最亟待解决的两个问题是什么?希望能够站在一个想要读取机器学习博士学位学生的角度来回答。

Nando回复:有这样一些主题:低样本复杂度的深度强化学习和深度学习。它们在医疗健康、环境、探索新数据方面的应用对人类很有用。可以考虑这些项目,类似于目标,逻辑关系,计划,算法等等,高效利用的机器学习。

rmcantin提问:蒙特卡洛以及神经网络方法最大的一个特点就是他们能够向上扩展可用资源的潜在能力。你认为在近期内,如果我们有足够的计算能力对十亿(或者万亿)级别的粒子抽样进行深度网络权值预测或者全贝叶斯深度学习,是否会出现蒙特卡洛方法的二次复兴?或者是说,你是否认为贝叶斯优化方法可以在这个问题领域中追赶上来?

Nando回复:我在期待着Yee Whye Teh或是Arnaud Doucet来引领新的蒙特卡洛革新,然而,我们首先需要确保的是,我们已经理解了深度学习。其实,这些高维度模型背后的数学原理以及学习过程中优化的具体手段都还没有得到很好的理解。我确实认为贝叶斯优化对深度学习来说是非常重要的,但是它需要被恰到好处地使用,这也确实不简单,并且需要很多工作。我也期待着像你这样的人去研究相关细节。

spaceanubisl提问:我想知道你对于无监督学习(或者one-shot学习)有什么看法?在可见的未来你认为这些将如何得以实现?

Nando 回复:对于我来说,学习从不是无监督的。无论是预测当前的数据(自动编码器),下一帧数据,或者其他数据形态,这些任务中总会出现一个目标。真正的问题是说我们怎么想出比较好的目标信号(标签)来自动进行学习?诸如ImageNet的人现在正花费大量精力研究时间标记数据集这方面的问题。

maltoss提问:根据你自身的研究,能否请你详细描述接下来在贝叶斯方法或者深度学习中会有什么样的具体研究工作步骤?

Nando回复:一部分人运用信息理论来学习自动编码器——在这样的设置之下我们无法了解其优先价值。另有些人就利用了贝叶斯的相关算法思想来存留置信区间---但是引导程序也能够得以同等使用。真正使它变得有趣起来的地方是人们可以运用类似的深度学习想法去做贝叶斯推理。与此相关的一个实例是Kevin Murphy和他的同事们使用提取法(又名黑知识)来减弱贝叶斯模型平均的代价消耗。我也认为深度网络有足够大能力来实现贝叶斯相关法则以及采样法则。这将会产生非常多的乐趣。 继续针对贝叶斯方法,

HillbillyBoy提问:贝叶斯优化看起来是现今一个热门的话题: 1.自从90s年代之后,在研究方面现在有什么样变革性的突破呢? 2.你如何看待接下来五年内这一领域的走向趋势?

Nando回复:1.这领域有很多的方法学或者理论上的进展。Ryan Adams和他的团队,Philipp Hennig,Frank Hutter , Matt Hofmann,Ziyu Wang,Bobak Shahriari,Ruben Martinez-Cantin 以及其他很多很多人(详见我们最近的贝叶斯优化概览)都在做着非常重要的创新工作。 2.我们需要一个特别的证明:比如全自动化的Torch或者Caffe,所以在给定一个数据集和问题说明的情况下(比如ImageNet网站),贝叶斯优化自动生成了代码(包含具体结构和算法说明)赢得了ImageNet比赛。

关于Nando本人的问题

zhongwenxu提问:如果不考虑主要的基础设施和设备资源方面的因素,您觉得在DeepMind与在牛津大学的科研经历最关键的差异是什么?

Nando回复:DeepMind的工作氛围十分有活力,这里聚集着一批专注于解决问题的卓越人才,每周都会有成员让我惊喜。各项支持也非常棒,同事关系和谐。牛津大学同样是鼎鼎大名。然而相较于技术层面,在DeepMind工作会更加关注问题本身和攻坚(当然两者同样重要)。其行业内的管理干预会相对更少,薪资待遇也比高校要好很多。你无法想象计算机科学的教授和教师的酬劳有多低,尤其是在欧洲,在我看来较之其他的许多工作,其贡献也更少。教授们至少要能付得起房租,毕竟他们工作如此辛苦。

up7up提问:强人工智能可能产生吗?是什么阻碍了它的实现?组合性爆炸?维数灾难?P/NP问题?还是另有其他?

Nando回复:谢谢。我不认为我们能很好的把握智能究竟为何物。同样,我们对于「 智能由什么构成」这个问题的理解也在不断变化。 创造与人类能力相当的机器看似是合理的。但人类要解决NP问题或组合性爆炸问题却没那么容易。似乎有比「让机器具备人工智能」要复杂得多的问题。 作为以上内容的相关随访,也是为了展示Nando是如何花时间思索「 智能」这个问题的,下面的内容是摘自与此相关的一个其他问题的回答: 如果你将整个人类置于一个只把一点点食物直接注射到静脉里的黑暗的无声房间中,你觉得会发生什么?十年后我怀疑也不会产生什么智能,尽管事实上几千年的环境适应具象化事实已经通过基因传递了下来。

lars_的问题能够让我们了解Nando如何考虑这些的:近些天你问过自己什么问题?什么样的问题你最想寻找出它的答案? 以下是摘自

Nando的回答(有很多非常棒的问题,这里无法全部囊括):我该利用怎样的数据集来获取有效信息?我非常赞同用创造性的方式使用数据。举例来说,最近一篇由Karl Moritz Hermann和其同事们撰写的论文,论述了如何教机器进行阅读。我们该如何使其自动化?这种自动化对于我而言就是无监督式学习。 智能仅仅就是对环境的一种映射结论吗?它是否有更深层次的含义?又或是如我上述所提到的,仅仅是对于记忆、知觉以及行为的多模式联合? 我们何时才能最终使Vanilla递归网络和卷积神经网络的架构完全自动化?贝叶斯优化算法目前无疑是可以完成此项工作的。使用Torch框架来编写神经网络是可以自动化的。我们需要弄明白的是怎样为其进行设计代码,或者是搞清其中的绊脚石是什么。

Nando教授对专业与学术生涯的建议

datagibus420提问:你好Nando教授!如果只有一本机器学习方面的书可以推荐,你会选哪一本?——你会计划在MOOC上开设有关深度学习的课程吗,或者还是关于机器学习?另外,很感谢你在YouTube上传的课程,它们棒极了!

Nando回复:我很喜欢Kevin Murphy的书。他现在正在写一版新的,其中将会有更好的关于深度学习的章节。它能够或多或少地与我在YouTube上传的深度学习课程接轨。谢谢你的支持与积极反馈。

learnin_no_bully_pls提问:我想学习所有机器学习研究所需要的数学知识并理解它们。我需要在读书列表中加上什么呢?

Nando回复:微积分与线性几何是基础,请确定你知道梯度、线性方程组、优化基础、特征值等等,Kreyszig的《Advanced Engineering Mathematics 》提供了足够的背景知识。数学之所以非常有用是因为它让我们学习新的抽象知识(例如递归和函数)并且能够对它们进行逻辑推理。学习过程可以带来新的发现、更快更简洁的参数以及思想间更准确的交流。

Pafnouti 提问:我读了很多Facebook、谷歌和一些公司的文章,看似过于经验主义,例如「我们试了这个,还试了那个,然后这是我们的结果blablabla」,没有足够的理论工作。因此我很好奇博士为了毕业论文花费3到4年的时间去做这种东西到底有何意义,或者在这个领域有经验(当然不像博士的强度一样大)在现实工作中是否有用处。

Nando回复:大部分行业试验室的确要求有博士学位。我真的很推荐在机器学习领域去读取一个博士学位,因为你会学到很多。我不认为「我试了这个还有那个然后这是我们的结果」是对于谷歌、Facebook、Twitter、微软和其他实验室所做的工作的准确描述。在方法和理论方面我们有了很多重要的进步,而这些来自于行业内的实践。 作者按:说到这一点,图灵在他改变了AI和哲学世界时也没有得到PhD对不对? 

最重要的,vivanov提问:Tensorflow和Torch,选哪个?

Nando既圆滑地又实际地回复:哈哈!两个现在都要。 在分享了许多私人故事之后,他在过去几年学会了很多经验,也融合了许多核心的信念,大部分来自于看起来非常深层的正义感,(必要地)专注于世界糟糕的部分以解释为何一些特殊的事件能够将一个人定型,他引用这句话说道,虽然与机器学习无关,但是对于这篇文章是一个完美的结束。 幸运的是,这个世界和过去相比已经变成了更好的地方。Yoshua Bengio告诉我他相信人类,宽恕与热情将会绵延不绝,我希望他是对的。 我强烈推荐阅读完整的AMA,它不会令你失望的。

作者:Matthew Mayo是一位计算机科学研究生,正在进行有关并行机器学习算法的论文。他还学习过数据挖掘,是一位数据发烧友,也是一位有热情的机器学习科学家。
入门机器学习
暂无评论
暂无评论~