Jeff Dean 领衔,硅谷 AI Frontiers大会全程亮点回顾

机器之心现场报道:Alex Chen,ChainnZ


2016 年 3 月,AlphaGo 横空出世,举世哗然;2017 年 1 月,Master 再次横扫人类旗手,却已在大众意料之中。在过去的 2016 年里,以深度学习为首的机器学习技术引领的人工智能热潮迅速从学界和工业界扩散到了整个社会。大众对人工智能的不切实际的期待又达到了一个新的高度,仿佛只要使用深度学习一切就可以迎刃而解。


然而对于真正的从业者来说,每天面对的真实问题则是,深度学习技术能否对当下问题提供解决方案;如何让深度学习与现有问题结合,真正帮助我们做出判断,如何结和深度学习优化现有的系统等等这类直接和现实的问题。


2017 年 1 月 11-12 日首届人工智能前沿峰会(AI Frontiers)于美国加利福尼亚州「硅谷」中心圣克拉拉举行。这次大会邀请来自谷歌、 脸书、微软和亚马逊等人工智能前沿公司的顶级科学家,分享他们在人工智能研究及应用上的最新成果;谷歌和亚马逊团队在第二天的分会场举行了深度学习开发框架的实践课程;人工智能创业公司也在此这里聚集,分享自己的产品和想法。





首届人工智能前沿峰会(AI Frontiers)阵容强大,与会者超过 1600 人,覆盖 15 个国家地区,人工智能巨头公司专家工程师云集;内容覆盖人工智能业界 6 大热门主题,直切前沿:自动驾驶、语音人工助手、自然语言处理、计算机视觉、物联网、和深度学习框架。




AI Frontiers 人工智能前沿大会不仅为世界各地的人工智能关注者提供了最尖端的人工智能知识分享,也把人工智能领域的巨头公司研发高管、研究科学家及工程师聚拢在一起,提供非常难得地一个平台,让大家面对面交流,分享了自己对人工智能的最新认识。


机器之心作为本次大会首家华语媒体合作伙伴,对本次人工智能前沿峰会(AI Frontiers)进行专题报道。




Jeff Dean Keynote: 深度学习研究趋势与发展



大会第一天,大会主席胡峻玲博士致开幕辞后,谷歌大脑负责人 Jeff Dean 进行了 Keynote 演讲。Jeff Dean 介绍了谷歌大脑团队的研究进展和成果,这些研究在谷歌产品线的应用,以及团队在开源工具方面的成果(谷歌博客于次日发布了相关内容的年度回顾




「工欲善其事,必先利其器」: TensorFlow


开发 TensorFlow 的初衷关键词:通用平台,最优质的,开放平台




关于机器学习系统的设计,Jeff Dean 给出了以下 5 条设计思路:


  • 易于开发者表达其基于机器学习的想法和算法

  • 可缩放性:可在短时间内迅速地进行试验,测试想法(并且实验结果可以良好地直接规模化)

  • 多平台兼容

  • 易于进行重现及分享

  • 易于产品化


基于以上设计思路,从 2015 年 11 月 TensorFlow 正式发布起,TensorFlow 逐渐得到发展和完善:


  • 多语言支持

  • 性能提升

  • 开发体验


近日发布的 TensorFlow1.0 版本将在保证向下兼容的前提下,提高开发者体验,加强文档撰写、提供更多可以直接使用的库以及可用于协助开发者进行开发的模型。


此外 Jeff Dean 特别在现场介绍了 TensorFlow 基于 XLA (Accelerated Linear Algebra) 的即时编译(JIT Compilation )


深度学习于谷歌无所不在 


基于 TensorFlow 或更早期的机器学习系统,谷歌成功地开发了大量的应用解决方案。


Jeff Dean 列举了其中的一部分使用案例:


  • 谷歌语音识别通过使用深度循环神经网络减低超过 30% 地错误率





  • 照片搜索通过使用深度卷积神经网络自动升成照片标签


  • 从图片中标出文字,并进行识别




  • 使用深度学习检测糖尿病性视网膜病变

  • 机器学习在机器人上的应用



  • 更好的自然语言理解



  • 结合图像与语言


  • 更好的「翻译」为「理解」铺路




将参数分布于多个分布式参数服务器上,数据+模型并行化:成功解决神经翻译机的规模化问题


对于深度学习在谷歌未来的发展,Jeff Dean 谈论了以下几个方面:


  • 更多地使用:迁移学习、Multi-task Learning 以及 Zero-Shot Learning


大多数的任务都为了这个任务从头进行模型训练,这样在数据使用、计算资源以及人员使用上效率都非常低。


  • 对于更大的模型,使用自动机器学习


  • 深度学习改变计算机架构设计(TPU 等其他计算架构)

        对减低精准度的容忍

        增加常用的运算操作




无人驾驶




本次会议主办方邀请到来自谷歌 Waymo,特斯拉和百度无人驾驶的专家同台讨论。谷歌 Waymo 的技术经理贾兆寅分享了谷歌 Waymo 一步步的发展历程。


Waymo 坚持 4 条做法:


1. 尽可能覆盖更多

2. 创造简单的目标代表(create simple object representations)

3. 不要去试着理解其他人在做什么

4. 避免视觉处理(因为还不够 robust 健壮)


来自特斯拉的机器学习负责人谷俊丽也分享了她对无人驾驶的展望和对机器学习的观点。她认为交通工具的发展现在处于从数字化变成智能化的关键阶段,我们已经看到了智能化的曙光。




谈到传感器,谷俊丽表示输入混合信号的技术还不成熟,不同传感器通常是分开计算。


接下来百度无人驾驶总监韩旭(Tony Han),首先他针对中国市场的特点表达了自己的看法,情况更多更复杂,但意义也非常重大,之后分享了关于百度无人驾驶的进展与测试视频。


在讨论环节中,主持人问嘉宾:「在深度学习中,计算能力越强数据越多效果往往越好,关于无人车计算能力的成本需要考虑吗?」


两位嘉宾展现了不一样的看法。谷俊丽表示这应该不会成为一个问题,关键是对不同的数据采取不同的计算策略。如果这种计算策略得当,应该会有有效的解决方案。韩旭(Tony Han)则认为计算成本的问题迟早会解决,但目前我们无法忽视计算成本带来的问题。




语音助理




微软邓力:历经三代对话系统


来自微软 AI 的首席科学家邓力教授首先介绍了语音识别和字符识别的系统,是深度学习让对话系统(Dialogue System) 不局限于一个狭窄的领域,然后嘉宾回顾了对话系统近 30 年的发展与沿革,该部分内容可参考文章 :http://venturebeat.com/2016/08/01/how-deep-reinforcement-learning-can-help-chatbots/。


之后邓力教授介绍了三代聊天技术的不同特点:


第一代系统是基于符号规则/Template 的系统,专注与语法但应用范围有限,所用的数据只是为了设计规则,不涉及学习。


第二代系统是数据驱动,浅层学习,数据在这里是用来学习统计参数的工具。这种系统不利于及时与更新,同样局限于一定范围的应用。第二种方法参考文章:http://mi.eng.cam.ac.uk/~sjy/papers/ygtw13.pdf


第三代系统同样为数据驱动,但结合了深度学习,使端到端的学习成为可能,不易解释但应用范围较广。


最后邓力认为用自然语言理解(Natural Language Understanding)来模拟 Long-span Dependency 对语义和语法连贯性识别,在 ASR 领域很有潜力。


百度展示语音实力,亚马逊力推 Alexa


该部分的第二位嘉宾是百度硅谷人工智能实验室总监 Adam Coates,Adam 主要介绍了让深度学习惠及 1 亿人的想法 – 让语音识别既多样又快捷:同传统的 ASR 方法相比,深度学习有很多优点,比如准确率高,利于扩大数据量等 ( Scaling )。


最后一位嘉宾是来自亚马逊的资深首席科学家 Nikko Ström。Nikko 以「Jeff Dean 也用我们的产品是个巨大的胜利」轻松开场。Nikko 之后回顾了 Alexa 中深度学习技术的发展,以及巨大的存储与分布式训练模式,Alexa 的唤醒原理以及语义理解过程,并且介绍了有韵律地阅读内容。下一步 Alexa 的目标是更准确识别不同方向不同源头的音源,或者在两人对话过程中判断识别出两个人。


在之后的讨论环节,各位嘉宾关于聊天机器人取代手机应用的看法进行了探讨。


邓力表示很多手机应用没有被使用过,通过手机接入网站的比例也非常低,这就给聊天机器人留下来空间。Adam 则表示顶尖的应用程序还会被保留,因为较好的视觉反馈会很有吸引力。Nikko 提到这就是他们做 Alexa 的目的之一,用户不需要下载,安装和调试任何应用。


机器之心将在之后对本部分分享内容进行更加详尽的重现报道。






谷歌大脑 Lukasz Kaiser:自然语音处理




大会第一天下午的第一位嘉宾是来自谷歌大脑高级研究科学家,NLP 专家 Lukasz Kaiser。Lukasz 分享了在多年实践后,他对深度学习与 NLP 的看法和经验。


首先,Lukasz 明确了 NLP 具体需要处理哪些问题,比如语音标记,解析,语言模型等。在面对不一样大小且不断变化的输入输出,RNN 可以很好的起到作用,一种 Encoder-Decoder ( Sequence-to-sequence) 的构架应运而生(此处我们之后会有详细解读,尽情关注)。


在这种高级的 Sequence-to-sequence 的 LSTM 框架下,Lukasz 又举了具体例子来说明,各种场景均有应用且效果不错。最后 Lukasz 也指出了这种方法的局限性:速度慢和需要大量数据。


机器之心将在之后对本部分分享内容进行更加详尽的重现报道。




计算机视觉



下午的第一个论坛是关于计算机视觉,大会邀请到了 OpenCV 的创始人兼首席执行官 Gary Bradski,Bosch 的首席科学家任骝和谷歌计算机视觉负责人 Jay Yagnik。


Gary 主要分享了 OpenCV 3+的最新情况,OpenCV 3+ 将会支持硬件加速,更好的校正,将利用 DNN 和 Tiny-DNN 技术。


第二位嘉宾 Jay 主要介绍了机器理解的演进和未来,包括不同的应用场景如视频理解,手写识别等,以及深度学习在该领域的应用。


视觉部分最后一位嘉宾任骝主要介绍了传感器可意识的增强现实技术,该技术与机器学习配合可以让我们更好的处理人机接口(HMI)问题。




麦肯锡自动化报告


之后登场的同样是一位重量级嘉宾——来自 McKinsey 的 MGI 总监,高级合伙人 James Manyika。他分享了关于 AI 对就业及市场驱动因素的影响:技术和经济会起到主导因素。对这份报告感兴趣的读者可以参考之前机器之心的相关报道






物联网: 人工智能硬件不能遗忘的 4S 机遇




下面一组嘉宾是物联网方面的专家,包括来自 Bosch 的数据科学负责人 Mohak Shah,来自 Intel 的深度学习架构师 Andres Rodriguez 以及来自中国的企业——文安科技创始人及首席执行官陶海。


来自 Bosch 的 Mohak 的讲座主要在于深度学习与物联网的结合。物联网的影响范围会越来越大,逐步渗透各个行业,但同时面临很多挑战,比如时间序列,不均一性,异步性等。深度学习技术可以给物联网领域带来很多机会,比如它的多功能性,便于训练与高度整合。


来自 Intel 的 Andres 完整地介绍了一个公司需要采用人工智能解决方案的完整过程和可能遇到的问题。最后嘉宾也覆盖了 Intel Nervana 的特性和应用领域。


物联网的最后一位嘉宾是北京文安的陶海, 他主要分享了文安的产品和最新技术,通过深度学习和计算机视觉的结合,通过嵌入式 CV 硬件,GPU,VPU 和 FPGA 的加速产生的一系列智能产品。在提高了处理速度的同时,增加了设备性能,同时针对不同场景设计了不同的硬件,并在国内外都取得了良好地市场反馈。


在之后的讨论环节,主持人首先问诸如 Bosch 这样的大公司会自己建造自己的深度学习应用还是通过世面上已有的程序库?Mohak 表示他既会关注需要的软件包,也会自己尝试解决问题,这个主要是根据问题本身决定。Andres 则说他们会利用一些开源的库来实现自己的目的。陶海表示他们使用 Caffe 和 TensorFlow,这主要基于两点考虑,分布式和支持丰富。下面一个问题是怎么在设备端训练数据?Andres 认为在设备端训练会有优势有劣势。优势是提高了性能,劣势是收集的数据不稳定造成影响。


机器之心携手硒说对本版块进行了分析报道,感兴趣的读者可以阅读相关文章




谷歌、Facebook、亚马逊研发负责人同台共议深度学习框架




本板块嘉宾包括谷歌工程技术总监 Rajat Monga,Caffe 作者、Facebook 研究科学家贾扬清,来自亚马逊机器学习团队负责人的 Alex Smola 和来自 Facebook 的研究工程师 Soumith Chintala。


首先 Rajat 回顾总结了深度学习的发展,并介绍了 TensorFlow 的基本构架和具体实现实例。Rajat 提到,随着深度学习的复杂性提高,出现数据包成为大势所趋。


贾扬清以 Caffe 的设计为载体,分享了如何设计深度学习框架——一个好的深度学习框架具有以下几个特征:可拓展性,便携性,增强的数值类型,可移动性。随后贾扬清对 Caffe 和 Torch 进行了对比。


亚马逊机器学习总监 Alex Smola 首先深入浅出地讲解了编译环境中函数性质不同带来的优缺点:优点在于直接和灵活,缺点在与该系统很难优化;随后 Alex 介绍了 MXNet 强大的兼容性和分布式深度学习性能。


本板块最后一位嘉宾,来自 Facebook 的 Soumith Chintala 介绍了 Torch 可以应用的种种场景以及核心逻辑,并为后来的深度学习培训做了铺垫,最后还展望了下一代深度学习构架的特点,比如支持各种科学计算,动态的神经网络等。


机器之心将在之后对本部分分享内容进行更加详尽的重现报道。




a16z 合伙人 Frank Chan Keynote:人工智能的未来,降低成本与市场影响



晚宴期间,大会请到了来自硅谷著名风投 Andreessen Horowitz(a16z)的合伙人 Frank Chan。Frank 解读了人工智能将大幅度降低成本的重要领域,以及可能将带来的市场影响。


演讲重点了覆盖以下领域:


  • 自动驾驶和飞行

  •  理解物理世界中的物件和形式

  •  内容生产

  •  预测未来

  •  自动优化复杂系统

  •  理解


机器之心将在之后对本部分分享内容进行更加详尽的解读报道。

入门产业AI Frontiers会议Jeff Dean
暂无评论
暂无评论~