由Facebook主办的2019 @Scale会议于美国西部时间10月16日在圣何塞会议中心举行，来自Amazon Web Services、Facebook、谷歌、Lyft、英伟达、领英、思科等公司的代表参会演讲。@Scale是面向工程师的技术会议系列，致力于将工程师等群体聚集在一起，构建可扩展至数亿人口的应用程序和服务，并就一系列主题共同开发新解决方案。
会议由Facebook应用AI研究负责人Srinivas Narayanan的主题演讲拉开序幕，他汇报了Facebook在人工智能方面的最新研究进展。目前Facebook每个月都有成千上万的工程师在搭建AI平台，每月训练数百万个工作流，部署一万多个模型，而这些模型每天都在进行数万亿次的预测。
“没有人工智能，Facebook不会是今天的样子,” Narayanan说，“它已被深度集成到我们构建的所有产品中，从帮助人们找到个性化的内容，到删除特定的内容以保护人们，以及以AI为核心实现全新的产品体验。我们采用AI的规模也在急剧增长。”
Facebook开源全新推理平台
现有的消息推送系统大多基于即时的事件或讯息，尽管强化学习和其他基于奖励的学习方法取得了进步，但在无法预测的现实环境中，现有的推送系统仅仅通过试错学习仍然很困难。Narayanan介绍说，提升强化学习的质量可能遇到的困难包括缺乏可供学习的初始数据以及程序的复杂性，即在探索操作空间的同时需要学习从已经完成的工作中提取经验，还需要快速针对用户的反馈进行调整。
为了重塑Facebook平台的个性化决策系统，Facebook构建了名为ReAgent的AI推理智能体平台，并将其开源。ReAgent包括了一整套旨在简化构建决策模型的过程的工具，它现在被应用在Facebook和Instagram的应用推送系统以及新闻动态提示。
ReAgent工具包的名称来自“推理”和“智能体”的组合。ReAgent的三个主要资源（模型、评估器和服务平台）均可独立使用。但Facebook官网显示，同时使用这三个组件时是最有效的，它们可以使研究人员共同开发和评估，可在用户请求，模型生成和操作的良性循环中运行的模型，并收集可改善这些模型的未来操作的反馈。
如图所示，当用户与支持ReAgent的决策模型进行交互时，服务平台会将潜在行为的列表发送到训练模型，其评分有助于对即时互动行为（例如推荐产品）进行排名。 ReAgent还可以将推荐的模型更改发送到离线评估器，该评估器在将更新的决策计划整合到已部署的模型中之前对其进行测试。
强化学习目前的问题在于其设置过程非常困难且耗时，而且几乎没有组织拥有以强化学习的方式训练其AI模型所需的资源。因此，Facebook此举旨在提高强化学习的发展水平并邀请各界研究人员共同努力，ReAgent在部署模型后会使用反馈来改进模型，从而使强化学习更适合大规模应用。
Lyft、英伟达分享最新研究，自监督学习 & 多节点语言模型训练受关注
在会议开头的主题演讲后，会议被分为人工智能、数据基础设施、隐私保护和网络安全四个专场演讲。来自Facebook的机器学习工程师Vinaya Polamreddi介绍了她的团队在视觉内容中的文字识别和提取方面的进展。她说，以往的光学字符识别系统无法有效解决多种语言的不同形状、字体、大小和样式的文本多样性，由于Facebook超过一半的用户使用的并非是英语，Facebook在最新的光学字符识别系统中，着重建模、训练和部署基础架构，扩展系统以有效且实时地运行大量生产流量，并理解不同文本的复杂性。
Facebook的产品经理Joe Spisak则讲解了PyTorch是如何被用于加快Facebook在计算机视觉、自然语言处理和机器翻译的大规模生产和部署。目前的PyTorch社区已吸纳了近1200个直接贡献者，获得了超过50%的年增长率和两万多的社区用户。他还再次详细介绍了最新发布的PyTorch 1.3的细节，包括一系列新特性，包括无缝移动设备部署、量化模型以加速推断、前端改进，和三大类新增的开发内容，包括新的核心框架功能，数据库和现场场景。
Spisak还专门提到，“如果有人有兴趣阅读中文的PyTorch演讲文档，我们PyTorch的论坛里有很多中文资料。因为我们有一个很棒的团队，他们把PyTorch的各类文档翻译成了中文。”
除了Facebook以外，来自Lyft和英伟达等的公司代表也分别在该会议的人工智能分会场上发表了以本公司为例的相关研究进展。
Lyft自动驾驶项目的感知主管Ashesh Jain谈论了AI在自动驾驶中的自监督学习的挑战和机遇。自动驾驶汽车每分钟都会产生大量未标记的原始数据，人工标注在有限时间内只能手动标记其中的一小部分数据。Jain介绍了Lyft是如何用自监督的方式将未标记的数据用于无人驾驶的感知和预测任务中的。
Jain在演讲中提到，在自动驾驶领域中，实现这一目标的方法很有限，跨模态自监督学习是一种可行的方法。在自监督学习中，一种模态可以用作另一种模态的学习信号，而无需标记，例如使用从LiDAR到在图像上训练单眼深度神经网络—通过比对摄像头拍摄的图像数据和LIDAR检测可用于精准测距的信号数据，训练模型更准确判断车辆与车辆周围其他物体之间的距离，以及其他物体的移动意图等。
另一种方法是将大规模优化的输出（只能在SLAM点云中非实时运行）用作学习信号，以训练神经网络模仿其输出方式，在自动驾驶车辆上实时播放。他还介绍道，Lyft车队为了解决在长尾问题中过度采样的问题，专门有针对性地实地去实地收集救护车、警车、卡车等在车量数据集中数据量比例偏低的车辆图像。
英伟达的深度学习软件工程经理Sharan Chetlur则分享了几种针对复杂自然语言理解模型（以BERT为例子）的多节点训练的性能优化方法，以使训练时间从数周缩短至数小时（64个GPU需要15.4小时），甚至数分钟（1472个GPU只需47分钟）。他以英伟达运行模型的实际经验讲解了这些优化策略，包括使用降低精度技术、使用张量核心（为深度学习训练和推断加速的处理器）以及应用融合点态操作等。
