陈天奇任CTO,TVM团队成立OctoML:让任何硬件都能部署机器学习模型

据机器之心消息,知名人工智能青年学者、华盛顿大学博士陈天奇于近期参与创建了创业公司 OctoML,担任 CTO 一职。

随着人工智能的火热,创业成为了众多 AI 人才毕业后的选择。

近日,机器之心了解到,机器学习领域知名青年学者陈天奇毕业后也参与创建了全新创业公司 OctoML,担任 CTO 一职。

陈天奇的领英资料界面。领英的公开信息显示,陈天奇目前担任 OctoML 的 CTO。

从公司的注册信息我们了解到,这是一家数月前刚刚注册、位于西雅图的创业公司。公司主页介绍称,「OctoML 拥有当前最先进的 AI、系统、编程语言、编译器和架构技术,可以让机器学习系统的优化和部署变得更加容易。该公司致力于打造一个可扩展、开放、中立的端到端栈,用于深度学习模型的优化和部署。」

而在公司成员方面,华盛顿大学教授 Luis Ceze 担任 OctoML 首席执行官(CEO)一职,他也是陈天奇在华盛顿大学读博期间合作较多的教授。Josh Fromm、Jared Roesch 等成员也都是华盛顿大学助理教授或者博士。

Jason Knight 曾为英特尔 AI 产品团队的软件负责人,现担任 OctoML 联合创始人、CPO。

从公司主页来看,OctoML 的创始团队几乎就是著名深度学习框架 TVM 的「原班人马」。而且,这家公司的愿景「让机器学习可以部署在所有硬件上」,也与后者几乎相同。这就不得不说到机器学习领域的重要工具 TVM 了。

新一代「机器学习系统」TVM

2017 年 8 月,华盛顿大学陈天奇等人开源了深度学习自动代码生成方法 TVM,对业界产生了深远的影响。利用这一工具,机器学习算法可以自动编译成可供下层硬件执行的机器语言,从而可以利用多种类型的算力。

TVM 是一个全新的框架,它可以:

  • 优化 CPU、GPU 和其他专业化硬件的常规深度学习的计算量

  • 自动转换计算图以最小化内存利用率,优化数据布局,融合计算模式

  • 提供从现有的前端框架到裸机硬件的端到端编译,一直到浏览器可执行的 Javascript

TVM 的诞生意味着新的深度学习芯片,以及新的深度学习硬件体系成为了可能。

深度学习模型可以识别图像、处理自然语言,以及在部分具有挑战性的策略游戏中击败人类。在其技术发展的过程中,现代硬件稳步推进的计算能力扮演了不可或缺的作用。很多目前最为流行的深度学习框架,如 TensorFlow、MXNet、Caffe 和 PyTorch,支持在有限类型的服务器级 GPU 设备上获得加速,这种支持依赖于高度特化、供应商特定的 GPU 库。然而,专用深度学习加速器的种类越来越多,这意味着现代编译器与框架越来越难以覆盖所有的硬件。

陈天奇等人的最终目标是让深度学习负载可以轻松部署到所有硬件种类中:不仅包括 GPU、FPGA 和 ASIC(如谷歌 TPU),也包括嵌入式设备,这些硬件的内存组织与计算能力存在着显著的差异。考虑到这种需求的复杂性,开发一种能够将深度学习高级程序降低为适应任何硬件后端的低级优化代码的优化框架是最好的方法。

TVM 是一个端到端优化堆栈,该端到端优化编译器堆栈可降低和调整深度学习工作负载,以适应多种硬件后端。TVM 的设计目的是分离算法描述、调度和硬件接口。该原则受到 Halide 的计算/调度分离思想的启发,而且通过将调度与目标硬件内部函数分开而进行了扩展。这一额外分离使支持新型专用加速器及其对应新型内部函数成为可能。TVM 具备两个优化层:计算图优化层和新型调度基元的张量优化层。通过结合这两种优化层,TVM 从大部分深度学习框架中获取模型描述,执行高级和低级优化,生成特定硬件的后端优化代码,如树莓派、GPU 和基于 FPGA 的专用加速器。

陈天奇表示,TVM 尝试从更高的抽象层次上总结深度学习 op 的手工优化经验,使得用户可以快速地以自动或半自动的方法探索高效的 op 实现空间。

TVM 堆栈图,这一工具支持多种深度学习框架以及主流 CPU、GPU 以及专用深度学习加速器。

陈天奇其人

陈天奇机器学习领域著名的青年华人学者之一,本科毕业于上海交通大学 ACM 班,硕士阶段也就读于上海交通大学,博士毕业于华盛顿大学计算机系,研究方向为大规模机器学习。他曾参与开发了 XGBoost、Apache MxNet、Apache TVM (https://tvm.ai/) 等著名机器学习工具,是最大开源分布式机器学习项目 DMLC 的发起人之一。

陈天奇机器学习的缘分开始于高中一年级,他就读的松阳二中,是一所位于浙江小县城的中学。

陈天奇曾在知乎社区的问答中回忆自己第一次接触计算机科学的心路历程:「比较幸运的是,比起其他学科竞赛,OI 社区有很多在互联网上的公开资料,训练 OJ 和论坛社区(大榕树和 oibh)。这些都给了像我这样野路子的选手追寻自己的兴趣的机会。」

高二的时候,陈天奇靠着全部上搜索拿了 NOIP 的省二,高三又拿了省一。凭借 NOIP 成绩带来的高考加分,陈天奇进入上海交通大学的 acm 班,开始了在计算机科学上的旅程。

在拿到博士学位之前,陈天奇曾在微软亚洲研究院、华为诺亚方舟实验室等机构实习,还曾在其母校担任助教,讲授编译器、操作系统、数据库管理系统、数据挖掘和机器学习实践等课程。

硕士期间,陈天奇还获得了 2011 年 KDD Cup 的亚军和 2012 年 KDD Cup 的冠军。机器之心曾经转载过陈天奇关于自己科研生活的自述文章机器学习科研的十年》,一定意义上,KDDCup12 的夺冠是他决定将科研之路进行到底的最重要因素。

2013 年,陈天奇在华盛顿大学开启了自己六年的博士生涯。读博期间,陈天奇遇见了要求严格的导师 Carlos,鼓励他「只做 best paper 水平的研究」。也正是在读博的这几年里,陈天奇等人完成了 TVM 等重要研究。

今年,陈天奇从华盛顿大学获得博士学位,其毕业后的去向成为备受关注的问题。

6 月份,他在 Twitter 上宣布自己将于 2020 年秋季加入卡耐基梅隆大学(CMU)任助理教授,成为加入 CMU 的年轻华人学者之一。同样宣布将于 2020 年加入 CMU 的还有 CycleGAN 作者朱俊彦


参考链接:

  • https://octoml.ai/

  • https://www.bizapedia.com/trademarks/octoml-88542223.html

入门机器学习上海交通大学Jason KnightOctoMLLuis Ceze陈天奇
3
相关数据
陈天奇人物

陈天奇,华盛顿大学计算机系博士生,此前毕业于上海交通大学ACM班,研究方向为大规模机器学习。陈天奇曾获得KDD CUP 2012 Track 1第一名,并开发了SVDFeature,XGBoost,cxxnet等著名机器学习工具,是最大开源分布式机器学习项目DMLC的发起人之一。

朱俊彦人物

MIT电气工程与计算机科学系计算机科学与人工智能实验室博士后。研究重点:计算机视觉、计算机图形学、机器学习。CycleGAN的作者,曾获得ACM SIGGRAPH 2018最佳博士论文奖。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

XGBoost技术

XGBoost是一个开源软件库,为C ++,Java,Python,R,和Julia提供了渐变增强框架。 它适用于Linux,Windows,MacOS。从项目描述来看,它旨在提供一个“可扩展,便携式和分布式的梯度提升(GBM,GBRT,GBDT)库”。 除了在一台机器上运行,它还支持分布式处理框架Apache Hadoop,Apache Spark和Apache Flink。 由于它是许多机器学习大赛中获胜团队的首选算法,因此它已经赢得了很多人的关注。

推荐文章
暂无评论
暂无评论~