机器之心原创

2022/03/29 14:29

泽南、陈萍报道

这位斯坦福PhD新生的论文被引数：接近4万

什么也阻止不了我去学习。

春天到了，斯坦福大学计算机科学系又迎来了一批博士新生。

该校的 CS 专业每年会收到上千份申请，招收约 80 名新人，其中一半会进入专注于人工智能研究的斯坦福人工智能实验室 SAIL。

对于这所美国名校而言，每个人都是百里挑一的精英。但仍让人始料未及的是，今年新生行列中出现了这样一个人，Google Scholar 统计显示，他的论文被引用数量竟已接近 4 万：

一个刚入学的新生，论文被引数比斯坦福很多助理教授还要高很多，这就不禁让人产生疑问，大佬你是来干什么的？

这位 Pete Warden，刚刚从谷歌辞职开始读博。

TensorFlow Lite 构建者

他的故事，和深度学习框架 TensorFlow 有着密不可分的关系。

Pete Warden 是视觉 AI、软件和大数据领域的领军人物、创新者和企业家。现在的新身份则是斯坦福大学计算机科学博士生。

他 1997 年本科毕业于英国曼彻斯特大学。2003 年，Pete 创建了一组包含 45 个图像处理过滤器，这些过滤器能够在 2003 年的笔记本电脑上以 30 fps 的速度检测视频内容中的特征。

当时，苹果公司购买了该技术，并聘请他将该技术集成到苹果的成像相关产品中。在苹果工作五年期间，Pete Warden 负责 Motion、Final Cut 和 Aperture 等产品中的各种 CPU 和 GPU 图像处理应用。

2011 年，Pete 再次创业，联合创办了 Jetpac，担任 CTO 并组建了公司的技术团队。这家由风险投资支持的初创公司创建了一款独特的产品，该产品分析了 Instagram 上超过 1.4 亿张照片的像素数据，并将其转化为全球 5000 多个城市的深度指南。2014 年谷歌收购了 Jetpac，Pete 一同加入谷歌。

在谷歌，他成为了 TensorFlow 面向移动和嵌入式设备部分的技术主管，专注于在成本和功率受限的系统中部署机器学习，Pete 领导开发了 TensorFlow Lite 机器学习框架，包括最近发布的用于微控制器的 TensorFlow Lite 实验版本，该版本可用于内存不足 100 KB 的低成本芯片。

这种在一些超低功耗硬件中运行机器学习推理任务的工作被业内称为 TinyML（Tiny Machine Learning）。Warden 曾表示：TinyML 的目标是在低于 1 mW 的功耗下运行，这是标准纽扣电池的运行功率。

2019 年 3 月，TensorFlow Lite 平台发布了嵌入式设备实验原型。它只用 384KB 的 RAM 和 1MB 的闪存，运行 20KB 大小的语音识别机器学习模型。该处理器功率极低，在许多情况下功耗不到 1mW，可以使用小型纽扣电池运行很多天。

Pete Warden 是 TensorFlow 团队的创始成员之一，有关 TensorFlow 的重要论文里都有他的名字，他也经常会在 TensorFlow 开发者大会上发表演讲。

也许是为了寻找新的挑战，也许因为发现了自己理论上的「不足」，2 月 15 日，他在社交网络上宣布自己选择离开谷歌，重返离开了 20 年的校园，在斯坦福大学攻读计算机科学博士学位。

Warden 表示能在谷歌工作七年是一件很幸运的事。

过去几年，Pete 一直谈论使用 TensorFlow Lite Micro 构建诸如 TinyML 的研究，尽管 Pete 很想做这项研究，但谷歌发布新硬件设备是非常昂贵和耗时的，因为失败或漏洞百出的发布对任何大公司的声誉都有很大的负面影响。这可能是导致 Pete 离开的一个原因。

TensorFlow Lite Micro 在谷歌软件工程师 Advait Jain 和团队其他成员的带领下非常出色，在过去的几年里，使用量和员工数量持续增长，Pete 对它的未来非常乐观，Pete 表示将来会公布更多细节以及一些演示，对他而言，最重要的是现在能够使用该框架部署到他从项目一开始就梦想的设备上。

从斯坦福讲师到斯坦福博士生

看到这里，你也许会问：这水平真是来斯坦福读博而不是来教课的？

Pete Warden 还真的在斯坦福教着一门课。

在过去几年里，Warden 一直是 EE292D/CS329E 课程的讲师，该课程主要介绍嵌入式系统中的机器学习，这是一个基于项目的课程，帮助学生学习如何开发机器学习模型，以便在嵌入式系统等资源受限的环境中执行。在该课程中主要目标是嵌入式设备，例如 Arduino、Raspberry PI、Jetson 或 Edge TPU。

Warden 表示自己从 Zain Asgar、Sachin Katti、 Boris Murmann 等教师身上学到了很多。

课程页面：https://ee292d.github.io/

看来读博期间 Pete Warden 还是要继续教授这门课的。

Pete Warden 还著有几本书，比如《TinyML：基于 TensorFlow Lite 在 Arduino 和超低功耗微控制器上部署机器学习》，其在美国亚马逊上位列嵌入式系统畅销榜首，也有中文版：

总而言之，又一位 AI 业界大牛选择了重返学界，不过他选择的方式比较特别。

Pete Warden 将这次重返校园比作一次有趣的冒险，我们也同样期待 Pete 重返校园的表现。

参考内容：https://web.stanford.edu/~peteward/

入门斯坦福大学TensorFlow LiteTensorFlow

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

图像处理技术

图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科

嵌入式系统技术

嵌入式系统，是一种嵌入机械或电气系统内部、具有专一功能和实时计算性能的计算机系统。嵌入式系统常被用于高效控制许多常见设备，被嵌入的系统通常是包含数字硬件和机械部件的完整设备，例如汽车的防锁死刹车系统。

来源：维基百科