Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

蛋酱、小舟报道

2022年,26位谷歌AI专家出走:大部分下海创业,最高融资15亿

2022 年,人工智能在 AIGC、AI for science 等领域持续发展,一些工作也在知识型模型方面做出了探索。除了这些研究成果,我们还会发现这一年人工智能从业者的工作情况也有比较大的变化。

例如,Meta 等大型科技公司进行了大规模的裁员,让很多 AI 从业者考虑新的就业方向。另一方面,多位 AI 专家选择离开大型科技公司,投身 AI 创业。

根据 Business Insider 的一项调查统计,近一年内,仅 Alphabet 这一家公司就有 26 位 AI 专家离职,其中包括子公司谷歌、DeepMind 两大科技巨头。多位专家离职之后创办了新公司,并总计筹集到数亿美元,致力于构建下一代 AI 工具。

无论是 DALL-E 2 等 AIGC 模型,还是 ChatGPT 这样的大规模语言模型,它们都需要技术和资源两方面的强有力支撑。在资源方面,谷歌、Meta、Hugging Face、Stability AI 等公司会提供强大的训练基础设施;而在技术支撑上,当下 AI 领域的许多大进展都可以追溯到谷歌的研究者在 2017 年发表的一篇开创性论文 ——《Attention is all you need》。

图片

这篇论文提出的 Transformer 架构成为后来许多 AI 模型的基础。目前,这篇发表 5 年的论文引用量已破 6 万。现在这些作者所在的机构发生了很大变化:

图片

因此,谷歌会成为机器学习专业人才的来源,这一点应该不足为奇。特别是 Transformer 的论文作者,其中已有六位推出了自己的创业公司,还有一位已经加入 OpenAI,仅余一位还在谷歌工作。

Adept AI

Ashish Vaswani 和 Niki Parmar 二人在 2022 年 4 月成立了 Adept AI,并从 Addition 和 Greylock 等获得融资 6500 万美元。这家创业公司专注于创建一种基于与文本生成工具相同核心技术的机器人,CEO、CTO 和首席科学家都来自谷歌,还聚集了一批曾在谷歌工作的技术人才:

  • David Luan:Adept AI CEO。前 OpenAI 加州实验室工程副总裁,曾加入谷歌大脑,GPT-2、PaLM 的论文作者之一,参与了 GPT-3 的部分工作;

  • Ashish Vaswani:Adept AI 首席科学家。Transformer 论文作者之一。

  • Niki Parmar:Adept AI CTO。前谷歌大脑研究员,Transformer 论文作者之一。

  • Anmol Gulati:前谷歌大脑研究工程师,曾参与谷歌的大规模语音和语言建模研究;

  • Erich Elsen:在 DeepMind、谷歌大脑、百度都工作过,研究涉及机器学习和高性能计算交叉领域,在 DeepMind 参与领导大模型的训练工作;

  • Kelsey Szot:前谷歌 ML 产品经理,曾领导谷歌大模型生产基础设施产品。

David Luan 曾讲述过自己离开谷歌创业的动机:

在谷歌,我们训练出了越来越大的 Transformer,梦想着有朝一日构建一个通用模型来支持所有 ML 用例。但是,这其中有一个明显的局限:用文本训练出的模型可以写出很棒的散文,但它们无法在数字世界中采取行动。你不能要求 GPT-3 给你订机票,给供应商开支票,或者进行科学实验。

Inflection AI

此外还有 Inflection AI,这是一家在通用建模领域的私人企业,它在 2022 年 5 月筹集了 2.25 亿美元。Mustafa Suleyman 是 Inflection AI 的 CEO 和联合创始人。

图片

Mustafa Suleyman

Mustafa SuleymanDeepMind 人工智能实验室的创始成员,并在 2020 年(也就是谷歌收购 DeepMind 六年之后)成为谷歌人工智能产品与政策副总裁。至少有四名谷歌 AI 员工在今年加入了 Inflexion AI:

  • Karen Simonyan:曾是 DeepMind 首席研究员,现为 Inflection AI 联合创始人、首席科学家。

  • Rewon Child:曾是谷歌大脑研究员,现为 Inflection AI 技术人员。

  • Maarten Bosma:曾是谷歌大脑研究工程师,从事 PaLM 模型的研究,现为 Inflection AI 技术人员。

  • Joe Fenton:前谷歌高级产品经理,曾从事 LaMDA 研究,现为 Inflection AI 团队成员。

Character. AI

Character.ai 是另一家由关于人工智能的开创性文章的作者创立的创业公司。这家公司的产品为用户提供了一种与机器人对话的方式。这家公司正式成立于 2021 年 10 月,对于这家公司的组织架构和业务模式,外界不甚了解。

Character.AI 的创始人、CEONoam Shazeer 是前谷歌首席软件工程师,Transformer 论文作者之一。他在 2000 年底加入谷歌,直到 2021 年最终离职,是谷歌最重要的早期员工之一。

图片

还有四位谷歌 AI 技术人才陆续加入了 Character.AI:

  • Irwan Bello:前谷歌大脑团队研究员,现为 Character.ai 创始团队成员。

  • Prajit Ramachandran:前谷歌大脑研究员,现为 Character.AI 的创始研究员。

  • Romal Thoppilan:谷歌聊天机器人 LaMDA 论文作者之一,现为 Character.ai 创始研究员。

  • Daniel De Freitas:LaMDA 论文的作者之一,现为 Character.AI 总裁。

DeepMind 离开的人

另外,谷歌母公司 Alphabet 的另一家子公司 DeepMind 也有多位专家离职,加入初创公司。外媒 The Next Web 将 DeepMind 称为「一个人才流失的创业工厂」。

EquiLibre Technologies

今年 1 月,Martin Schmid、Matej Moravcik 和 Rudolf Kadlec 离开 DeepMind,创立了专注股市和加密货币领域的 AI 初创公司 EquiLibre Technologies。三人均是 DeepMind 德扑 AI DeepStack 的开发者。

Martin Schmid 是 DeepMind 前高级研究员、DeepStack 和 Player of Games 的作者之一,现在是 EquiLibre Technologies 的 CEO、联合创始人。

Rudolf Kadlec 是 DeepMind 前高级研究员、Player of Games 的合著者, 目前是 EquiLibre  Technologies 的 CTO、联合创始人。

Jack Rae

DeepMind 高级研究员,现在是 OpenAI 的一名工程师。

其他

Eric Jang

前谷歌高级研究员,现为机器人公司 Halodi Robotics AI 副总裁。

Tatiana Shpeisman

前谷歌高级工程经理,从事 CPU 和 GPU 编译器方面的工作,现在是 Modular 的编译器工程总监。

Maithra Raghu

前谷歌高级研究员,现在是 Samaya AI 的联合创始人兼首席执行官。

Alex Hanna

前谷歌 AI 伦理部门的高级研究员,现在是分布式 AI 研究所(DAIR)的研究主任,DAIR 是由之前被谷歌解雇的女研究员 Timnit Gebru 成立的初创公司。

Barret Zoph

前 Google Brain 研究员,现在是 OpenAI 的一名工程师。

Sara Hooker

前 Google Brain 研究员,现在领导非营利性机器学习研究实验室 Cohere For AI。值得注意的是,《Attention is all you need》论文的作者之一 Aidan Gomez 就是 Cohere For AI 的联合创始人兼 CEO,他也曾在 Google Brain 实习。

从个人的角度讲,这些优秀人才的离职创业是很有发展前景的;从整个行业看,多家初创公司迅速增长也将推动行业创新发展,丰富领域多样性。也许对谷歌、DeepMind 这些科技巨头来说,这是一种人才流失,但它们为整个领域的发展起到了人才摇篮的作用。

参考链接:

https://tittlepress.com/tech/2171386/

https://www.businessinsider.com/26-ai-machine-learning-experts-left-google-for-startups-2022-12?utm_source=ground.news&utm_medium=referral

产业创业公司谷歌
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
Mustafa Suleyman人物

DeepMind 联合创始人,应用 AI 部门负责人

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

推荐文章
暂无评论
暂无评论~