Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

加入最火OpenAI,特斯拉前AI总监Andrej Karpathy自宣回归

官宣回归OpenAI,特斯拉前AI高级总监Andrej Karpathy的下家定了。

刚刚,特斯拉前 AI 高级总监 Andrej Karpathy 在推特上宣布,自己将再次加入 OpenAI。

图片

我将加入 OpenAI(再一次)。与许多人工智能领域内外的人一样,我被这家公司的工作的影响所鼓舞,我个人也从中受益良多。它未来的潜力尤其令人振奋;重新加入其中并参与建设是一件非常愉快的事情!

图片

Sam Altman 表示:欢迎回来!

距离 Karpathy 的上一次离职,已经过去了八个月。从特斯拉 AI 高级总监、自动驾驶 Autopilot 负责人的位置上离开后,他在家尝试录网课、做开源项目,算是「重拾了自己长久以来对 AI 技术工作、开源和教育等方面的热情」。

图片


众所周知,Karpathy 是 OpenAI 的创始成员和研究科学家。但在 OpenAI 成立一年多后,Karpathy 便接受了马斯克的邀请,加入了特斯拉。

如今 Karpathy 选择回归 OpenAI,个中原因外界无法揣测。

一方面,随着 GPT-3、Dalle-E、ChatGPT 一系列影响力成果的发布,OpenAI 已经成为当下 AI 领域最热门的公司。

另一方面,或许是因为 OpenAI 的研究氛围比较浓厚,毕竟 Karpathy 很希望能够坚持自己的网课和开源事业。

图片

事实证明,OpenAI 的很多人也喜欢这些,所以我希望我能够(坚持录网课和做开源项目)。

Andrej Karpathy 的学术、职业生涯

2005-2009 年,Andrej Karpathy 本科就读于加拿大多伦多大学,主修计算机科学与物理,辅修数学。在这里,他第一次接触到深度学习,聆听 Hinton 的课程。

2009 -2011 年,Karpathy 硕士就读于加拿大不列颠哥伦比亚大学,其导师为计算机科学系教授 Michiel van de Panne,主要研究物理模拟中用于敏捷机器人的机器学习

2011-2016 年,Karpathy 博士就读于斯坦福大学,师从著名 AI 学者李飞飞,专注于研究卷积 / 循环神经网络以及它们在计算机视觉自然语言处理和交叉领域的应用。期间,他设计并担任斯坦福首个深度学习课程《CS231n:卷积神经网络与视觉识别》的主要讲师。

与此同时,Karpathy 还有三段实习经历。2011 年,他进入发展初期的谷歌大脑实习,致力于视频领域的大规模无监督学习。之后的 2013 年,他再次在谷歌研究院实习,从事 YouTube 视频的大规模监督学习。2015 年,他在 DeepMind 实习,参与深度强化学习团队的工作。

图片

结束在 DeepMind 的实习工作后,Karpathy 加入了 OpenAI 担任研究科学家。彼时,OpenAI 才刚刚成立(正式成立时间是 2015 年 12 月 11 日)。作为创始成员之一,Karpathy 帮助公司做了很多早期的招募 / 结构化工作。同时,作为一名研究科学家,他致力于生成模型深度学习(例如使用 PixelCNN++ 生成图像)和深度强化学习

不过,在 OpenAI 没待多久,Karpathy 就被马斯克挖去了特斯拉,接替当时的特斯拉 Autopilot 负责人、苹果 Swift 语言、LLVM 编译器之父 Chris Lattner,担任特斯拉人工智能和自动驾驶视觉总监。

从 2017 年到 2022 年,Karpathy 一直在特斯拉工作。五年里,他一手促成了 Autopilot 的开发。这项技术对于特斯拉的完全自动驾驶系统 FSD 至关重要,也是马斯克针对 Model S、Cybertruck 等车型推销的主要卖点。

随着特斯拉从最开始的自动驾驶慢慢扩展到更广泛的人工智能领域,Karpathy 也被提为特斯拉的 AI 高级总监,直接向马斯克汇报工作。

图片


不过,天下没有不散的宴席。2022 年 7 月,Karpathy 在推特上宣布自己将从特斯拉离职。他表示,「过去五年,我非常高兴帮助特斯拉逐步接近了它的目标,如今离开是一个艰难的决定。我见证了 AutoPilot 从测试到部署到城市街道,期望未来 AutoPilot 团队持续自己的强大。」

对于未来,Karpathy 当时并没有具体的计划,「但希望重拾自己长久以来对 AI 技术工作、开源和教育等方面的热情。」

事实上,他也确实是这么做的。在闲下来的几个月里,Karpathy 给大家贡献了很多学习材料,包括一个详解反向传播的课程 、一份重写的 minGPT 库、一份从零开始构建 GPT 模型的完整教程等。

目前,在 Google Scholar 上,Karpathy 的论文引用数达到了 53360。其中,引用第二多、他作为一作的论文《Large-scale Video Classification with Convolutional Neural Networks》被收录为 CVPR 2014 Oral。

图片

这次官宣加入 OpenAI,相信 Karpathy 重新找回了自己的热情所在,我们也期待他在 OpenAI 能做出更多惊艳的研究成果。
产业Andrej Karpathy
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
李飞飞人物

李飞飞,斯坦福大学计算机科学系教授,斯坦福视觉实验室负责人,斯坦福大学人工智能实验室(SAIL)前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌,担任谷歌云AI/ML首席科学家。2018年9月,返回斯坦福任教,现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启,李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人,Christopher Manning接任该职位。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

深度强化学习技术

强化学习(Reinforcement Learning)是主体(agent)通过与周围环境的交互来进行学习。强化学习主体(RL agent)每采取一次动作(action)就会得到一个相应的数值奖励(numerical reward),这个奖励表示此次动作的好坏。通过与环境的交互,综合考虑过去的经验(exploitation)和未知的探索(exploration),强化学习主体通过试错的方式(trial and error)学会如何采取下一步的动作,而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励(accumulated reward)。 一般来说,真实世界中的强化学习问题包括巨大的状态空间(state spaces)和动作空间(action spaces),传统的强化学习方法会受限于维数灾难(curse of dimensionality)。借助于深度学习中的神经网络,强化学习主体可以直接从原始输入数据(如游戏图像)中提取和学习特征知识,然后根据提取出的特征信息再利用传统的强化学习算法(如TD Learning,SARSA,Q-Learnin)学习控制策略(如游戏策略),而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

推荐文章
暂无评论
暂无评论~