Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Yann LeCun:ChatGPT缺乏创新,没什么革命性;网友:早点离开Meta做出点突破吧

在外界看来,ChatGPT 是一项巨大突破,但图灵奖得主、Meta 首席人工智能科学家 Yann LeCun 不这么认为。
自从去年底推出以来,对话式 AI 模型 ChatGPT 火遍了整个社区。

用过 ChatGPT 的人都能体会到,它是一个真正的「六边形战士」:不仅能拿来聊天、搜索、做翻译,还能写故事、写代码、debug,甚至开发小游戏、参加美国高考…… 有人戏称,从此以后人工智能模型只有两类 —— ChatGPT 和其他。

由于功能过于强大,ChatGPT 的火爆让顶级科技公司谷歌都如临大敌。谷歌内部将 ChatGPT 称为「red code」,担心它的出现会影响自家的搜索业务。因此,前段时间,许久不出山的两位谷歌创始人 —— 拉里・佩奇和谢尔盖・布林 —— 也被请了回来,就「聊天机器人搜索引擎」召开高层会议。

当然,并不是所有的科技巨头都如此恐慌。在前段时间的一次小型媒体和高管在线聚会上,Meta 首席人工智能科学家 Yann LeCun 也发表了他对 ChatGPT 的看法。

在他看来,「就底层技术而言,ChatGPT 并没有什么特别的创新,」也不是「什么革命性的东西」许多研究实验室正在使用同样的技术,开展同样的工作。

ZDNet 一篇题为「ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist」的报道披露了 LeCun 演讲的一些细节。

图片

ChatGPT 的背后没有秘密

从报道来看,LeCun 的很多发言都在努力澄清公众对于 ChatGPT 的一些误解。

首先,LeCun 指出,「ChatGPT 并不是什么革命性的东西,尽管公众是这么认为的。」

LeCun 表示,过去很多公司和研究实验室都构建了这种数据驱动的人工智能系统,认为 OpenAI 在这类工作中是孤军奋战的想法是不准确的。「与其他实验室相比,OpenAI 并没有什么特别的进步。

「不仅仅是谷歌和 Meta,还有几家初创公司基本上都拥有非常相似的技术。」「我不是说这件事做起来很简单,但确实不只是 OpenAI 在做。如果你愿意探索的话,它背后没什么机密。」

此外,LeCun 还进一步指出,ChatGPT 及其背后的 GPT-3 在很多方面都是由多方多年来开发的多种技术组成的。

「你必须意识到,ChatGPT 使用的 Transformer 架构是以这种自监督的方式预训练的,」「自监督学习是我很长一段时间以来一直倡导的,甚至可以追溯到 OpenAI 出现之前,」他说。

另外,「Transformer 是谷歌的发明,」这类语言项目的工作可以追溯到几十年前。

「大型语言模型,第一个神经网络语言模型是由 Yoshua Bengio 在大约 20 年前发明的。以当时的标准来看,这个模型很大,以今天的标准来看,它很小。」Bengio 关于注意力概念的工作后来被谷歌用于 Transformer,并成为所有语言模型的关键元素。

此外,OpenAI 的 ChatGPT 还广泛使用了一种名为「RLHF(通过人类反馈进行强化学习」的技术,即让人类对机器的输出进行排名,以提高模型性能,就像谷歌的网页排名一样。他说,这种方法不是 OpenAI 首创的,而是谷歌旗下的 DeepMind

「所以,ChatGPT 和其他大型语言模型并不是凭空而来的,而是不同的人数十年贡献的结果。」LeCun 说。

因此,LeCun 认为,与其说 ChatGPT 是一个科学突破,不如说它是一个像样的工程实例。当然,公众体会不到这种循序渐进的感觉也很正常,毕竟不是谁都会一篇一篇去看论文。

图片

或许是由于说话过于直白,LeCun 的言论引来了一些争议。有人批评他太过傲慢,自己没有做出类似的东西,却在别人做出来的广泛可用的产品里挑刺。

图片

OpenAI CEO Sam Altman 似乎也闻到了火药味,专门前来讲和。

图片

看到这些,LeCun 抓紧站出来澄清,表示自己没有「挑事儿」的意思,双方一直相处得很好,还在彼此的工作上构建了自己的项目。

图片

Meta 未来要做什么?

不管是不是可以称之为「突破」,ChatGPT 的成功是毋庸置疑的。因此,大众不免好奇,LeCun 组建的 Meta 人工智能团队 FAIR 是否会像 OpenAI 那样在公众心目中取得突破。

对此,LeCun 的回答是肯定的。「不仅是文本生成,还有创作辅助工具,包括生成艺术,」他说,「我认为这将是一件大事。」

他表示,Meta 将能够通过自动生成宣传品牌的媒体资料来帮助小企业进行自我宣传。

「Facebook 上有 1200 万家商店在做广告,其中大多数是夫妻店,他们没有足够的资源来设计一个全新的、设计精美的广告。所以对他们来说,生成艺术可能会有很大帮助。」

在被问及为什么谷歌和 Meta 没有推出类似 ChatGPT 的系统时,LeCun 回答说,「因为谷歌和 Meta 都会因为推出编造东西的系统遭受巨大损失」。而 OpenAI 似乎没有什么可失去的。

图片

鉴于 Meta 目前的处境,大家对于 LeCun 所描述的愿景多少有些担心。甚至有人劝他早日离开 Meta,去「有资源的地方」,做一些类似 ChatGPT 的项目或者生物医学应用研究。不知道 LeCun 本人是否有此想法。

图片


参考链接:https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
https://twitter.com/scottwww/status/1617924797153050625
产业ChatGPT
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

推荐文章
暂无评论
暂无评论~