Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

扎克伯格宣战AGI:Llama 3训练中,今年要囤35万块H100,砸近百亿美元

「事情越来越明确了,各大科技公司的下一代服务会构建在通用 AI 之上。」

为了通用人工智能(AGI)的宏大目标,扎克伯格正在给 Meta 的 AI 研究部门进行大幅度的改组。

本周四,Meta 首席执行官马克・扎克伯格宣布,他的公司正在致力于为人工智能助手构建「通用智能」并「负责任地开源」,Meta 正在将其两个主要研究小组(FAIR 和 GenAI)合并在一起以实现这一目标 。

为此,Meta 将准备屯集业内最为强大的 AI 算力。扎克伯格表示,公司将购买超过 35 万块英伟达 H100 GPU—— 这是目前业界构建生成式 AI 性能最强大的芯片。

有第三方投资机构的研究估算,英伟达面向 Meta 的 H100 出货量在 2023 年能达到 15 万块,这个数字与向微软的出货量持平,并且至少是其他公司的三倍。扎克伯格表示,如果算上英伟达 A100 和其他人工智能芯片,到 2024 年底,Meta 的 GPU 算力将达到等效近 60 万 H100。

H100 虽然性能强大,但价格也极其高昂。每块 GPU 的成本约为 2.5 万美元(根据英伟达早期的商品名册显示,16 块 H100 GPU 组成的系统成本约为 40 万美元)到 3 万美元。如果按照这个数字来计算的话,Meta 追求通用人工智能光在 GPU 上的花费可能是 87.5 亿美元到 105 亿美元。

看起来,Meta 正在进行一次创业风投式的大额投资。

图片

今年底获得等效 60 万 H100 算力,那么现在正在训练 Llama3 的 Meta 已经拥有了多少算力?人们纷纷进行了猜测。

不过另一方面,也有人表示了质疑:英伟达真的能在 2024 年底生产这么多芯片吗?

AGI 要循序渐进

Llama 3 加强代码能力

随后,在面向 The Verge 的访谈中,扎克伯格透露了更多的想法。

「我们认为,为了打造计划中的产品,我们需要打造通用智能,」扎克伯格表示。「向人们传达这一点非常重要,因为许多最优秀的研究人员都希望致力于更远大的目标。」

在生成式 AI 时代,人工智能人才的争夺已变得前所未有的激烈,每家科技公司都在争夺数量有限的研究人员和工程师。拥有专业知识的人才可以获得每年超过 100 万美元的高额薪酬。即使像扎克伯格这样的巨头 CEO 也经常需要亲自试图赢得一些关键员工的支持,或者阻止一名研究人员叛逃到竞争对手那里。

「我们已经习惯了相当激烈的人才争夺战,」扎克伯格表示。「但事情的变化很快,有很多家公司都在追求相同的愿景,许多风投和资金正在投向不同的项目,这使得人们很容易开展新的创业。」

但对于 AGI,扎克伯格像其他领域内人士一样,都没有明确的定义,也不知道它何时到来。

他表示,「你可以质疑通用智能是否可以达到人类水平的智能,或者超越人类智能,再或者成为某些遥远未来的超级智能。但对我来说,重要的部分实际上是智能所能达到的广度,即拥有不同的能力,比如必须能够推理并拥有直觉。」

因此,在扎克伯格看来,AGI 的到来是一个循序渐进的过程,而不会在某一瞬间出现。

正如扎克伯格解释的那样,Meta 对 AGI 新的、更广泛的关注受到了自家 Llama 2 大模型的影响。Meta 认为 Llama 2 生成代码的能力对于人们在 Meta 应用程序中使用大模型没有意义,但它仍是构建更聪明 AI 的重要技能之一。不过,Llama 2 的写代码能力比较差。

扎克伯格抛出一个假设:对于大模型,代码能力看起来似乎并不是那么重要,因为不会有很多人在 WhatsApp 上问编码问题。不过事实证明,编码非常重要,它可以让大模型理解知识的严谨性和层次结构,并且通常具有更多直观的逻辑性。

因此,扎克伯格透露,Meta 正在训练的 Llama 3 将具有更强代码生成能力。并且与谷歌的 Gemini 模型一样,Llama 3 还将具有更高级的推理和规划能力。

「虽然 Llama 2 不是行业领先的模型,但却是最好的开源模型。对于 Llama 3 及其之后的模型,我们的目标是打造成为 SOTA,并最终成为行业领先的模型。」

去年 7 月,Llama 2 的推出让大模型领域进入了开源大发展的新阶段,人们对于 Llama 3 非常期待。扎克伯格的一番话引发了研究社区的欢呼。

图片

开源与闭源之争

一直以来,谁能最终控制 AGI 是一个颇受争议的问题。

扎克伯格凭借对公司股票的投票控制权,在 Meta 拥有绝对权力。这使他处于一个独特的强大地位,如果 AGI 得以实现,这一地位可能会被危险地放大。他的答案是,Meta 迄今为止为 Llama 所遵循的剧本可以被视为开源,至少对于大多数用例来说。

他没有点名,而是将 Meta 的方法与 OpenAI 的方法进行了对比,后者最初的目的是开源模型,但越来越不透明。「所有这些公司过去都曾是开放的,都曾经发布过他们所有的工作,并且常常谈论将如何开源自己的工作。」

虽然山姆・奥特曼和其他人拥护闭源人工智能开发方法的安全优势,但扎克伯格却看到了精明的商业策略。与此同时,他认为,迄今为止已部署的模型尚未造成灾难性损害。

图片

「在很多情况下,那些一开始就拥有领先优势的大公司也是那些呼吁最多的公司,他们说需要为构建 AI 设置相应的护栏,」扎克伯格表示。「我确信他们中的一些人对安全的担忧是合理的,但主要的目的是符合战略。」

当然,扎克伯格有他自己的动机。他对 AI 开放愿景的最终结果仍然是权力的集中,只是形式不同。Meta 已经拥有比地球上几乎任何公司都多的用户,并且是利润丰厚的社交媒体业务。AI 功能可以说可以让这些的平台更具粘性和更有用。如果 Meta 能够通过公开发布模型来有效规范 AI 的发展,那么它对生态系统的影响力只会越来越大。

还有另一个问题:如果 Meta 上实现了 AGI ,是否开源最终取决于扎克伯格。他还没有准备好做出任何承诺,因为「不想因为自己说过会做某事而被束缚」。

但扎克伯格同时表示:「只要它有意义并且是安全和负责任的事情,那么我认为我们通常会倾向于开源。」

扎克伯格:AI 不是新支点

然而,从「Meta」这个公司名字来看,扎克伯格此时公布关于 AGI 的目标,显得有些尴尬。

距离这家公司改名、宣布押注元宇宙才过去两年时间,VR 仍然是一个小众行业,且前景不算非常明朗。

不过,扎克伯格并不同意「Meta 将 AI 视为又一支点」的说法。

图片

「我不知道如何更明确地表明,我们将继续关注 Reality Labs 和 Metaverse,」扎克伯格还表示, Meta 每年在该计划上的支出仍超过 150 亿美元。

同时,扎克伯格认为生成式 AI 能在 Meta 的硬件研究中发挥着更加关键的作用。比如其雷朋智能眼镜最近就添加了视觉人工智能助手,可以识别物体和翻译语言。

他还认为未来的虚拟世界将由 AI 生成,并充满了陪伴真人的 AI 角色。扎克伯格表示,Meta 今年将推出一个新平台,让任何人都可以创建自己的人工智能角色,并将其分发到 Meta 的社交应用程序中,比如 Facebook、Instagram 和 Threads 。

参考内容:

https://www.instagram.com/reel/C2QARHJR1sZ/

https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview

产业MeTA扎克伯格AGI
相关数据
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

推荐文章
暂无评论
暂无评论~