Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

OpenAI计划研发自己的AI芯片,已有收购目标

天下苦英伟达久矣。

微软和 OpenAI 这对合作伙伴,将在人工智能芯片赛道上成为竞争对手。

据路透社报道,OpenAI 正在考虑构建自己的人工智能芯片来为 ChatGPT 提供支持。与此同时,有消息称微软将在下个月的年度开发者大会上推出该公司首款专为人工智能设计的芯片。

图片

随着 ChatGPT 等大型语言模型(LLM)掀起新一轮 AI 变革浪潮,AI 芯片短缺问题日益严重。知情人士称,至少从去年开始,OpenAI 就讨论了各种方案来解决其所依赖的 AI 芯片的短缺问题,目前已经评估了潜在的收购目标,计划由被收购的芯片制造商来完成这个开发任务。

然而,路透社报道称 OpenAI 尚未决定继续推进这项 AI 芯片开发计划。

毕竟,研发 AI 芯片是一个昂贵且耗时的过程。OpenAI 花了五年多的时间来研发 GPT-4,AI 芯片等硬件的开发时间也不会短。

当前,英伟达的 H100 等 AI 芯片是目前科技领域最有价值的资源之一,因为它们对于训练 ChatGPT 等大型语言模型至关重要。这也让科技巨头们纷纷购入大量 AI 芯片,导致芯片短缺问题更加严重,间接提高了大模型的运行成本。

图片

                                 英伟达 H100 示意图。

今年早些时候,有分析师估计 ChatGPT 的运行成本高达每天 70 万美元。如果 OpenAI 成功研发自己的 AI 芯片,该公司推出的大模型的运行成本将有望减少。

前特斯拉 AI 总监、重回 OpenAI 的 AI 大牛 Andrej Karpathy 曾预测 GPT-5 可能需要 30000-50000 张 H100。显然,芯片短缺问题限制了 OpenAI 的发展脚步。OpenAI 首席执行官 Sam Altman 更是曾公开抱怨 GPU 市场由英伟达主导。

貌合神离的合作伙伴

2020 年,微软为 OpenAI 建造了一台巨大的超级计算机,使用 10000 个先进的英伟达 GPU。2023 年初,微软又向 OpenAI 投资 100 亿美元。微软为 OpenAI 提供了训练其 AI 模型所需的巨大计算能力。作为回报,微软能够将 OpenAI 的模型集成到自己的产品中,例如新必应。

这一系列合作让微软在搜索引擎领域有了与谷歌竞争的实力,但 OpenAI 和微软实际上一直存在着竞争关系

图片

早在今年 4 月就有消息称微软正在研发一款 AI 服务器芯片,代号为「雅典娜 (Athena)」,并且该芯片的研发从 2019 年左右就开始了。据 the information 报道,在开发 Athena 的同时,微软从英伟达订购了至少数十万张 GPU 来支持 OpenAI 的算力需求。微软希望 Athena 能够与英伟达的 H100 相媲美。

有趣的是,Athena 是由微软和 OpenAI 的团队共同测试的。

9 月又有报道称微软正试图通过开发自己的大型语言模型来减少对 OpenAI 的依赖,并且考虑到不断上升的运行成本,微软要求研究人员构建比 OpenAI GPT 模型更小、更便宜的替代品。

现在,微软的 Athena 很有可能会在下个月的年度开发者大会上崭露头角,而 OpenAI 的芯片研发计划将如何推进还未可知。

参考链接:

https://www.reuters.com/technology/chatgpt-owner-openai-is-exploring-making-its-own-ai-chips-sources-2023-10-06/

https://www.businessinsider.com/openai-is-considering-making-its-own-ai-chips-chatgpt-2023-10

https://www.theinformation.com/articles/microsoft-to-debut-ai-chip-next-month-that-could-cut-nvidia-gpu-costs?rc=bw8enl

产业Athena人工智能芯片OpenAI、微软
相关数据
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

OpenAI GPT技术

GPT 是“Generative Pre-Training”的简称,从名字看其含义是指的生成式的预训练。GPT 也采用两阶段过程,第一个阶段是利用语言模型进行预训练,第二阶段通过 Fine-tuning 的模式解决下游任务。它与ELMO 主要不同在于两点:特征抽取器不是用的 RNN,而是用的 Transformer;GPT 的预训练虽然仍然是以语言模型作为目标任务,但是采用的是单向的语言模型。

推荐文章
暂无评论
暂无评论~