Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

谷歌的又一波反击!开放大语言模型PaLM API

PaLM API 是今天谷歌发布的公告的核心。

事到如今,OpenAI 的 ChatGPT 在 AI 社区的统治地位已经无需多言。特别是 OpenAI 开放 ChatGPT 的 API 之后,在开发者社区掌握了极大的话语权。


反观谷歌那边,在第一波发布 Bard 失利之后,一直处于沉默状态。

但在今日,谷歌组织了第二波反击:开放自家的大语言模型 API 「PaLM API」,此外今天谷歌还发布了一款帮助开发者快速构建 AI 程序的工具 MakerSuite。谷歌表示,此举是为了帮助开发者们快速构建生成式 AI 应用。


但略为遗憾的是,谷歌目前是向选定的开发人员提供这些工具,而非全面开放。

基于 PaLM 模型的 API

毫无疑问,PaLM API 是今天谷歌发布的公告的核心。

谷歌介绍称,PaLM API 是 Google 大型语言模型的入口,可用于各种应用程序。它将为开发者提供面向对轮交互而优化的模型,如内容生成与对话。它也能为开发者提供摘要、分类等多种任务的通用模型。


从名字可以开出,此次开放的大语言模型 API 是基于谷歌去年发布的 PaLM。这是谷歌基于 Pathways 系统训练的一个 5400 亿参数的大型语言模型

为了训练这个模型,谷歌动用了 6144 块 TPU,让 Pathways 在两个 Cloud TPU v4 Pods 上训练 PaLM。

强大的系统和算力投入带来了惊艳的结果。谷歌在数百个语言理解和生成任务上评估了 PaLM,发现它在大多数任务上实现了 SOTA 少样本学习性能,可以出色地完成笑话解读、bug 修复、从表情符号中猜电影等语言、代码任务。

随着规模的增加,模型在处理多个任务时的性能逐渐提高,而且还在不断解锁新的能力

关于 PaLM,读者们可以查看论文《PaLM: Scaling Language Modeling with Pathways》。

此外,谷歌公告称,后续会开放更多规模与功能不同的模型。PaLM 是谷歌选择的第一个版本,所以后续我们也可以期待下 LaMDA API 等。

MakerSuite 工具

在过去的几年里,谷歌一直在构建和部署大型语言模型 —— 从将 MUM 引入搜索到在 AI Test Kitchen 中使用 LaMDA 构建 APP。谷歌表示,开发人员必须使用不同的工具来完成任务,例如制作和迭代 prompt、生成合成数据以及精调自定义模型。

MakerSuite 是一种简化此工作流程的工具,让用户将能够根据 prompt 进行迭代,使用合成数据扩充数据集,并轻松调整自定义模型。当你准备好编程时,MakerSuite 允许将 prompt 导出为你最喜欢的语言和框架(如 Python 和 Node.js)的代码。

谷歌表示,借助 MakerSuite,你能够直接在浏览器中快速测试和迭代调整后的模型。


最后补充一句我们观察到的结果:谷歌今日的两篇博客发布后,似乎已经引起了一些人的不满:并非全面开放、也没有定价。也许,可以说相比之前 ChatGPT API 的开放,谷歌这一波反击,也略显失败。


原文链接:https://blog.google/technology/ai/ai-developers-google-cloud-workspace/
工程大型语言模型PALM谷歌
相关数据
迭代 技术

模型的权重在训练期间的一次更新。迭代包含计算参数在单个批量数据上的梯度损失。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~