小舟、泽南报道

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

OpenAI 著名的语言模型 GPT-3 可以懂数学、翻译文字,还能写论文拿到及格成绩,这样的 AI 什么时候才能开源呢?现在已有了一个差不多的项目。

GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归语言模型,它在许多自然语言基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务,甚至还带有一些数学计算的能力。

不同于 GPT-2 和 GPT-1,OpenAI 选择不开源 GPT-3,而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务关联的微软来进一步限制访问。

尽管如此,既然论文已经放出,人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研究机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日,EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数(1.3B 和 2.7B 级别),并将其更新在了 Colab notebook 上。

虽然是 1750 亿参数模型 GPT-3 的复现,此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量,不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT-3 模型参数。这一项目一经发布,就受到了 AI 社区的关注,目前该项目已收获 2.9K star 量。


项目地址:https://github.com/EleutherAI/gpt-neo/

训练数据集

EleutherAI 承认,由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节,因此 GPT-Neo 与原版 GPT-3 相比必然会存在一些偏差。此外,还有一些偏差可能来自 EleutherAI 计划使用的训练数据集,该数据集是由来自 EleutherAI 的 10 人小组策划的。

像 GPT-3 这样的语言模型通常会放大数据中存在的偏见。例如,OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会存在关联,著名预训练语言模型 BERT 也曾被指存在偏见。

EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛偏见分析」,并做出了一些消除偏见的决定,以排除他们认为对某些群体或观点「造成不可接受的负面偏见」的某些数据集。该项目使用一个 825 GiB 的多样开源语言建模数据集,它对于大型语言模型的训练和基准测试都很有效。

数据集:https://pile.eleuther.ai/

GPT-3 可以变得更小吗?

EleutherAI 计划利用项目团队使用的架构来训练 GPT-Neo,使其达到和 GPT-3 在相同模型大小时「相同」的性能。在未来,他们还计划将模型减小一个数量级甚至更多。


如果这样的模型被认为具备实用化的条件,其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查,自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成相同的识别准确度,其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比,算力的使用仍然是个开放问题。

「要想让性能继续提高,模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的能力对于小模型来说是遥不可及的,这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的性能,拥有算力的公司就会具备优势,就这么简单。」

EleutherAI 是一个致力于开源 AI 研究的团队。Leahy 表示:「我们致力于允许更多资源匮乏的用户(尤其是研究者)使用相关技术,以期在相关领域涌现更多更好的研究,并在此基础上进行我们以安全为重点的研究,而不是将其锁定在行业实验室内。毕竟,这些技术仍然在发展阶段,当此类模型在生产中按原样使用而没有进行更广泛的调查时,自然会产生存在偏见等问题,我们希望这些模型能够开放更多的可用性。」

参考内容:
https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and-open-source-openais-gpt-3/
入门野生GPT-3
相关数据
基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~