Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

神经小兮作者HyperAI超神经来源文婧编辑

包含近 20 万本图书,OpenAI 级别的训练数据集上线

这些数据集中共包含 196640 册纯文本数据,可以用于训练 GPT 等大型语言模型。

近日,机器学习社区的一篇资源热贴「用于训练 GPT 等大型语言模型的 196640 本纯文本书籍数据集」引发了热烈的讨论。

该数据集涵盖了截至 2020 年 9 月所有大型文本语料库的下载链接。除此之外,它还包含了所有的 bibliotik(一个线上图书资源库)中书籍的纯文本,以及大量用于训练的代码。
数据集中除文本数据外,还包含了 100GB 的训练代码

196640 册图书数据,训练你的 GPT


reddit 的机器学习社区上,网友 Shawn Presser 发布了一套纯文本数据集,得到一致好评。

这些数据集中共包含 196640 册纯文本数据,可以用于训练 GPT 等大型语言模型

由于这套数据集包含多个数据集以及训练代码,我们在此不一一赘述,仅将其中的 books1 与 books3 数据集的具体信息列出:

图书纯文本数据集

发布作者:Shawn Presser

包含数量:books1:1800 册图书;book3:196640 册图书

数据格式:txt 格式

数据大小:books1:2.2 GB;books3:37 GB

更新时间:2020 年 10 月

下载地址:https://hyper.ai/datasets/13642

据数据集整理者 Shawn Presser 介绍,这些数据集的质量是非常高的,仅 books1 数据集,就花费了他大约一周的时间,对 epub2txt 脚本进行修复。

此外,他还表示,books3 数据集似乎与 OpenAI 的论文中神秘的「books2」数据集相似。但是,由于 OpenAI 并没有提供这方面的详细信息,所以也无法了解二者之间的任何差异。

不过,在他看来,这份数据集极其接近 GPT-3 的训练数据集。拥有它,下一步,你也可以训练出与 GPT-3 相匹敌的 NLP 语言模型,当然,还有一个条件是,你还需要准备足够的 GPU。
数据集中 books1 数据集部分内容示例

据介绍,books1 数据集中 1800 本图书文本数据,都来自于大型文本语料库 BookCorpus,其中包括诗歌类、小说类等。

比如美国作家 Kristie Lynn Higgins 的《Shades of Gray:Noir, City Shrouded By Darkness》(《灰色阴影:被黑暗笼罩的城市》)、Benjamin Broke 的《Animal Theater》(《动物剧院》)、T·I·韦德的《America One》(《美国一号》)等。

强大的 GPT-3 背后,训练数据集立功劳


关注自然语言处理领域的小伙伴都知道,今年 5 月,OpenAI 斥巨资打造的自然语言处理模型 GPT-3,凭借惊人的文本生成能力,在业界引起高度关注,并且一直以来热度不减。

GPT-3 不仅可以更好地答题、翻译、写文章,还带有一些数学计算的能力。而它之所以拥有这些强大的能力,离不开背后巨量的训练数据集。
GPT-3 训练数据集一览
据介绍,GPT-3 使用的训练数据集十分庞大,基于包含近 1 万亿单词量的 CommonCrawl 数据集、网络文本、数据、维基百科等数据,它使用的最大数据集在处理前容量达到了 45TB,其训练费用也达到惊人的 1200 万美元。

更大的训练数据集、更多的模型参数,让 GPT-3 在自然语言处理模型中一骑绝尘。

然而,对于普通开发者来说,想要训练出一流的语言模型,暂且不说高昂的训练成本,仅仅在训练数据集这一步,就会被卡住。

因此,Shawn Presser 带来的数据集无疑解决了这一难题,一些网友表示,这项工作他们节省了巨大的成本。

我们目前已经将 books1 数据集搬运至 https://hyper.ai,搜索关键词「书籍」或「文本」获取数据集。
其它数据集可从以下链接中获取:

books3 数据集下载地址:

https://the-eye.eu/public/AI/pile_preliminary_

components/books3.tar.gz

训练代码下载地址:

https://the-eye.eu/public/AI/pile_preliminary_

components/github.tar

reddit 原帖:

https://www.reddit.com/r/MachineLearning/comments/ji7y06/p_dataset_of_196640_books_in_plain_text_for/

THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

工程OpenAI语言模型
2
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

推荐文章
暂无评论
暂无评论~