参与杜伟 小舟

170多万篇论文,存储量达1.1 TB,Kaggle上线arXiv完整数据集

现在,用户可以在 Kaggle 平台上获取 arXiv 论文了!

众所周知,arXiv 是我们搜索、浏览和下载学术论文的重要工具。近 30 年来,arXiv 为公众和研究社区提供了开放获取学术论文的服务。这些论文涉及物理学的庞大分支和计算机科学的众多子学科,如数学、统计学、电气工程、定量生物学和经济学等等。

arXiv 上研究论文数量之多有利也有弊。一方面,对于在自身研究领域迅速成长的研究生,以及致力于用科研为公众提供服务的研究者而言,这一丰富的信息库可以提供极有效的助力。另一方面,arXiv 有时在搜索时也有不便。

与此同时,Kaggle 通常是数据科学家和机器学习工程师寻求有趣数据集、公开笔记和赛题的重要平台。研究者可以利用 Kaggle 上广泛的数据探索工具,轻松地与他人共享相关脚本和输出。

所以,是不是可以将 arXiv 上的巨量学术论文打包放在 Kaggle 上呢?

近期,为了让 arXiv 可用度更高,康奈尔大学和其他一些开发者在 kaggle 上创建了一个免费、开放的 arXiv 数据集。该数据集是一个含有 170 多万篇学术论文的存储库,用户可以获取论文的标题、作者、类别、摘要、全文 pdf 等。


arXiv 执行董事 Eleonora Presani 表示:「在 Kaggle 上放置完整的 arXiv 语料库,可以极大地增强 arXiv 论文的阅读潜力。并且,通过在 Kaggle 上提供该数据集,我们能够获取比通读这些文章更多的知识,并且能够以机器可读的格式将 arXiv 背后的数据和信息向公众开放。」

此外,她还表示:「arXiv 不仅是一个论文资源库,它还是一个知识共享平台。这就要求我们在展示和解释可用知识的方式上不断创新,Kaggle 用户能够帮助突破这种创新的局限,并且能够成为社区协作的新渠道。」

开发者希望启用能够探索出更丰富机器学习技术的新用例。这些技术还将结合面向如趋势分析、论文推荐器引擎、类别预测、共引网络、知识图谱构造、语义搜索接口等诸多应用的多模态功能。

Kaggle 上的 arXiv 数据集是什么样的

这是一个包含 170 多万篇理工科(STEM)学术论文的 arXiv 数据集和元数据。目前,开发者已经更新了 5 个版本,从第一版的 arXiv 元数据集(arXiv metadata)到最新版本的 arXiv 数据集,包含的论文数量越来越多,范围也更广。该数据集将每周更新一次。

第一版的 arXiv 元数据。



该数据集是原始 arXiv 数据的镜像,存储量高达 1.1TB,并且还会继续增加。数据集仅提供了 json 格式的元数据文件,它包含每篇论文的相关条目,具体如下:

  • id:arXiv ID,可用于访问论文;

  • submitter:论文提交者;

  • authors:论文作者;

  • title:论文标题;

  • comments:论文页数和图表等其他信息;

  • journal-ref:论文发表的期刊;

  • doi:数字对象标识符;

  • abstract:论文摘要;

  • categories:论文在 arXiv 系统的所属类别或标签;

  • versions:论文版本。


此外,用户可以通过以下两个链接直接在 arXiv 上访问每篇论文:

  • https://arxiv.org/abs/{id}:包含摘要和进一步链接的论文页面;

  • https://arxiv.org/pdf/{id}:论文 PDF 下载页面。


批量访问

用户可以在谷歌云存储(Google Cloud Storage, GCS)bucket gs://arxiv-dataset 上免费获取全部 PDF 论文,或通过谷歌 API json documentation 和 xml documentation 也可以获取。

PDF 论文被分组到 tarpdfs 文件夹的几个. tar.gz 文件中,具体如下所示:

tarpdfs/arXivpdf1001001.tar.gz (gs://arxiv-dataset/tarpdfs/arXivpdf1001001.tar.gz) tarpdfs/arXivpdf1001002.tar.gz (gs://arxiv-dataset/tarpdfs/arXivpdf1001002.tar.gz) tarpdfs/arXivpdf1001003.tar.gz (gs://arxiv-dataset/tarpdfs/arXivpdf1001003.tar.gz) Which are chunks 1, 2 and 3 for month 1001 (2010-01).

此外,用户可以使用 gsutil 工具将数据下载到本地计算机中。

arXiv 将 170 多万篇论文打包放在 Kaggle 上,更方便了用户获取和下载论文。有网友表示:「此举棒极了!」

与此同时,也有人提出要重视「同行评审」的参与。

对此,你怎么看呢?

参考链接:
https://blogs.cornell.edu/arxiv/2020/08/05/leveraging-machine-learning-to-fuel-new-discoveries-with-the-arxiv-dataset/
https://www.kaggle.com/Cornell-University/arxiv

入门数据集KagglearXiv
1
IvanPro
Landing AI・机器学习工程师
arXiv里的论文原本就是完全公开、可阅读、可下载的,可以说每个CS的研究者都离不开arXiv。把论文数据集打包放到Kaggle上,更多的意义在于把数据库公开了,让社群成员共同开发更好的搜索工具、做有意义地数据分析,帮助整个社群更有效地使用这些论文。期待很快会有更好的索引工具出现,切切实实地提升可用度。 “该数据集将每周更新一次。” 为此要手动点赞👍
1