Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

一鸣、李泽南作者

谷歌数据集搜索正式版出炉:全面升级,覆盖2500万数据集

公开数据集往往存在于论文和网站数据库中,想要找到它们需要花费一番功夫。除了机器之心 SOTA 以外,搜索公开数据集的搜索引擎仍然比较少——除了谷歌的数据集搜索工具以外。

近日,谷歌宣布,它们的数据集搜索引擎不再是 beta 版了。这意味着该产品已经正式向用户们开放使用。Jeff Dean 和谷歌官方都在推特上宣布了这一消息。

谷歌数据集搜索的 beta 版本早在 2018 年 9 月就上线了,该引擎面向「科学家、开发者、数据极客等人群」,一直以来都是人们寻找数据集的主要方式之一。

链接:https://datasetsearch.research.google.com/

在网络中,任何你感兴趣的主题都可能有无数种数据集。如果你想买一只小狗,你可以在数据集搜索中找到小狗买家评价的数据集。如果你喜欢滑雪,也可以找到有关著名滑雪地盈利和受伤概率数字的数据集。今天,谷歌数据集搜索已经涵盖了超过 2500 万种不同类型的数据集,它可以帮助你轻松地找到所有数据集的下载链接。

谷歌表示,经过一年多的努力,数据集搜索功能的阶段性测试已经完成。

如果你在数据集搜索上输入「skiing」,会出现的结果:出现了从最快的滑雪运动员到滑雪地的收入数据集等不同类型。

正式版更新了什么?

谷歌从用户在 Beta 版的使用中获得了很多经验。在正式版中,你可以根据所需的数据集类型(表格、图片、文本等),或者数据集是否可以免费获取等条件来进行搜索。如果数据集是关于某个地区的,你也可以通过地图进行查找。另外,现在搜索也做了移动端的适配,并大幅改善了数据及描述的质量。任何数据集发布者都可以通过 schema.org 开放标准在自己的网站上进行规范性描述,以提高搜索结果的质量。

对于不同的学科来说,人们进行的搜索是完全不同的:科学家会寻找研究目标(如搜索催产素),学生会搜索包含自己作业主题的关键字,业务分析师和数据科学家会寻找移动 app 或快餐店销售的数据……今天,所有这些内容都有数据集。

谷歌表示,目前人们在数据集搜索上查询频率最高的词是「教育」、「天气」、「癌症」、「犯罪」、「足球」以及「狗」。

搜索「快餐店」出现的结果索引。

哪些数据集可以找到?

数据集搜索引擎可以提供数据集的快照信息,特别是有关地理信息、生物和农业方面的信息。很多信息都来自于 schema.org,只要网络上存在的数据集符合 schema 的开放标准,搜索引擎就可以搜索到。

除了公开数据之外,数据集搜索引擎还包括了很多政府公开数据,包括美国政府超过两百万的数据集。绝大部分的公开数据都是以表格形式存储的,可以很容易地下载并进行处理。

使用体验

机器之心尝试了这一数据集搜索工具。例如,我们在搜索栏里输入了 CIFAR,搜索引擎很容易就提供了 CIFAR-10 和 CIFAR-100 两个数据集的搜索结果,并附带数据集全名、被引用数量、更新时间、提供者、下载方式、介绍和信息来源等。

如果我们不知道数据集叫什么名字,但是想看看有没有某种数据的数据集呢?机器之心尝试了一些不常用关键词,如「Chinese Poem」(中国诗歌)。

搜索结果也还不错,提供了相当多的数据集,包括数据集所在的论文等。

下一步计划

项目团队表示,他们会继续优化数据集搜索这项产品,并欢迎用户提出进一步改进建议。

参考链接:

https://blog.google/products/search/discovering-millions-datasets-web/
https://www.reddit.com/r/MachineLearning/comments/etdiz9/n_googles_dataset_search_is_out_of_beta/

入门谷歌数据集SOTA
暂无评论
暂无评论~