近日,谷歌宣布,它们的数据集搜索引擎不再是 beta 版了。这意味着该产品已经正式向用户们开放使用。Jeff Dean 和谷歌官方都在推特上宣布了这一消息。
谷歌数据集搜索的 beta 版本早在 2018 年 9 月就上线了,该引擎面向「科学家、开发者、数据极客等人群」,一直以来都是人们寻找数据集的主要方式之一。
在网络中,任何你感兴趣的主题都可能有无数种数据集。如果你想买一只小狗,你可以在数据集搜索中找到小狗买家评价的数据集。如果你喜欢滑雪,也可以找到有关著名滑雪地盈利和受伤概率数字的数据集。今天,谷歌数据集搜索已经涵盖了超过 2500 万种不同类型的数据集,它可以帮助你轻松地找到所有数据集的下载链接。
谷歌表示,经过一年多的努力,数据集搜索功能的阶段性测试已经完成。
如果你在数据集搜索上输入「skiing」,会出现的结果:出现了从最快的滑雪运动员到滑雪地的收入数据集等不同类型。
正式版更新了什么?
谷歌从用户在 Beta 版的使用中获得了很多经验。在正式版中,你可以根据所需的数据集类型(表格、图片、文本等),或者数据集是否可以免费获取等条件来进行搜索。如果数据集是关于某个地区的,你也可以通过地图进行查找。另外,现在搜索也做了移动端的适配,并大幅改善了数据及描述的质量。任何数据集发布者都可以通过 schema.org 开放标准在自己的网站上进行规范性描述,以提高搜索结果的质量。
对于不同的学科来说,人们进行的搜索是完全不同的:科学家会寻找研究目标(如搜索催产素),学生会搜索包含自己作业主题的关键字,业务分析师和数据科学家会寻找移动 app 或快餐店销售的数据……今天,所有这些内容都有数据集。
谷歌表示,目前人们在数据集搜索上查询频率最高的词是「教育」、「天气」、「癌症」、「犯罪」、「足球」以及「狗」。
搜索「快餐店」出现的结果索引
哪些数据集可以找到?
数据集搜索引擎可以提供数据集的快照信息,特别是有关地理信息、生物和农业方面的信息。很多信息都来自于 schema.org,只要网络上存在的数据集符合 schema 的开放标准,搜索引擎就可以搜索到。
除了公开数据之外,数据集搜索引擎还包括了很多政府公开数据,包括美国政府超过两百万的数据集。绝大部分的公开数据都是以表格形式存储的,可以很容易地下载并进行处理。
使用体验
机器之心尝试了这一数据集搜索工具。例如,我们在搜索栏里输入了 CIFAR,搜索引擎很容易就提供了 CIFAR-10 和 CIFAR-100 两个数据集的搜索结果,并附带数据集全名、被引用数量、更新时间、提供者、下载方式、介绍和信息来源等。
如果我们不知道数据集叫什么名字,但是想看看有没有某种数据的数据集呢?机器之心尝试了一些不常用关键词,如「Chinese Poem」(中国诗歌)。
搜索结果也还不错,提供了相当多的数据集,包括数据集所在的论文等。
下一步计划
项目团队表示,他们会继续优化数据集搜索这项产品,并欢迎用户提出进一步改进建议。