机器之心编辑部报道

情人节:一本正经地为单身狗推荐这个158万张图像的鉴黄数据集

如果你想训练一个内容审核系统过滤不合适的信息,或用 GAN 实现一些大胆的想法,那么数据集是必不可少的。但限制级图像很难收集,也很少会开源。在这个项目中,作者构建了一个大型高质量图像鉴黄数据集,它有超过 158 万张图像,共分为 159 个大类别,且每一个类别还有若干子类别。另外,今天发这篇文章和情人节完全无关,和你是不是单身狗完全无关,一切是为了探索机器学习的前沿……(笑眯眯手动摸狗头)。

项目地址:https://github.com/EBazarov/nsfw_data_source_urls

上个月我们介绍了一个有 22 万张 NSFW 图像的 GitHub 项目(nsfw_data_scrapper),仅分为 5 个类别。这个项目不同类别之间的距离并不是很明显,且有很多图像存在误分类或不应该归类于 NSFW 中。不过 nsfw_data_scrapper 项目确实是近来少有的开源图像鉴黄数据集,开源一个多月以来获得了 7000+的 GitHub 收藏量。

nsfw_data_scrapper 项目链接:https://github.com/alexkimxyz/nsfw_data_scrapper

在这篇文章中,我们将介绍一个新的鉴黄图像开源项目,它的 158 万数据量足够训练一个大型分类模型生成模型,而且充足的类别也提升了数据的质量。总体而言,我们会发现该项目的图像分类比较准确,至少我们采样的一些图像都属于 NSFW 和对应的类别。

整个项目和 nsfw_data_scrapper 项目一样提供对应的图像超链,不同类别及子类别都有对应的 TXT 文件,所有超链都储存在 TXT 文本中。如下所示为简单的数据示例,因为本文这个数据集尺度有点大,我们以 nsfw_data_scrapper 数据集为例:

数据集统计信息

raw_data 文件夹中可以找到不同类别及对应的 TXT 文本,以下是关于该数据集的一些统计信息:

  • 159 个不同的类别

  • 158.9331 万个 URL

  • 下载并清洗后大约有 500GB,或者说 130 万张 NSFW 图像。

如下所示为不同类别与对应图像数,下图只截取了少量类别作为示例:

每一个类别还会有一些小类,例如在紧身衣裤(appearance_clothing_tight-clothing)的类别下,还会细分一些子类别:

这些子类别并没有统计信息,不过在读取图像并构建标注的过程中,我们可以考虑这些子类别,也可以忽略它们。

注意事项

1. 下载之后最好清洗一下数据集,如:

  • 删除重复图像

  • 移除被禁止/删除的图片(它们会产生一个特殊的图像占位符)

  • 找出损坏的数据并将其移除

2. 注意噪声,一些资源提供了 NSFW 和中性图像的高度混合的数据。

3. 该库可以帮助检索 NSFW 图像,整个项目没有针对中性图像内容的专用 URL。

工程数据集机器学习
4
相关数据
生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

推荐文章
暂无评论
暂无评论~