宁可错杀一千，不可放过一个。
「我网盘里的葫芦娃全集被封了怎么说。」
这是自从百度网盘开始全面进行鉴黄清理行动后，一位微博网友获得高赞的怨念——
明明许多内容并不涉及到色情与暴力，为何还是被无情打上马赛克，或者变成一幅让进度条缩减为 8 秒的警告图（看下面）。
所以，当阿里又借着开安全网络大会打出「AI 鉴黄师」的招牌时，网友们的关注点又「歪楼」了：
如果做的好，能通知友商的网盘也精进一下自己的审核功力可好？
有一种隐私被机器支配的不适感……
这简直不要太福利%￥&……要招人吗？
一系列脑洞，本质上来自于网民对机器审核流程的疑虑，但对于「隐私」和「福利」一说，阿里的算法工程师小哥们只得双脚一跺，两手一摊：
隐私问题？阿里的公网里照片不能下载和拷贝，连截图都不能操作，私人电脑也不能入网，审核人员进屋根本不允许带手机……想拿到图片，除非回去画下来。
审核过程几乎自动化，只有出现匪夷所思的奇怪图片时，算法工程师才会参与检查。而且成百上千万张图片中，非法色情图片的发现率其实极低。
如果真要说福利……那也是机器的「福利」，至少它可以「吃」进去大量图片来提升自己的准确率。
算法工程师的内心 os ：嗯，你想多了
「这个真的要澄清一下，」在阿里巴巴安全网络大会门口被我们拦下的阿里巴巴算法专家薛晖，现在一听到「福利说」就想掏耳朵，
「我们每天的审核都是完全交给系统去做。譬如今天审核 1 亿张，有疑问或者一些机器『判断不了』的几万张图片，再交给人工审核员。
如果他们发现当天的数据有异常，大量图片识别错误，再给我们进行反馈。这个时候，我们的主要任务除了评估结果，也会去检查是否有新样本出现。」
简单来说，收集数据、训练模型、评估鉴定效果，对误抓的 Case 进行及时处理，将整个系统进行迭代，构成了鉴黄算法工程师们的全部工作。
「很多人可能把审核员的工作与 AI 鉴黄算法工程师的工作给混淆了。但是这对审核员也绝对不是什么福利，每天关在小黑屋里不仅仅是审查图片，拿淘宝来说，他们还要每天回应各种各样针对色情信息的投诉，这不是轻松的工作。」
2013 年，由百度、腾讯、金山等多家互联网巨头曾开出高薪向全球公开招聘「色情鉴定官」。然而据当时一家在某科技巨头就职的人工鉴黄师透露，他们的日常工作状态「很像做贼」，心理压力极大：
虽然有自己的工作单间，但一定要反锁房门，拉上窗帘，戴上耳机，以防不堪画面与声音传到外面。
而这份工作的长期副作用，是间接发作的烦躁与恶心，甚至会让人形成对电脑的厌恶感。因此，这些人不得不要按时接受心理医生的定期检查。而很多单位，也指定「仅限女性可应聘该职位」。
因此，后来在百度、腾讯以及阿里的产品中陆续上线的机器鉴黄功能，听起来才是一项对人工鉴黄师真正的福利。
如果阿里提供的 AI 鉴黄数据真实有效，那么机器每天 10 亿张图片的处理能力几乎可以覆盖一家电商或直播平台的数据审查量，而交给鉴黄师的工作很多时候是「二次校对」，工作量将大幅度降低。
「这里有『取代』的意思，因为我们的客户可能不需要几十个鉴黄师，说不定只需要 4、5 个人就够了。」但薛晖也承认，这个岗位是不可能消失的。
「机器识别率永远达不到 100%，何况从安全对抗角度来说，作恶的人永远都会想出各种新奇的方法来避过审查。」
譬如，与文字和图片相比，语言的鉴黄难度要大的多。
不能用视力看到的问题，都是不直观的。对安全工程师们来说，语言类色情信息更像是「隐藏在暗处的敌人」。
「如果是图片或文字，无论是标注人员还是审核员都可以做到『一目十行』，但是语音，你不可能同时听好几路。而且数据收集也很困难，成本很高。」薛晖认为，语音鉴黄的难度，跟智能音箱的推广局限性有一定的相似度：
「譬如有些音源噪声特别大，语音识别系统可能根本不起作用，这个时候你可能要进行消噪；另外中文、英语和日语，可能数据样本多，你的系统还可以勉强应付，那斯洛文尼亚语呢？」
所以截止目前，大多数公司上线的「鉴黄产品」，都集中在对图片和视频的处理层面，对语音则没有准确率方面的确切说明。
但 AI 鉴黄最难解决的问题，其实是一个在人工鉴黄时代就从来没有解决的问题：
如何赋予机器一个对色情内容的合理价值判断？
法律界的人可能都对「米勒规则」耳熟能详，这其实是美国一项判断「成人片」的重要标准。
简单来解释，就是在一桩普通的色情广告诉讼案（被告人名叫米勒）引发判决争议后，美国对色情作品的判断标准，终于不以国家最高法院法官们的「口味」为依据，而是将判断权下放到各州，根据不同地区的标准，来判断一部作品是否构成色情。
而我们是想用这个案例来证明，尽管国内对色情内容的判断有统一法律标准，但鉴黄师在执行过程中发现，很多具体内容不能使用过于「形而上学」的标准进行衡量。
譬如，色情与艺术有时候只有「一墙之隔」，你如何进行界定？
有人工鉴黄师曾透露，由于我国的相关法规中曾提到「夹杂淫秽、色情内容而具有艺术价值的文艺作品，不属于淫秽出版物」，而这就给他们带来了很大的判断难度。
「作为鉴黄师，你首先要对《国家新闻出版署关于认定淫秽及色情出版物的规定》非常熟悉，有任何理念差错都不行。其实一些性知识，虽然内容与淫秽文字有些接近，但却绝不能算淫秽。」
那么机器呢？会比人在做出决策时更果断一些？还是趋向于谨慎？
「我们对所有尺度的色情内容都做很细的分级，譬如图片有低俗类、成人色情类，儿童色情类，而每张图片会有十几个标签，客户可以根据标签目录及示例图对内容进行选择性过滤。」薛晖认为，早在数据标注层面，就应该根据判断标准进行精确处理，
「譬如，有些电商网站用的很多偏性感图片是为了展示成人用品，但在一个母婴网站，这张图肯定不合适，所以这张图就必须有一个标签叫做『成人用品专用』。」
而针对露骨图片，一些国内外的美术作品也是极易中枪的。但由于这类画作数量庞大，系统无法进行穷举，所以工程师们只需要对少量样本进行标注，并对这类合法内容做鉴别强化处理。
「在训练模型的多种数据样本中，我们给油画设置了更多的『分值』，如果系统抓错了这类样本，那么就会给它扣更多的分值，这样一来，油画的权重就上去了。」
更形象一点来说，机器如果不小心弄错了这些美术作品，那么它就会得到更重的「惩罚」，因此下次它们犯这类错误的几率就会小了。
「母婴网站会有一些光屁股小孩子的图片，之前引擎曾经误抓过，我们就对这类错误进行了针对性优化。」
但是对于色情信息的最终判断，虽然一部分由机器作出决定，但在某种程度上，用户也需要承担一部分责任。
「一方面，客户公司的人工鉴黄师非常重要。譬如在淘宝上有 1 亿张图片，可能其中会有几万张不确定的图片，那么小二就要去标注。
而另一方面，他们可以针对自己的需要，对这项功能的『松紧性』进行调整，毕竟每个行业（业态）对这个尺度的把握也是各不相同的。
譬如电商网站可能会多选几项标签，筛选条件会更加苛刻；而一些文创类网站，可能就不需要有设定得那么严格。」
但无论如何，每个行业，每个国家，每项业务，甚至是每项业务所处的不同时期，其对色情内容的判断标准都是不同的。
因此，算法工程师的另一个重要身份其实是「策略师」——每时每刻去调整机器对色情衡量标准的「开关」。
但薛晖承认，由于业务逐渐向国外拓展，他们也碰到过一些极端案例导致不得不需要重建模型。
譬如现在审核的许多图片也包括国外人种，但原始数据库大多是亚洲人种数据，因此引擎就会相对「吃力」：
「有时候不仅仅在于判断标准，而是在于样本太少，导致机器根本拿不定主意。因此我们也想过是否要凭空生成一些样本来训练。
譬如我们训练一个模型可能至少需要几十万张图片，但有网上投诉，这类 Case 你没有抓到，但相关的图片我们只有几张，那肯定是没法抓到的。
所以我们会根据这张图片在不同环境下的状态去做一些仿真和模拟，但问题是，我们不能总是把图片做得很真，毕竟是造出来的。
所以，怎样让这张图片『真』到可以让机器去训练，也很费功夫。」
那么现在，你应该对百度网盘所出现的鉴别失误抱有宽容的态度。因为安全问题本身就是一个稀疏问题或者是非平衡问题。
通俗点说，就是好人太多了，坏人太少了。
有时候在 1 万个人里面，只有一个坏人，但你为了抓住这个坏人，可能会同时杀掉一个好人。
「从整体好人比例来说，其实就是 9999 个好人里面杀掉一个好人，但因为坏人也只有一个，所以你会觉得准确率只有 50%。所以在网络安全领域，正负样本非平衡一直是一个难点，不能怪百度网盘，所有机器鉴黄都会出现这种问题。」
因此，薛晖认为只谈算法模型的准确率在安全应用领域是一件更不靠谱的事情。因为即便你的准确率能够达到 99.9%，在 10 亿张图片中，0.1% 也意味着海量的错误判断。
「除了误差量大，通常图像识别也更难进行『用户对抗』。就拿百度网盘来说，现在你的一个小电影被删了，但是很多用户马上会想出对抗策略，譬如截两段处理一下，在中间插播几个广告群让你识别错误。
很多人在不停地研究如何突破我们的安全策略，因此，AI 鉴黄的优化进程永远都没有尽头。」
