张倩、泽南报道

删数据,还要删AI模型:美国科技公司遭遇最严厉隐私泄露处罚

「想象一下 Facebook 或 Google 这样的公司被要求删除其类似算法会是什么结果。可能最后删得核心模型都不剩了。」

近日,美国联邦贸易委员会(Federal Trade Commission ,FTC)公布了一项特殊的处罚决定:勒令一家名为「Everalbum」的公司删除其从客户手中收集的照片,以及利用这些数据训练出的所有算法



公告链接:
https://www.ftc.gov/enforcement/cases-proceedings/1923172/everalbum-inc-matter

勒令删除用户隐私数据倒不是什么新鲜事儿,但强制删除 AI 算法模型的案例我们还没怎么听说过。

「存储空间无限的云相册,AI 帮你整理照片」


Everalbum 成立于 2013 年,主要产品是一款名为「Ever」的相册软件。这一软件允许用户将移动设备、电脑上或社交媒体账户中的照片和视频上传到云端存储,声称可以帮助用户节省手机空间,但却未告知用户其真正的盈利模式。

能给用户提供免费且无限的照片存储空间,Everalbum 看起来「名副其实」,但天下哪有免费的午餐。


2017 年 2 月,Ever 应用中上线了一个名为「Friends」的功能,其使用面部识别技术将用户的照片按照内容自动分组,并允许用户自行标记照片中的人名。据称, Everalbum 在启动「好友」功能时在默认情况下为所有用户启用了面部识别,且无法手动关闭。


「整理好了,你的手机现在看起来是否轻盈了一些?」


2019 年,NBC News 等媒体曝出:「Ever」利用其收集的用户照片训练人脸识别算法,而且未在其隐私条款中写明,严重侵犯了用户的隐私权。此外,他们还将训练出的算法卖给了执法机关和军方。

这一信息的披露给 Ever 造成了很大的负面影响,不仅迫使其修订了隐私条款,公司的名称也改为「Paravision」,以远离纷争。

2020 年 8 月 31 日,「Paravision」宣布关闭 Ever,但对外公布的原因是「与谷歌和苹果默认服务之间日益加剧的竞争」。所有用户存储在云端的照片和视频都在当天被删除了,  Ever 只持续了 7 年时间。

在应用关闭之前的一个月,Paravision 还在推销自己的产品,声称其开发的口罩人脸识别算法在美国国家标准技术研究所(NIST)的人脸识别算法测试(FRVT)中获得了准确率第二的好成绩。


除了人脸识别解决方案,该公司还提供一系列活动识别工具。知名科技媒体 techcrunch 曾表示,「虽然面向消费者的应用已经关闭,但公司的业务似乎还在继续」。而且,这部分业务还相当成功。Crunchbase 数据库的资料显示,Paravision 成立至今已经进行了 5 论融资,融资额高达 2900 万美元。


媒体的曝光也引起了 FTC 的关注。经过一段时间的审查,FTC 公布了对于 Everalbum 的最终处理结果。

在 FTC 与 Paravision 达成的协议中,联邦贸易委员会指出,该创业公司的照片存储应用涉嫌欺骗消费者,违反了联邦贸易委员会法案(Federal Trade Commission Act)第 5a 条中禁止不公平或欺骗性行为和惯例的规定,开发商 Everalbum 同意对内容进行删除规制,作为拟议和解的一部分。


FTC 在公告中写道:「FTC 要求 Everalbum 放弃其通过欺骗手段得到的成果。具体来说,该公司必须删除其借助非法所得照片训练出的人脸识别技术。委员们此前曾投票允许这些违反数据保护法的人保留其借助非法所得数据构建的算法和技术,此次命令是一次重要的路线修正。」


这项决定可能会对 Paravision 的业务带来一些麻烦。据《连线》报道,该公司最近刚刚与美国空军签署了一项价值 200 万美元的合同。FTC 这项命令颁布之后,Paravision 之前开发的人脸识别算法将无法用于该合同,之后的其他业务也可能受到影响。


那些科技巨头怎么办?


这项决定得到了法律人士的支持。乔治城大学法律中心的 Lindsey Barrett 表示,「这是一种有意义的补救措施,可以让滥用公众隐私的业务成为一门有风险的业务,而不是像原来那样安全、有利可图」。

这一决定也可能对几家科技巨头产生重要影响。奥巴马前科技顾问 Ashkan Soltani 发文写道:「想象一下 Facebook 或 Google 这样的公司被要求删除其类似算法会是什么结果。可能最后删得核心模型都不剩了。」


在 FTC 发布这项命令之际,Facebook、Google 等科技巨头正面临严格的反垄断调查。它们的部分收益来自免费产品,而后者产生了大量的数据。这些数据的获取是否合法将决定其产品的去留。

目前看来,这些公司可能难逃指控。2019 年,谷歌因未经家长允许收集儿童信息被罚 1.7 亿美元。但当时,谷歌只被勒令删除了数据,算法和从数据中提取的信息得以保留。

此次命令的发布可能会改写类似诉讼的结局。Soltani 表示,「FTC 经常利用类似的小案件来确立规范和政策,以便日后在针对大公司的案件中使用。」 

也有人指出,这个命令执行起来是很困难的。因为你很难知道对方有没有真的将算法删除。「万一有个员工用 U 盘将算法拷回家,回头重新开个公司怎么办」。


看来,这项命令的颁布可能只是个开始,要想真正产生效果还有很多工作要做。

免费的数据,新的「石油」


Everalbum 虽然可能有点小众,但其免费使用、AI 自动分类的形式在今天看起来一点都不陌生,收集数据则更是所有 app 的常规动作。今年 1 月 8 日,Facebook 旗下 WhatsApp 推出的新隐私政策引起了用户们的关注,其中提到 app 收集到的数据已与第三方应用共享。


虽然新的条款中提到「WhatsApp 已不再与 Facebook 分享联系人信息」,但这是否意味着他们之间已不分享任何数据?当人们在不阅读用户条款直接点确定时,全部打钩分享了什么数据,部分同意又共享了哪些信息,我们还不甚清楚。


目前我们能够知道的是,尽管 WhatsApp 明确表示其无法阅读个人信息及语音通话内容,但它仍会收集另外一些数据,如在 WhatsApp 上进行互动的时间和频次,用户所属小组的名称等等。


免费的就是最贵的。


众所周知,在深度学习等 AI 技术大规模应用的今天,大量用户数据被科技公司仔细收集、分析和处理用于各种目的。大体量的数据也是Facebook、亚马逊、谷歌等科技巨头领先业界实力的一部分。英国数学家 Clive Humby 曾说道:「世界上最有价值的资源已不再是石油,而是数据。」


我们拥有的智能设备归自己所有,但其中生成的信息却归企业所有。每个应用程序都拥有对敏感数据的完全访问权限,因为我们已经同意它们的条款和条件,允许其收集数据。


如果为科技公司为收购你的数据开出了价格,你会选择出售吗?应该不会。但是现在,你正在免费这样做。


参考链接:
https://onezero.medium.com/the-ftc-forced-a-misbehaving-a-i-company-to-delete-its-algorithm-124d9f7e0307
https://www.nbcnews.com/tech/security/millions-people-uploaded-photos-ever-app-then-company-used-them-n1003371
https://www.natlawreview.com/article/ftc-settles-allegations-deceptive-practices-photo-storage-app-provider
产业数据隐私算法
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

活动识别技术

活动识别旨通过对代理人的行为和环境条件的一系列观察来识别一个或多个代理人的行为和目标。

推荐文章
暂无评论
暂无评论~