Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

其实,Face ID只是iPhone X TrueDepth相机的冰山一角

11 月 3 日,苹果的粉丝们正在排队购买最新发布的 iPhone X: 苹果公司认为这款旗舰智能手机更新的程度足以跳过数字 9。安息吧,iPhone 9。

iPhone X 新增了硬件设施,包括在其饱受诟病的「刘海」中安装了一个前置传感器模块,这个「刘海」在 iPhone X 的全面屏上留下了难看但却十分必要的「缺口」,前置传感器使得 iPhone X 得以进行感知并绘制深度信息—包括面部识别特征。

所以当你看着 iPhone X 时,它可以正确识别你的面部并采取相应的行为,比如,当只有你在看的时候在锁定屏幕上显示全部的通知内容,如果旁边有别人则仅显示一般的通知。所以,欢迎来到分情景运算时代,以及,准备好迎接共享设备时额外的不便吧。

Face ID 已经让人很兴奋了,但是从 Touch ID 的指纹识别转换到面部生物识别确实引发了人们关于隐私的担忧—人脸是一个富含表情的媒介,不可避免地,面部会在人们没有意识到的情况下传达大量信息。

不可否认的是,面部密码比字符串密码传达了许多额外信息。因此当 iPhone X 到达第一批买家手里之后,我们值得花时间仔细研究一下这个新苹果能做什么(以及不能做什么)。

Face ID

iPhone X 前置面部传感器模块的核心功能模块—苹果叫它 TrueDepth 摄像机系统—支持了一个基于面部生物特征的认证机制。苹果公司为它起名为 Face ID。

要使用 Face ID,iPhone X 的用户需要在 TrueDepth 摄像机前来回移动面部注册生物识别特征。(注意:Face ID 的完整注册过程需要两次面部扫描,所以耗费的时间比下图的 GIF 要稍微长一点。)

面部生物识别系统替代了仍旧在其他版本的 iPhone 中使用的(包括最新发布的 iPhone 8/ iPhone 8 Plus)Touch ID 指纹生物识别系统。


每台 iPhone X 的 Face ID 仅能注册一张人脸——而 Touch ID 却能允许多个不同的指纹。所以现在,即使你能分享你的密码,分享一台设备也变得不那么容易了。

我们之前已经详细介绍了,苹果公司无法访问用户在 Face ID 中注册用以登陆的有深度信息的面部模型。iPhone X 的用户面部的一个数学模型被加密并存储在本地的 Secure Enclave 上。

Face ID 随着时间的推移也会自主学习,一天天的使用后(也就是成功解锁手机),如果系统认为用户脸部一些额外的数学表达对「扩充面部匹配」有用,这些表达也会被创建并存储在 Secure Enclave 上,正如苹果公司的白皮书上关于 Face ID 介绍的那样。这也是为什么你带上眼镜、长出胡须、改变发型之后 Face ID 仍然能够适应你的面部的原因。

关键在于 Face ID 的数据只会存储于用户的手机中(或者在 Secure Enclave 中)。任何想要利用 Face ID 认证系统的 iOS 应用开发人员都无权访问这些数据。认证过程会通过一个专用的认证 API 发生,程序调用该 API,API 在将存储在 Secure Enclave 的 Face ID 数据与输入信号对比之后仅仅返回是或者不是的结果。

议员 Al Franken 写信给苹果公司,要求他们对这些问题给出保证。苹果公司的回信确认了其通常情况下不会保留设备每天解锁的面部图像——除了之前提到的为数不多的几个 Face ID 扩充情况之外。

「日常解锁操作中捕获的面部图像不会被保存,在计算出用来和原有 Face ID 数据对比的数学表达后,图像就会被删除,」苹果告诉 Franken。

苹果公司的白皮书进一步揭示了 Face ID 的运作方式—比如,其中特别提到,当有人试图解锁 iPhone X 时,TrueDepth 摄像机的点投影模块「会投影并读取超过 30,000 个红外线点来塑造面部的深度图像」,(系统会追踪注视的目光,这也意味着用户需要积极注视手机屏幕激活 Face ID),并获取 2D 的红外图像(通过模块的红外线摄像机)。这保证 Face ID 在黑暗中照常运转。

「这个数据被用于创建 2D 图像和深度图序列,该序列在电子签名后,会被发送至 Secure Enclave,」白皮书上说道。「为了应对数字和物理的双重欺骗,True Depth 摄像机将 2D 图像和深度图捕获的序列随机化,映射到一个设备特定的随机模式。A11 仿生处理器的神经引擎的一部分——保护在 Secure Enclave 上——将数据转化为数学表达并与注册的面部数据的表达进行对比。这个注册的面部数据是一系列的动作之后捕获到脸部的数据表达。」

所以只要你对苹果公司的安全和工程质量有信心,Face ID 的架构可以让你安心——那个用以解锁你的设备、在各种应用里验证你的身份的核心加密面部模型,永远不会在任何地方共享。

但 Face ID 实际上只是 iPhone X 的 TrueDepth 相机模块技术的冰山一角。

通过 ARkit 进行面部追踪

苹果公司打算允许开发者使用手机的深度感知模块追踪用户面部表达,从而为 iPhone X 用户提供一些炫酷的客户体验,尤其是基于面部跟踪的增强现实。增强现实是苹果公司新的重点关注领域—在今年夏天的 WWDC 活动中,苹果为开发者搭建增强现实应用提供了 ARKit 支持框架。

ARKit 不局限于 iPhone X,通过前置摄像头进行面部追踪的 ARKit 也是如此。这也是苹果新一代旗舰手机的一大功能。

「ARKit 和 iPhone X 在增强现实应用中实现了稳健的面部追踪这一革命性功能。看看你的应用是如何检测用户脸部的位置、拓扑结构和表达的吧,这些应用都实现了高准确性的实时检测,」苹果公司在其开发者页面中如是写道,并继续说明一些 API 的潜在使用方法—比如应用「实时自拍特效」或是使用用户的面部表达来「驱动 3D 角色」。

用户在此处展示的是苹果的新型动画表情 animoji。也就是当苹果宣布推出 iPhone X 时在舞台上演示的动画表情特征(animated emoji characters),允许用户虚拟佩戴上表情特征,就好像戴上了面具一样,同时这种表情特征也会记录用户所说的话(或者是面部的表情)。

所以 iPhone X 用户可以自动「戴上」外星人、猪、狐狸甚至是 3D 便便的表情。但是,这只是一个开始。借助 iPhone X,开发人员可以访问 ARKit 进行面部追踪,增大自己的面部增强体验—比如 Snap 应用中已经展示的面部面具。

「这项新的功能可以在 6 个自由度上实现稳定的面部识别和位置追踪。面部表达也可以实时追踪,应用提供了一个合适的三角形网格和加权参数,能够表达受检测面部中超过 50 个特定的肌肉运动。」苹果公司写道。

值得强调的是,使用此 API 的开发人员无法访问 TrueDepth 相机系统可以捕获的数据点。这不是重新创建被锁定在 Secure Enclave 的 Face ID 模型——那个苹果大力宣传其准确性,失败率仅有 1/100,0000 的模型。

但显然,开发人员获得了一些非常详细的脸部图,足以让他们构建功能强大的用户应用体验 -- 比如 Snap 花哨的面具,它们确实看起来像面彩一样附着在人们的皮肤上。对于应用来说,读取人面部表情试图表达的信息—比如其感受或是喜好,这就足够了。



(iPhone X 上的另一个 API 通过 TrueDepth 相机实现增强现实捕捉——苹果表示,「会返回一个体现了 TrueDepth 相机全部功能的图样」,这这表明该 API 会返回照片 + 视频 + 深度数据(当然没有苹果在 Face ID 里使用的那么详细)- 可能旨在支持额外的视觉特效,比如照片应用的背景模糊。)

现在我们来看看苹果公司正在做的事情。没错,它保护了使用 iPhone X 的深度感知硬件生成的脸部数学模型并且——通过 Face ID——成为解锁手机和进行身份验证的关键。

但它同样也在普及脸部映射和面部追踪等技术,支持其他应用,比如有趣的动画表情和自拍镜头,使用这一功能完成不同目的。甚至,是协助人们模拟试穿试戴小饰品(参见 Warby Parker 的例子)亦或是通过面部表情驱动的访问界面。(我们交谈过的一个 iOS 开发者 James Thomson—计算机应用 PCalc 的制造者—表示他很好奇「是否可以将面部追踪作为辅助工具,为不能自如控制动作的人群提供替代的控制方法」)

然而,会有一些公司和开发人员想要实时跟踪面部表情用来:投放对于观看者表情极为敏感的定向广告,然后从营销目的出发,进行更细化的用户分析。这又是一个技术进步引起的个人隐私侵害。

很明显,苹果已经意识到该问题存在的潜在风险。App Store 中的审查条款规定,开发者必须在获得用户同意的前提下才能收集「深度的面部映射信息」,并明确禁止开发者将通过 TrueDepth 摄像系统收集到的用户数据用于广告或营销。

苹果公司在 App Store 评论指南 的 5.1.2 (iii) 条中明确指出:

从 HomeKit API 或使用深度面部映射工具(例如,ARKit,相机 API 或 Photo API)收集得到的数据不得用于营销或其他基于用户信息的数据挖掘,包括授权第三方进行挖掘。

苹果公司还禁止开发人员使用 iPhone X 的深度感应模块创建用户配置文件,避免对使用该手机的未知客户的识别和跟踪 - 在 5.1.2(i)中指出:

禁止尝试或怂恿他人使用通过深度面部映射工具(例如 ARKit,相机 API 或 Photo API)收集到的数据,或者是以所谓「匿名」、「汇总」或其他不可识别的方式收集到的数据来识别匿名用户或重建用户配置文件。

与此同时,策略中的另一个条款(2.5.13)则禁止开发人员将 TrueDepth 相机系统的面部映射功能用于帐户验证。

开发人员必须坚持使用 Apple 提供的 Face ID(或其他 iOS 认证机制)专用 API 接口。所以开发人员基本不能使用 iPhone X 的传感器硬件构建其自己的「Face ID」应用,更别提将这种应用置于 iPhone X 上。

苹果公司也禁止 13 岁以下的孩子使用面部识别的方式进行身份验证。

使用面部识别进行帐户验证的应用程序必须使用 LocalAuthentication(而非 ARKit 或其他面部识别技术),并且必须对 13 岁以下的用户使用备用的身份验证方法。

面部数据的敏感性问题无需说明。因此,苹果公司计划设定一些参数,以完全消除或至少是减少对其旗舰硬件现在提供的深度面部跟踪工具滥用的潜在风险。无论是通过控制对关键传感器硬件(通过 API)的访问方法,还是通过对开发者行为进行约束的方法,抑或评估风险后将应用拒之门外并禁止其获利的方法。

苹果公司的开发者指南提出,「保护用户隐私在苹果生态系统中是最重要的,开发人员应当谨慎处理个人数据。在满足客户期望的情况下,要确保遵守相关法律和苹果开发者计划许可协议的条款。」

更大的问题在于,这家科技巨头将要如何监督每个 iOS 应用程序开发者遵守规则。(我们想要对苹果进行该话题的采访,但在撰写本文时,他们尚未提供发言人。)

苹果公司会将深度数据提供给 iOS 开发人员——这些开发者以前只能使用 iPhone 7 Plus 较低的分辨率。由于设备具有双摄像头——从理论上讲,现在将面部追踪应用程序的开发变得更简单,这要感谢 iPhone X 中附加的传感器硬件。

由于深度感知能力目前仅局限在少量的 iPhone 模型中,所以开发人员们尚在观望。

在此之前,任何得到访问 iPhone 相机权限的 iOS 应用都可以使用前置相机的视频流。也就是说,这些应用都可以通过算法(参考深度数据)来追踪面部表情。

所以,关于面部数据和 iPhone 的隐私风险并非一个全新的问题,只不过通过 iPhone X 得到升级的硬件给这个问题做出了一个更好的定义。

权限问题

值得注意的是权限问题。在应用程序访问摄像头前,用户必须给予额外的权限,以便该程序能够访问 iOS 的脸部映射或深度数据 API。

苹果公司的开发人员指南中指出,「您所开发的应用程序描述中应该让用户知道该应用程序要求哪些访问权限(例如位置,联系人,日历等),如果用户没有授予许可,应用程序的哪些方面将无法正常工作。」

应用程序在后台状态时也无法从 API 中获取数据。因此,即使用户已经同意应用程序访问相机,应用也只有在用户频繁使用时才能够获取面部映射或深度数据。所以应用程序不可能一直通过面部数据追踪用户,除非用户一直使用他们的应用程序。

尽管用户不阅读或无法理解数字服务条款与条件一直存在的问题,(而且苹果有时会给予某些应用程序额外的权限 - 例如苹果公司曾让 Uber 在后台工作时也能够记录 iPhone 用户的屏幕记录,但这是一个例外,而非常规处理。)

除此之外,某些将相机作为其核心功能的热门应用程序(比如 Facebook,Snap,Instagram 等社交分享应用程序),也非常可能要求用户必须给出 TrueDepth API 权限才能用这个程序。

所以,用户做出的「选择」可能会导致他们被最喜欢或最常用的应用程序通过面部数据追踪。

我们与一位 iOS 开发人员聊了聊,这位开发人员认为,那些对 TrueDepth 模块中的传感器会增加个人隐私暴露的担心都是没必要的。他提出:「在某种程度上,只要得到用户许可,你可以用 2D 前置摄像头完成全部这些操作——增加的深度数据并不会真的对事情做出任何改变。」

另一位开发者称,苹果公司通过新的 API 得到的深度数据的分辨率仍然「相对较低」——但与此同时,这也是「比 iPhone 7 Plus 深度数据略高的数据」。虽然这位开发者尚未对 TrueDepth API 进行测试以证明其假设。

他们告诉我们:「我们已经使用了 iOS 11 深度数据 API(在 TrueDepth 之前;在 WWDC 上推出的那些),这些用 iPhone 7 Plus 提供的数据得到的结果分辨率是相当低的(<100 万像素)。」

我们联系的大多数 iOS 开发者还在等 iPhone X 到手才开始研究苹果公司提供的 API,看看有什么其他可能。

尽管,最终决定权还是在 iPhone X 的个人用户手里:他们来决定是否要相信一家公司或者一个应用开发者,给予他们使用相机的权限,进一步来说,给予了他们用苹果在 iPhone X 里面布置的面部追踪和面部建模工具箱的权限。

但是用户许可的问题仍旧是一个棘手的问题,尤其是考虑到欧盟对公司对个人数据处理的严格规定。

GDPR(General Data Protection Regulation,通用数据保护条例)将于明年 5 月在欧盟 28 个成员国生效。该条例设定了新的关于欧盟公民个人数据处理的责任和义务——也扩大了个人数据的定义。

而且由于美国科技巨头拥有许多欧盟用户,欧洲的新规定促使主流应用程序提高隐私标准——这要归功于违反规定时将背负一大笔罚款的风险。

因为 GDPR 产生的责任归属问题也会延伸到为公司处理个人数据的第三方实体——以苹果公司为例,尚不完全清楚的是,是苹果公司要为处理用户数据的 iOS 开发人员承担风险,还是由应用开发商承担应用(或子处理器)产生的所有的责任和风险。毕竟由于苹果公司与应用开发商的商业关系,这些数据是由苹果公司提供的。

毫无疑问,欧盟法规已经告知苹果公司应如何与应用程序开发商构建合同——例如声明开发人员必须得到用户的许可,以便证明采取了恰当的合同步骤保护用户数据。还可以通过合同限制开发人员使用客户数据,就像之前提到的条款细节那样。

尽管如此,苹果公司让开发商更轻易地大规模地追踪与利用面部数据还是在一定程度上增加了公司的风险。Fox Rothschild 律师事务所的合伙人,隐私和网络安全专家斯科特·韦尔尼克(Scott Vernick)表示:「从理论上讲,每当你将一名新的开发人员引入生态系统时,都会有造成漏洞的风险。因为问题在于:你怎么可能监管所有的应用程序开发者呢?」

有一点很确定:应用开发者想要获得欧盟用户的个人数据——面部数据无疑属于个人数据——需要遵守的隐私条款数量和水平都会在明年急剧攀升。

以 Snap 为例。当 Snap 向 iPhone X 用户请求相机使用权限时(见下面的截屏)使用的是现在的常用措辞,而这类通用措辞并不满足欧洲的许可标准——这类措辞甚至没有明确指出需要相机权限的原因。也并未说明是否会进行面部追踪。仅凭一个模糊的「更多」可能不会满足将来的需求。

GDPR 还给予欧盟公民询问公司拥有哪些个人数据,并要求删除其个人数据的权利——这就要求公司拥有适当的流程以 A)明确知道他们所持有的每个用户何种个人数据;B)具有能够根据需要删除特定用户数据的系统。

Vernic 认为 GDPR 条例对 iPhone X 启用面部追踪功能会产生很大的影响,他认为开发人员在使用苹果公司的工具前要确保他们可以对用户信息进行「适当的披露」并遵守了「相应的权限条款」,否则可能会面对违反即将出台的法律的风险。

他表示,鉴于 GDPR 在 2018 年 5 月启用,披露与权限问题会在欧盟方面被无限放大。「我想你会看到欧盟方面对于『第三方到底能够拿到哪些信息』这一问题表现出相当的兴趣。因为欧盟想要确认隐私条款得到了很好的遵守——以及数据删除的技术问题得到良好的解决等等。」

那么在面部映射和跟踪发挥作用时,什么样的许可在 GDPR 条例中是合适的呢?像 Snap 那样,一个应用程序只是说它想要使用相机却并未指出该应用可能追踪用户表情可以吗?

Vernick 回答说:「如果从 GDPR 的角度看,你需要进行非常直白甚至于看似无恶不作的用户许可披露才能过关。」「我还没有仔细思考,隐私条款会由 Facebook 公司出面,还是 Facebook 应用开发者出面,还是由启动特定功能的应用开发者出面来进行用户许可,但是无论如何,你必须坦白你想做的一切『坏事』才能满足 GDPR 要求。」

Vernick 继续回答道:「GDPR 的存在就是为了确保数据仍旧是消费者的数据,而非技术公司的数据或者是应用开发者的数据。GDPR 在一开始就提出,每个控制或处理欧盟公民数据的国家都必须就应用程序、产品或服务的用途达成明确的一致。欧盟公民也有权删除该信息。或者有其他方式可以收回或移动数据。所以这些普遍通用的规则在这里将在这里适用,甚至更为重要。」

当被问及他认为 GDPR 是否能有效提高数字美国以及欧盟数字服务用户的隐私水平时,Vernick 说:「这显然取决于公司。他们的业务与欧盟有多紧密的联系,或者是他们的业务有多少只是在美国设立的。但作为一项监管要求,你会看到世界各地的要求会越来越相似。」

他补充说:「欧盟和美国之间的监管的差异会越来越小。虽然这种情况不会立即发生,或者美国法规不会直接照搬欧洲法规,如果美国法规里出现越来越多类似欧盟法规或 GDPR 协定这样的内容,我不会感到丝毫意外。如果没有预先了解过那些朝着美国改变的方式的话。从技术上讲,持有一套标准也会更高效,因为你不用时刻想着要遵守两套法规。」

「我认为如果由欧盟来制定标准的话监管环境将会好转。」

在 GDPR 的背景下,苹果决定对敏感的用户面部生物特征数据进行加密并且只在本地存储。这是非常有意义的——这一行为将苹果公司所需承担的风险和责任降到最低。

Vernick 说:「如果面部识别功能的使用能以本地加密和存储为前提而开始那就太好了。如果应用程序开发人员偏离了这一前提,哪怕只有部分偏离,哪怕他们没有进行完整的面部映射和坐标,只要存在非法访问的行为那就会有风险产生。该行为与持有其他个人身份信息的行为面临同样的风险。」

他补充:「你每一次收集数据的行为都会得到执法部门的关注,因为执法部门一般都希望在过程中占有一席之地。现在,苹果公司似乎有点头痛,因为它不能给出它没有的东西——信息并未存储在苹果公司,而是存储在设备上。但是,如果违反该原则,无论违反原则的是不是应用程序开发人员,苹果公司都会成为靶子——这将会引发一系列问题,其中包括执法部门到底在监管什么,以及为什么要对这一问题进行监管,等等。」

「至少这些是面部识别功能所面临的一些法律方面的挑战。」

入门iPhone XFace ID智能手机智能相机GDPR
暂无评论
暂无评论~