2021/02/17 12:59

杜伟编译

密恐警告：超2000万张，全球最大的人眼图像数据集开源了

涵盖 2D 和 3D 特征点、语义分割、3D 眼球注释以及注视向量和眼动类型等因素，德国图宾根大学的研究者创建了全球最大的人眼图像公开数据集——TEyeD。

在当今世界，基于图像的眼动追踪（eye tracking）变得越来越重要，这是因为人眼运动有可能变革我们与周围计算机系统交互的方式。此外，眼动的方式可以识别甚至在某种程度上预测我们的行动和意图，所以眼动分析可以赋能新的应用，特别是与 VR 或 AR 等现代显示技术结合时。例如，人眼注视（gaze）信号连同人机交互的可能性，使得残疾人能够借助专门为其疾症设计的特殊设备来与环境进行交互。在手术显微镜的应用场景中，外科医生必须进行多种控制行为，这时视觉信号可以用于自动对焦。人眼注视行为还可用于诊断精神分裂症、自闭症、阿尔茨海默症、青光眼等多种疾病。在 VR 或 AR 游戏中，人眼注视信号可用于减少渲染资源的计算。

除了人眼注视信息以外，对人眼的观察还可以带来更多信息源。例如人眼闭合的频率可用于衡量人的疲劳程度，这是汽车驾驶和航空飞行场景中的一种有效安全特征。另一个重要的信息源是瞳孔大小，它可以作为估计指定任务中人们认知负荷的基础，然后调整内容（如基于媒介的学习）以更好地适应人的精神状态。最后，借助虹膜特征以及个人的人眼注视行为，人眼相关的信息可以在生物识别过程中得到应用。

近日，来自德国图宾根大学的研究者创建了世界上最大的、统一人眼图像公开数据集 TEyeD，这些图像均通过头戴式设备拍摄获取。具体而言，TEyeD 的创建过程中使用了七种不同的头戴式眼动追踪器，其中两个还结合了 VR 或 AR 设备。TEyeD 中的图像在不同的任务场景中获得，包括乘车、模拟飞行、户外体育运动以及日常室内活动。

此外，数据集中的人眼图像包括 2D 和 3D 特征点、语义分割、3D 眼球注释以及注视向量（gaze vector, GV）和眼动类型。对瞳孔、虹膜和眼睑均提供了特征点和语义分割，视频长度从几分钟到几小时不等。TEyeD 数据集拥有 2000 多万张精心注释的人眼图像，为推动现代 VR 和 AR 应用中计算机视觉、眼动追踪和注视估计领域的研究提供了独特且一致的资源和良好的基础。

论文地址：https://arxiv.org/pdf/2102.02115.pdf

与现有数据集的对比

下表 1 列出了包含人眼特写图像的现有数据集。每个数据集处理特定的问题，例如 Casia 和 Ubiris 数据集借助虹膜识别个人。在 NNVEC 中，对光学向量和眼球位置的直接估计可以补偿头戴式眼动追踪器的位移。

TEyeD 通过使用 7 种分辨率不同的眼动追踪器结合并扩展了以前发布的数据集，合并了现有数据集提供的所有可用注释，并通过 3D 分割和特征点扩展了这些数据集。更具体地说，TEyeD 集成的数据集包括 NNGaze、LPW、GIW、ElSe、ExCuSe 和 PNET。此外，来自研究 [69] 的完整数据也得到了精心注释。

TEyeD 一共包含 2000 多万张图像，是全球最大、利用头戴式眼动追踪器拍摄的图像数据集。

数据集详情

下图 1 展示了 TEyeD 数据集中的示例图像。具体而言，第 1 和第 5 列包含输入图像；第 2 和第 6 列的人眼图像展示了巩膜、虹膜和瞳孔的叠加分割（overlaid segmentation）；第 3 和第 7 列展示了输入图像的特征点，其中红色表示眼睑、绿色表示虹膜、白色表示瞳孔；第 4 和第 8 列展示了计算出的眼球以及眼球中心和注视向量。

下图 2 展示了瞳孔（左）、虹膜（中）和眼睑（右）特征点的对数分布：

下图 3 展示了瞳孔、虹膜和巩膜的区域分布箱形图（左），以及注视向量的对数分布（右）：

下图 4 展示了眼球位置 (x,y) 的分布，以及映射到固定分辨率 192×144 的眼球半径（以像素为单位）箱形图：

注释过程

对于 TEyeD 数据集中的特征点注释和语义分割，研究者同时使用了半监督方法和多注释 maturation (MAM) 算法。与原始算法不同，他们没有用 SVM，而是将卷积神经网络（CNN）与 HOG 特征相结合。此外，研究者还将迭代次数限制在了 5 次，并使用两个竞争模型。其中一个模型包含 ResNet50，并使用 [36] 中的验证损失函数进行特征点回归训练；对于另一个模型，他们将语义分割与 U-Net 和残差块一起训练。

最初，研究者对 2 万张具有特征点的图像进行了注释，并将它们转化成语义分割。然后，他们训练 CNN 并利用 MAM 算法不断进行改进。在 5 次迭代后，ResNet50 特征点转化成了语义分割并与 U-Net 结果进行对比。

具体而言，研究者基于 [30] 中的方法对 3D 眼球和光学向量进行了注释。但是，他们没有使用椭圆形瞳孔，而是使用了椭圆形虹膜，这是因为后者仅受角膜曲率（corneal refraction）的部分影响。

通过结合 2D 特征点、分割和 3D 眼球模型，研究者对 3D 特征点和分割进行了几何计算。由于瞳孔总是位于虹膜的中心，他们考虑了两种不同的 3D 分割和 3D 特征点。

眼动注释则分为了注视（眼球静止不动）、扫视（两次注视之间的快速眼动）、平滑跟随（缓慢眼动）和眨眼。

基准评估

在实验中，研究者将数据分成训练集和验证集。为了避免训练和验证集中出现相同的实验对象，他们将整个记录分配给训练集和验证集的其中一个。

对于评估环境，研究者将基于 C ++ 的 CuDNN 框架用于神经网络模型。测试环境硬件包括一个 4 核心、16GB DDR4 内存的 Intel i5-4570 CPU 和一个 4 GB 内存的 NVIDIA 1050ti。

下表 3 显示了特征点回归的结果。结果表明，如预期一样，较大模型在回归任务上更加有效。

下表 4 得出了同样的结论，其中显示了眼球参数估计的结果：

如上表 3 和 4 所示，与现有规模较小的数据集相比，我们可以看到 TEyeD 数据集具有明显优势。这些结果还表明，如预期的那样，对现实世界场景中拍摄的图像进行跨眼球追踪（cross-eye-tracker）泛化是一项具有挑战性的任务，但通过结合使用 TEyeD 与更复杂的架构可以处理这项任务。因此，无论何时使用一种新的眼动追踪设备都可以轻松解决跨眼球追踪泛化任务，并且无需创建和注释新数据。

下图 5 显示了语义分割的结果：

下表 6 显示了眼动识别的结果。可以看到，注视向量在眼动分类中更加有效，因为它对眼动追踪器的位移做出了补偿。

理论人眼数据集最大开源

相关数据

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

验证集技术

验证数据集是用于调整分类器超参数（即模型结构）的一组数据集，它有时也被称为开发集(dev set)。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

语义分割技术

语义分割,简单来说就是给定一张图片，对图片中的每一个像素点进行分类。图像语义分割是AI领域中一个重要的分支，是机器视觉技术中关于图像理解的重要一环。

来源：CSDN博客

对数分布技术

逻辑分布是一种常用的概率分布，其累积分布函数——逻辑函数（logistics function）—— 常见于逻辑回归（logistics regression）和神经网络。

来源：Wikipedia

人机交互技术

人机交互，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。

来源：维基百科