Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Yuanyuan Li作者Yuanyuan Li编辑

3D重建:硬派几何求解vs深度学习打天下?

一直以来,研究人员都希望能够赋予机器和人类感官一样的感知,其中就包含视觉。作为人类最重要的感官之一,人类接受到的信息中超过 70% 来源于双眼。人的眼睛可以感知到 3D 信息,由于双目视觉的存在,即使面对一张照片也可以比较轻易的从中获取深度信息。然而,这对计算机来说却是一个难点——3D 世界中形状不同的物体可以在 2 维世界中拥有一模一样的投影,3D 形状的估计实际上是一个非适定性问题(ill-posed problem)。传统研究主要利用各类几何关系或者先验信息,而近年来随着深度学习的流行,对几何方法的研究似有所忽视。

不久之前,加州大学伯克利分校马毅教授也在微博表示,「……没有任何工具或算法是万灵药。至少在三维重建问题上,没有把几何关系条件严格用到位的算法,都是不科学的—根本谈不上可靠和准确。」

本文试图对 3D 重建做一个简单介绍,并对目前流行的两类方法进行探讨和对比。

术语介绍 (Terminology)

3D 重建是指对物体的真实形状和外观的获取过程,其建模方法可以分为主动式(Active method)和被动式(Passive method)。

主动式(Active method):

在主动式方法中,物体的深度信息是给定的——这可以通过使用激光等光源或能量源向物体发射信号,然后解析返回的信号来获得——重建主要是利用数值近似来还原物体的 3D 轮廓。其中几种主要的方法有:

  1. 莫尔条纹法:这是由 Andrew P. Witkin 在 1987 年提出的一种方法,当时他还在 SRI international 的 AI 中心工作。莫尔条纹法依赖的是栅栏状条纹重叠下所产生的干涉影像。该方法的优点是精度高,比较稳健,但是对物体的要求很高——表面必须具有规则纹理。

  2. 结构光法:结构光法对物体本身的颜色和纹理稳健,它使用投影仪将被编码的结构光投射到被拍摄物体身上,然后由摄像头进行拍摄。由于被拍摄物体上的不同部分相对于相机的距离和方向不同,结构光编码的图案的大小和形状也会发生改变。这种变化可以被摄像头捕获,然后通过运算单元将其换算成深度信息,再获取三维轮廓。根据编码方式的不同,可以分为直接编码(direct coding)、时分复用编码(time multiplexing coding)和空分复用编码(spatial multiplexing coding)。结构光法实现简单,目前已经大量运用在工业产品中,比如微软的 Kinect,苹果的 iPhone X。但是该方法受强光影响比较大,也受到投影距离的限制。

  3. 三角测距法:该方法以三角测量原理为基础,实际上大量运用了几何中相似三角形的原理。三角测距法要求测量系统包含一个激光发射器和一个 CCD 图像传感器。激光发射器发射的一束激光被物体反射后被图像传感器检测到,通过对比在物体发生位移后图像传感器检测到的激光的偏移,可以求解出发射器与物体之间的距离。这种方法的精度较高,成本也低,因而被广泛运用在民用和商用产品中,比如扫地机器人。

被动式(Passive method):

被动式方法在 3D 重建过程中不会与被重建物体产生任何「交互」,主要是利用周围环境获取图像,然后通过对图像的理解来推理物体的 3D 结构。可以分为三类:

单目视觉法(Monocular stereo vision)

主要使用一台摄像机拍摄一张照片来进行 3D 重建。其中又分为:

  1. 阴影恢复法 (Shape From Shading,SFS):利用图像的阴影来估计物体的轮廓特征,要使用几种不同光照条件来对比图像的明暗程度和得到的阴影,来估计物体的深度信息。可以想到,SFS 要求光源参数准确,因而在具有复杂光线的场景下无法使用。

  2. 纹理恢复形状法 (Shape From Texture,SFT):SFT 主要研究纹理在经过透视等变形后在图像上的变化——如使用鱼眼镜头拍摄的棋盘格子照片,照片边缘的格子会被拉扯变形——并通过这种变形来逆向计算深度数据。该方法要求对畸变信息的了解,同时对物体表面的纹理也有很多限制,很少运用在实际产品中。

双目视觉法(Binocular stereo vision)

在这种方法中,图像是由两个处在不同位置的相机同时对物体进行拍摄而获取的,或者由一个相机不断移动到不同的视点对物体进行拍摄。显然,这一方法试图模拟人类利用双眼感知图像视差而获取深度信息的情况。双目视觉法依赖于图片像素匹配,可以使用模板比对或者对极几何法。

立体视觉法(Multi-view stereo,MVS)

立体视觉法最初是由上述两个研究自然发展而来的,立体视觉法将多个相机设置于视点,或用单目相机在多个不同的视点拍摄图像以增加稳健性,见图 1 示例。在发展的过程中,这一研究领域遇到了许多新的问题——比如,计算量暴增——并演变成一种不同类型的问题。目前这一研究领域十分活跃。

图 1:使用单目相机在不同视点拍摄多张照片用于 3D 重建。图源:Multi-View 3D Reconstruction https://vision.in.tum.de/research/image-based_3d_reconstruction/multiviewreconstruction

早期的立体视觉研究主要在实验室环境中进行,所以相机参数都是已知的。但随着研究者越来越多的使用网络上下载的照片等非实验室环境下获取的图像,在重建工作之前必须首先求得相机位置和 3D 点来估计相机参数

术语「相机参数」是指描述相机配置的一组值,即,由位置和方向组成的相机姿势信息,以及诸如焦距和像素传感器尺寸的相机固有属性。目前有许多不同的方法或「模型」来参数化这种摄像机配置,一般最常用的是针孔摄像机模型。

这些参数是必须的,因为相机将拍摄的 3D 世界的物体投影到 2D 图像上,而现在我们需要用 2D 图像反推 3D 世界信息。可以说,相机参数是确定物体的世界点和图像点之间相互关系的几何模型的参数

目前计算摄像机参数主要使用的算法是 Structure from Motion(SfM),MVS 发展成功也在很大程度上依赖于 SfM 的成功。与 SfM 齐名的还有 VSLAM 算法,两者都依赖于图片像素匹配以及场景是刚性的假设。SfM 最常用于计算无序图像集的相机模型,通常是离线的,而 VSLAM 专门从视频流计算摄像机的位置,通常是实时的。

Structure from Motion

大概在初中的物理课上,我们接触过小孔成像的原理。以图 2 为例,我们考虑如何将物体 X 投影到图像上的 x 点。投影中心是 c——又称为相机中心(camera center)——以此为原点可以画出相机坐标系,则物体 X 的坐标为(X,Y,Z)。经过相机中心,并垂直于图像平面的中心线被称为主轴(principle axis),也就是图 2 中的 Z 轴。主轴和相机平面的交点被称为 principal point,并成为图像坐标系的原点 p。p 点和相机中心 c 点的距离为 f,也就是焦距。

图 2:针孔摄像机模型。图源:Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003.

根据相似三角形原理(图 2 右侧),我们可以轻易得出相机坐标系和图像坐标系的关系:Z/f = Y/y = X/x

整理后可以得到:

 x = f*X/Z

 y = f*Y/Z

 z = f

即点(X,Y,Z)在图像坐标系中对应的坐标是(fX/Z,fY/Z,f)。这个映射关系对坐标 Z 来讲是非线形的,我们需要通过扩展坐标维度对其线性化,从而进行矩阵运算:

上式中我们使用的图像坐标系以成像平面的中心为原点,实际上我们一般会使用图像的一个角——一般是左上角——作为原点,以水平线为 x 轴,垂直线为 y 轴。因此我们需要对成像坐标系进行缩放和平移,来吻合像素的实际坐标。将图像坐标系上的点在 x 和 y 轴方向上分别缩放 m_x 倍和 m_y,在分别平移 p_x 和 p_y 个点,调整后的矩阵变为:

其中 f_x = f*m_x,f_y=f*m_y,有时也写作\alpha_x,\alpha_y。

上式中,等式右边的第一个矩阵就是相机的内参矩阵 K:

s 是相机的 skew parameter,一般都设置为 0。

接下来,我们需要考虑在上述过程中物体的坐标是如何确定的——实际上,它的坐标是以相机为原点计算的。但相机的位置是可以随时移动的,物体在相机坐标系中的位置也会随之移动,我们需要将物体的坐标转换到世界坐标系中,来获得稳定的坐标位置。

图 3:相机坐标系到世界坐标的转换。图源:Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003.

同样,相机坐标系和世界坐标系之间的转换可以通过缩放和平移来达到,写作:

X_cam = RX + t

其中 X_cam 和 X 分别是一点在相机坐标系和世界坐标系下的坐标表示,R 为 3x3 的旋转矩阵,t 为 3x1 的平移向量。为了统一运算方式,我们将上式也改写为矩阵形式:

将相机内外参矩阵结合起来,我们就可以获得完整的物体从 3D 世界中被投射到 2D 图像中的坐标转换关系:

完整的相机矩阵可以总结为:

相机外参负责世界坐标系到相机坐标系的转化,内参则负责接下来从相机坐标系到 2D 图像坐标系的转换。

SfM 算法可以在给定一组图像的情况下,直接输出每张图像的相机参数,以及图像中可见的一组 3D 点,一般被编码为 tracks。

图 4:SfM 算法一般流程。图源:Chippendale, Paul & Tomaselli, Valeria & D'Alto, Viviana & Urlini, Giulio & Modena, Carla & Messelodi, Stefano & Mauro Strano, Sebastiano & Alce, Günter & Hermodsson, Klas & Razafimahazo, Mathieu & Michel, Thibaud & Farinella, Giovanni. (2014). Personal Shopping Assistance and Navigator System for Visually Impaired People. 10.1007/978-3-319-16199-0_27.

SfM 算法的第一步是从图片中抽取一系列特征(feature detector),一般使用尺度不变特征转换 (Scale-invariant feature transform 或 SIFT)。SIFT 通过对图像使用连续高斯模糊来获得不同的图像尺度并在其上寻找可能的关键点,然后舍弃掉其中不明显的关键点。SIFT 算法检测到的关键点通常对光线、视角等变化相当稳健,甚至受视线遮蔽的影响也不大。SIFT 算法的另外一个优点就是计算速度非常快,基本可以满足实时运算。

图 5:SIFT 算法示例。图源:维基百科 URL:https://en.wikipedia.org/wiki/Scale-invariant_feature_transform

确定特征后,一般需要使用 K-D Tree 算法对不同图像中的特征最近邻匹配(matching)。匹配完毕后还需要去除重复匹配和不满足几何约束的匹配,否则误匹配会造成较大的误差,一般使用采样一致性算法 RANSC 八点法来计算几何约束。

图 6: 特征匹配示例。图源:CS 6476: Computer Vision Project 2: Local Feature Matching URL:https://www.cc.gatech.edu/~hays/compvision/proj2/

通过筛选的匹配会被合并为 tracks 用于求解相机参数,估算相机参数场景的稀疏结构。

由于算法对估计的相机模型的准确性非常敏感,因此通常还需要用 bundle adjustment 优化估计结果,主要思想是将求得的 3D 点反向投影到图像中,与初始坐标进行对比并根据误差容忍度进行删减,然后重新调整相机参数

SfM 有它的缺陷,一个最重要的问题就是由于 SfM 依赖于特征可以跨视图匹配的假设,如果这个假设不满足 SfM 就完全无法工作了。比如如果两张图片之间的视点差距太大(一张从正面一张从侧面)或者局部被遮挡,建立特征匹配是极其成问题的。此外,SfM 由于要通过捆绑调整进行优化,整个算法的运算速度极慢,且速度还会随着图像的增加而大幅下降。

深度学习

使用深度学习,研究者实际上希望能够跳过特征抽取、特征匹配、相机参数求解等手动环节,直接由图像——有时仅需一张——模拟 3D 物体的形状。同时,神经网络应该不仅学习可视部分的结构,同时也能够推理被遮挡部分的结构。

前面提到,3D 物体的表示方法一般有深度图 (depth), 点云 (point cloud), 体素 (voxel), 网格 (mesh) 四种。所以深度学习也可以依次分为学习图像到深度的表示、图像到体素的表示等,不过也有研究试图融合多种表示。由于对输出数据形式有要求,大部分研究使用了 decoder-encoder 结构的神经网络,比如 3D-R2N2 网络 [1](见图 7)。该网络由三个部分组成:2D 卷积神经网络(2D-CNN)组成的 encoder,3D 卷积 LSTM(3D-LSTM)作为中间架构,以及 3D 反卷积网络(3D-DCNN)组成的 decoder,能够将输入图像转化为 3D 物体的体素表示。

图 7:3D-R2N2 模型结构。图源:C. B. Choy, D. Xu, J. Gwak. (2016). 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction. ECCV.

给定来自任意视点的对象的一个或多个图像,2D-CNN 首先将输入图像 x 编码为低维特征 T(x)。然后,根据给定的编码输入,3D-LSTM)单元选择性的更新它们的单元状态或维持原状态。最后,3D-DCNN 解码 LSTM 单元的隐藏状态并生成 3D 概率体素重建。[1] 指出使用基于 LSTM 的网络的主要原因是这样的网络可以有效应对物体被遮挡的情形,因为网络仅更新对应于物体可见部分的单元。如果后续视图显示先前被遮挡的部分,且这部分与网络预测不匹配,则网络将更新先前被遮挡的部分的 LSTM 状态,但保留其他部分的状态。

但使用体素表示带来的一个挑战是模型的计算量会随着分辨率增高指数级的增长,如果分辨率限制到了 32*32*3 以下以降低对内存的要求则会使得输出结果丢失很多细节。有些研究通过对输出空间进行分层划分,以实现计算和存储效率 [2, 3, 4],其中 Maxim Tatarchenko 等学者提出的 Octree 网络 [4] 取得了显著的分辨率的提高,甚至可以达到 512^3。

在计算量上,使用神经网络学习深度图会更有优势。以 D. Eigen 等学者的研究 [5] 为例,他们可以仅使用卷积层,同时试图将更高的分辨率显式的编码进神经网络的结构中。

D. Eigen 等学者提出的神经网络分为两部分:全局粗粒度网络和局部细粒度网络(见图 8)。粗粒度网络的任务是使用场景的全局视图来预测整个深度图结构。该网络的上层完全连接,因此在其视野中可以包含整个图像。粗粒度网络包含五个卷积和最大池的特征提取层,后面是两个全连接层。输入,特征映射和输出大小也在下图中给出。与输入相比,最终输出会被下采样 4 倍。细粒度网络会接收到粗粒度网络的预测和输入图片,以完成对粗略预测和局部细节的对齐。细粒度网络除了用于连接输入图像和粗略预测的串联(concatenation)层以外,只包含卷积层。

图 8:D. Eigen 等学者提出的神经网络模型结构。图源:D. Eigen, C. Puhrsch, and R. Fergus. (2014). Depth map prediction from a single image using a multi-scale deep network. NIPS.

这个模型在当时取得了 state-of-art,但实际上预测还是十分粗糙的,有时模型的预测只能看出物体的大概轮廓。为了进一步提高分辨率,D. Eigen 等学者此后也对模型进行过一些改进。包括将网络从两部分扩展到三部分,从而提高一倍分辨率,但仍然只有输入图像分辨率的一半。

神经网络应用在剩余的两种数据形式——点云和网格——上的话,还要额外面对一个困难:点云和网格不是规则的几何数据形式,无法直接使用。稍早一点的研究,比如 D. Maturana 和 S. Scherer. Voxne 提出的 Voxnet [6] 以及 Z. Wu 等学者提出的 3D shapenets [7] 都是先将数据转化为体素形式或者图像表示,然后在体素化的数据上进行训练。但这会极大的增加计算负担,同时还可能模糊数据。此后有一些研究试图令神经网络学习网格的几何特征,比如 Jonathan Masciy 等学者提出的 Geodesic convolutional neural networks [8]。

总的来看,如果需要从四种表现形式中选择一个的话,使用体素的重构精度一般是最高的,使用深度图最容易将重建任务迁移到深度学习上。目前的 state of the art 是由 Stephan R. Richter 和 Stefan Roth 提出的 Matryoshka Networks [9],该网络使用由多个嵌套深度图组成的形状表示。

损失函数方面,由于数据的形式不一,目前没有统一使用的损失函数,常用的有 scale-invariant error 和交叉熵等。衡量精度使用的标准则以 RMSE 和 IoU 居多。

几何方法对比深度学习方法

Maxim Tatarchenko 等学者 [10] 认为,实际上目前表现最好的深度学习算法实际上学习到的是图像分类,而非图像重建。他们设计了几个简单的基线算法,一个为 K-means 算法,将训练集中的形状聚类为 500 个子类别;一个 retrieval 算法将数据集中的形状投射到低维空间中求解和其他形状的相似度;还有一个最近邻算法(Oracle NN)根据 IoU,为测试集中的 3D 形状找到与训练集最接近的形状。这个方法不能在实践中应用,但可以给出检索方法应对这一任务所能取得的表现的上限。

在 ShapeNet 数据集上的测试显示,没有任何一个神经网络算法可以超过最近邻算法(Oracle NN)的表现,也就是说,测试结果中 mean IoU 最高甚至还不超过 0.6。

图 9:模型在测试数据上的表现示例。图源:M. Tatarchenko, S. R. Richter, R. Ranftl, Z. Li, V. Koltun, T. Brox. (2019). What Do Single-view 3D Reconstruction Networks Learn? arXiv:1905.03678v1.

图 9 给出了几个模型在一些测试数据上的表现,可以看到作者设计的基线模型的表现基本与神经网络相同。每个样本右下角的数字表示 IoU,基线模型通过搜索相似的形状可以保证整体形状的正确性,但细节可能不正确。

另外一个令人惊讶的发现是,如果将各个对象类的 IoU 分数的直方图可视化的话,会发现神经网络和两个基线方法的类内分布十分相似。然而,这两个基线方法本质上是图像识别方法。

作者对 55 个类和所有测试方法的直方图进行了 Kolmogorov-Smirnov 检验。该检验的原假设是两个分布没有表现出统计学上的显着差异。图 10 中的右侧给出了三个例子,左侧的热图(heat map)中的每个单元显示了统计测试不允许拒绝原假设的类的数量,即 p 值大于 0.05。可以看到,绝对大多数类都不能拒绝深度学习方法和两个基线方法的直方图分布一样的原假设。而最近邻方法则和其他方法有比较明显的不同。

图 10:测试方法的 IoU 直方图对比及 Kolmogorov-Smirnov 检验结果。图源:M. Tatarchenko, S. R. Richter, R. Ranftl, Z. Li, V. Koltun, T. Brox. (2019). What Do Single-view 3D Reconstruction Networks Learn? arXiv:1905.03678v1.

即便我们忽略深度学习到底在训练中习得了什么这一问题,而仅关注神经网络的重建表现,D. Eigen 等学者的研究 [1] 中所展现出来的结果也是十分值得讨论的。作者使用了 4 种不同类别的高质量 CAD 模型,通过手动编辑纹理将其纹理强度增强到低,中和高,并且渲染出了不同视角。比较用的 MVS 算法是 Patch-Match,通过 global SfM 估计相机位置。重建效果由体素表示,用 IoU 衡量,由于 Patch-Match 生成的 3D 物体是由网格表示的,还需要将其体素化用于比较,最终输出大小为 32×32×32。

图 11:测试数据示例和比较结果。图源:C. B. Choy, D. Xu, J. Gwak. (2016). 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction. ECCV.

上图第一行给出了使用的测试数据的例子,从左到右依此为具有各种视点的图像和纹理水平从高到低的图像。测试结果很有意思——3D-R2N2 和 Patch-Match 算法的优缺点几乎是完全相反的。从上图 a)中可以看出当 Patch-Match 方法遇上低纹理水平的物体,预测精度会大大下降。另一方面,在满足 Patch-Match 算法的假设的情况下(物体纹理水平较高),Patch-Match 算法的精度远远大于 3D-R2N2,即便输出数据的大小仅有 32x32x32。在学习深度的神经网络研究中我们也有看到,神经网络的预测还是以轮廓为主,细节上面有缺失。作者认为这主要是因为训练数据有偏置,大部分都是纹理级别较低的数据,因为实际上 3D-R2N2 在纹理级别增高以后表现下降了。上图 b)则展示了当视点不足的时候,Patch-Match 算法完全无法运行,而 3D-R2N2 则不受这个影响。但 Patch-Match 算法的精度可以随着视点的增多而得到提升,3D-R2N2 无法重建一样多的细节。

上图(c)到(h)则给出了分别给定 20,30 和 40 个视点的高纹理飞机模型时,3D-R2N2 和 Patch-Match 的表现。其中(c-e)是 Patch-Match 的重建结果,(f-h)是 3D-R2N2 的重建结果。可以看到 3D-R2N2 的预测的确差别不大,而 Patch-Match 则从完全无法辨认的预测提升到了流畅、精细的重建结果。

笔者看到这一结果的时候,感觉这几乎完全是 no free lunch theory 重现。由于深度学习算法仅用一张图像作为输入,可以使用的信息减少了,在适用性增大的同时带来的一定是最优表现的下降。Yasutaka Furukawa 在他的书中 [11] 也有强调,「An MVS algorithm is only as good as the quality of the input images and camera parameters」。

另外,目前深度学习的研究还存在两个问题——如何衡量模型表现以及使用什么训练数据。

前文提到,平均 IoU 通常用作基准单视图重建方法的主要量化指标。但将其用唯一指标可能是有问题的,因为只有 IoU 足够高时,才能表示预测形状的质量。低到中等分数表明两种形状之间存在显着差异。例子见下图。

图 11:不同生成结果的 IoU。图源:M. Tatarchenko, S. R. Richter, R. Ranftl, Z. Li, V. Koltun, T. Brox. (2019). What Do Single-view 3D Reconstruction Networks Learn? arXiv:1905.03678v1.

针对第二个问题,目前深度学习使用的训练集主要是 ShapeNet 数据集。然而,该数据集的测试集中的形状与训练集中的形状非常相似。以 ShapeNet 为数据集训练出的重建模型可以很轻易的找到捷径——它只需要从训练集中检索类似的形状。在 Maxim Tatarchenko 等学者的研究中我们也看到了这一现象。

至此,我们已经讨论了目前常用的一些算法,笔者在表一中对这些算法的各方面表现进行了总结。

未来方向

可以看到,几何算法和深度学习方法的优缺点完全不一样。在条件不允许的时候,用一张图片恢复 3D 结构是有价值的;但当更多数据可获取的时候,尽可能的利用信息一定是更好地选择。并且专注于从单张图像恢复 3D 结构的深度学习研究实际上是假设单张单目图像可以检测到三维信息的,而这从理论上来讲应该是不可能的,这也是为什么大部分生物都有两只眼睛。

此外,在产品化上,如何与具体应用结合——比如如何将三维视觉应用于 AGV、无人驾驶上——是十分值得探索的。这个过程也一定会带来更多的挑战,包括但不限于:

  • 算法的部署、嵌入,嵌入式 SLAM 已经得到了很多的研究,但在 SfM 领域这方面的关注还不足

  • 计算速度的提高,嵌入式系统对算法运算速度的要求是极高的,如何优化目前 SfM、深度学习等计算量巨大的算法,使其满足实时运行的要求

  • 传感器的融合,就像目前无人驾驶汽车的视觉系统往往会部署相机、雷达等多种传感器一样,三维重建走向工业界后一定也需要收集多类数据来应对复杂的视觉环境,这必然要求三维重建系统可以应对不同类型的数据并对其进行综合分析

面对实际运用算法时的将所处复杂环境,几何算法和深度学习方法实际上可以是互补的,并不一定要做二选一的决定。以几何方法做主导,用深度学习强大的特征表达能力来补充几何方法不适用的情况是一种发展趋势。

资源

软件库:

  • PCL(Point Cloud Library,点云库)(http://pointclouds.org (http://pointclouds.org/))

  • Meshlab: the open source system for processing and editing 3D triangular meshes.(http://www.meshlab.net/)

  • Colmap: a general-purpose Structure-from-Motion (SfM) and Multi-View Stereo (MVS) pipeline with a graphical and command-line interface.(https://colmap.github.io/)

教材:

  • Multi-View Stereo: A Tutorial Yasutaka Furukawa(https://www.nowpublishers.com/article/Details/CGV-052)

  • Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003.(https://www.robots.ox.ac.uk/~vgg/hzbook/)

  • D. Scharstein, R. Szeliski. (2001). A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. Proceedings IEEE Workshop on Stereo and Multi-Baseline Vision (SMBV 2001). (http://vision.middlebury.edu/stereo/taxonomy-IJCV.pdf)

  • NYU course slide Lecture 6: Multi-view Stereo & Structure from Motion (https://cs.nyu.edu/~fergus/teaching/vision_2012/6_Multiview_SfM.pdf)

数据集:

  • Shapenet dataset(https://www.shapenet.org/about)

文本作者为机器之心分析师 Yuanyuan Li。她几次转行,本科国际贸易,研究生转向统计,毕业后留在欧洲,选择从事机械研发工作,主要负责图像处理,实现计算机视觉算法的落地。欣赏一切简单、优雅但有效的算法,试图在深度学习的簇拥者和怀疑者之间找到一个平衡。希望在这里通过分享自己的拙见、思想的碰撞可以拓宽自己的思路。

机器之心个人主页:https://www.jiqizhixin.com/users/a761197d-cdb9-4c9a-aa48-7a13fcb71f83

参考文献:

[1] C. B. Choy, D. Xu, J. Gwak. (2016). 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction. ECCV.

[2] C. Hane, S. Tulsiani, and J. Malik. (2017). Hierarchical surface prediction for 3D object reconstruction. 3DV.

[3] G. Riegler, A. O. Ulusoy, H. Bischof, and A. Geiger.(2017). OctNetFusion: Learning depth fusion from data. 3DV.

[4] M. Tatarchenko, A. Dosovitskiy, and T. Brox. (2017). Octree generating networks: Efficient convolutional architectures for high-resolution 3D outputs. ICCV.

[5] D. Eigen, C. Puhrsch, and R. Fergus. (2014). Depth map prediction from a single image using a multi-scale deep network. NIPS.

[6] D. Maturana; S. Voxne. (2015). VoxNet: A 3D Convolutional Neural Network for Real-Time Object Recognition. IROS.

[7] Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang and J. Xia. (2015). 3D ShapeNets: A Deep Representation for Volumetric Shape Modeling. CVPR.

[8] J. Masci, D. Boscaini, M. M. Bronstein, P. Vandergheynst. (2015). Geodesic convolutional neural networks on Riemannian manifolds. arXiv:1501.06297.

[9] S. R. Richter and S. Roth. (2018). Matryoshka networks: Predicting 3D geometry via nested shape layers. CVPR.

[10] M. Tatarchenko, S. R. Richter, R. Ranftl, Z. Li, V. Koltun, T. Brox. (2019). What Do Single-view 3D Reconstruction Networks Learn? arXiv:1905.03678v1.

[11] Y. Furukawa and C. Hernández. (2015). Multi-View Stereo: A Tutorial. Foundations and Trends® in Computer Graphics and Vision. 9(1-2):1-148.

机器之心技术分析师专栏
机器之心技术分析师专栏

由来自世界各地的专业分析师为你解读前沿进展,技术热点和经典论文。我们的分析师团队由来自于各大名校的硕士和博士,以及一线研究机构的研究员组成。

理论3D建模计算机视觉深度学习
91
相关数据
Microsoft机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
马毅人物

加州大学伯克利分校电气工程与计算机科学系教授,BAIR成员。研究兴趣:计算机视觉、高维数据的低维模型、可扩展优化和机器学习、智能机器。近期研究低维模型和深度网络之间的关系、高维数据的稀疏表征和低秩近似、高维数据的聚类和分类、3D图像重建。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

交叉熵技术

交叉熵(Cross Entropy)是Loss函数的一种(也称为损失函数或代价函数),用于描述模型预测值与真实值的差距大小

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

图像重建技术

通过物体外部测量的数据,经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用,显示人体各部分的图像,即计算机断层摄影技术,简称CT技术,后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

特征抽取技术

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

嵌入式系统技术

嵌入式系统,是一种嵌入机械或电气系统内部、具有专一功能和实时计算性能的计算机系统。嵌入式系统常被用于高效控制许多常见设备,被嵌入的系统通常是包含数字硬件和机械部件的完整设备,例如汽车的防锁死刹车系统。

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。“物以类聚,人以群分”,在自然科学和社会科学中,存在着大量的分类问题。聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学,但是聚类不等于分类。聚类与分类的不同在于,聚类所要求划分的类是未知的。聚类分析内容非常丰富,有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

结构光技术

结构光是将已知图案(通常是栅格或水平条)投射到场景上的过程。这些物体在撞击表面时变形的信息来在视觉系统中计算场景中物体的深度和表面信息,如在结构光3D扫描器中使用的。 结构光是一组由投影仪和摄像头组成的系统结构。用投影仪投射特定的光信息到物体表面后及背景后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。

感谢分享~ SIFT应该不能实时检测吧?