图像提取

图像提取包括图像的特征检测和特征提取过程。 特征检测是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征检测的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。 特征被检测后它可以从图像中被提取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。 低层次的特征提取方法包括:边缘检测、角检测、区域检测、脊检测等,还有曲度检测以及运动检测。 高层次的特征提取方法包括:1.固定形状匹配方法如阈值、模板匹配和霍夫变换等;2.灵活变形分析方法。 进一步特征提取与降维有关,常用的降维技术有主成分分析法、独立成分分析法、等距特征映射等。

简介

图像提取包括图像的特征检测和特征提取过程。

特征检测是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征检测的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。

特征的定义:

至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分,它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征检测最重要的一个特性是“可重复性”:同一场景的不同图像所提取的特征应该是相同的。

特征检测是图象处理中的一个初级运算,也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分,那么这个算法一般只检查图像的特征区域。作为特征检测的一个前提运算,输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。

有时,假如特征检测需要许多的计算时间,而可以使用的时间有限制,一个高层次算法可以用来控制特征检测阶层,这样仅图像的部分被用来寻找特征。

由于许多计算机图像算法使用特征检测作为其初级计算步骤,因此有大量特征检测算法被发展,其提取的特征各种各样,它们的计算复杂性和可重复性也非常不同。

特征的分类:

边缘

边缘指组成两个图像区域之间边界(或边缘)的像素。一般一个边缘的形状可以是任意的,还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。

局部地看边缘是一维结构。

角指图像中点似的特征,在局部它有两维结构。早期的算法首先进行边缘检测,然后分析边缘的走向来寻找边缘突然转向(角)。后来发展的算法不再需要边缘检测这个步骤,而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。

区域

与角不同的是区域描写一个图像中的一个区域性的结构,但是区域也可能仅由一个像素组成,因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。

区域检测可以被想象为把一张图像缩小,然后在缩小的图像上进行角检测。

长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线,此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路,在医学图像中它被用来分辨血管。

特征提取

特征被检测后它可以从图像中被提取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。

低层次的特征提取方法包括:边缘检测、角检测、区域检测、脊检测等,还有曲度检测以及运动检测。

高层次的特征提取方法包括:1.固定形状匹配方法如阈值、模板匹配和霍夫变换等;2.灵活变形分析方法。

进一步特征提取与降维有关,常用的降维技术有主成分分析法、独立成分分析法、等距特征映射等。

[描述来源:Wikipedia; URL:https://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E6%A3%80%E6%B5%8B]

[描述来源:Wikipedia; URL:https://en.wikipedia.org/wiki/Feature_extraction]

[描述来源:Nixon, M. S., & Aguado, A. S. (2012). Feature extraction & image processing for computer vision. Academic Press.]

发展历史

描述

早期的图像特征检测和提取技术主要采用边缘检测、角检测等方法,后来通过区域检测进一步提取出图像的显著特征。在初步提取出图像特征之后,还发展出一系列降维方法来消除无关或者冗余特征,从而获取最关键的图像信息。该技术在计算机视觉领域以及生物医学、工农业检测、遥感图像分析等方面有着广阔的发展空间。

主要事件

年份事件相关论文/Reference
1983脊检测/谷检测应用于数字图像特征的检测和提取Haralick, R. M. (1983). Ridges and valleys on digital images. Computer Vision, Graphics, and Image Processing, 22(1), 28-38.
1986Canny提出边缘检测来提取图像的特征信息Canny, J. (1986). A computational approach to edge detection. IEEE Transactions on pattern analysis and machine intelligence, (6), 679-698.
1988将角检测与边缘检测结合起来提取图像特征Harris, C., & Stephens, M. (1988, August). A combined corner and edge detector. In Alvey vision conference (Vol. 15, No. 50, pp. 10-5244).
1994角检测器寻找适宜特征Shi, J. (1994, June). Good features to track. In Computer Vision and Pattern Recognition, 1994. Proceedings CVPR'94., 1994 IEEE Computer Society Conference on (pp. 593-600). IEEE.
1997SUSAN角检测方法Smith, S. M., & Brady, J. M. (1997). SUSAN—A new approach to low level image processing. International journal of computer vision, 23(1), 45-78.
2004区域检测实现同一图像在不同视角下的显著特征提取Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. International journal of computer vision, 60(2), 91-110.
2011多流型判别分析法提取图像特征Yang, W., Sun, C., & Zhang, L. (2011). A multi-manifold discriminant analysis method for image feature extraction. Pattern Recognition, 44(8), 1649-1657.

发展分析

瓶颈

如何确定应该提取的特征的数量大小

如何寻找最优特征或者与目标相关度最高的特征

未来发展方向

图像信息提取(包括图像特征的检测和提取)技术的发展有助于计算机视觉快速搜索获取图像最重要的特征信息,从而提升目标识别的准确度。

Contributor: Yueqin Li

相关人物
约翰·坎尼
约翰·坎尼
澳大利亚计算机科学家,加州大学伯克利分校计算机科学系杰出工程教授。他在计算机科学和数学的各个领域都做出了重要贡献,包括人工智能、机器人、计算机图形学、人机交互、计算机安全、计算代数等。
史建波
史建波
史建波毕业于UC Berkeley,导师是Jitendra Malik。其最有影响力的研究成果:图像分割。其于2000年在PAMI上多人合作发表”Noramlized cuts and image segmentation”。这是图像分割领域内最经典的算法。
戴维·劳
戴维·劳
不列颠哥伦比亚大学计算机科学系名誉教授。2015年到2018年在谷歌担任机器情报组高级研究科学家。2009年到2015年,他在谷歌担任计算机视觉初创公司Cloudburst Research的联合创始人和董事长。在2011年和2017年的国际计算机视觉会议上获得Helmholtz奖。他的研究领域包括计算机视觉、机器学习和大脑的计算模型。
Chris Harris
Chris Harris
简介
相关人物