Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

自组织映射

自组织映射(SOM)或自组织特征映射(SOFM)是一种使用非监督式学习来产生训练样本的输入空间的一个低维(通常是二维)离散化的表示的人工神经网络(ANN)。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。

来源:维基百科
简介

1981年芬兰赫尔辛基大学的T.Kohonen教授提出一种自组织特征映射网(self-organizing feature map,简称SOM),又称Kohonen网,Kohonen认为,一个神经网络接受外界输入模式时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征,而且这个过程是自动完成的。自组织特征映射正式根据这一看法提出来的,其特点与人脑的自组织特性想类似。

SOM网共有两层,输入层各神经元通过权向量将外界信息汇集到输出层的各神经元。输入层的形式与前馈神经网络相同,节点数与样本维数相等。输出层也是竞争层,神经元的排列有多种形式,如一维线阵、二维平面阵和三维栅格阵。常见的是前两种类型,下面分别予以介绍。

输出层按一维阵列组织的SOM网是最简单的自组织神经网络,下图中的一维阵列SOM网的输出层只标出相邻神经元间的侧向连接。

输出按二维平面组织是SOM网最典型的组织方式,该组织方式更具有大脑皮层的形象,输出层的每个神经元同它周围的其他神经元侧向连接,排列成棋盘状平面,结构如下图所示。

SOM网采用的学习算法称为Kohonen算法,是在胜者为王算法基础上加以改进而成的,其主要区别在于调整权向量与侧抑制的方式不同。而SOM网的获胜神经元对其临近神经元的影响是由近及远,由兴奋逐渐变为抑制,因此其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要程度不同地调整权向量。

来源:

人工神经网络理论、设计及应用(第二版)韩力群编著化学工业出版社

例子:

1989年Kohonen给出一个SOM网的著名应用实例,即把不同的动物按其属性特征映射到两维输出平面上,使属性相似的动物在SOM网输出平面上的位置也相近。该例训练集中共有16种动物,每种动物用一个29维向量来表示,其中前16个分量构成符号向量,后13个分量构成属性向量,描述动物的13种属性,用1或0表示某动物该属性的有或无。如下表各列给出16种动物的属性列向量。

属性

鸽子

母鸡

猫头鹰

狐狸

斑马

1

1

1

1

1

1

0

0

0

0

1

0

0

0

0

0

0

0

0

0

0

0

1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

1

1

1

1

1

2只腿

1

1

1

1

1

1

1

0

0

0

0

0

0

0

0

0

4只腿

0

0

0

0

0

0

0

1

1

1

1

1

1

1

1

1

0

0

0

0

0

0

0

1

1

1

1

1

1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

0

0

1

1

1

鬃毛

0

0

0

0

0

0

0

0

0

0

0

0

0

1

1


羽毛

1

1

1

1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

0

0

1

1

1

1

0

1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

1

1

0

1

1

1

1

0

1

0

0

1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

1

1

0

0

0

0

0

0

0

0

0

0

0

0

SOM网的输出平面上有10*10个神经元,用16个动物模式轮番输入进行训练,最后输出平面上出现以下图所示的情况。可以看出,属性相似的动物在输出平面上挨在一起,实现了特征的有序分布。

发展历史

SOM模型起源于早期的神经网络模型,比如联想记忆和自适应学习模型。该模型源自解释大脑皮层功能的空间组织。但是,SOM并不是第一个模型。1973年由von der Malsburg提出的空间有序的线探测器模型,1980年由Amari提出的神经场模型都比SOM模型提出要早。然而,这些早期模型的自组织能力相当薄弱。Kohonen的重要发明是引入一个系统模型,该系统是由两个不同性质的相互作用子系统组成。其中一个子系统是一个竞争神经网络,它实现了赢者通吃的功能,另一个子系统是被神经网络控制的塑形控制子系统,在学习过程中改变神经元的局部突触可塑性。学习过程被限制在最为活跃的神经元局部邻域,而塑性控制子系统是基于非特异性神经交互作用,最有可能是基于化学控制作用。只有通过神经信号传递和塑性控制的分离,才能实现一个有效的、健壮的自组织系统。

SOM模型可以用抽象的数学形式表达,而不涉及任何底层神经或其他成分。SOM的第一个应用领域是语音识别。目前,SOM已经在数据分析和数据挖掘领域得到广泛使用。

主要事件

年份

事件

相关论文

1973

提出空间有序线探测器模型

von der Malsburg, C. (1973). Self-organization of orientation sensitive cells in the striate cortex. Kybernetik, 14:85-100

1980

提出神经场模型

Amari, S. (1980). Topographic organization of nerve fields. Bulletin of Mathematical Biology, 42:339-364.

1982

提出SOM网络

Kohonen, Teuvo (1982). "Self-Organized Formation of Topologically Correct Feature Maps". Biological Cybernetics. 43 (1): 59–69

1998

提出了一种利用树代替SOM模型中矢量的扩展方法

Markus Peura(1998).The Self-Organizing Map of Trees.Neural Processing Letters

发展分析

瓶颈

SOM网络的最大局限性是,当学习模式较少时,网络的分类效果取决于输入模式的先后次序;且网络连接权向量的初始状态对网络的收敛性能有很大的影响。而且,SOM网络不具有生物神经网络的稳定性,即对新学习模式的记忆将影响网络原有的模式记忆。

未来发展方向

当前SOM神经网络需要再以下三个方面进行深入地研究和讨论,因为它能堆SOM自组织算法的收敛性提供理论依据,并对任何修正形式提供评判标准,依次指明改进算法性能的正确方向。

  • 当迭代次数趋于无穷时,网络权值是否收敛到一个最优解,网络是否会收敛到一个唯一状态?对这个问题的研究目前只限于一维网络,就一维网络情况而言,可以严格证明,在自组织学习结束后,对于一大类领域函数,SOM算法几乎确定收敛到一个唯一状态,而多维问题尚未解决。
  • 算法的收敛性与学习速率,领域半径,以及权值之间的关系如何?如何确定最佳的学习速率和领域半径,对这个问题的研究目前也是只限于一维网络,针对多维没有解决。
  • 对SOM算法的一些修正,由于SOM算法不能提供对输入数据的股友分布的可信表示,其促使了对算法的修正和新的自组织算法的发展,如修改竞争过程,在竞争过程中加入以概率方式获胜,修改更新过程,主要是调整领域函数内每个神经元权值向量更新规则,控制特征映射的放大性质。

Contributor: Peng Jiang

简介