非负矩阵分解是矩阵分解领域的重要分支，应用于现实生活中的数据降维，例如文本数据、时间序列数据、图像数据、基因检测数据以及语音识别等。对于给定的非负矩阵$V=[v_1,v_2,...,v_n]$，表示有N个数据点，假设每个样本数据点对应的维度为M，非负矩阵V可以分为两个非负矩阵，即V≈WH，其中基矩阵W=[w_1,w_2,...,w_d]，w_i是M维向量，系数矩阵H=[h_1,h_2,...,h_N]，h_i是d维的特征。分解之后的W可以看作是V的一个低维空间的系数表示，V可以看作W中的基向量的加权和。表示为图像分解的形式如下图所示：
[描述来源：Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788.]
发展历史
NMF提出于1999年。为了近似原高维矩阵，研究人员提出了很多方法，如2001年提出的加入正交化的非负矩阵分解和2003年提出的基于拉格朗日的非负矩阵分解的方法。2006年，提出了基于NMF的半监督多标签分类方法。2012年，Kim提出了基于组系数的非负矩阵。2014年，为提高矩阵分解的速度，提出了快速的非负矩阵分解。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 1999 | 首次提出NMF算法，并提出了经典的NMF迭代规则，广泛的应用于NMF算法优化规则 | Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788. |
| 2001 | 加入了正交化的非负矩阵分解 | Li, S. Z., Hou, X. W., Zhang, H. J., & Cheng, Q. S. (2001). Learning spatially localized, parts-based representation. In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on (Vol. 1, pp. I-I). IEEE. |
| 2003 | 基于拉格朗日的非负矩阵分解 | Liu, W., Zheng, N., & Lu, X. (2003, April). Non-negative matrix factorization for visual coding. In Acoustics, Speech, and Signal Processing, 2003. Proceedings.(ICASSP'03). 2003 IEEE International Conference on (Vol. 3, pp. III-293). IEEE. |
| 2003 | 基于标准的NMF和加权NMF的分类算法 | Guillamet, D., Vitria, J., & Schiele, B. (2003). Introducing a weighted non-negative matrix factorization for image classification. Pattern Recognition Letters, 24(14), 2447-2454. |
| 2006 | 基于NMF的半监督多标签分类算法 | Liu, Y., Jin, R., & Yang, L. (2006, July). Semi-supervised multi-label learning by constrained non-negative matrix factorization. In AAAi (Vol. 6, pp. 421-426). |
| 2012 | Kim等人提出了组系数非负矩阵分解 | Kim, J., Monteiro, R. D., & Park, H. (2012, April). Group sparsity in nonnegative matrix factorization. In Proceedings of the 2012 SIAM International Conference on Data Mining (pp. 851-862). Society for Industrial and Applied Mathematics. |
| 2014 | 基于加权NMF的KNN算法，用于数据分类 | Kalayeh, M. M., Idrees, H., & Shah, M. (2014). NMF-KNN: Image annotation using weighted multi-view non-negative matrix factorization. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 184-191). |
| 2014-2015 | 快速的非负矩阵分解快速发展 | (1)Gillis, N., & Vavasis, S. A. (2014). Fast and robust recursive algorithmsfor separable nonnegative matrix factorization. IEEE transactions on pattern analysis and machine intelligence, 36(4), 698-714. (2)Chin, W. S., Zhuang, Y., Juan, Y. C., & Lin, C. J. (2015). A fast parallel stochastic gradient method for matrix factorization in shared memory systems. ACM Transactions on Intelligent Systems and Technology (TIST), 6(1), 2. |
| 2015 | 对称的NMF和加权对称的NMF | Cabral, R., De la Torre, F., Costeira, J. P., & Bernardino, A. (2015). Matrix completion for weakly-supervised multi-label image classification. IEEE transactions on pattern analysis and machine intelligence, 37(1), 121-135. |
发展分析
瓶颈
非负矩阵分解现阶段存在的问题主要是以下三个部分：
- 参数的初始化设置
- 迭代算法的改进
- 子空间维数的确定
未来发展方向
非负矩阵分解的未来发展方向可以总结如下：
- 如何构造高效的NMF算法：现阶段需要多次迭代才可以收敛，并且面对大数据集时算法效率不高
- NMF的算法以及评价准则：一套完善的算法评价标准和准则是这个领域发展的重要组成部分
- 如何确定保留基的个数：现阶段多是通过经验确定，并在后期需要进行调整。
Contributor：Yilin Pan