参数模型

在统计学中,参数模型是可以使用有限数量的参数来描述的分布类型。 这些参数通常被收集在一起以形成单个k维参数矢量θ=(θ1,θ2,...,θk)。

来源:Wikipedia
简介

参数模型指的是,对数据的分布情况有一个前提假设,通过有限个参数来描述概率分布的一系列模型。例如,一个高斯分布模型就是一个参数模型,可以通过用均值和方差来确定一个高斯模型的分布。

[URLhttp://www.statisticshowto.com/parametric-modeling/]

参数可以表示为$θ$,参数所在的空间为$Θ ⊆ R_k$,则模型最终可以表示为:

[描述来源:WikipediaURLhttps://en.wikipedia.org/wiki/Parametric_model]

现阶段普遍存在的参数模型包括:

1.逻辑回归

2.主成分分析

3.线性判别函数

4.感知机

5.朴素贝叶斯

6.简单的神经网络

发展历史

描述

参数模型的发展可以通过各种模型的发展进程来体现,通过对现阶段许多经典算法的的发展历程进行了总结。

主要事件

A

B

C

1

年份

事件

相关论文/Reference

2

1901

Karl Pearson发明主成分分析法

Peason, K. (1901). On lines and planes of closest fit to systems of point in space. Philosophical Magazine, 2(11), 559-572.

3

1936

Ronald Fisher发表最早期的线性判别分析论文

Fisher, R.A., 1936. The use of multiple measurements in taxonomic problems. *Annals of human genetics*, *7*(2), pp.179-188.

4

1944

逻辑回归被应用到生物测定中

Berkson, J. (1944). Application of the logistic function to bio-assay. Journal of the American Statistical Association, 39(227), 357-365.

5

1957

Frank Rosenblatt.基于TLU提出了感知机(Pecceptron),并很快被实现及应用于图像识别

Rosenblatt, F. (1957). The perceptron, a perceiving and recognizing automaton Project Para. Cornell Aeronautical Laboratory.

6

1998

基于朴素贝叶斯的文本分类算法

McCallum, A., & Nigam, K. (1998, July). A comparison of event models for naive bayes text classification. In AAAI-98 workshop on learning for text categorization(Vol. 752, No. 1, pp. 41-48).

7

1998

PCA被提出

B. Scholkopf, A. Smola and K.-R. Muller, “Nonlinear component anal- ysis as a kernel eigenvalue problem,” Neural Computation, vol. 10, pp. 1299-1319,1998

8

1999

LDA被提出

Mika, S., Ratsch, G., Weston, J., Scholkopf, B., & Mullers, K. R. (1999, August). Fisher discriminant analysis with kernels. In Neural networks for signal processing IX, 1999. Proceedings of the 1999 IEEE signal processing society workshop.(pp. 41-48). Ieee.

9

2004

PCA用于K-means聚类

Ding, C., & He, X. (2004, July). K-means clustering via principal component analysis. In Proceedings of the twenty-first international conference on Machine learning (p. 29). ACM.

发展分析

瓶颈

参数模型往往对模型具有假设,会限制模型的灵活性。而且参数模型比较适合对简单的问题进行建模,过于复杂的问题很难使用参数模型的方式进行拟合。在实际应用中,有事不太可能匹配潜在的目标函数。

未来发展方向

参数模型具有训练简单,快速的优点。在设计时很容易理解和解释,而且很容易从数据中快速的学习。并且在训练时对数据量的要求不是很大。

By Yilin Pan

相关人物
托马斯·贝叶斯
托马斯·贝叶斯
18世纪英国数学家。1742年成为英国皇家学会会员。贝叶斯以其在概率论领域的研究闻名于世,他提出的贝叶斯定理对于现代概率论和数理统计的发展有重要的影响。他还曾在长老会担任牧师。
Joao Hespanha
Joao Hespanha
David J. Kriegman
David J. Kriegman
Jon Shlen
Jon Shlen
简介
相关人物