Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

参数模型

在统计学中,参数模型是可以使用有限数量的参数来描述的分布类型。 这些参数通常被收集在一起以形成单个k维参数矢量θ=(θ1,θ2,...,θk)。

来源:Wikipedia
简介

参数模型指的是,对数据的分布情况有一个前提假设,通过有限个参数来描述概率分布的一系列模型。例如,一个高斯分布模型就是一个参数模型,可以通过用均值和方差来确定一个高斯模型的分布。

[URLhttp://www.statisticshowto.com/parametric-modeling/]

参数可以表示为$θ$,参数所在的空间为$Θ ⊆ R_k$,则模型最终可以表示为:

[描述来源:WikipediaURLhttps://en.wikipedia.org/wiki/Parametric_model]

现阶段普遍存在的参数模型包括:

1.逻辑回归

2.主成分分析

3.线性判别函数

4.感知机

5.朴素贝叶斯

6.简单的神经网络

发展历史

描述

参数模型的发展可以通过各种模型的发展进程来体现,通过对现阶段许多经典算法的的发展历程进行了总结。

主要事件

A

B

C

1

年份

事件

相关论文/Reference

2

1901

Karl Pearson发明主成分分析法

Peason, K. (1901). On lines and planes of closest fit to systems of point in space. Philosophical Magazine, 2(11), 559-572.

3

1936

Ronald Fisher发表最早期的线性判别分析论文

Fisher, R.A., 1936. The use of multiple measurements in taxonomic problems. *Annals of human genetics*, *7*(2), pp.179-188.

4

1944

逻辑回归被应用到生物测定中

Berkson, J. (1944). Application of the logistic function to bio-assay. Journal of the American Statistical Association, 39(227), 357-365.

5

1957

Frank Rosenblatt.基于TLU提出了感知机(Pecceptron),并很快被实现及应用于图像识别

Rosenblatt, F. (1957). The perceptron, a perceiving and recognizing automaton Project Para. Cornell Aeronautical Laboratory.

6

1998

基于朴素贝叶斯的文本分类算法

McCallum, A., & Nigam, K. (1998, July). A comparison of event models for naive bayes text classification. In AAAI-98 workshop on learning for text categorization(Vol. 752, No. 1, pp. 41-48).

7

1998

PCA被提出

B. Scholkopf, A. Smola and K.-R. Muller, “Nonlinear component anal- ysis as a kernel eigenvalue problem,” Neural Computation, vol. 10, pp. 1299-1319,1998

8

1999

LDA被提出

Mika, S., Ratsch, G., Weston, J., Scholkopf, B., & Mullers, K. R. (1999, August). Fisher discriminant analysis with kernels. In Neural networks for signal processing IX, 1999. Proceedings of the 1999 IEEE signal processing society workshop.(pp. 41-48). Ieee.

9

2004

PCA用于K-means聚类

Ding, C., & He, X. (2004, July). K-means clustering via principal component analysis. In Proceedings of the twenty-first international conference on Machine learning (p. 29). ACM.

发展分析

瓶颈

参数模型往往对模型具有假设,会限制模型的灵活性。而且参数模型比较适合对简单的问题进行建模,过于复杂的问题很难使用参数模型的方式进行拟合。在实际应用中,有事不太可能匹配潜在的目标函数。

未来发展方向

参数模型具有训练简单,快速的优点。在设计时很容易理解和解释,而且很容易从数据中快速的学习。并且在训练时对数据量的要求不是很大。

By Yilin Pan

简介