machinelearningmastery来源Stats熊、睡不着的iris、钱天培编译

“假设”家族大起底!如何正确区分科学假设、统计假设和机器学习假设?

什么是科学假设?什么是统计假设?什么又是机器学习假设呢?

虽然同为假说,这三个东西其实还真不太一样!

今天,文摘菌就带你来区分一下“假设”三兄弟。

了解完它们的区别后,你会对假设一词在不同领域会有更深刻的认识,对于更好的使用假设会有更深入的理解。同时。对于机器学习的入门者来说,这样一篇文章对于个人今后在该领域的发展就是如虎添翼。

通常,我们所理解的监督性机器学习,是一个类似于研究从输入映射到输出的目标函数问题。

这个过程可以被分为如何选取假设空间,以及评估候选的假设空间。

作为一个机器学习领域的初学者来说,假设这个词的概念可能让他们会产生困惑,有时会产生歧义,比如在统计领域我们会有假设检验,而在科学领域我们又会有科学假说。

这些定义互有关联,却不尽相同。

所以什么是假设呢?

假设是一种对事物的解释。

它是一种凭借经验和知识所提出的猜测性想法,需要一定的评估依据。

一个好的假设是可验证的,验证结果有可能是对的,也可能是错的。

在科学界,假说一定是可以被证伪的,即通过观察检验结果,可以证实这个假说是错误的。同时,在验证结果出来之前,假说的框架结构一定要确定好。

...任何一个或一系列假说想要成为科学定理或者科学理论,一定要满足这样一个基本条件—那就是,它是可以被证伪的。

选自《What is This Thing Called Science?》1999年,第三版,第61-62页

一个好的假说既能满足现有证据,又可以用来预测新的观察或新的情况。

一个假说如果说完全满足现有证据,同时可以被验证,那么它将会成为理论或者成为理论的一部分。

小结一下,科学假说是指符合证据、同时可以被证实或者被反驳的猜测性解释。

统计学中的假设又该如何定义呢?

大多统计问题是研究观测样本之间潜在关系。

统计学上的假设检验通常是计算产生“影响”的临界值,通过计算临界值可以来判定观测样本之间是否存在某种关系。

如果似然值很小,这种影响结果就可能会是真实的,如果似然值很大,那我们可能观测到了统计波动,这种影响可能并不真实。

举例来说,通过推断两组样本之间均值所存在的关系,可以判断它们是否具有相同的统计分布,或者它们之间又有哪些差异。

举个例子,我们可以假设两组样本的均值相同。

这种假设对我们来说没什么影响,也叫作零假设。通过假设检验,我们可以得到拒绝该假设或者保留该假设。即便我们不能拒绝零假设,也不等于我们接受零假设是对的,因为结果只是一个概率。

..在社会科学研究中,我们通过建立假设、制定标准来衡量是否保留或拒绝我们的假设,通常都是零假设

《Statistics in plain English》2010年第三版,64-65页

在我们的例子中,如果零假设被否定,其相对立的备择假设就认为均值之间存在差异。

  • 零假设(H0):没有影响

  • 备择假设(H1):存在影响

统计学中的假设检验通常不会评判影响的大小,只会近似估计被观测样本之间是否存在差异。

小结一下,统计学中的假设指的是用概率来解释样本观测值之间是否存在关系。

最后,什么是机器学习中的假设呢?

机器学习,尤其是监督性学习,是用已有数据学习得到一个最佳的函数来表示输入到输出之间的映射关系。

说的专业些,这个叫做函数逼近。就是说我们想找到一个接近于我们目标函数(我们假设它存在)的方程,可以满足在问题定义域里所有观测结果都可以从输入映射到输出结果。

机器学习中,一个近似目标函数并且将输入映射到输出的模型被称为假设。

算法选取(比如神经网络)和算法配置(如网络拓扑和超参数)决定了模型可能表示的假设空间。

机器学习算法的学习是寻找最接近目标函数的假设,即将已选取的假设空间转化成最佳或最优的假设。

“学习”是在可能的假设空间中寻找一个表现良优的假设空间,即使在训练集之外新样本上也能适用。

选自《Artificial Intelligence: A Modern Approach》2009年第二版,第695页。

这种机器学习的框架很常见,通常可以帮助我们选取算法、理解学习和泛化问题,甚至是“偏差-方差”的权衡。举例来说,训练集通常是学习假设,而测试数据集是用来评估假设。

我们通常会用小写(h)来表示给予的特定假设,用大写(H)来表示被探索的假设空间。

  • 假设(h):单一假设,如一个实例或特定的候选模型,可以将输入映射到输出,同时也可以对模型进行评估和预测。

  • 假设集(H):一个包括所有可能的输入映射到输出之间关系的假设空间,通常受选取的问题框架、模型和模型调参所限制。

在选择算法和配置过程中,我们需要选取一个对目标函数来说是最好的逼近函数作为假设空间。这是非常具有挑战的,通常对于一系列不同的假设空间进行抽查会更为有效。

如果假设空间包含真函数,则学习问题是可实现的。不幸的是,我们不能总是判断一个给定的学习问题是否可以实现,因为真正的函数是未知的。

选自《Artificial Intelligence: A Modern Approach》2009年第二版,697页。

这是一个困难的问题。通常,我们通过限制假设空间的大小和评估假设的复杂性来简化搜索过程。

假设空间的表达性和假设搜索的复杂性之间存在一种权衡关系。

选自《Artificial Intelligence: A Modern Approach》2009年第二版,697页。

小结一下,机器学习中的假设是一个近似目标函数的候选模型,用于表示输入样本到输出样本之间的映射关系。    

总结

让我们重新梳理一遍对假设的三个定义:

  • 科学假说是一种对于观察现象的猜测性解释,并且是可以被证伪的。

  • 统计中的假设是用概率的方式来解释数据样本之间的关系。

  • 机器学习中的假设是一个近似目标函数的候选模型,用于表示输入样本到输出样本之间的映射关系。

机器学习的假设定义要比科学中的定义更加广泛。

和科学假说一样,机器学习也是基于现有证据,可以被证伪,并对新情况进行预测。

机器学习中的假设:

  • 涵盖现有证据:即训练数据集

  • 可以被证伪:有一个测试集来评估模型表现,并且与基础模型作对比,确定训练过程是否有效。

  • 适用于新的情况:可被用来对新数据集进行预测。

相关报道:https://machinelearningmastery.com/what-is-a-hypothesis-in-machine-learning/

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

入门统计学机器学习假设检验
3
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

零假设技术

在推论统计学中,零假设是做统计检验时的一类假设。零假设的内容一般是希望能证明为错误的假设,或者是需要着重考虑的假设。在相关性检验中,一般会取“两者之间无关联”作为零假设,而在独立性检验中,一般会取“两者之间非独立”作为零假设。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

假设检验技术

假设检验是推论统计中用于检验统计假设的一种方法。而“统计假设”是可通过观察一组随机变量的模型进行检验的科学假说。一旦能估计未知参数,就会希望根据结果对未知的真正参数值做出适当的推论。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

推荐文章
暂无评论
暂无评论~