苏品毓作者

二分类问题常见的评价指标

一、准确率

准确率是我们常见的评价指标之一,一般定义是,分类正确的样本数占总样本的比例数。

但是准确率在数据不均衡的数据集上会缺少一定的说服力,比如一个数据集,有990正样本,10个负样本,现在模型把样本全部都预测成正样本,那么我们说模型的准确率是99%,这个从计算上看是没问题,但是当样本不均衡时,光使用准确率来评价一个模型的好坏是不够的。

二、精准率和召回率

分类问题的预测结果可以根据情况分成以下四类:

真正例(True Positive):预测值为1,真实值为1

假正例(False Positive):预测值为1,真实值为0

真反例(True Negative):预测值为0,真实值为0

假反例(False Negative):预测值为0,真实值为1

构造成结果的混淆矩阵

精准率又称查准率:

召回率又称查全率:

精准率可以解释为,预测为正例的样本中,有多少是真的正例

召回率可以解释为,真实的正例的样本中,有多少被预测出来

F1:精准率和召回率的调和平均

三、AUC

AUC是另一种评价二分类算法的指标,被定义为 ROC 曲线下的面积。那什么是ROC曲线呢?

ROC曲线的坐标,纵坐标为真正例率(True Positive Rate,TPR),横坐标为假正例率(False Positive Rate,FPR)

具体定义如下:

根据模型在ROC坐标上的位置,可以判断模型的性能

模型1

模型2

横纵坐标

ROC坐标上的四个点

(0,1):所有样本分类正确

(1,0):所有样本分类错误

(0,0):所以样本都分类为负

(1:1):所以样本都分类为正

由上图可以看出模型2要好于模型1

怎么画出AUC曲线呢,首先按照预测值进行排序

按照预测值大小,依次作为阈值,求解FP rate和TP rate

按照上图的信息可以画出曲线

曲线下的面积被称为AOC

AOC的意义:衡量正样本排在负样本前面的能力,这里的能力更具体一点就是出现的概率。与域值的选取没有关系。

四、混淆矩阵

对于多分类的相关问题,常用的评价标准是混淆矩阵

如果分成n个类别的话,混淆矩阵的形式是一个的一个矩阵,具体的形式如下

上图中每一列代表预测的类别,每一行代表真实的类别的归属,第二行cat的总数量为8,表示类cat总共有8个样本,其中3个分类正确,3个被错误的分到了dog,2个被错误的分到了robbit。

如果计算cat的准确率计算公式如下

参考文献:

1、 李航《统计学习方法》清华大学出版社

2、周志华机器学习》 清华大学出版社

3、Confusion matrix

4、sklearn.metrics.confusion_matrix - scikit-learn 0.20.2 documentation

原文来自学员知乎作业

https://zhuanlan.zhihu.com/p/55324860

贪心科技
贪心科技

贪心科技是国内首家AI和大数据课程为主的自适应学习平台。我们追求最精炼的AI教育内容和个人量身定制的课堂。我们鼓励大家拥有“贪心精神”:对知识不断的渴望,对现状不满希望进步的愿望。贪心科技,满足贪心的你。

入门混淆矩阵二分类问题
21
相关数据
李航人物

李航,毕业于日本京都大学电气电子工程系,日本东京大学获得计算机科学博士学位。北京大学、南京大学兼职教授。曾任日本NEC公司中央研究所研究员,微软亚洲研究院高级研究员与主任研究员、华为技术有限公司诺亚方舟实验室主任,是《统计学习方法》作者。

周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘 等领域的研究工作。主持多项科研课题,出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012),在一流国际期刊和顶级国际会议发表论文百余篇,被引用三万余次。

混淆矩阵技术

混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等,这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中,混淆矩阵(confusion matrix)是可视化工具,特别用于监督学习,在无监督学习一般叫做匹配矩阵。矩阵的每一行表示预测类中的实例,而每一列表示实际类中的实例(反之亦然)。 这个名字源于这样一个事实,即很容易看出系统是否混淆了两个类。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

真正例技术

被模型正确地预测为正类别的样本。例如,模型推断出某封电子邮件是垃圾邮件,而该电子邮件确实是垃圾邮件。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分,在机器学习领域,分类问题通常被认为属于监督式学习(supervised learning),也就是说,分类问题的目标是根据已知样本的某些特征,判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

知乎机构

知乎作为中文互联网知名知识内容平台,致力于构建一个人人都可接入的知识分享网络,让人们便捷地与世界分享知识、经验和见解,高效获得可信赖的解答。 目前,知乎已经覆盖「问答」社区、一站式知识服务平台「知乎大学」、短内容分享功能「想法」等一系列产品和服务,并建立了包括音频、视频在内的多元媒介形式。截止 2018 年 8 月底,知乎用户数已突破 2 亿,回答数超过 1.2 亿。未来,知乎进一步加大对 AI 技术和应用的投入,构建一个由 AI 驱动的智能社区,让知识普惠每一个人。

https://www.zhihu.com
推荐文章
test