分类器的常用性能指标的通俗释义

简介: 1. TP(True Postive)、TN(True Negative)、FP(False Negative)、 FN(False Negative)

1. TP(True Postive)、TN(True Negative)、FP(False Negative)、 FN(False Negative)


举个医生看病的例子:


假设患病为阳性(Positive),健康为阴性(Negative)


当医生正确地将患病病人确诊为有病,那么就是TP;当医生正确地将康复病人确诊为没病,那么就是TN;


当医生错误地将健康病人确诊为有病,那么就是FP;当医生错误地将患病病人确诊为没病,那么就是FN;



2. 准确率(Precision)的公式


Precision =TP/(TP+FP)


可以理解为医生预测对的阳性(患病)数占医生预测阳性(患病)总量的比率。


但是该指标有局限性,因为没有用到真正的阳性总数,所以就有了召回率。



3. 召回率(Recall)的公式


Recall = TP/(TP+FN)


可以理解为医生预测对的阳性(患病)数占真正的阳性(患病)数的比率。


但是该指标同样也存在局限性,尤其当阴阳样本失衡——阳性样本数接近于总样本数时,所以就有了 F 值。



4. F 值的公式


F=2rp/(p+r)


p 即 Precision, r 即 Recall,所以 F 值又被称为准确率和召回率的调和值。


单一的准确率高和召回率高并不能说明问题,所以才有了F值的衡量指标。



5. ROC 空间的含义


ROC空间将伪阳性率(FPR)定义为 X 轴,真阳性率(TPR)定义为 Y 轴。这两个值由上面四个值计算得到,公式如下:


TPR:在所有实际为阳性的样本中,被正确地判断为阳性之比率。


TPR=TP/(TP+FN) 【与召回率公式相同】


FPR:在所有实际为阴性的样本中,被错误地判断为阳性之比率。


FPR=FP/(FP+TN)


放在医生看病的例子上来理解上述两个指标:


那么尽量把有病的揪出来是主要任务,也就是第一个指标TPR,要越高越好;


而把没病的样本误诊为有病的,也就是第二个指标FPR,要越低越好;


反映在图上就是在相同的 FPR 的条件下,TPR越高越好,ROC 曲线下方覆盖的面积越大越好。


image.png

image.png

image.png


目录
相关文章
|
4月前
|
机器学习/深度学习 安全
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分,用于衡量模型的性能和效果。本文将逐步分解混淆矩阵,准确性,精度,召回率和F1分数。
275 1
|
4月前
|
算法
【MFAC】基于全格式动态线性化的无模型自适应控制
【MFAC】基于全格式动态线性化的无模型自适应控制
|
30天前
|
SQL 自然语言处理 算法
评估数据集CGoDial问题之计算伪OOD样本的软标签的问题如何解决
评估数据集CGoDial问题之计算伪OOD样本的软标签的问题如何解决
|
4月前
|
机器学习/深度学习 SQL 算法
如何在因果推断中更好地利用数据?
本报告从两个方面来介绍我们如何利用更多的数据来做好因果推断,一个是利用历史对照数据来显式缓解混淆偏差,另一个是多源数据融合下的因果推断。
|
4月前
|
机器学习/深度学习 算法 数据挖掘
一文介绍回归和分类的本质区别 !!
一文介绍回归和分类的本质区别 !!
160 0
|
4月前
|
机器学习/深度学习 运维 算法
决策树算法的用途
决策树算法的用途
|
人工智能 算法 C++
【ICLR2020】看未知观测:一种简单的蒙特卡洛并行化方法
【ICLR2020】看未知观测:一种简单的蒙特卡洛并行化方法
215 0
|
机器学习/深度学习 人工智能 分布式计算
因果推断:效应估计的常用方法及工具变量讨论
日常工作中很多的策略/产品的效果是无法设计完美的随机实验的,要求我们从观察性数据中去(拟合随机试验)发现因果关系、测算因果效应。
1736 0
因果推断:效应估计的常用方法及工具变量讨论
|
数据挖掘 索引 Python
Python实现固定效应回归模型实现因果关系推断(二)
Python实现固定效应回归模型实现因果关系推断(二)
876 1
Python实现固定效应回归模型实现因果关系推断(二)