分类器的常用性能指标的通俗释义

简介: 1. TP(True Postive)、TN(True Negative)、FP(False Negative)、 FN(False Negative)

1. TP(True Postive)、TN(True Negative)、FP(False Negative)、 FN(False Negative)


举个医生看病的例子:


假设患病为阳性(Positive),健康为阴性(Negative)


当医生正确地将患病病人确诊为有病,那么就是TP;当医生正确地将康复病人确诊为没病,那么就是TN;


当医生错误地将健康病人确诊为有病,那么就是FP;当医生错误地将患病病人确诊为没病,那么就是FN;



2. 准确率(Precision)的公式


Precision =TP/(TP+FP)


可以理解为医生预测对的阳性(患病)数占医生预测阳性(患病)总量的比率。


但是该指标有局限性,因为没有用到真正的阳性总数,所以就有了召回率。



3. 召回率(Recall)的公式


Recall = TP/(TP+FN)


可以理解为医生预测对的阳性(患病)数占真正的阳性(患病)数的比率。


但是该指标同样也存在局限性,尤其当阴阳样本失衡——阳性样本数接近于总样本数时,所以就有了 F 值。



4. F 值的公式


F=2rp/(p+r)


p 即 Precision, r 即 Recall,所以 F 值又被称为准确率和召回率的调和值。


单一的准确率高和召回率高并不能说明问题,所以才有了F值的衡量指标。



5. ROC 空间的含义


ROC空间将伪阳性率(FPR)定义为 X 轴,真阳性率(TPR)定义为 Y 轴。这两个值由上面四个值计算得到,公式如下:


TPR:在所有实际为阳性的样本中,被正确地判断为阳性之比率。


TPR=TP/(TP+FN) 【与召回率公式相同】


FPR:在所有实际为阴性的样本中,被错误地判断为阳性之比率。


FPR=FP/(FP+TN)


放在医生看病的例子上来理解上述两个指标:


那么尽量把有病的揪出来是主要任务,也就是第一个指标TPR,要越高越好;


而把没病的样本误诊为有病的,也就是第二个指标FPR,要越低越好;


反映在图上就是在相同的 FPR 的条件下,TPR越高越好,ROC 曲线下方覆盖的面积越大越好。


image.png

image.png

image.png


目录
相关文章
|
8月前
|
机器学习/深度学习 安全
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分,用于衡量模型的性能和效果。本文将逐步分解混淆矩阵,准确性,精度,召回率和F1分数。
678 1
|
8月前
|
机器学习/深度学习 SQL 算法
如何在因果推断中更好地利用数据?
本报告从两个方面来介绍我们如何利用更多的数据来做好因果推断,一个是利用历史对照数据来显式缓解混淆偏差,另一个是多源数据融合下的因果推断。
|
5月前
|
SQL 自然语言处理 算法
评估数据集CGoDial问题之计算伪OOD样本的软标签的问题如何解决
评估数据集CGoDial问题之计算伪OOD样本的软标签的问题如何解决
|
5月前
|
存储 机器学习/深度学习 物联网
基于重要性加权的LLM自我改进:考虑分布偏移的新框架
本文提出一种新的大型语言模型(LLM)自我改进框架——基于重要性加权的自我改进(IWSI),旨在优化自动生成数据的质量。通过引入DS权重指标衡量数据的分布偏移程度(DSE),该方法不仅能确保答案正确性,还能过滤掉那些虽正确但分布上偏离较大的样本,以提升自我训练的效果。IWSI使用一个小的有效数据集来估算每个自生成样本的DS权重,并据此进行筛选。实验结果显示,相比于仅依赖答案正确性的传统方法,IWSI能更有效地提高LLM在多种任务上的表现。特别是在数学问题解答任务上,相较于基线方法,IWSI带来了显著的性能提升,证实了过滤高DSE样本的重要性及该方法的有效性。
92 0
基于重要性加权的LLM自我改进:考虑分布偏移的新框架
|
8月前
|
机器学习/深度学习 数据可视化
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
|
8月前
|
机器学习/深度学习 算法 数据挖掘
一文介绍回归和分类的本质区别 !!
一文介绍回归和分类的本质区别 !!
354 0
|
机器学习/深度学习 数据挖掘 Python
统计回归模型中的一些概念解释
统计回归模型中的一些概念解释
168 0
|
机器学习/深度学习 人工智能 分布式计算
因果推断:效应估计的常用方法及工具变量讨论
日常工作中很多的策略/产品的效果是无法设计完美的随机实验的,要求我们从观察性数据中去(拟合随机试验)发现因果关系、测算因果效应。
1956 0
|
数据挖掘 索引 Python
Python实现固定效应回归模型实现因果关系推断(二)
Python实现固定效应回归模型实现因果关系推断(二)
983 1
Python实现固定效应回归模型实现因果关系推断(二)
|
机器学习/深度学习 算法 Python
机器学习 - [源码实现决策树小专题]决策树中混杂度数值度量的Python编程实现(信息熵和基尼系数的计算)
顾名思义,所谓混杂度就是指无序程度,一般使用“信息熵”(香浓熵)或者“及逆序数进行度量”。本文介绍及其学习决策树算法中混杂度数值度量的Python编程实现
188 0