1、分类准确度（accuracy）
分类准确率(ACC，accuracy )： 该指标描述了统计测试集的模型预测结果与真实标签的一致度,是一般情况下在 无倾斜样本总体 的分类评价中最常用的指标，准确率越高，意味着分类模型效果越好。
$$ACC = \frac {TN+TP}{TN+FP+FN+TP}$$np.sum( Y_predict ==Test_Y)/len(Test_y)
缺点： 分类准确度评估指标 很大程度上依赖样本集的标签分布，对例如样本集中存在 99.9% 的负 (0) 和 0.1% 正 (1) 样本分布，即使算法模型将所有样本都预测为负 (0) 样本，也有样本的分类准确率也能达到 99.9% 。这样即使分类准确率很高，但该模型却几乎没有识别 正例样本的 的能力。所以对于 极度偏斜的数据总体(Skewed Data)，总体中存在发生概率极低的事件(如A事件小于 5%，B事件大于95%)，从总体采样用于训练测试的原始数据，使用 分类准确度(accuracy ) 来评估模型准确度的话，哪怕分类模型将所有小概率事件A判断为B，模型的准确度也能达到 95%，意味着训练的分类模型并未对待解决的问题起任何作用，同基于事件的发生概率进行随机预测的结果一样，
2、基于【混淆矩阵 Confusion Matrix】 提出的优化评估方法
混淆矩阵 用以总结分类问题的预测结果。使用计数的方式统计正确和错误预测的样例结果数量，按分类类别进行细分记录在混淆矩阵里面，用以比较分类结果和实际测得值。
基于 混淆矩阵 提出的优化分类评估指标
- ① 精准率
$$precision = \frac {TP}{TP+FP}$$
精准率 的表达式描述了预测为正例的样本中正确预测的情况。
其主要意义：通常在现实 有偏数据(Skewed Data) 中，自然发生概率极低的事件往往才是关注对象。比如医疗中的疾病患者对象，使用阳性(Positive)标记疾病状态（对应混淆矩阵中的 "1"）。所以 精准率 主要用来反映模型对研究关注的事件的预测准确度。
- ② 召回率
$$recall= \frac {TP}{TP+FN}$$
召回率 的表达式描述了真实发生的正例事件中，被模型正确预测的情况，也即模型预测中覆盖面的度量。
精准率 和 召回率 的应用场景：
在模型评估中，使用 召回率或 精准率 作为具体的评价指标需要依应用场景而定。
- 对更侧重于 未来事件的风险判断 应用中(像股票预测，就会更侧重于模型生成的待买入股票的涨跌预测效果，而不是是这些股票过去的涨跌预测效果)，从而使用精准率 作为评价指标。
- 在医疗领域应用中，通常需要避免犯 FN 的错误，即如果算法没有成功识别阳性患者，就会拖延患者病情延误治疗，而对于模型的 FP 错误造成的影响则没那么严重，因为假阳性的患者通过进一步检查是可以被识别出来的，这样一定程度上能够帮助节省人力资源将所有阳性患者都筛选出来，从而需要使用 召回率 作为主要的评价指标。
2.1.1 混淆矩阵和 精准率/召回率 的python 实现
import numpy as np
from sklearn import datasets
### 创建二分类预测数据集
digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()
y[digits.target == 9] = 1
y[digits.target != 9] = 0
from sklearn.model_selection import train_test_split
Train_X,Test_X,Train_Y,Test_Y = train_test_split(x,y,random_state=666)
### 应用逻辑回归进行数据二分类
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
Test_y_predict = log_reg.predict(Test_X)
### 自实现混淆矩阵
def TN(Y_T,Y_P):
assert len(Y_T) == len(Y_P)
return np.sum((Y_T == 0) & (Y_P == 0))
def FP(Y_T,Y_P):
assert len(Y_T) == len(Y_P)
return np.sum((Y_T == 0) & (Y_P == 1))
def FN(Y_T,Y_P):
assert len(Y_T) == len(Y_P)
return np.sum((Y_T == 1) & (Y_P == 0))
def TP(Y_T,Y_P):
assert len(Y_T) == len(Y_P)
return np.sum((Y_T == 1) & (Y_P == 1))
def confusion_matrix(Y_T,Y_P):
return np.array([
[TN(Y_T,Y_P),FP(Y_T,Y_P)],
[FN(Y_T,Y_P),TP(Y_T,Y_P)]
])
confusion_matrix(Test_Y,Test_y_predict)
### 计算精准率和召回率
def precision_score(Y_T,Y_P):
try:
return TP(Y_T,Y_P) / (TP(Y_T,Y_P) + FP(Y_T,Y_P))
except:
return 0.0
precision_score(Test_Y,Test_y_predict)
def recall_score(Y_T,Y_P):
try:
return TP(Y_T,Y_P) / (TP(Y_T,Y_P) + FN(Y_T,Y_P))
except:
return 0.0
recall_score(Test_Y,Test_y_predict)
2.1.2 scikit-learn中的混淆矩阵，精准率和召回率
from sklearn.metrics import confusion_matrix ### 混淆矩阵
confusion_matrix(Test_Y,Test_y_predict)
from sklearn.metrics import precision_score ### 精准率
precision_score(Test_Y,Test_y_predict)
from sklearn.metrics import recall_score ### 召回率
recall_score(Test_Y,Test_y_predict)
2.2 F1 Score
F1 Score 是 精准率（precision）和召回率（recall） 的 调和平均值：
$$ \frac {1}{F1} = \frac {1}{2}(\frac {1}{precision} + \frac {1}{recall}) \rightarrow F1 = \frac {2\cdot precision\cdot recall}{precision + recall}$$
调和平均值的意义：
如果要综合两个评价指标为一个，最简单的处理方式即取连个指标值的 算数平均值，$indic = \frac {1}{2}( precision + recall)$ ； 但是当这两个指标值出现一个值极高，一个值极低的极端分布情况下，就会有综合指标值也会是一个相对较高的结果，对于评价的代表性来说，就会错误度量了模型的效果。使用 调和平均值 的情况下，如果两个指标值极端不平衡，得到的 F1 score 就会非常低，只有两个指标值都非常高时 F1 score 才会非常高，从而使用调和平均值能够较好地综合了 精准率和召回率两种评价指标的结果来度量模型效果。F1 score 适用于需要 精准率和召回率 都是越大越好的评价环境中。
sklearn 下的 F1 score
from sklearn.metrics import f1_score
f1_score(Test_Y,Test_y_predict)
3、 Precision-Recall 的矛盾和平衡
在应用二分类模型进行数据分类时，分类的标准依据的是分类器计算的样本得分；如果要求模型的 精准率 更高，只能通过
收窄正例的识别域，也即提高判断为 1 的概率值阈值(如从 50% 提高到 90% 作为识别正例的标准)，就会导致更多的低概率值的正例样本变成 FN ，召回率指标变小。同理，要想 召回率指标变大，就会产生更多的 FP 结果，精准率 变小。所以 Precision 和 Recall 两者是一对矛盾负相关的指标，两者不可能同时变大或变小。
3.1 Precision-Recall Curve (PR 曲线)
根据 Precision-Recall Curve 曲线，可以简单判断 当精准率和召回率 取值都相对较高的平衡点下对应的分类决策值阈值。
### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
decision_score = log_reg.decision_function(Test_X) ### 获取决策分数的预测值
### draw PR curve
from sklearn.metrics import precision_recall_curve
precision,recall,threshold = precision_recall_curve(Test_Y,decision_score)
import matplotlib.pyplot as plt
plt.plot(threshold,precision[:-1])
plt.plot(threshold,recall[:-1])
plt.show()
3.2 ROC曲线
ROC曲线(receiver operating characteristic curve) 用以描述 TPR 和 FPR 之间的关系；
$$TPR= \frac {TP}{TP+FN} \ \ ,\ \ \ \ \ FPR= \frac {FP}{TN+FP}$$
TPR 描述的是正例被正确预测的覆盖率，本质为 召回率recall ;
FPR 描述的是负例样本中被错误预测的覆盖率，也即模型犯 FP 错误的概率；
同 Precision-Recall两指标的矛盾不同，当选取不同的分类决策值时， TPR 和 FPR 两个指标具正相关的一致变化趋势；要使得正例的预测覆盖率(recall)增大，只能降低判断为正例的决策分数，那么此时就会引起许多负例被错误识别为正例，从而 TPR 和 FPR 两个指标呈现正相关变化。
3.2.2 scikit-learn 下绘制ROC曲线
### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
decision_score = log_reg.decision_function(Test_X)
### draw PR curve
from sklearn.metrics import roc_curve
fprs,tprs,threshold = roc_curve(Test_Y,decision_score)
import matplotlib.pyplot as plt
plt.plot(fprs,tprs)
plt.show()
3.2.3 scikit-learn 计算ROC曲线下面积(ROC_AUC_score)
对于使用 ROC曲线 进行分类效果评价时，通常使用 曲线下面积(auc,area under curve) 来度量不同超参数下训练的模型或不同算法的分类模型的分类效果。即如果有分类模型犯FP 错误越少(FPR 值越低)的时候有 TPR (正例覆盖率) 越大，就会将左侧部分的曲线整体拉高，从而使得曲线下面积变大，意味着模型能够在犯更少FP错误的情况下准确预测正例，模型分类效果越好。ROC曲线下面积这一评估指标 对 有偏数据总体 的分类效果评估相比 精准率和召回率 敏感度还要弱，适用面更广。
### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
decision_score = log_reg.decision_function(Test_X)
### draw PR curve
from sklearn.metrics import roc_auc_score
roc_auc_score(Test_Y,decision_score)
4、多分类问题的混淆矩阵
多分类问题混淆矩阵与二分类混淆矩阵的原理一致，行方向依旧是样本的真实的分类排律，列方向则是预测结果:
4.2 混淆矩阵的可视化
混淆矩阵对角线的值是预测与真值一致的结果；通过统计每个类别样本中，分类错误的分布情况，从混淆矩阵可视化能更加直观简单地了解错误的分布。
4.3 scikit-learn 的多分类混淆矩阵与二分类混淆矩阵一致
### 创建二分类预测数据集
digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()
from sklearn.model_selection import train_test_split
Train_X,Test_X,Train_Y,Test_Y = train_test_split(x,y,random_state=666)
### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1e5)
log_reg.fit(Train_X,Train_Y)
Test_y_predict = log_reg.predict(Test_X)
### Multi-Class classification Confusion Matrix
from sklearn.metrics import confusion_matrix
confusion_matrix(Test_Y,Test_y_predict)
4.2 scikit-learn 的多分类问题的评价指标与二分类问题一致
from sklearn.metrics import precision_score ### 多分类问题的精准率
precision_score(Test_Y,Test_y_predict,average= "micro")
