开发者学堂课程【机器学习算法 ：模型的性能度量】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7177
模型的性能度量
内容介绍
一、性能度量
二、分类算法常用的性能度量
三、聚类算法常用的性能度量
一、性能度量
性能度量( Performance Measure）：评价模型泛化能力的标准。对于不同的横型，有不同的评价标准，不同的评价标准将导致不同的评价结果。横型的好坏是相对的，取決于对于当前任务需求的完成情況。
回归模型的性能度量通常选用均方误差。
给定样例集（每个数据由一个特征和一个结果组成）D={（x1,y1）,(x2,y2),...,(xm,ym)}，模型为 f，其性能度量均方误差为：
比如说有两条记录，x y；可以看到有三个点都在模型对应的直线上，其中一个点有偏离。
第二个模型，样本点分布在模型对应的两侧。计算：为什么是1/4，是因为有四个样本点，我们需要计算的是均值。结果为9，也就说第一个模型均方误差是9 .同样的方法计算图二，结果是3.8583
比较两个结果，显然第二个最小，也就是说两个模型在整个样本集上的表现是第二个模型的性能好于第一个模型。所以我们会选择第二个模型。
二、分类算法常用的性能度量
1、错误率：分类错误的样本占总样本数的此例，其公式为：
2、精度：分类正确的样本占总样本数的比例，其公式为
3、查准率：预测结果为正的样本中实际值也为正的比例（查出来是正的真为正的的比例）
4、查全率：实际值为正的样本中被预测为正的样本的比例（具体看例子）
5、P-R 曲线：查准率-查询率曲线
6、混淆矩阵：将预测分类结果和实际分类结果做成矩阵的形式显示（与业务场景和需求有关）
7、Pβ-score：β 值的不同体现了对查全率和查准率的不同倾向，其公式为
（需要设置一个阀值，一般为50%。曲线就是根据这个来的）
8、受试者特征曲线（ROC）和曲线下面积。可以量化 (AUC)：TPR-FPR 曲线（真正例率-假正例率曲线）
9、代价曲线：不同类型的预测错误对结果影响不同而增加代价(cost），绘制 P(+)cost - cost norm 曲线.
三、聚类算法常用的性能度量
1、外部指标：将聚类（将所有的结果聚到不同类中）结果同某个参考模型进行比较，想评估好不好就弄一个参考模型，去与参考模型比怎样，通过这种方式来衡量外部指标
（1）jaccard 系数：
（2）FM 指数：
（3）Rand 指数：
2、内部指标：不适用参考模型（使用参数模型比的是内部结果）直接考察聚类结果
（1）DB指数：
（2）DUNN指数：
