开发者学堂课程【机器学习算法 ：回归模型参数估计-3】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7191
回归模型参数估计-3
一、参数估计：最大似然估计
最大似然估计(Maximum Likelihood Estimation ，MLE)：利用总体的分布密度或概率分布的表达式及其样本所提供的信息求未知参数估计量的一种方法。
如果概率或统计学学的很好是可以看的明白的，如果不好就来慢慢体会。
最大似然估计基本思路：已知样本符合某种分布，但分布的具体参数未知，通过实验，估算分布的参数。估算的思想为：已知某组参数能使当前样本出现的概率最大，就认为该参数为最终的估计值。
举一个例子，投掷一枚已知质地并不均匀硬币，正反面的结果符合二项式分布：
,其中 n 和 k 为与实验相关的常数(意思是投掷n次中有k次是正面，这两个是不用求)，p 为出现正面的概率（p 是变量，如果投一个硬币，硬币并不均匀，正反面的结果是符合二项分布的，会有一个方程满足二项分布），也是待确定的参数。
将该硬币投掷 i 次，出现正面次数为 j，在没有其他更多信息的情况下，则有理由相信
。比如投了十次出现了三次正面，这就说明此时硬币正面的概率最可能是十分之三
最大似然估计解决的是“模型已定，参数未知“（就是已经知道模型是什么样，但不知道参数，就需要根据实际的情况去估计参数。）的问题，即用已知样本的结果，去反推既定模型中的参数最可能的取值。其实上次在讲到假设检验的时候提到过一个例子，实际上那个例子是实际评查但是改成了基因病，也是根据当前出现的这个结果。就是公式中，参数取到的值，最有可能出现当前的结果，就把它作为参数的估计值。举一个例子，根据已有样本的学习，穿裙子的可能百分之九十九的可能是女生。此时，来了一个并没有看清出男女的人过来，告诉穿了裙子来判断是男是女，根据已有的信息和知识，从平时的学习、接人待物，在跟人打交道的过程中，观察发现，女的爱穿裙子，男的基本不穿，那么这个就是已知的信息。回到判断的问题上，在没有更多信息的情况下，认为是女生的概率更大，所以会把参数定义为女。这个方法是很重要的，特别是一些不适合用在最小二乘法的情况下，经常会使用最大似然估计。
出现当前情形的概率为:
,
未知，n 个随机事件都发生，竖线是条件。就是在参数为
的条件下，出现
事件的概率等于
下
发生的概率乘以
下
发生的概率一直乘到
下
发生的概率。这就称之为似然函数
,其实对于似然函数L
来讲是在
的前提下求
，实际上是关于
的一个函数。注意第一个式子能够乘是有一个前提的是事件之间是独立的。
为了方便计算，取对数，取对数是为了把乘法变为加法、把除法变为减法，把次幂变为乘法，就相当于降低了复杂程度。
平均对数似然
记作：
,最大似然估计就是找到一个
使得
最大，即：
，这个公式建议记住数学含义，或者直白的讲当前事件发生的概率可以用来表示，这个事件发生了，要想办法使表达的方程、概率最大就可以。因为已经发生了，比如还是刚刚判断男女的，已经知道了是女的，如果把这个是男是女按照一个方程来表示，这有一个未知数已知数据是女的，那么这个表达出来，加入求得有两个值，第一个的概率使30%，第二个概率是25%，那现在应该选择概率大的那一个才符合现实。就已知的信息，30%的值是更加靠谱的，所以选择第一个。求一个最大的平均对数参数的值来作为参数，这个对于统计学学的一般的同学、理解会比较困难。将硬币投掷10次，出现正面次数为3，有理由相信 p=0.3，这是频率中的知识。还有10投3正的概率为：
P 是正面的概率，(1-p) 就是背面的概率。注意这里发生了转换，在描述的时候发生的事件是
，前提条件是 p，但之后似然函数的条件与事件位置发生了变化。它的似然函数为
。其平均对数似然为：
求最大值，对
求导并让等于0：
。解出 p=0.3，因为这个例子比较简单，可以算出答案，但如果题目比较复杂，就列出式子一步一步计算。
