开发者学堂课程【机器学习算法 ：回归模型参数估计-4】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7192
回归模型参数估计-4
一、 参数估计：最大似然估计*
接着学习最大似然估计的数学推导，这里标记了*号。如果学起来吃力，可以先跳过，虽然很重要，但是不太关键。
总体 X 为连续型分布，其分布密度族为 {f(x，θ)，θε0}，假设总体 X 的一个独立同分布的样本为
，其似然函数为：
。
已经得到了这个数据，是在
发生的条件下
的取值。最大似然估计应在一切中选取使随机样本(
)落在点(
)附件概率最大的作为
的估计值
，即
满足： 
就是已经知道一个样本
，假设总体X可以产生很多样本，不同的参数值会有不同的样本，在这个情况下，由于已经有一个样本发生了就会要求
的取值使得产生(
)样本概率最大，这时的
就是所需要的估计值。
再来看一元线性回归方程，假设
（均值为0，方差为
，），则有
, （对线性回归方程中的y值来讲也是满足正态分布，均值是
，方差为
。想一下在线性回归方差理论模型中
，前半部分本身的数学期望就是
。但是一元线性回归方程中所有的方差都来自于随机误差，所以
满足这样的正态分布） 
的分布密度为：
，这个式子一定要记住，是正态分布的密度表达式。这一部分在计算时与之前的离差平方和看上去十分一致。已经知道分布密度求其似然函数为：
，这有三个未知数
，连乘形式乘起来，它的指数形式也没有变化。
求平均对数似然为：
， 
红色框中的数字看上去很熟悉，是最小二乘法中求的最小值就是后面的式子，就是对于一元线性回归方程来说，使用MLE和LSE进行参数估计是等价的。但对于其他的运算方法不一定等价。
MLE还可以得到方差
的估计值，因为刚刚说过用最大似然估计的一元线性回归方程有三个变量
，其中的
是可以估计的，与最小二乘法的估计结果是一样的：
上述对方差的估计是有偏估计，实际上常用无偏估计量：
