开发者学堂课程【机器学习算法 ：多元线性回归模型分析-1】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7199
多元线性回归模型分析-1
内容介绍
一、多元回归线性模型
二、参数估计：最小二乘估计
三、参数估计：最大似然估计
一、多元线性回归模型
将按照一元回归线性模型的方式、内容快速讲解多元线性回归，在学习过一元线性回归模型之后对于多元的学习是比较简单的。之前的形式是写方程，在这是要用矩阵的方式把方程表示出来，这样会使整体的形式更简洁，有的会比一元线性回归更简单。就要了解矩阵的相关知识。
多元线性回归模型为：
其中
为随机误差，满足：
,同方差就是随着x的变化均值的变化。
多元线性回归方程：
=>
多元线性回归方程的矩阵形式：
X的结果中第一列为0是由于每一个的第一项是一样的就是回归方程的重要组成部分，类似于直线的截距。可以认为是有x0,但是是一直等于0，这样可以把形式统一起来，更为简洁。
矩阵形式：
，会有
为什么跑后面的疑问？这需要具备一些线性代数的基础，
是不能乘以 x 的。因为
是p*1 列的，x 是乘以 p+1。所以最后的结果是n 行，如果是 x 写在前面 x 就是 n 行 p+1 行，这就满足
的关系，如果写反的话，编码就会报错。这个看上去是十分简洁的。一元线性回归模型也是可以写成这种形式。
二、参数估计：最小二乘估计
最小二乘估计(Least Square Estimation ，OLE)：根据观察数据寻找
参数的估计值
就是观测数据使观测值和回归预测值的离差平方和达到极小。估计值
称作回归参数
的最小二乘估计。
离差平方和：
这就要求估计值
满足：
这些实际上可以写成一个方程组，如下图：
有p+1个方程组，有p+1个变量
化简一下就等于 x 的转置乘以 y 减去 x 乘以
就是
联立的一个方程组最后转换成一个方程，之后计算
，最后就得到
，就是乘以
的逆矩阵，相当于左侧的为1。就等于一个
，除了对角线其余全是0的单位矩阵。任何一个单位矩阵乘以可乘的矩阵都是可乘矩阵本身。这就是最小二乘估计对多元线性回归的值。经验回归方程：y=X
三、参数估计：最大似然估计
多元线性回归方程
，有
,y的分布密度为：y~N(
), 
是除了对角线其余全是0的单位矩阵。相当于把方差转为矩阵。
其似然函数：是
两个未知数，变成一个连乘的形式，注意里面只看e的次方项。
简化计算，先取对数，好处就是乘法边加法，除法变减法，看红色部分和最小二乘法估计中相似。想使 lnL 最大，要是红色部分内容最小即可，等价于最小二乘法分离差平方和最小：
对方差有偏估计
