开发者学堂课程【机器学习算法 ：回归模型的参数估计-2】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7190
回归模型的参数估计-2
内容简介
一、参数估计：最小二乘估计*
二、示例
一、 参数估计：最小二乘估计*
把原始式子对
求偏导，得到公式
，加号不用管他，它还需要往下移，加号一个式子、二个式子是一样的，首先
这个式子求导，这涉及到了求导中的一个替换求导，是一个链式法则。先把内部的
当作一个变量 z 求导，得到 2z，接着对
求导就变成了
在这已经将所有重要的内容以及写在了 ppt 上，一定要手动算一遍。
把原始式子对
求偏导，得到公式
一样的还是把
当作一个变量z求导，得到2z，接着对
求导，
中没有
中也没有
，最后的
有
。结果就变成了
这章节上面标记的有*，说明要记住结论就行，不必学会推导过程。如果只是用的话，还是要了解一些相关的数学知识。如果会推导，了解数学知识，对后面的学习是由很大的帮助，可能暂时比较痛苦，可以稍微放松，但还是要花费时间学会这个内容。
可以看到这个方程组，有两个变量是
，剩下的x、y已经是常数。对这两方程组是能够求出来的，结果为：
到目前为止，参数估计都已经结束，数据集已经有了，得到两个方程，再根据数据集去求
，实际上求的是估计值
。如何求？就用刚刚最后得到的式子，先求
，有n个样本，把每个样本的x均值求出来，在计算y的平均值，再用每一个y减去的y均值乘x的值减去x的均值求和，分母是每一个x减去x的均值的平方和，求出
；之后
就带入公式，即可得到结果。通过这个过程就把
的近似估计值求出来了，方程就得到了。
二、 示例
已知两组数据 x、y，使用一元线性回归模型拟合两者之间的关系：
。采用最小二乘估计回归方程中的系数
，得到最终的回归方程。
左侧是给出的数据x、y，右侧是按照样本数据构成的点图，还有一条拟合的线的方程。
上一张 ppt 内容中的讲到，如果已知数据集，得到
的公式。算出x的均值是3.28，y的均值是26.4133代入得：
等于4.919，利用
计算得到
=10.278。最终的回归方程为：y=10.278+4.919x
一定要自己动手进行计算，算清楚就能够掌握最小二乘估计，接着就可以理解参数估计是怎样一回事。再结合最简单的回归模型，一元二次模型，就能够大概清楚机器学习有监督的方法，就可以知道参数、算法、模型估计常见的算法是什么样的。所以建议学到这一步，先停一下，自己找一个例子，手动计算一遍，在联想一下机器学习的实质是什么、三要素是什么，还有把线性回归方程这些知识串一遍。
