让中学生能看懂的线性拟合最小二乘的证明

 

关注微信:DuoDaaMath 每天获得更多数学趣文

新浪微博:http://weibo.com/duodaa

 

 

我们有一组数据$x_1,x_2,\cdots,x_i,\cdots,x_n$,每个$x_i$对应着一个$y_i$,于是有了另外$n$个数据$y_1,y_2,\cdots,y_i\cdots,y_n$。现在假设数据大致分布在一条直线周围,我们要找出这条直线。

 

找的思路是这样的,假设这条直线是$y=ax+b$,因为会有误差,$(x_i,y_i)$这些点,一般来说不会都在这条直线上。你把$x_i$带进直线方程的右边的时候,得到都是数不一定正好是$y_i$,就是说$y_i-ax_i+b$可能不是零。为了保证偏差最小,我们希望$\sum(y_i-ax_i-b)^2$这个值最小。这就是最小二乘法的思想。那么取怎样的$a,b$能让他最小呢?

 

遗憾的是,大部分给出的求$a,b$的办法都是用拉格朗日乘数法。这个办法需要用多元微积分的知识才能解释,这是大学学习的内容。再不然就是什么矩阵范数什么的,是更高端的数学办法。网上也有人给出一些办法,是中学生也许能看懂,不过符号过于复杂,而且就是硬算,没有思想。这里哆嗒数学网的小编,给个中学生能看懂,而且有过程有思想,过程还很漂亮的办法。

 

第一步:计算平均数,这几个常数以后会用的。

 

$\overline{X}=\cfrac{1}{n}\sum x_i$     $\overline{Y}=\cfrac{1}{n}\sum y_i$ 。

 

第二步:做变换,中学时候也说是变形的。

 

$t_i=\cfrac{x_i-\overline{X}}{\sqrt{\sum(x_i-\overline{X})^2}}$     $s_i=\cfrac{y_i-\overline{Y}}{\sqrt{\sum(y_i-\overline{Y})^2}}$

 

这篇文章最精彩的部分就是这个变形了。变形之后你会发现$\sum s_i=\sum t_i=0$,平方和$\sum s_i^2=\sum t_i^2=1$,而且能知道他是一条新的直线。对新的直线进行拟合$s=ct+d$,还是要$\sum(s_i-ct_i-d)^2$最小。啊哦,是不是已经看到漂亮的轮廓了?当然好戏在后面。

 

第三步,当然计算不可少啦。

 

$\sum(s_i-ct_i-d)^2 = \sum(s_i^2+c^2t_i^2+d^2-2cs_it_i-2ds_i+2cdt_i)$

$=\sum s_i^2+c^2\sum t_i^2+ nd^2-2c\sum s_it_i-2d\sum s_i+2cd\sum t_i$

$=1+nd^2+c^2-2c\sum s_it_i$

 

这令$p=\sum s_it_i$,那么可以进一步得到结果为$1-p^2+nd^2+(c-p)^2$。要让这个式子的值最小,当然是是让$d=0,c=p$啦。

 

得到直线方程的结果$s=pt$。这个结果简直得太漂亮了!

 

最后一步,代回本来的结果啦。

 

 $\cfrac{y-\overline{Y}}{\sqrt{\sum(y_i-\overline{Y})^2}}=\sum\cfrac{(y_i-\overline{Y})(x_i-\overline{X})}{\sqrt{\sum(y_i-\overline{Y})^2}\cdot\sqrt{\sum(x_i-\overline{X})^2}}\cdot\cfrac{(x-\overline{X})}{\sqrt{\sum(x_i-\overline{X})^2}}$

 

即$y=\cfrac{\sum[(x_i-\overline{X})(y_i-\overline{Y})]}{\sum(x_i-\overline{X})^2}\cdot x+\overline{Y}-\overline{X}\cdot\cfrac{\sum[(x_i-\overline{X})(y_i-\overline{Y})]}{\sum(x_i-\overline{X})^2}$

 

就是说,令$a=\cfrac{\sum[(x_i-\overline{X})(y_i-\overline{Y})]}{\sum(x_i-\overline{X})^2}=\cfrac{\sum x_iy_i -n\overline{X}\overline{Y}}{\sum x_i^2-n\overline{X}^2},b=\overline{Y}-a\overline{X}$,就是我们经常见到的结果啦。

 

什么?最后一步不漂亮。额,这里说一个生活经验吧,当我看见一个远远看见一位“美女”的时候,那时是“盼望”,走近时还有“希望”,真正面相对时,咳咳——我很绝望。

 

 

 

关注微信:DuoDaaMath 每天获得更多数学趣文

新浪微博:http://weibo.com/duodaa

标签: none

评论已关闭