统计，以信仰之名：(三)衡量估计量的四大原则
关注微信：DuoDaaMath 每天获得更多数学趣文
为了照顾到广大浑浑噩噩的群众，在这节之前，首先要声明一下，所谓的估计量都是随机变量，你每生成一次数据，用同样方法得到的估计量可能截然不同。我们无法控制数据的生成，但是能找到一个很屌的方法，使我们的估计量在多数情况下尽量准确。
在学习数理统计时，我们都会学到评判估计量的三大原则：无偏性，有效性，一致性。水平比较高的老师也会讲到第四个原则：最小均方误差原则。我们在统计推断时默认这些原则，它们是人为规定的，而非某种公理性或定理性的东西。我们不禁要问，为什么要如此规定这些原则？比如，一个统计量为什么要无偏呢？是因为它长得帅吗？您别说，对于最后一个问题可能还就是因为它长得帅。实际上，这些原则都是从好的统计量中总结出来的，比如用几个观测的均值来估计其期望，均值具有无偏性，有效性，一致性，于是这些原则就总结出来了。下面我们对这些原则一个一个地讨论。
1、无偏性 is a piece of shit
所谓的无偏估计量就是它的期望恰好等于原参数。无偏估计量的优越性是非常直观的，在大数定律的保证下，它能以较快的速度收敛到原参数。如果让你列举什么是一个好的估计量，估计你第一个想到的就是无偏性。而且无偏性在数学上有一些非常优美的性质，比如很多情况下你可以找到一个最好的无偏估计量(一致最小方差无偏估计)。然而，这并不妨碍它是一坨shit。
你想想无偏性到底是什么呢？期望等于原参数有什么用呢？用一个N(θ,100)的无偏随机变量X来估计θ，如果θ=0，你估计出来的很可能是5，或者8，这样的估计量你敢相信么？
如果一个无偏估计量概率集中在真值周围，那么这个无偏估计量是可靠的。可惜无偏估计量在很多情况下并不符合这条性质。事实上，在高维统计中，无偏估计量是不可接受的(inadmissable)，因为你总能找到一个比无偏估计量更靠谱的有偏估计量，在各个方面都要胜无偏估计量一筹。所以，无偏估计量可能仅仅是长得比较帅而已。在这个看脸的世界，有时长得帅就够了。
2、有效性——渣男的评判标准
一个估计量如果分布得太分散，那么这个估计量一定是个花心大萝卜。比如你生成一组数据 估计量是1，另一组数据 估计量是100,。这样的估计量绝非居家好估计量。我们希望它的概率尽量集中，这就是有效性。光有有效性是不够的，比如你就拿0做估计量，稳定得不行，但是离真实估计量十万八千里，也不靠谱。但是作为一个评判标准，有效性还是够格的，如果一个估计量都不具有有效性，不论他说多么爱你，都不要相信他。
3、一致性——众里寻他千百度，只要钱多，参数却在，灯火阑珊处
一致性指的是当你样本趋于无穷时，你的估计量依概率趋于真实参数。也就是说，只要你的样本够多，一致估计量总能给你一个靠谱的参数。在有限样本时，这个评判标准仍然存在一定局限。然而统计学上，它仍不失为一条重要的评判标准。如果多采集样本都不管用，那只能看脸了。
4、最小均方误差原则——最靠谱的准则
一个估计量的均方误差可以表示为：$E(\hat{\theta}-\theta)^2$。在最小均方误差准则下，我们选估计量要使其均方误差尽可能小（似乎是句废话）。
为什么说这条准则是最靠谱的呢？首先，如果均方误差小，这个估计量一定比较靠谱，即以很大的概率在真实参数旁边。而且该准则跟样本数量无关，不管样本多少，估计量都会有一个均方误差，只要均方误差够小，这个估计量都靠谱。
根据mean-variance分解：均方误差=偏差+分散度
也就是说最小均方误差事实上是无偏性与有效性的结合，最小无偏估计量的概率分布既集中，而且集中在真值周围。
均方误差事实上是一种距离(统计决策上称为“损失”)，是参数空间内真值与估计量之间的欧式距离。于是我们要问，我们是否可以将欧式距离扩展至一般的距离？答案当然是可以的，对一般距离的探究构成了统计决策理论的基础。
关注微信：DuoDaaMath 每天获得更多数学趣文
评论已关闭