对于特朗普，统计学家的预测犯了什么错
原文作者：Taeer Bar-Yam
译文作者：mathyrl，哆嗒数学网翻译组成员，软件工程师。
微信、手机QQ搜索关注 DuoDaaMath 每获得更多数学趣文
注：此文原文发表于2016年7月16日，当时特朗普获得共和党提名几乎已经板上钉钉。而现在的结果，大家都知道了……
纳特•西尔弗（Nate Silver）是活跃于体育、政治和其他领域的统计研究人员，最受尊重的统计学家之一[1]。在2016年总统竞选期间，他对唐纳德•特朗普成为共和党候选人的可能性的早期分析引人注目 ——他估计只有2％的概率。正如他后来承认那样，即使统计数据不是关于现实，而是概率，后来的事件似乎与这些预测不一致 [2-4]。他解释了分析的问题是由于政治因素[3] 转化为统计变量难度太大[4]，但不是由于他使用的模型本质上是有缺陷的。在这里，我们指出他使用的统计思想的根本问题。统计从独立的假设开始，这通常是无效的。在这种情况下，这些假设导致数学上的矛盾。这说明了即使对于统计预测的高手，统计数据导致不合逻辑的预测结果是如何发生的。事实上，也许更容易误导那些高手 ——一个警世的故事。
西尔弗的分析[2]是基于提名的六个“生死攸关的阶段”。他分别为每个阶段分配1/2的获胜机会，导致提名的机会少于2％=（1/2）^6（1/2的6次方）。就像连续赢6次抛硬币。
有一个论据使西尔弗的结果可疑。西尔弗的分析的一些阶段显得对特朗普是特有的。然而，每个候选人都面临困难，提名的每个阶段肯定不能保证有利于他们中任何一个。虽然所使用的具体术语可能不一样，但是对于每一个候选人都可以进行类似的分析：获得并保持注意，经受彻底审查，在提前投票的州取得成功，建立组织，积累代表以及取得党代会的多数票。如果有什么不一样，他们面临更大的挑战因为特朗普在民调中领先。
因此，类似的逻辑应用将导致我们得出结论，每个人都有2％的获胜机会。这是不合理的，因为必定有人赢---概率的总和必须是1（除非一个非候选人成为提名人，这个概率很小）。如果每个候选人具有相同的概率，他们的机会将不小于6％=1/17，17是原始候选人的数目。当然，必须有人有大于2％的概率。这表明西尔弗的推理在内部不相容。
事实上，西尔弗写了那篇文章是因为当时对特朗普在民调领先的关注。可能有人猜测，他有超过1/17的机会。这些情况表明，从大众的角度看的概率的估计会高得多。
在西尔弗的分析还有其他假设。把 因子1/2乘起来是基于假设任何一个阶段的失败都是会对提名产生障碍。这似乎不太合理。我们可以很容易地发明其他独立假设：每个阶段都有独立的1/2成功机会，包括提名 --- 50％而不是2％。为什么是1/2？也许因为它经常在统计样本中使用。
估算的真正问题是独立性是否符合现实。赢得一个阶段的胜利，会提高赢得其他阶段的概率。虽然，赢得一个阶段不保证赢得其他阶段。然而，众所周知，赢得一个阶段的因素有助于赢得其他阶段，以及赢得一个阶段的事实有助于赢得其他阶段（势头起来了）。我们不知道依赖的强度，但这个问题可以完全左右模型的预测。因此，各个阶段之间的依赖性不是小的影响，即使在粗略近似中，也必须考虑。
在现实问题中应用统计是棘手的。尽管我们在这里提出了问题，西尔弗已经做出努力使现实世界的数学问题更受尊重，对此应该给他记一大功。
使用统计学的时候我们会做出假设，这些假设使计算成为可能。但如果我们假设一开始就是错误的，计算的结果也会跟着错。应该怎么做？ 西尔弗写了一个深思熟虑的经验教训[4]指出复杂性、反馈循环和混沌动力系统的重要性。结合这些过程所涉及的数学框架将推进统计之外的分析，以实现更好的数学预测。关心相互依赖性，如只关心英国脱欧对欧洲造成问题的是不够的。我们需要理解相互依赖性[5]，以便作出正确的假设，并得出正确的结论。
1. http://fivethirtyeight.com
2. http://fivethirtyeight.com/features/donald-trumps-six-stages-of-doom/
3. http://fivethirtyeight.com/features/why-republican-voters-decided-on-trump/
4. http://fivethirtyeight.com/features/how-i-acted-like-a-pundit-and-screwed-up-on-donald-trump/
5. Y. Bar-Yam, Dynamics of Complex Systems, Westview Press (1997) http://necsi.edu/publications/dcs/
微信、手机QQ搜索关注 DuoDaaMath 每获得更多数学趣文
评论已关闭