走进Matrix：塑造现实的隐藏法则
关注微信：DuoDaaMath 每天获得更多数学趣文
作者， Mark Buchanan，美国物理学家、作家，2009年拉格朗日奖得主。
翻译，浪荡游侠，哆嗒数学网翻译组成员。
原文地址：http://help-matrix.blogspot.com/2010/04/enter-matrix-deep-law-that-shapes-our.html
想象一下我们有一个理论能解释这个世界，不仅仅是原子、夸克，而且还能刻画我们生活中的方方面面。这听起来有点玄乎，但这样的理论也许真的存在，它就是最近在物理学中兴起的随机矩阵论。
随机矩阵始于50年前的微观物理，被用来描述原子核的能级。然而随着时间的推移，它开始在各个方面浮现。从通货膨胀率到固体性质，都出现了它的身影。一些科学家开始思索这些现象的背后是否蕴含着某些不为人知的共通模式。密歇根大学安娜堡分校的Raj Nadakuditi教授说：“随机矩阵背后似乎埋藏了某种自然界的核心规律。”
所有的这些，起源于物理学家将未知转变为优势的成功探索。1956年，我们对复杂原子的内部结构还知之甚少。德国物理学家Eugene Wigner说，要不然干脆就猜吧！量子物理告诉我们原子核有很多离散的能级，你可以把它想象成一个楼梯上的一堆非均匀分布的台阶。为了计算这些台阶间的距离，我们必须知道原子跃迁的所有可能方式以及其对应的概率。Wigner并没有这些数据，所以他随机挑了一些数作为概率，将他们排成方阵，并称之为“矩阵”。用矩阵表示能级间的关系是一种非常简洁的方式。与此同时，Wigner也拥有了强大的数学工具使他能对能级做出预测。他惊奇的发现，利用这种简单的方法，即使缺乏某一能级的信息，也能利用该能级邻近能级的信息对其做出大致估计。Wigner仅仅几行线性代数运算得出的结果超出了任何人的想象，并与之后几年的实验结论相差无多。但至于他的方法为什么会成立时至今日还是一个谜。
真正值得称道的是Wigner的方法在之后的运用。对于拥有一系列变量并且变量间相互关联的大量问题，都可以用随机矩阵加以解决。
第一个关于Wigner方法的其它应用发生在一个与原子物理毫不相干的领域，由英国物理学家Freeman Dyson和美国数学家Hugh Montgomery发现。Montgomery那时在研究数学中最著名的函数之一——黎曼Zeta函数。它是解析数论的枢纽，对于寻找素数有着重要意义。1859年，德国数学家黎曼猜测Zeta函数零点位置符合一个非常简单的法则，这些零点与素数的分布有着很紧密的联系。这就是著名的黎曼猜想，时至今日也没被证出。Montgonmery当时显然也没有证出这个猜想，但他推导出一个公式，只要知道某点附近一个零点的位置，就可以用它用来计算在该点找到零点的可能性。当Montgomery告诉Dyson他的公式的时候，这个物理学家马上意识到这和Wigner用在原子能级上的方法差不多。
至今，没人知道素数为啥和随机矩阵有关，更别提原子能级了。但是它们之间的关联不会有错。明尼苏达大学的数学教授Andrew Odlyzko计算了1023个黎曼函数的零点，发现其近乎完美地符合随机矩阵得出的结果。
随机矩阵邪乎的普适性不止于此。在过去几十年，研究者发现随机矩阵可以描述物理中一大类复杂系统。比如近来，哈佛物理学家Ferdinand Kuemmeth和他的同事用它预测了他们制造金纳米颗粒中的电子能级分布。传统理论认为这样的能级会被各种因素所干扰，包括纳米颗粒的准确大小和形状，以及原子间的相对位置等。这些因素或多或少包含一些随机性。然而，Kuemmeth的团队发现用随机矩阵得出的结果完美地契合了能级的实验数据。
由德国Regensbrug大学物理学家Jack Kuipers领导的团队发现了用随机矩阵得出的结果同样高度吻合电子在量子点内无规则反弹的实验数据，这种吻合在能捕捉到单一量子粒子的小盒子中尤为明显。
从量子色动力学到晶体的弹性性质，这样的例子数不胜数。“随机矩阵展现出的这种法则几乎在所有量子系统中有效，这是一个令人惊奇的结论。”瑞典物理学家Thomas Guhr说。
随机矩阵论的普适性引起了数学家的注意。诸如纽约大学的PercyDeify认为其中可能隐藏着更广泛的规律。他说，“这样的想法在数学家中并不常见。数学家倾向于认为每一类问题都有自己的特点，但是近年来我们开始看到看似没有什么关联的领域展现出了相同的行为。”在2006年的一篇论文中，他展示了随机矩阵可以非常自然地应用到诸多问题中，从某种纸牌游戏，到公交车堵塞，再到气体中分子反弹的路径。
一个很重要的问题是数学物理背后是否有更深层次的理论可以解释为何随机矩阵可以抓住很多问题的关键。“原因肯定是存在的，只不过我们现在还不知道”，Nadakuditi说。与此同时，随机矩阵已经改变了我们对随机系统的看法，并使我们能够尝试去理解它们。这也许也为侦测全球气候的微小变化提供了新的工具。
1991年，一个国际科研项目实施了一个后来被称之为赫德岛可行性测试的项目。在海底传播声音可以对气温升高进行敏感性测试。受此启发，他们在赫德岛附近的印度洋传播了一个巨大的“嗡嗡”声，并用分布在各地的传感器来接收信号。20年后再次进行这项实验对于气候变化可以产生十分有用的信息。然而考虑到巨大的声音会对当地的海洋生物产生负面影响，所以发射的信号必须很弱，弱到很难被一般传感器检测到，这时随机矩阵就派上了用场。
近年来，Nadakuditi与Alan Edelman几位麻省理工的教授发明了基于随机矩阵的信号检测方法，尤其适用于全球大范围传感器检测。“原则上你可以发射相当弱的声音并且仍然能检测到信号。”Nadakuditi说。
还有人用随机矩阵做一些非常有意思的事情，比如让光穿过不透明材料。去年，荷兰物理学家Allard Mosk团队用随机矩阵来描述射到物体上的光和散射光的统计关联。“对于散射效果非常好的不透明物体，它们之间的关联可以同随机矩阵完全表示”，Mosk说。
最有意思的是，用随机矩阵可以推导出一些奇怪的结论。结果显示，有一种特殊的波会穿过物体而非被反射，Mosk称之为“通道”。为了验证这一点，Mosk的团队制造了一束有着精巧的波阵面的光，让其穿过不透明的氧化锌层，他们发现投过的光急剧增加。随机矩阵导出了其他理论中没有的奇怪结论，而且还实验证实了！
到这里，我们才刚刚要说到随机矩阵最牛逼的应用。巴黎理工大学的物理学教授Jean-PhilippeBouchaud说，“尽管近十年来随机矩阵导出了很多重要的结果，但是当把它运用到各个领域海量数据的处理时，它的重要性又上升了一个等级”。
从粒子物理到天文，再到生态学和经济学，搜集和处理巨量数据都是家常便饭。一个经济学家可能从上百个数据集里筛选信息来解释通货膨胀率的变化，这些数据集可能包括石油期货、利率或者工业存货。诸如亚马逊等商业机构依靠相似的技术去挖掘用户购物行为然后为他们推荐商品。随机矩阵论显示，尽管这种方法有其合理之处，但是也有很大的缺陷。当越来越多的数据被采集到后，我们所研究的变量急剧增加，与之一同增加的是具有伪相关关系的变量。当变量数量足够多时，你几乎肯定会检测到某些变量间的显著相关性，然而事实上他们并没任何关系。
假设你有多年的各种经济指标数据，包括通货膨胀率，就业率和股价等等。你在其中寻找因果关系。Bouchaud和他的同事证明，即使这些变量进行随机波动，选出其中两个看似相关度最高的变量，它们的相关关系依然非常显著。
上述现象被称作“维数诅咒”。它的意思是当巨量信息被观察到时，研究问题变得简单，然而同时也更易使人发现实际上不存在的模式。为了区分何种模式有意义，随机矩阵便派上了用场。
在上世纪60年代末期，乌克兰数学家VladimirMarcenko和LeonidPastur推导出大型随机矩阵的一系列性质。根据这些性质你可以计算随机情况下数据集间有多少相关性。这使得你能从伪相关性中得出真实情况。他们相关性的计算方法和Wigner的能级推导实际上是差不多的。
Bouchaud团队的结果显示很多经济预测是多么不靠谱，尤其是那些对几个月之后的预测。当然，经济机构要靠这类预测吃饭，但是我们能相信他们么？
为了回答这个问题，Bouchaud和他的同事研究了美国通货膨胀率是如何被其他指标解释的。这些指标包括工业生产指数，零售指数，消费者信心，生产者信心，利率和油价。利用1983年到2005年的数据，他们首先计算了数据间各种相关关系，并发现了一些看似显著的结果。这些结果显示某个经济指表发生变化导致了通货膨胀率在接下来一段时间发生变化。对于那些比较天真的小伙伴，这些结果似乎表明我们可以信心满满地用这些指标去预测通货膨胀率。然而Bouchaud团队运用Marcenko和pastur的方法却得出这些所谓显著相关关系中只有极少量可能是真实存在的，因为只有这些相关性比完全随机得出的相关性要高。Bouchaud说：“加入更多数据并不像经济学家想的那样可以加强可预测性。”
近年来，也有经济学家对这些从海量数据中得出的预测表示怀疑，但他们是少数。绝大多数经济学家还是相信更多的变量能提供更好的预测，然而这可能仅仅是他们的一个幻觉。也许他们时候学习一下随机矩阵了！
Wigner一定也被吓尿了。他肯定不会想到他表示原子核能级的方法能走得如此之远，从物理中的普遍规律到社会科学中的数学工具，方向上似乎也越来越奇怪。这些一定偏离了他偷懒的初衷！
关注微信：DuoDaaMath 每天获得更多数学趣文
评论已关闭