澳门vip贵宾厅 53
移动互联

【澳门vip贵宾厅】正史上的熵概念源点于热力学,法兰西共和国物经济学家、天体力学家、数学物管理学家、科学文学家庞加莱出生

澳门vip贵宾厅 1

撰文 | 丁玖(南密西西比大学数学教授)

庞加莱
1854年4月29日,法国数学家、天体力学家、数学物理学家、科学哲学家庞加莱出生。
人物简介
亨利·庞加莱是法国数学家、天体力学家、数学物理学家、科学哲学家。1854年4月29日生于法国南锡,1912年7月17日卒于巴黎。庞加莱的研究涉及数论、代数学、几何学、拓扑学、天体力学、数学物理、多复变函数论、科学哲学等许多领域。
庞加莱是公认的十九世纪末本世纪初的一位领袖数学家,是一位对数学及其应用具有全面知识的雄观全局的大师。他在数学和数学物理方面的业绩是划时代的。在现代数学史上,只有希尔伯特可以与他匹敌。当代数学的几乎所有分支都可溯源于他他同时又是一位物理学家、天文学家和力学家,还是一位科学哲学家。他从1874年起到1912年逝世止在各种刊物上发表的491篇论文以及几十部专着,给二十世纪的科学留下了深远的影响。庞加莱在天体力学方面的研究是牛顿以来的第二个伟大的里程碑,他因为对电子理论的研究被公认为相对论的理论先驱。
主要经历
1854年4月29日,亨利·庞加莱出生于法国南锡一个学者家庭中。庞加莱家族在法国拥有极高声望,亨利·庞加莱的父亲和姐夫都是南锡大学的教授,而其表兄弟雷蒙·庞加莱更是法兰西学院院士,并于1913—1920年出任法国总统。
因为视力极差,所以庞加莱在音乐和体育课上表现一般,除此之外,庞加莱在各方面都称得上是成绩优异。庞加莱的数学才华在上大学之前已经显现出来。他的数学教师形容他是一只“数学怪兽”,这只怪兽席卷了包括法国高中学科竞赛第一名在内的几乎所有荣誉。
1873年,庞加莱进入巴黎综合理工大学(école
Polytechnique),在那里他得以从事他擅长的数学,师从着名数学家查尔斯·厄米特,并发表了他第一篇学术论文。后来庞加莱继续跟随厄米特攻读博士学位,他于1879年获得巴黎大学博士学位,1887年入选法国科学院,后任院长,并于1906年被选为法兰西学院院士,这是法国学者的最高荣誉。1875年前后,庞加莱从理工大学毕业,进入南锡矿业大学继续学习数学和采矿。毕业后,他加入了法国矿业集团成为法国东北部矿产区的一名巡视员,与此同时,庞加莱继续在厄米特的指导下从事研究。在他一生的大部分时间里,庞加莱都不曾放弃他的工程事业,他在1881至1885年间负责北方铁路的建设工作,数年后成为法国矿业集团的总工程师,最后在总监的位置上退休。
1885年,在刚创刊不久的瑞典数学杂志ActaMathematica的第七卷上出现了一则引人注目的通告:为了庆祝瑞典和挪威国王奥斯卡二世在1889年的六十岁生日,ActaMathematica将举办一次数学问题比赛,悬赏2500克朗和一块金牌。比赛的题目有四个,其中第一个就是找到多体问题的所有解。这是天体物理学中三体问题的一个推广。而庞加莱在读博士期间就已经开始研究太阳系中的多体问题。
但庞加莱最终却没有成功给出一个完整的解答,因为他发现这个系统的演变经常是混沌的,“混沌”是说如果初始状态有一个小的扰动,例如一个体的初始位置有一个小的偏移,则后来的状态可能会有极大的不同。也就是说,如果该小变动不能被我们的测量仪器所探测,则我们不能预测最终状态为何。他的工作令评委印象深刻,因此还是在1888年赢得了奖金,时年34岁。
这是庞加莱学术生涯中第一个重要的奖项,1888年5月庞加莱在比赛截止日期前交上了他的论文,六个月后他就被宣布为获胜者。评委维尔斯特拉斯很有预见地指出这篇论文将开创天体力学历史上的一个新纪元。
1899年因研究天体力学中的三体问题获奥斯卡二世奖金。1906年庞加莱当选为法国科学院院长,1908年以作家身份成为法兰西学院院士。
1908年庞加莱因前列腺增大而未能前往罗马,虽经意大利外科医生作了手术,使他能继续如前一样精力充沛地工作,但好景不长。
1912年春天,庞加莱再次病倒了,7月9日作了第二次手术;7月l7日在穿衣服时,突然因血栓梗塞,在巴黎逝世,终年仅58岁。
主要成就
庞加莱的一生中在数学和物理的各个领域都有建树,其中以其本人命名的科学发现就有庞加莱球面、庞加莱映射、庞加莱引理等。庞加莱的研究涉及数论、代数学、几何学、拓扑学等许多领域,最重要的工作是在函数论方面。他早期的主要工作是创立自守函数理论。他引进了富克斯群和克莱因群,构造了更一般的基本域。他利用后来以他的名字命名的级数构造了自守函数,并发现这种函数作为代数函数的单值化函数的效用。
1883年,庞加莱提出了一般的单值化定理(1907年,他和克贝相互独立地给出完全的证明)。同年,他进而研究一般解析函数论,研究了整函数的亏格及其与泰勒展开的系数或函数绝对值的增长率之间的关系,它同皮卡定理构成后来的整函数及亚纯函数理论发展的基础。他又是多复变函数论的先驱者之一。
庞加莱为了研究行星轨道和卫星轨道的稳定性问题,在1881~1886年发表的四篇关于微分方程所确定的积分曲线的论文中,创立了微分方程的定性理论。他研究了微分方程的解在四种类型的奇点附近的性态。他提出根据解对极限环的关系,可以判定解的稳定性。
1885年,瑞典国王奥斯卡二世设立“n体问题”奖,引起庞加莱研究天体力学问题的兴趣。他以关于当三体中的两个的质量比另一个小得多时的三体问题的周期解的论文获奖,还证明了这种限制性三体问题的周期解的数目同连续统的势一样大。这以后,他又进行了大量天体力学研究,引进了渐进展开的方法,得出严格的天体力学计算技术。庞加莱这一工作究竟给N体问题的解决以及动力系统的研究带来巨大而无比深刻的影响:第一,庞加莱证明了对于N体问题在N大于二时,不存在统一的第一积分(uniform
first
integral)。也就是说即使是一般的三体问题,也不可能通过发现各种不变量最终降低问题的自由度,
把问题化简成更简单可以解出来的问题,这打破了当时很多人希望找到三体问题一般的显式解的幻想。在一百年后学习微分方程课的人大多在第二个星期就从老师那里知道绝大多数微分方程是没法找到定量的解的,但一般都能从定性理论中了解更多解的性质,甚至可以通过计算机“看到”解的形状行为。而在庞加莱的年代,大多数数学家更热衷于用代数或幂函数方法找到解,使用定性方法和几何方法来讨论微分方程就是起源于庞加莱对于N体问题的研究,这彻底改变人们研究微分方程的基本想法。第二,为了研究N体问题,庞加莱发明了许多全新的数学工具。例如他完整地提出了不变积分
的概念,并且使用它证明了着名的回归定理。另一个例子是他为了研究周期解的行为,引进了第一回归映象的概念,在后来的动力系统理论中被称为庞加莱映象?;褂邢筇卣髦甘╟haracteristic
expontents),解对参数的连续依赖性(continuous dependence of solutions
with respect to
parameters)等等。所有这些都成为了现代微分方程和动力系统理论中的基本概念。第三,庞加莱通过研究所谓的渐近解,同宿轨道
和异宿轨道,发现即使在简单的三体问题中,在这样的同宿轨道或者异宿轨道附近,方程的解的状况会非常复杂,以至于对于给定的初始条件,几乎是没有办法预测当时间趋于无穷时,这个轨道的最终命运。事实上半个世纪后,后来的数学家们发现这种现象在一般动力系统中是常见的,他们把它叫做稳定流形和不稳定流形正态相交(intersects
transversally)所引起的同宿纠缠,而这种对于轨道的长时间行为的不确定性,数学家和物理学家称之为混沌。庞加莱的发现可以说是混沌理论的开创者。
庞加莱还开创了动力系统理论,1895年证明了“庞加莱回归定理”。他在天体力学方面的另一重要结果是,在引力作用下,转动流体的形状除了已知的旋转椭球体、不等轴椭球体和环状体外,还有三种庞加莱梨形体存在。
庞加莱对数学物理和偏微分方程也有贡献。他用括去法证明了狄利克雷问题解的存在性,这一方法后来促使位势论有新发展。他还研究拉普拉斯算子的特征值问题,给出了特征值和特征函数存在性的严格证明。他在积分方程中引进复参数方法,促进了弗雷德霍姆理论的发展。
庞加莱对现代数学最重要的影响是创立组合拓扑学。1892年他发表了第一篇论文,1895~1904年,他在六篇论文中建立了组合拓扑学。他还引进贝蒂数、挠系数和基本群等重要概念,创造流形的三角剖分、单纯复合形、重心重分、对偶复合形、复合形的关联系数矩阵等工具,借助它们推广欧拉多面体定理成为欧拉—庞加莱公式,并证明流形的同调对偶定理。
庞加莱的思想预示了德·拉姆定理和霍奇理论。他还提出庞加莱猜想,在“庞加莱的最后定理”中,他把限制性三体问题的周期解的存在问题,归结为满足某种条件的平面连续变换不动点的存在问题。
庞加莱在数论和代数学方面的工作不多,但很有影响。他的《有理数域上的代数几何学》一书开创了丢番图方程的有理解的研究。他定义了曲线的秩数,成为丢番图几何的重要研究对象。他在代数学中引进群代数并证明其分解定理。第一次引进代数中的左理想和右理想的概念。证明了李代数第三基本定理及坎贝尔—豪斯多夫公式?;挂畲陌绱?,并对其基加以描述,证明了庞加莱—伯克霍夫—维特定理。
庞加莱对经典物理学有深入而广泛的研究,对狭义相对论的创立有贡献。早于爱因斯坦,庞加莱在1897年发表了一篇文章“The
Relativity of
Space”〈空间的相对性〉,其中已有狭义相对论的影子。1898年,庞加莱又发表《时间的测量》一文,提出了光速不变性假设。1902年,庞加莱阐明了相对性原理。1904年,庞加莱将洛伦兹给出的两个惯性参照系之间的坐标变换关系命名为‘洛伦兹变换’。再后来,1905年6月,庞加莱先于爱因斯坦发表了相关论文:《论电子动力学》。他从1899年开始研究电子理论,首先认识到洛伦茨变换构成群,第二年爱因斯坦在创立狭义相对论的论文中也得出相同结果。
庞加莱的哲学着作《科学与假设》、《科学的价值》、《科学与方法》也有着重大的影响。他是约定主义哲学的代表人物,认为科学公理是方便的定义或约定,可以在一切可能的约定中进行选择,但需以实验事实为依据,避开一切矛盾。在数学上,他不同意罗素、希尔伯特的观点,反对无穷集合的概念,赞成潜在的无穷,认为数学最基本的直观概念是自然数,反对把自然数归结为集合论。这使他成为直觉主义的先驱者之一。
1905年,匈牙利科学院颁发一项奖金为10000金克朗的鲍尔约奖。这个奖是要奖给在过去25年为数学发展做出过最大贡献的数学家。由于庞加莱从1879年就开始从事数学研究,并在数学的几乎整个领域都做出了杰出贡献,因而此项奖又非他莫属。
庞加莱定理
关于力学体系运动可逆性的定理。因由J.-H.庞加莱证明,故名。它指出,力学体系经过足够长的时间后总可以回复到初始状态附近。
1872年玻耳兹曼在研究实际热力学过程的不可逆性即热力学第二定律的微观本质时,曾根据非平衡态的分布函数f定义了一个函数H,并证明在孤立系统以非平衡态趋于平衡态的过程中,H随时间单调下降,在平衡态达到最小值,这就是H定理。玻耳兹曼认为,H函数与熵对应,H的减少与熵的增大对应
,H定理为热力学第二定律提供了统计解释。但是庞加莱定理似乎与H定理相矛盾。根据庞加莱定理,当H函数随时间单调地减少之后,只要经过足够长的时间,总可以重新增大,回复到初始的数值。对此,玻耳兹曼的回答是,H定理具有统计性质,即非平衡态总是以绝对优势的概率趋于平衡态,逆过程并非完全不可能,只是概率极其微小。
庞加莱猜想
1904年,庞加莱在一篇论文中提出了一个看似很简单的拓扑学的猜想:在一个三维空间中,假如每一条封闭的曲线都能收缩到一点,那么这个空间一定是一个三维的圆球。但1905年发现其中的错误,修改为:“任何与n维球面同伦的n维封闭流形必定同胚于n维球面?!焙罄凑飧霾孪氡煌乒阒寥陨峡占?,被称为“高维庞加莱猜想”。
大于等于五维的庞加莱猜想被斯蒂芬·斯梅尔证明;四维的庞加莱猜想被迈克尔·弗里德曼证明;三维的庞加莱猜想被俄罗斯数学家佩雷尔曼于2002-2003年证明。他们分别获得1966年,1986年和2006年菲尔兹奖。

数学家乌拉姆。

纪念”信息论之父”香农的最好方式,莫过于重温一下他怎样定义信息熵的数学思想,去理解现代信息论这个基本概念——仅用初等代数即可推导,令人赏心悦目,流连忘返!

撰文 | 丁玖(南密西西比大学数学系教授)

确定性过程在数学里是司空见惯的现象。众所周知,一个函数的迭代过程是确定性的,因为下一个迭代点完全由当前已知的迭代点唯一地确定。譬如混沌学中着名的逻辑斯蒂模型
f = 4x
,当x等于0.1时的函数值必为0.36,而不会等于0.35或0.37。同样,一个微分方程初值问题的解也是确定性的:解在任一时刻的值是唯一确定的一个数。

责编 | 黄俊如

然而,和确定性现象一样,
随机现象在自然界也是到处可见的。小孩子们喜欢猜硬币正反面的游戏:将一枚五分钱的平整硬币在桌上旋转,然后猛地用手把它拍倒按住,猜猜是钱的正面朝上还是反面朝上。即便旋转过一百次都是正面朝上,第一百零一次旋转后,硬币正面朝上的或然率还是同一个概率值:1/2。这就是典型的随机性,它意味着试验结果是不可确定的。如果历史上英国铸币局(牛顿(1643-1727)曾在这里当了几十年的局长)把钱币故意制成一个圆锥体陀螺形状,那么无论怎样旋转,待它最终停转时总是站在那里,也就是说正面总是朝上,这就是一个确定性的例子——旋转结果是可以预测的。人们认识到随机性的历史也许比数学史本身还要长,甚至可能就等于人类自己的历史——毕竟,孕妇肚子里怀的是儿子还是女儿,本身就是一个不可预测的随机事件问题。

今天是出生于波兰的美国数学家斯塔尼斯拉夫乌拉姆 (Stanislaw Ulam,
1909-1984)
逝世35周年纪念日。一个月前在他冥寿110周岁时,我写了一篇文章“贤者的奇迹:纪念乌拉姆诞辰110周年”,简略回顾了他非凡的一生,列举了他几大科学成就,并侧重介绍了他在
“改变历史进程” 的氢弹研制中 “一个数学家的经历”。

不确定性作为自然的基本属性,应该怎样用数学的语言去刻画呢?“熵”就是关于不确定性的一个极好的数学描述。历史上的熵概念起源于热力学。凡是学过热力学、统计物理或物理化学的人对“熵”这一术语都不陌生,但是这一概念发展的初始阶段却跟混沌思想并无任何历史瓜葛。实际上,当熵的名词诞生之时,混沌之祖庞加莱(Henri
Poincare,
1854-1912)还只是一个乳臭未干的少年。当熵的触角从宏观的热力学伸展到微观的统计力学之后,才逐渐拉近它和混沌概念的距离。二十世纪中叶的一场信息论革命,无意中在古典熵的旧作坊内又酿造出醇香的新酒。

了解乌拉姆那类人的科学业绩,对于只需或只想读读科学家生平故事的那些人,或许也就够了,但是对更想吸取他们的科学思想、对其治学之道或研究方式更喜欢追根求源的另一些人,仅仅知道这种流于表面的认识是比较肤浅的,甚至没有多少深刻的科学意义。

十九世纪是物理学家大显身手的世纪。如果说十七世纪是宏观力学的乐园,十九世纪则是微观力学的会所。热力学和统计力学把眼光由外向里地从机械能转向到内能,熵概念的缓慢演化覆盖了那个世纪后半叶的前三十年。1865年,热力学奠基人之一、德国物理学家和数学家鲁道夫
? 克劳修斯(Rudolf Julius Emanuel Clausius, 1822-1888)第一次使用了“熵 ”
(从意指“变换容度”的希腊词τροπ?派生而来)作为热力学的专用名词,并赋予其数学形式。他用
“Sadi” 的第一个大写字母 S
作为熵的记号,大概是为了纪念熵理论先驱者之一、法国工程师萨迪 ?
卡诺(Nicholas Leonard Sadi Carnot,
1796-1832)。他写道:“按照希腊词τροπ? 的意思,我将 S
这个量称为系统的熵。我特别取熵这个词是为了让它与能量这个词尽可能相像:这两个词所表达的两个量在物理上如此密切相关,把它们的名字写得类似完全是合情合理的?!?br /> 他的一句名言 “宇宙之熵趋于无穷”
是热力学第二定律在孤立系统中无能量消耗情形下的推论;他的另一句断言
“宇宙总能量不变” 则是能量守恒定律的通俗说法。

乌拉姆1940年代参与美国原子弹研制的同事理查德·费恩曼 (Richard Feynman,
1918-1988)
,曾多次回忆起他的父亲是如何教导少年时代的他的:“你如果对一只鸟只知道它的名字,而对它的习性却一无所知,那么你对那只鸟的了解几乎为零?!狈讯髀衔盖渍庵旨虻ザ兄腔鄣墓鄣阌跋炝俗约旱目蒲囊槐沧?。

澳门vip贵宾厅 2

同样的道理,我们如果只满足于知道乌拉姆做了什么却不知道他是如何做的,就相当于学数学的人不看定理的证明而只看定理的结论。我们知道这种“只知其然而不知其所以然”的学习法是成就不了数学家的。

第二年,24岁的玻尔兹曼(Ludwig Boltzmann,
1844-1906)在他关于气体动力学的奠基性论文中,给出了熵的另一形式。十一年后的1877年,他在统计热力学中把熵简单地定义为着名的“玻尔兹曼常数”乘上与宏观状态相容的微观状态的个数之对数。与早先把熵和热量传递捆绑在一起的做法不尽相同,玻尔兹曼把熵看成是无序分子运动紊乱程度的一种度量。这种新观点,被杨振宁先生十分推崇的美国物理学家、化学家和数学家威拉德
? 吉布斯(Josiah Willard Gibbs,
1839-1903)精雕细琢,成为统计力学理论发展史上的里程碑之一。1995年夏,在中国厦门大学召开的第十九届国际统计物理大会(东道主学者郝柏林(1934-2018)时任会议主席)上,笔者曾听到与会讲话的杨振宁先生建议大家读读二十世纪初吉布斯那本启迪灵感的名着《统计力学的基本原理》(Elementary
Principles in Statistical Physics,
1902)。吉布斯于1863年在耶鲁大学获得美国历史上第一个工程博士学位,并在这所老牌大学度过了他的整个学术生涯。他令蒸蒸日上的美国扬名天下,可惜墙内开花墙外香,在科学整体尚欠发达的祖国,吉布斯活着的时候声名未曾显赫,却在去世前两年被大西洋彼岸最强盛时期的英国授予了伦敦皇家学会的考普利奖(Copley
Medal of the Royal Society of
London)——诺贝尔奖之前全世界科学界名气最大的奖项。

许多学数学的人都想成为职业数学家,但是许多真正的数学家却不把自己看成是纯粹的数学家,至少不把自己局限于数学的地盘。我记得十年前有人采访斯梅尔
(Stephen Smale, 1930-)
教授时,这个因为证明了五维以上的广义庞加莱猜想而获得1966年国际数学家大会菲尔兹奖的美国本土数学家,只把自己称为“数学科学家”?;蛐硭宰约旱亩ㄎ挥胛诶酚忻芮械墓叵?。我多年前翻阅过的一本乌拉姆身后出版的文集Science,
Computers, and
People(《科学、计算机及故友》),由美国数学科普大家马丁伽德纳(Martin
Gardner, 1914-2010)执笔的前言之第一段是这样写的:

  1. 信息熵

乌拉姆, 或如同他朋友口中的
“斯坦”,是那些伟大的创造型数学家之一,这些人不仅对数学的所有领域感兴趣,而且同样对物理及生物科学亦然。和他好朋友冯·诺依曼一样而与他众多的同行不一样的是,乌拉姆不可被分类为纯粹或应用数学家。在那些与应用问题没有一丝一毫关联的纯粹地带,以及在数学的应用中,他都从不停止寻找同样多的美和激动。

对需要交流的人类而言,通讯犹如吃饭睡觉一样重要。就像人类不断探索水稻增产一样,不断改进通讯质量与速度的科学研究一直是全世界方兴未艾的事业。1948年,博士毕业后就在贝尔实验室里研究通讯技术的电子工程师克劳德
? 香农(Claude Shannon, 1916-2001)在《贝尔系统技术杂志》(Bell System
Technology
Journal)上分两期发表了他一生中也许是最有名的一篇论文:《通讯的数学理论》(A
mathematical theory of
communications,1948),引入了一条全新的思路,震撼了整个科学技术界,开启了现代信息论研究的先河。在这一伟大的贡献中,他引进的“信息熵”之一般概念举足轻重:它在数学上量化了通讯过程中“信息漏失”的统计本质,具有划时代的意义。

乌拉姆对自己的这种“与众不同”也毫不讳言。在那本脍炙人口的自传 Adventures
of a
Mathematician(其初版的中译本书名是《一位数学家的经历》)的开头,他就告诉读者他四岁时就对家中客厅波斯地毯上的几何图案着迷。当他身为律师的父亲对此不以为然而笑起来时,他心里自言自语道:“他笑是因为他认为我是幼稚的,但是我知道这些是令人好奇的模式。我知道我父亲所不知道的某样事情?!?/p>

澳门vip贵宾厅 3

这大概就是他终生热爱探讨新事物的天赋之才的最初显示。后来他在自传中说:“我是那种喜欢开始新事物而不是改进或精雕细琢之人?!?br /> 去年高等教育出版社出版的一本新书《杨振宁的科学世界》中,有杨振宁先生在采访中说的一段话:“我看见他的时候呢,他人很有意思。他一看见了就问你一个问题,这个问题可能是集合论的,也可能是组合的,甚至可能是打扑克牌的。然后你去想,跟他讨论,他就不发生兴趣了。他只发生兴趣是……”

克劳德 ? 香农(Claude Shannon, 1916-2001)

他喜欢提问题的另一个佐证,是上世纪30年代波兰数学学派名扬天下之时,那批以巴拿赫(Stefan
Banach, 1892-1945)
为首的波兰数学精英在苏格兰咖啡馆讨论数学及时记下的数学问题录——现已在国际数学界名闻遐迩的《苏格兰笔记本》,以年轻的乌拉姆贡献的问题最多!

香农生于美国密歇根州,本科毕业于“美国大学之母”密歇根大学。他儿时崇拜的英雄人物是大名鼎鼎的、造福全人类的美国大发明家托马斯
? 爱迪生(Thomas Alva Edison,
1847-1931),后来他发现这位英雄是他家的一个远亲。二十岁本科毕业时,他拿回了电子工程和数学两张学士文凭。而他在密西根大学修课时接触到英国数学家和哲学家乔治
? 布尔(George Boole,
1815-1864)最有名的工作“布尔代数”,成就了他二十一岁在麻省理工学院完成的题为《中继及开关电路的符号分析》(Symbolic
analysis of relay and switching
circuits,1937)的硕士学位论文。有人说这是二十世纪甚至人类历史上最有价值的硕士论文,因为它用布尔代数的理论首次表明对付真假李逵的“符号逻辑”与对付电路开关的“0-1数字”具有一致性,从而论证了数字计算机和数字线路的逻辑设计之可能性。

正是由于喜欢与人讨论,喜欢提出问题,乌拉姆从他大脑里萌芽而出的
“对要点的感觉”(用他自己的话就是 “What I may have is a feeling of the
gist, or maybe only thegist of the gist”),日后成了几大数学领域的开端。

香农最初并没有借用“熵”这个词汇来表达他关于信息传输中的“不确定性”的度量化。他甚至都不太知晓他所考虑的量与古典热力学熵之间的类似性。他想把它称为“information”,但又认为这个名词太过大众化,已被普通老百姓的日?;坝镉美牧?。他又考虑过就用单词“uncertainty”,但它却更像抽象名词,缺乏量化的余地,确实难于定夺。终于有一天,他遇见了天才的数学家冯
? 诺依曼(John von Neumann,
1903-1957)。真是找对了人!冯·诺依曼马上告诉他:

比如,“细胞自动机理论”最初是他向冯·诺依曼提出来的;“蒙特卡罗方法”来源于如何对付不仅在概率论而且在看上去与前者没太多关系的数论中棘手的问题;后来掀起孤立子和混沌研究热潮的“非线性分析”,从他玩弄计算机的手指中汩汩流出。对于今日在几乎所有科技领域都有不俗表现的“混沌”,乌拉姆曾有一句戏谑之语:“把混沌研究称之为‘非线性分析’,就好比是把动物学说成是‘非大象一类动物’的研究?!?/p>

就叫它熵吧,这有两个好理由。一是你的不确定性函数已在统计物理中用到过,在那里它就叫熵。第二个理由更重要:没人真正理解熵为何物,这就让你在任何时候都可能进能退,立于不败之地。

肇始于乌拉姆、冯·诺依曼、费米等人研制原子弹的实际需要以及现代电子计算机的及时问世,非线性分析的目的主要是探索任何随时间而变化的量、图形或模式,当时间走向无穷大时的最终性态。它在离散时间的情形本质上就是迭代一个非线性变换看看迭代点最后会在哪里。乌拉姆通过他智慧大脑极强的抽象能力和分析功夫,借助于计算机这个自从他最亲密的朋友冯·诺依曼去世后他最要好的非人类朋友的帮助,在这个如今已发展出令众多数学家、物理学家、工程学家及生命科学家孜孜以求的巨大领域,创造出许多原始的思想和方法。它们已经遍地开花,早已成为激励一代代科学工作者的一大笔精神遗产。

香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。譬如说,如果天气预报说“今天中午下雨的可能性是百分之九十”,我们就会不约而同想到出门带??;如果预报说“有百分之五十的可能性下雨”,我们就会犹豫是否带伞,因为雨伞无用时确是累赘之物。显然,第一则天气预报中,下雨这件事的不确定性程度较小,而第二则关于下雨的不确定度就大多了。

他的一大部分精神遗产已经浓缩在他那不朽的小书A Collection of Mathematical
Problems中。这本1960年初版的精装小册子只有150页,却成就了不少数学家,包括我的师爷约克
(James Yorke: 1941-)
教授和我的师傅李天岩教授。他们师徒二人一生中最有名的工作,是那篇只有区区八页但已被引用了好几千次的开创性文章Period
Three Implies Chaos(“周期三则意味着混沌”)。它从“混沌之父”洛伦兹(Edward
Lorenz) 于1960年代初发现天气预报 “蝴蝶效应” 的论文中,提炼出数学名词
“混沌”
的定义和意义。约克和李天岩两人各自都有其他杰出的工作,而且都与乌拉姆的《数学问题集》有关。

对于一般的不确定事件,我们怎样数学地刻画它的不确定程度呢?设想有n个“基本事件”,各自出现的概率分别为

《数学问题集》中有一章与非线性分析有关,标题为“Some Questions in
Analysis”,实际上就是与非线性分析有亲戚关系的遍历理论。

澳门vip贵宾厅 4

事实上,乌拉姆从20岁发表的第一篇论文起的早期工作就在集合论,而他21岁时发表的一生中第三篇论文将测度论与一般集合论联系在一起,并证明了一个非?;镜牟舛嚷鄱ɡ?。在他33岁的一篇合作并发表在Annals
of Mathematics 中的长文中,乌拉姆证明了统计力学中的遍历假设对
“几乎所有的变换”
都成立。他在1940年代发表的其他合作文章中,最早建立了动力系统“结构稳定性”的基??;斯梅尔1960年代通过他所构造的
“马蹄铁变换”
对结构稳定性概念的发展贡献巨大。而在更早的1934年,乌拉姆就和一位合作者发展了概率论的测度论基础,这独立于柯尔莫哥洛夫
(Andrey Nikolaevich Kolmogorov, 1903-1987)
1930年代提出的概率论公理化方法,并且更早。

则它们构成一个样本空间,可以简记为所谓的“概率数组”

这些在几大分析领域中的先驱工作和巨大影响,令乌拉姆有资格、有能力提出具有挑战性的新问题。下面举个我比较熟悉的例子。

澳门vip贵宾厅 5

如果有一个将区间映到自己的变换,我们就可以从区间中任意一个初始点出发逐次迭代这个变换而得到所对应的
“迭代点轨道”。如果对大多数初始点而言,其迭代点轨道都遵循同一个由某个定义在区间上的密度函数所确定的分布规律,那么这个密度函数被称为该离散动力系统的“不变密度函数”,它决定了迭代点轨道在区间中最终的位置分布。不变密度函数是给定变换所对应的、被乌拉姆以Frobenius和Perron两位德国数学家名字命名的一个无穷维算子(他在书中称之为Frobenius-Perron算子)的不动点。

样本空间最简单的例子是我们上面提到的抛硬币游戏,它只有两个基本事件:抛硬币结果是“正面朝上”或“反面朝上”,其中每个事件的概率均为
1/2,其对应的样本空间为
。如果铸币厂别出心裁地将硬币做成两面不对称,使得抛硬币时正面朝上的概率增加到7/10,而反面朝上的概率减少到3/10,则对应的样本空间就是
(7/10, 3/10)。如果我们用符号 H 来表示第一个样本空间的不确定度,用数
H(7/10, 3/10) 代表第二个样本空间的不确定度,那么直觉马上告诉我们:数 H
大于数 H(7/10, 3/10),也就是前者比后者更加不确定。

但是如果不停地迭代一个非线性变换,“有无不变密度函数存在”
便是一个问题,即便这个变换看上去很简单,比如它的图像是一条逐片线段。那时,这个问题还没有解答。

更一般地,若用

在第六章第四节的某一段,乌拉姆问:如果把单位区间映到自身的一个变换f由足够简单的函数定义(例如逐片线段函数或多项式),其图像不以斜率绝对值小于1的方式通过直线y=x,其对应的Frobenius-Perron算子有一个非平凡的不变函数吗?正如乌拉姆接下来所说的,即便对每一个如下形式的逐片线性变换,问题的解答都是未知的。这样的变换是:当x大于或等于0并且小于或等于1/2时,其值为2x,而当x大于或等于1/2并且小于或等于1时,其值为

澳门vip贵宾厅 6

  • 2x,其中a是一个小于1/2的正数。

记样本空间

十三年后的1973年,乌拉姆祖国的后起之秀、波兰科学院院士洛速达 (Andrzej
Lasota, 1932-2006)
和他的合作者、美国马里兰大学的数学教授约克,在美国数学会的期刊Transactions
of the American Mathematical Society
上发表了一篇论文,回答了乌拉姆提出的上述问题。

澳门vip贵宾厅 7

论文的题目是“On the existence of invariant measures for piecewise
monotonic
transformations”(关于逐片单调变换不变测度的存在性),它的一句话摘要简单明了地概括了文章的主要贡献:本文证明区间
0, 1] 上的一类逐片连续、逐片二次连续可微的变换有绝对连续不变测度。

所对应的不确定度,运用同样的直觉分析,我们相信当所有的基本事件机会均等,即都有同样的概率1/n时,其不确定度最大。因而,不确定度函数H应该满足如下的基本不等式:对所有的加起来等于1的非负“概率数”

澳门vip贵宾厅 8

澳门vip贵宾厅 7

数学家约克。本图由作者提供。

澳门vip贵宾厅 10

洛速达和约克证明,对于将区间映到自身的逐片单调变换,只要其导数的绝对值处处大于或等于一个大于1的常数,那么这个变换就有一个绝对连续的不变概率测度,或言之,其对应的Frobenius-Perron算子就有一个非平凡的不变函数。特别,乌拉姆想要知道结果的上述那类逐片线性变换个个满足洛速达-约克定理的条件,因而都有绝对连续的不变测度。

如果我们不抛硬币,而像澳门赌场的??湍茄厉蛔?,每掷一次,小立方骰子的每一个面朝上的概率均为1/6。想一想就知道,某个指定面朝上的不确定度应大于玩硬币时正面或反面朝上的不确定度。将这个直观发现一般化,我们就有不确定度函数H
应该满足的单调性要求:

洛速达-约克的这篇论文现已成为现代遍历理论中的经典之作。更进一步,它又催生了一篇计算遍历理论的经典之作,其作者就是约克的弟子李天岩。

澳门vip贵宾厅 11

李天岩是个干什么都想把问题搞个水落石出的人物,在这方面他颇有一点乌拉姆的风格。但是,如果你对年轻时的他说,这是乌拉姆的一个猜想,你去做做看,他或许也会有点胆怯。这是他多年前对我回忆他与乌拉姆猜想的历史渊源时这样承认的,因为当时在他眼里,乌拉姆是和冯·诺依曼一个等级的大数学家,他没有解决的问题自己能解决吗?

假设物理系赵教授、数学系钱教授和孙教授竞争理学院的一笔科研基金,他们每人申请成功的概率分别为1/2、1/3、1/6。院长为求公平,让每个系得此奖励的机会均等。若物理系拿到资助,就到了赵教授的名下。如数学系得到了它,钱教授有2/3的概率拿到,孙教授则有1/3的机会到手。通过分析“条件概率”,我们能得出不确定度
H(1/2, 1/3, 1/6)
的数值:这三个教授获得基金的不确定度,等于物理系或数学系拿到这笔基金的不确定度,加上数学系赢得该基金的概率与在数学系拿到基金的条件之下,钱教授或孙教授得到它的不确定度之乘积?;谎灾?,H(1/2,
1/3, 1/6) = H + ?
H。推而广之,可以得出不确定度与条件概率有关的“加权和”性质:

1970年代中期,李天岩对洛速达-约克类变换,构造了与阶梯函数有关的一个投影算法,将求Frobenius-Perron算子的不动点问题化约成有穷维的矩阵计算问题,从而算出不变密度函数的阶梯函数逼近。更进一步,他证明了这个方法的收敛性,即当子区间的个数趋于无穷大时,其对应的阶梯函数序列收敛到精确的不变密度函数。文章顺利地被
Journal of Approximation Theory接受,当时的标题是“Finite Approximation
for the Frobenius-Perron Operator”(Frobenius-Perron
算子的有限维逼近)。

澳门vip贵宾厅 12

这时,有人告诉李天岩:你的方法1960年就由乌拉姆提出来了,但他没有给出收敛性的证明。李天岩查到,他的方法的确就是乌拉姆在《数学问题集》中第74-75页所构造出的“乌拉姆方法”,乌拉姆还猜测他的方法是收敛的。这就是计算遍历理论这一现代研究领域中着名的“乌拉姆猜想”。

既然我们想用一个漂亮的数学公式来表达不确定度这一样本空间概率值函数,我们自然希望这个函数表达式和几乎所有的物理公式一样连续依赖于公式中的所有变元。这样,第四个条件就自然而然地加在了不确定度函数的头上:

换言之,他和乌拉姆想到一块儿去了,前后相差15年,心有灵犀一点通地独立构造了同样的算法。更重要的是,李天岩对洛速达-约克变换类证明了乌拉姆猜想!

澳门vip贵宾厅 13

兴奋之余,李天岩将文章的标题加了五个单词,变成“Finite Approximation for
the Frobenius-Perron Operator, a Solution to Ulam’s
Conjecture”(Frobenius-Perron算子的有限维逼近——对乌拉姆猜想的一个解答)。

香农无需什么高深的数学,甚至连微积分都可不要,就证明了:任何在所有样本空间上都有定义的函数H,只要它满足以上的“三项基本原则
”,就非如下的表达式莫属:

澳门vip贵宾厅 14

澳门vip贵宾厅 15

李天岩与丁玖。本图由作者提供。

其中符号 ln 代表以 e 为底的自然对数函数,C
可以是任意一个常数。并可证明,条件自动满足(有兴趣的读者可用初等微积分证之)。当然,熵公式的证明需要的是一种创造的头脑思维、一手精湛的代数技巧、一个巧妙的极限思想。如果C取成玻尔兹曼常数,它就能和当年吉布斯在统计热力学中得到的“吉布斯熵”一模一样。香农取
C = 1,如此得到了非负函数:

我相信由于乌拉姆在数学界的巨大声望,李天岩这篇题目变长了一点而最终于1976年发表的论文,肯定也大大增加了读者的人数。这不仅提升了一位年轻数学教授的学术声誉,而且也增强了自己挑战未决问题的自信心。后来李天岩教授向我透露,他成功赢得古根海姆奖(Guggenheim
Fellowship) ,“乌拉姆猜想” 功不可没!

澳门vip贵宾厅 16

1996年,受李天岩教授先驱性工作的启发,中科院计算数学研究所的周爱辉与我对一类高维变换证明了乌拉姆猜想。然而,对于许多其他的一维或高维非线性变换类,“乌拉姆猜想”依然还是猜想!
年轻的读者朋友,如果您在动力系统的计算遍历理论领域中耕耘,就可以把眼光瞄准这个有无穷魅力的着名猜想。

按照冯 ? 诺依曼的建议,该函数被定义为样本空间 (p1, p2, …, pn)
所对应的信息熵。现在,这个数被广称为“香农熵”,以纪念它的创造者、信息论之父——香农。

1974年出版的乌拉姆另一本论文集Sets, Numbers, and
Universe,其第三部分就是上述的《数学问题集》,但易名为Problems in Modern
Mathematics(《现代数学中的问题》)。之前的1964年,这本问题集也出了一个平装版本??杉獗灸谌菥返氖樵谑Ы绲挠跋炝?,美国的《数学评论》(Mathematical
Reviews ) 中对本书的一篇书评将它与希尔伯特1900年在国际数学家大会上提出的
“23个未决问题” 相提并论并作了比较。

现在,为了满足读者追根求源的好奇心,我们在此给出一个高中生也能看懂的简单证明。这是活学活用初等代数的好机会,我们分三步来证明:

乌拉姆已经离世35年了,但是他的精神遗产依然是那样的丰富多彩。对于我们这个千百年间把知识积累看得比创新能力更为重要的文明古国,他的数学思想及他对科学的见解更没有过时。

澳门vip贵宾厅 17

约克教授曾经告诉我,他的博士生说他
“知道的定理不一定比他们多,但他能创造定理”。比如说在上述他和洛速达解决乌拉姆所提问题的那篇文章中就有关于有界变差函数的
“约克不等式”,而几乎所有的数学分析或实变函数教科书中列举了有界变差函数的许多性质,却没有这个不等式,因为这是约克为了研究的需要而发现的一个有用不等式。

澳门vip贵宾厅 18

乌拉姆曾经非常谦虚地说自己
“我不能宣称我知道数学方面的许多技术性材料”,但是他试图强调,是火花迸发的思想,而不是车装斗量的知识,是让数学与科学的发现帮助人类改变历史进程的不二法门。我想这大概是乌拉姆留给我们的最大精神遗产。

澳门vip贵宾厅 19

写于2019年4月30日,美国哈蒂斯堡市

澳门vip贵宾厅 20

定稿于2019年5月13日,乌拉姆逝世35周年

澳门vip贵宾厅 21

制版编辑 | 皮皮鱼

澳门vip贵宾厅 22

如上证明是我在1989年从我的博士导师李天岩教授于密歇根州立大学所作的公众报告中听到的。细看一下香农熵的公式,除了负号,它是基本函数
x ln x
的有限个函数值之和。这个函数的图像就像大厨师手中侧面看过去的长勺子。向上弯曲的曲线有几何性质:连接上面任意两点的直线段都在这两点之间的曲线段之上。运用初等微分学,读者可以证明,对任意两个正数a和b,有

a – a ln a ≤ b – a ln b。

这就是现在冠以吉布斯大名的初等不等式,在一切与熵有关的数学问题中均有上乘表现,比如说我们在下面的第3节就要用到它。

当所有的概率值pi都取为1/n时,吉布斯熵就还原成玻尔兹曼熵,它可看成是最大可能的吉布斯熵。同理,这时的信息熵取值最大,等于
ln n。

  1. 柯尔莫果洛夫熵

不到十年,香农熵就在离散动力系统的练武场上大展身手。这主要归功于三十年代就建立了公理化概率论的俄罗斯数学巨人柯尔莫果洛夫(Andrey
N. Kolmogorov, 1903-1987)和他在遍历理论领域的最佳弟子西奈依(Yakov G.
Sinai)。五十年代中期,柯尔莫果洛夫在考虑遍历理论的“共轭不变量”这一基本问题时开创了“度量熵”的理论,而他的门徒西奈依的工作则使得它日臻完美。度量熵揭示了一般非线性函数迭代最终走向的动态性质,从而和稍迟一点发展的混沌理论融合了起来。

澳门vip贵宾厅 23

柯尔莫果洛夫(Andrey N. Kolmogorov, 1903-1987)

柯尔莫果洛夫堪称俄罗斯民族二十世纪的庞加莱,在国际数学界备受尊崇。他的父亲于沙皇时期投身革命,被圣彼得堡当局驱逐,最后消失在内战之中。因母亲在生产过程中不幸去世,他随姨妈在富有的贵族外祖父的庄园中长大,并受到很好的早期教育。比冯
?
诺依曼大八个月的柯尔莫果洛夫一样是一个历史爱好者。十七岁进入莫斯科大学后,他参加了俄罗斯着名历史教授的讨论班,并写出了他一生中的第一篇论文,研究内容不是数学,而是四个世纪前的俄国一个城市的发展史。他颇为得意地问教授,该文可否发表?出乎他意料的回答是:“肯定不行!你的论据只有一个,对历史学而言太少了,起码得有五个论据才行?!闭馕谎辖鞯慕淌谟Ω贸晌谀承┓⒈砺畚男那械娜宋目蒲Чぷ髡叩拇罂?。但也正是这位打击学生信心的历史教授在无意之中把柯尔莫果洛夫推向了另一个五六岁时就萌芽的至爱,并令他矢志不渝——因为在数学中定理只需一个证明就够了!

几乎在精心研究俄国历史的同时,年纪轻轻的柯尔莫果洛夫证明了集合论以及三角级数的几个结果。尤其是在1922年,他构造出一个几乎处处不收敛的三角级数,一下子成了令人瞩目的国际数学新星。在那一时刻,他立马决定“把一切献给数学”,他的决心就像兵工英雄吴运铎《把一切献给党》一样坚定。在半个世纪的数学生涯中,柯尔莫果洛夫大大推进了现代数学的许多分支领域的发展,如函数论、概率论、直觉主义数理逻辑、泛函分析、拓扑学、随机过程、经典力学、紊流、遍历理论、计算复杂性等等,被公认为二十世纪全人类最伟大的数学家之一。如果美国数学史家贝尔(
Eric Temple Bell,
1883-1960)晚生五十年,也许他那本大作《数学大师:丛芝诺到庞加莱》(Men
of Mathematics,
1937)会以柯尔莫果洛夫作为压轴戏,将他称为“最后的全能数学家”,而庞加莱则变成历史上“倒数第二个全能数学家”。

西方物理学界有伟大的导师费米带出了一大批杰出的学生,甚至有好几个得了诺贝尔奖,可是西方没有哪个数学家会像柯尔莫果洛夫那样培养或影响一个接一个的天才学生。上世纪六十年代初曾让美国数学新星、1966年菲尔兹奖获得者斯梅尔(Stephen
Smale, 1930-)惊羡的“动力系统四大才子”中的阿诺德(Vladimir I. Arnold,
1937-2010)和西奈依便是他的弟子。除此之外,柯尔莫果洛夫成果最辉煌、名声最响亮的学生是没有上过高中和大学就直接成为其博士生的犹太人伊斯雷
? 盖尔芳德(Israil Moiseevic Gelfand,
1913-2008)。在与其名Israil只有一个字母之差的犹太国度Israel
,盖尔芳德和“物理女王”吴健雄(1912-1997)一同站在了第一届沃尔夫奖的领奖台上,甚至比他的老师还早了两年获此殊荣。按照华东师范大学数学系教授张奠宙
(1933-2019)
在其着作《二十世纪数学经纬》中所统计的,柯尔莫果洛夫直接指导过的学生有六十七人之多,可媲美孔子“贤弟子七十二”的记录,其中有十四人被选为苏联科学院院士或通讯院士(具体名册可见书本第368页),堪称中国孔圣人的强劲对手。

东方数学界里,在培养学生方面或许能和柯尔莫果洛夫有“最佳逼近”距离的是中国最伟大的数学家华罗庚(1910-1985)。他门下的数论学家陈景润(1933-1996)证明了离哥德巴赫猜想最近的“1+2”情形,这一传世工作让二十世纪六七十年代的世界数学界再次对中国刮目相看?;薷钠渌艹龅茏?,如解析数论的王元、多复变函数论的陆启铿(1927-2015)和龚升(1930-2010)、抽象代数学的万哲先等,都是在国际上颇有影响的纯粹数学家。

让我们再回到玩硬币的游戏,来经历一次柯尔莫果洛夫开发度量熵的思想之旅。但是,这一次我们不只注意抛一次硬币正面朝上或反面朝上的结果,而是一口气抛上好几次看看有多少种可能性发生。比如连续上抛两次,就有四种可能结果出现:正正、正反、反正、反反。因为第一次抛硬币结果对第二次结果毫无影响,它们是相互独立的,因而四种结果的每一次可能性均为四分之一。

国外硬币的正面通常是本国名人头像,如美国放的就是历史上最伟大的几个总统。

澳门vip贵宾厅 24

一分硬币上面是亚伯拉罕 ? 林肯(Abraham Lincoln,
1809-1865),五分硬币上面马斯 ? 杰弗逊(Thomas Jefferson,
1743-1826),一角硬币上面是弗兰克 ? 罗斯福(Franklin Delano Roosevelt,
1882-1945),一元硬币上面乔治 ? 华盛顿(George Washington, 1732-1799)。

为简化书写,我们用英文字母H代表正面朝上,T代表反面朝上,这样两次抛硬币的所有可能性可以简记成:HH,
HT, TH,
TT。更一般地,若连续地抛上n次硬币,则有2n个可能结果,每一个结果的概率均为

每一个结果都是一个基本事件,我们就有了一个包含2n个基本事件的样本空间

澳门vip贵宾厅 25

其香农熵的值为 n ln 2。

我们的直觉是,无论抛了多少次,对下一次的结果我们仍然心中无数。作为一个极端例子,假如抛了一百万次都是头像朝上,第一百万零一次呢?头像朝上还是尾巴朝上?阁下打赌的胜率如何?柯尔莫果洛夫对下面的问题大感兴趣:倘若已知连续抛了n次硬币的结果,接下来抛第n+1次的结果的不确定度到底是什么?

让我们再来一点数学思维吧。数学家爱数字胜于爱符号。正如美国物理学家费恩曼(Richard
Feynman,
1918-1988)生前所经?;匾涞降?,他那善于培养孩子好奇心的父亲很早就告诉他:知道事物的名称并不重要,重要的是知道其内容。熵在英文里叫entropy,在德文或法文里都是entropie,在俄文里是eнтропия。即便认得一百种语言的名词“熵”,却对它的意义知之甚少或一无所知,甚至不以为然,这只有孔乙己才可能做得到,或培养出孔乙己的私塾先生喜欢这样做??墒悄壳拔颐茄5囊恍┙逃绞奖局噬暇褪窃谡饷醋?。

澳门vip贵宾厅 26

我们用数字0代替H,数字1代替T。然后连续n次抛硬币的结果可用小数

澳门vip贵宾厅 27

来代表,其中小数点后面的每个数字非0即1。而这个数实际上可看成是0和1之间的一个数x的“二进制表示”。我们的双手有十个指头,日常生活中,我们最喜欢十进制了,它是如此的方便,不懂算术者也可扳扳指头计算。但是,如果一位学过计算机原理的人告诉我们11可以表示“周期三意味着混沌”中的那个数3,我们可能以为他是瞎说。不,他是对的,因为他用的是计算机中央处理器内运算所用的二进制!二进制最早在莱布尼兹(Gottfried
Wilhelm Leibniz,
1646-1716)的着作中出现,他可称为人类历史上首位计算机科学家!十进制中,我们“逢十进一”,而在二进制中,就要“逢二进一”了。这样,在二进制中,自然数从小到大排列的前几个数是
1,10,11,100,101,它们分别是我们习以为常的十进制数
1,2,3,4,5。我们从小学的算术熟知,在十进制中小数0.31416可以被展开成“有限项级数”形式:

【澳门vip贵宾厅】正史上的熵概念源点于热力学,法兰西共和国物经济学家、天体力学家、数学物管理学家、科学文学家庞加莱出生。以此类推,在二进制中小数0.10011有展开式

这样,每一个二进制小数 x = 0.a1a2…an 都可以写成x = 0.

澳门vip贵宾厅 28

澳门vip贵宾厅 29

现在我们把区间 0,1] 一分为二:左边的半个区间 0,1/2) 和右边的半个区间
1/2,1]。注意,为了叙述严格起见,这两个子区间前一个是“左闭右开”的,后一个是“双边都闭”的,它们的交集为空集,亦即没有共同的元素。显而易见,若

澳门vip贵宾厅 30

则x属于 0,1/2),若

澳门vip贵宾厅 31

1,则x位于 1/2, 1] 之中。想想看

澳门vip贵宾厅 32

怎样确定x的位置?

我们可以借用把 0,1]
区间映到自身上的一个逐段线性的“加倍函数”来解释连续抛硬币的数学游戏。这个函数的定义是:当x大于或等于0并且小于1/2时函数值为2乘上x,而当x大于或等于1/2并且小于或等于1时函数值为2乘上x再减去1。更简单地说,这个函数就是将自变量加倍,再丢掉结果的整数部分。它的简洁表达式就是
f = 2x
,其函数图像是两条斜率是2、彼此平行的斜线段。它是保持长度的,意思是任何子区间和它在
f
下的逆像都有相等的长度。一个区间在函数下的逆像是函数定义域中所有那些数的全体,这些数的函数值都落在该区间内,它可以通过函数图像画水平、垂直线得到。这个加倍函数不是处处连续的,在区间的中点1/2处有个跃度为1的跳跃性间断,这从图像上一眼就知。用更专业的术语讲,它是一个“勒贝格可测函数”。加倍函数和逻辑斯蒂模型一样,都是混沌学家教书时宠爱的混沌例子。

澳门vip贵宾厅 33

f = 2x ,x∈0,1]

澳门vip贵宾厅 34

澳门vip贵宾厅 35

动力系统寻找的是过程的终极行为。当自然数n走向无穷大时,上述不确定度的极限值就被称为函数
f 关于划分 P 的熵。这个熵值依赖于函数定义域区间 0,1]
的划分。该定义域可以被划分为任意有限多个彼此互不相交的子集之并,而不同的划分一般给出不同的熵值。定义域的所有划分所对应的熵的“最大值”(更严格地说,是对应于所有的有限划分的熵值之“最小上界”,因为无穷个数放在一起可能找不到最大数,比如所有比3小的正数没有最大值,但其最小上界为3)就叫做
f
的柯尔莫果洛夫熵,又称为测度熵或度量熵,因为它用的是勒贝格所开创的一般测度论工具来度量保测函数迭代最终性态的混乱程度。

我们用来描绘硬币游戏的这个加倍函数的度量熵等于2的自然对数:ln 2
。请注意,这是一个正数。如今动力学家们都已知道,具有正熵的确是混沌动力系统的一个典型性质。同法可知,将自变量增加六倍后再丢掉结果整数部分的“六倍函数”(数学上这个函数可写成
6x的形式,图像是六根斜率为6的平行斜线,其不连续点为 1/6, 1/3, 1/2, 2/3,
5/6),它的测度熵则为 ln
6。六倍函数可以看成是掷六面骰子(有六种均等机会出现)结果之不确定度?!笆逗?br /> 10x 的熵是 ln 10,而“百倍函数” 100x 的熵则跳到 ln
100了,依次类推。倍数越提高,熵值越变大,不确定度就越可观,这就是为何在无线通讯中,工程师们常用高度混沌的“高倍函数”参与信号的传输。

澳门vip贵宾厅 36

二倍函数f = 2x与十倍函数f = 10x的图像对比。

柯尔莫果洛夫熵是遍历理论中的一个极其有用的共轭不变量,即彼此共轭的保测函数共享同一熵值。事实上,早在1943年,人们就已经知道以概率论先驱雅各布
? 伯努利(Jacob Bernoulli,
1654-1705)名字命名的、定义在0、1两个符号构成的双向序列符号空间上的“-双边移位”和定义在0、1、2三个符号构成的双向序列符号空间上的“(1/3,1/3,1/3)-双边移位”都具有数目和自然数一样多的“勒贝格谱点”,因而它们两兄弟是谱同构的。但数学家们一直弄不清楚它们是否也共轭,即:这两个符号空间之间是否存在一个保测同构,使得一个位移与它的复合运算和它与另一个位移的复合运算结果完全是一码事?1958年,正当遍历理论家们为这个基本的未决问题绞尽脑汁之时,柯尔莫果洛夫刚刚产下了的“熵”马上派上了大用?。核扑惴⑾终饬礁霾咭莆痪哂胁煌撵刂?,前一个为
ln 2,后一个则为 ln 3,故它们不可能是共轭等价的。

大数学家的手一旦扭转乾坤,共轭难题的一旦解决,熵马上成了动力系统行家们争相一抱的宠儿。很快,基于紧拓扑空间有限开覆盖概念、用于探索连续函数迭代渐近性态的“拓扑熵”在柯尔莫果洛夫熵的思想指引下由西方数学铺子的三大“铁匠”
R. Adler, A. Konhein 和 M. McAndrew
锻造出炉,并和柯尔莫果洛夫基于测度概念的“度量熵”密切相关,成为研究拓扑动力系统混沌性质的好工具。只要把紧拓扑空间的有限开覆盖中的每个开子集看成所谓的波雷尔可测集,拓扑熵和柯尔莫果洛夫测度熵的数学推导过程颇为类似;文末参考文献1]给出了一个初等的推导。举一个简单的例子,着名的混沌映射之一“帽子函数”有拓扑熵
ln 2,它也等于其柯尔莫果洛夫熵。

澳门vip贵宾厅 37

Hat function

  1. 玻尔兹曼熵

玻尔兹曼熵可以看成是离散形式的香农熵在连续形式下的对等物。让我们回忆一下,对应于有限样本空间

澳门vip贵宾厅 38

的香农熵为

它看上去像某个被积函数的黎曼和。这引导我们走向定义一般密度函数的玻尔兹曼熵。为避免使用高深的测度论语言,我们只考虑
0,1] 区间上的可积函数全体,用符号

澳门vip贵宾厅 39

表示。这里的积分应该指的是数学系大三或大四才学的实变函数论里的勒贝格积分,但低年级的大学生可以把它想象成初等微积分中的黎曼积分;至少对连续的函数,这两种积分是一样的??苫姆歉汉⑶一种滴?则称为密度函数。

设 f 是一个密度函数。它定义了 0,1]
上的一个概率空间,可以视为一个无穷的样本空间。类似于信息熵的定义,我们把数

澳门vip贵宾厅 40

称为 f 的玻尔兹曼熵。这里的积分中,当函数值 f 为0 时,被积函数值 f ln f
理解为0。

我们还记得第一节中提到的基本函数 x ln x
以及这个函数的凸性所推出的吉布斯不等式

澳门vip贵宾厅 41

从这个不等式马上就可推得:任给两个密度函数 f 和 g,有积分不等式

澳门vip贵宾厅 42

这个不等式可以加强到如下的不等式,但证明不易:

澳门vip贵宾厅 43

上式左边的表达式通常称为 f 关于 g 的条件熵。

澳门vip贵宾厅 44

上述的积分不等式可以用来证明玻尔兹曼熵的类似性质:常数密度函数 f0≡1
取所有玻尔兹曼熵的最大值;该最大值为0。证明相当简单:任给一个密度函数
f,由不等式,

澳门vip贵宾厅 45

上述证明的思想可以推广到更一般区间上的玻尔兹曼熵最大值问题。比如说,考虑定义在无穷区间
上并满足条件

澳门vip贵宾厅 46

的所有密度函数,它们构成的集合用 D0
表示。则概率论中名气最大的高斯密度函数

澳门vip贵宾厅 47

在 D0 上取玻尔兹曼熵的最大值。我们如下证明之:通过直接计算易知 f0 属于
D0。在D0 中任取一个密度函数 f,用同样的不等式,我们有

澳门vip贵宾厅 48

如果换成区间 0,∞),则同理可证:固定一个正常数λ,则密度函数 f0 = λe-λx
在定义在区间 0,∞) 上并满足条件

澳门vip贵宾厅 49

的所有密度函数中取最大的玻尔兹曼熵值 1 – ln λ。

这些比较具体的最大熵结果可以推广成下面的一般最大熵定理(依然只对 0,1]
区间情形而言):

澳门vip贵宾厅 50

澳门vip贵宾厅 51

1957年,美国物理学家埃德温 ? 杰恩斯(Edwin T. Jaynes,
1922-1998)在他分两次发表、至今已被引用了将近12000次的论文《信息论与统计物理》2]
中首次提出了“最大熵原则”。这个原则大致是说,当一个未知的概率密度函数的某些“可试验信息”(例如有限多个的矩量或期望值)已知但却不能唯一地确定该密度函数时,合理采用的未知密度函数最佳逼近应是具有最大玻尔兹曼熵的那个密度函数,因它最不带有“偏见”
(least
biased)。根据最大熵定理,这个具有最大熵的密度函数不光是存在的,而且它可以通过矩量函数的某个线性组合与指数函数的复合函数,再标准化成一个密度函数来得到,只要这个特殊形式的密度函数具有和未知密度函数一模一样的那些已知矩量值。

这样一来,杰恩斯的最大熵原则成就了数值重获未知密度函数的一个叫做“最大熵方法”的计算程式。事实上,六十年来,这是数学物理学家和工程师经常采用的一种“密度计算法”。杰恩斯终生在美国圣路易市华盛顿大学任教,1984年,物理系浓厚的最大熵氛围熏陶出一位名叫劳伦斯
? 米德(Lawrence R. Mead,
1948-)的博士。退休前他和笔者在同一所大学执教并合写过文章,是个很会教书、获得过两次校级教学奖的物理教授。米德一生中最有名的研究工作大概就是获得博士学位那年在《数学物理杂志》上发表的一篇合作论文3],至今为止每年都有不少人引用。在这篇题为《矩量问题中的最大熵》的文章里,作者证明了最大熵方法的弱收敛性,而这种收敛性对于物理学家考虑的许多问题来说已经是绰绰有余了。数学家则感到不够劲,于是就有两位加拿大的数学家乔纳森
? 博旺(Jonathan M. Borwein, 1951-)和艾德里安 ? 刘易斯(Adrian S.
Lewis, 1962-)在九十年代初严格证明了最大熵方法的强收敛。

在最大熵方法中,传统的做法基本上是用单项式

澳门vip贵宾厅 52

来计算密度函数的对应矩量,但在计算数学家的眼里,这是代价极大的数值处理,因为算法极不稳定,用数值代数学家的行话说就是“条件数太大了”。难怪物理学家们能用到十来个矩量就感觉不得了了。对孜孜以求数值收敛性的计算数学家们来说,这怎么能过瘾呢。于是,一个新的想法4]应运而生:把有限元的逐段多项式思想与最大熵原则相结合。这个算法借用了有限元空间基底函数“一的分解”的好性质,第一次用到与混沌有关的“不变密度函数”的数值计算上,条件数出奇地小,并且用到一百个甚至一千个矩量值也不在话下。

如今,五花八门的熵:信息熵、度量熵、拓扑熵、玻尔兹曼熵,加上定量刻画“对初始条件敏感性”的李亚普洛夫(Alexandre
Mikhailovich Liapunov, 1857-1918,
俄国数学家,以微分方程稳定性理论着称于世)指数,再加上遍历性、混合性、可递性等用统计观点看混沌的基本概念,一起组成了混沌、分形领域里克敌制胜的十八般兵器。

参考文献

1] “Entropy – an introduction,” Jiu Ding and Tien-Yien Li, NankaiSeries
in Pure and Applied Mathematics and Theoretical Physics, Volume 4,
WorldScientific, 26-53, 1993.

2] Information theory and statistical physics, Physics Review 106,
620-630, 1957; Information theory and statistical physics, Physics
Review 108, 171-190, 1957

3] L.R. Mead and N. Papanicolaou, Maximum entropy in the problem of
moments, J. Math. Phys. 25, 2404–2417, 1984.

4] J. Ding, C. Jin, N. Rhee, and A. Zhou, “A maximum entropy method
based on piecewise linear functions for the recovery of a stationary
density of interval mappings,’’ J. Stat. Phys. 145, 1620-1639, 2011.

澳门vip贵宾厅 53

版权声明:本文由《返朴》原创,欢迎个人转发,严禁任何形式的媒体未经授权转载和摘编。

《返朴》,致力好科普。国际着名物理学家文小刚与生物学家颜宁联袂担任总编,与几十位学者组成的编委会一起,与你共同求索。关注《返朴》(微信号:fanpu2019)参与更多讨论。二次转载或合作请联系fanpu2019@outlook.com。

特别提示:「返朴」正在求贤,有意者请戳“求贤”联系我们,等你来哦!

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章