为什么在系统科学导引中讲信息熵?

为什么在系统科学导引中讲信息熵?

有三个目的:进一步体会什么是科学(从问题提出、思想、抽象化、模型或者概念,到检验,到模型或者概念的一般化),学一点点信息论的核心和基础概念并且从中了解信息论在回答什么样的问题,熵和信息熵的概念本身非常具有一般性值得学习。

另外,有一些非常有意思简单又意义深远的小技术也值得了解一下,例如Huffman编码。

学习内容

  1. 从等长度编码开始(举例ASCII码),引入更高效率的编码的问题(举例Morse代码),联系编码长度和频率。
  2. 从一个无偏硬币开始,介绍了解的信息的量的度量的问题,并且定义信息熵。
  3. 有没有一个编码效率的极限(Gibbs不等式),如何达到这个极限(Huffman编码)。
  4. 信息熵的其他应用举例

我的老师

我经常跟人分享我从我的老师们那里学到和体会到的东西,还有我从我的同学以及我的学生们那里体会到的东西。今天我挖出来了2003年我写的我的老师当中的几位的bbs帖子,保留在这里。

最好的老师当然是学识(指的对所教的课程和专业的具体知识的理解的深度和广度,对这个学科是什么的认知)和涵养(对这个学科的情感深,鼓励学生思考、表达、批判,允许学生不循规蹈矩,不是大多数人看到这个词想到的“脾气”)都好。我认为,如果不凑巧,我需要在学识高涵养低的,或者学识低涵养高的老师中选择,我选择后者,因为学生喜欢这个学科、感想敢批判、喜欢思考会思考比懂得很多知识更重要。

我自己当老师提出来的要求是,按照学生对这个学科的大图景(典型对象、典型问题、典型思维方式、典型分析方法、和世界还有其他学科的关系)的把握,对学科的情感,还有学习方法(系联性思考和理解型学习)这些目标来选择尽量少而精的内容和具体例子来做教学。这个和我遇到的这些老师们是有非常大的关系的。因此,留在这里,用自己分析和回忆用。

当时的提纲要比这个长很多,但是,不知道什么时候能够把那个提纲里面的东西写完。
搞丢了写的裴寿镛老师的那一节,伤心。找个时间补充上。裴老师的教学对我的教学和研究的影响都非常大。还有Mona Berciu、杨展如、狄增如等等。

得道的数学人——王家銮

呵呵,很有意思,我竟然很自然的选择一个数学老师作为开始,我可是学物理的呀。王是我们一年级的分析课的老师。按照物理系的惯例,应该称为高等数学课,为什么我一定要叫分析课呢?因为,王,从来都是按照分析的思路来教的。他总是说,你们物理系的学生,要想数学家一样地理解数学,千万不能只把数学当作工具,如果实在说你们和数学的学生有什么不同的话,那就是你们除了理解数学的美妙之外,还要学会算更多的积分,呵呵。王,小小的个子,有点陀,骑一个小小的自行车。但是,你绝对不会忽略他,因为,他总是很有精神,或者,借用金大侠的概念,他周围有一种气,得道之人的真气。一直对天龙里头的扫地和尚很向往,每一次,他总是把佛门经典放在慕容傅或者萧远山经常取书的地方,希望能够引领他们由武入道(好像应该由武入佛)。可惜,金大侠最后也不能免俗,让他具有不可测之武功。实在,这个人,应该是一个洞悉佛理而入道真正高僧,何必在乎武功呢。王,就是这样一个由数学入道,真正理解数学,并且能够用他的理解来“超度”众(学)生的人。不知道他的数学上的研究做的怎样,也不知道他赚了多少钱,之类的“武功”或“成功”怎样。但是,他的黄金时期,是在工厂里度过的。听他说,在那时候,这个瘦瘦小小的人,还是工厂里,以及北京市,打乒乓球的高手。呵呵,他说的时候很自豪。不过,他最自豪的时候,是站在讲台上,刚刚证明完一个定理的时候。这时候,他会挺直身子,昂起头,(下意识地)提一提好几层楼的裤子,让目光在教室里巡游几圈。那时候,你分明能够感受到这个小个子爆发出来的力量和气势,真的觉得,那就是那个当年证明这个定理的人在当时的感觉和形象。那一份对数学的爱和景仰,那一份对数学的真正感悟,这时候,从您的精神世界里走入了我们这些众生的心里。所谓佛祖的拈花指和迦叶尊者,也不过如此了。

有一件小事,也许更能说明王的得道。那年他有110左右的学生,改卷子不是件轻松的事。所以,我主动请缨,可是,那时候,我也是考试的学生,而且考试的全是我的同学呀。不过,我向来比较迟钝,就没想到过。但是,王,想都没想,就说,好呀。不过,给你一个奖励,不能让你白帮忙,先让你知道你自己的成绩吧。于是,把我的卷子先找出来,三下两下就先搞定了。然后,指着一个证明说,看着对,感觉起来缺点什么,终于十来分钟以后逮着一个地方了,扣两分吧。呵呵,我无言。王自己是一个坦荡的人,学生不学生的,避嫌不避嫌的,显然不在他考虑范围之内。幸好,当时,我也是这么一个坦荡的人,当然我其实是缺心眼。要不然,就是那个老和尚背小姑娘过河以后,就会对身旁纳闷的小和尚说,我早就放下了,你怎么还背在心里。当然,要放在现在,我还是会想帮忙,不过,肯定会罗里罗唆的说一堆之后。除非有一天,我完成了从缺心眼到有心眼再到坦荡荡的入道过程。

师母身体不好,我们就成了他的关门弟子了。后来倒是还见过几次,但是真正的一次交谈却是师母辞世以后了。王还骑着那个小单车,头发白了很多,嘱咐我好好努力,不过忘了我是哪一级的了。确实是淡如水呀,呵呵,我好像也还勉强算个君子。如果,你在校园里看见一个骑着小单车的小老头,请你对他笑一笑点一点头,哪怕他不曾是你的课任老师,实际上他的精神通过你的老师们和师兄们仍然在点化着你的心灵。当然,需要你一点点慧根。

物理系第一夫妻店——漆安慎杜蝉英

物理系有很多家夫妻店的,呵呵,这很奇怪。奇怪吗?不奇怪吗?奇怪吗?呵呵,不扯了,但是,公认的(真的?当然?真的?你个星爷,都影响了我的正常思考了)第一夫妻店肯定非漆老师和杜老师莫属了。

漆和杜是我们第一年力学的老师。力学,在物理系本系的学生而言,不是一门普通的课。什么意思呢,新的物理知识是学不到多少的,反而学点数学,但是,新的眼界,才是这们课的精髓。从内容上来说,所有的物理知识,高中就学过了。所以,用系统的全新的逻辑来组织学生的知识体系,用物理学的提出和讨论问题的方法培养学生像一个物理学家一样的思考问题,用物理学的研究问题激发学生的兴趣,才是这样一门课的目标。所以,力学,是导论课。引导我们走上(或者离开)物理学的道路的课。当然,这样的一个目标太高了,而且客观地说,漆和杜的课在第一点上非常成功,第二点上比较成功,第三点就比不上前面两个了。当时,漆问我们一个问题,什么是力?哎,乖乖,真的不知道哎。我们只知道什么是弹力,什么是重力,还有拉力,推力之类的,什么是力?没办法,我们只有用F=ma来说了。然后,漆就接着打,如果,F=ma是力,牛顿定律是什么?一个定律表述的是几个已经知道含义的东西的关系呀,再说了,如果我们只有通过F=ma来知道力,那怎么解题呀?我们就说,实际上,我们总是先知道力才求运动的呀,所以,还是能做。漆老师就接着引导说,所以实际上,我们需要从别的地方知道力的信息。当然,最后,不知道,怎么曲里拐弯的就提出了什么从动量定理开始力学理论的一个框架。现在,我已经忘了当时的感觉了。想想,一个新的逻辑框架,对于一个自命为数学型的物理学生的冲击吧。所以,大学的物理学习,几乎是从被人提壶灌顶开始的。不过,从这里,我们学到的是,像一个理论物理学家一样的思考。

漆和杜的心血决不止于此。他们总是提出一些很粗糙的问题,初看起来,没头没脑的,只有一个大致的方向在。比如,课堂上讲过一个什么什么游乐场的什么机器,什么火箭的飞行,思考题中的就更多了,比如,什么滑板的花样动作等等。总而言之,就是一堆模型化之前的破玩意。但是正是这堆破玩意,教给我们什么是模型化。漆和杜管它叫做物理中的理想模型。当然,实际上应该是整个科学中的模型化过程。整个自然科学都是在Plato的世界中研究现实,尤其是数学。由一个很有趣的例子,我一直用,当别人问我什么是物理学的时候,它就来自于漆的转述,忘了原创者是谁了。物理学就是奥地利的火车时刻表。奥地利的火车总是不准,于是由一个乘客就去问站长,既然你们的火车每次都不准,为什么还要这样一个时刻表呢?站长的回答是,如果没有这样一个时刻表,你就连不准时都不知到了呀。是呀,物理学就是这样一个东西,提供一个这个世界运行的基本图景,这样你就可以理解这个世界了。准不准,能不能预测,不是物理学要解决的问题,当然能够解决更好。最近几年,把物理学的思想和模型应用于社会学很热闹,什么经济学,人类行为学之类的,很多人希望它能预测,很多人批评它预测的不准,呵呵,其实,物理学只是想搞明白为什么会这样,而不是将来会怎样。就算对于一个简单的微分方程系统,仍然有混沌呢,还是不可精细预测。我看的第一本关于混沌的书——那本《混沌开创新科学》的报告文学,就是杜推荐的。很好很好的一本书,很细致,很敬业,很激动人心。我差一点就决定玩玩这个,不过,从那以后,对这个一直很关心就是了。

漆和杜最有特点的地方是答疑。问题无难易无巨细,照答不误,而且,企图用启发性回答,反正不会便宜你给你答案就是了。想想,这样,回答一个问题要多长时间呀。所以,每一个星期,我都专门整理出一个晚上的时间来,找出几个问题去答疑。没问题了,也去看着别人问问题,或者问问两位老师自己都不清楚问的是什么的问题。可是,有一个学生,阿路,每一次都问一些我都听不明白的问题,但是,漆和杜每次都回答的特别仔细。后来知道,杜给了他一本理论力学的书去看,因为,阿路的问题只能在更高的层次上来解决了。在后来听说,在那学期,阿路连理论力学也学完了,呵呵。关于阿路的故事,以后有机会再说,反正故事还在发生着呢。漆和杜最动人之处不仅仅在于教学,每一次,我们都说,那是做学问的夫妻的典范。漆讲课的时候,杜就做助教;杜讲课呢,漆也做做学生,做做助教,还曾经在课堂上问问题呢,哈哈,好玩。他们俩都特能聊,每次遇见或去看他们,都要准备上好几个小时的。

后来,漆身体不好,每次见面,杜就提醒我们,别让他尽兴聊,说两句就可以了。但愿以后身体能够好转,我们再跟您俩聊。听说,现在小师弟们都说力学课大不如前了,所以,还需要您俩在出马去辅佐年轻人呢,希望宝刀不老。(这次整理新加上的)后来没几年,漆生病走了,第二年杜也走了,尽管杜本来身体不差。相互扶持走过一辈子的两人,可能确实分不开。现在,我每次讲力学部分,总要突出力学作为科学导论的地位,以及力学整体逻辑框架的问题。我自己认为,着也能够勉强算作继承两位老师的思想吧。

生命在于传道——梁灿彬

在认识梁老师之前,就对那一头银发有了深刻的印象。那是一种精神抖擞的白,白的锃亮,再加上梁走路也像一阵风,看多了金大侠的书,觉得,俨然一高人呀。偶尔自己头上有一根白头发,总是看一看够不够白,然后不舍得拔下来。要是有人要替我拔去,我就会说,那是我刻苦学习的标志呀,得留着。

初识梁,是在一次讲座上,两个小时,深入浅出的讲座,深深地吸引了我。这玩意儿够劲,我得玩玩这个。于是,下个学期(一下)我就跑去嚷嚷着要选课。梁问我,你知道什么是线性空间吗?矢量我倒知道,这个线性空间,没听说过。那我建议你下学期再来,是不是觉得现在的课不够玩呀?呵呵,他怎么知道的,真厉害。

于是,与梁的缘分,真正开始却是在二下了。一下子过去了一年半。一讲起课,梁就神采飞扬,穿着衬衣,卷起袖子,写着一手巨漂亮的字,画着巨传神的示意图。按梁的说法,那是带我们在爬山,历经一座座山峰,留下一个个脚印和一滴滴汗水,感受着数学和物理学的美。所以,微分几何,是用来改造思维方式,提升认识问题的层次的。不过说起来,脚印倒是有我们的,汗水却大部分属于梁的。梁之于教学,是一种对完美的追求。梁的粉笔是经过特殊的处理而来的。梁把粉笔包在一块布里面,布应该是湿的,但是没有仔细琢磨过,不知道到底含有多少水分。后来,我也试过,不是太湿了写不出字,就是不均匀容易断。所以,仅此技术,不知道要花多少时间才能琢磨出来。难道梁是妙手偶得之,对于一双会魔术的手,倒是也有可能。不过,这只是梁那精心准备的N万分之一。讲义上的,每一句话,不仅仅是逻辑结构,都是经过了梁的精雕细琢的。有时候,为了我们突然冒出来的一个主意,梁会把讲义中相关的部分,做一个天翻地覆的调整,然后,让我们比较。有些时候效果会好一些,往往大多数时候,还是原来的好。但是,梁从来不放过这样的机会,也许还能更好呢,他肯定想。梁现在的书上,切矢量空间,有两种定义方法,抽象算符形式的,和曲线切矢的形式。当时,梁改过三次,最后确定抽象算符更好。但是,既然写在书上的是两种形式,想必,又花费N多心血了。

我不得不说,经过梁的熏陶和没有经过的学生是不一样的。看问题的角度和高度不一样。我想,这也就是梁花费的心血的价值了,一种道的传承。如果问一问,生命和传道,孰高?于梁,这可能是个难题,或者说非常容易。梁有时候会说,他正在与阎罗赛跑。呵呵,玩笑之中透着执著。不管身体好不好,不管刮风下雨,三九三伏,只要站在讲台上,梁就能流风溢彩,仿佛,那三尺讲台就是灵魂之所在了。

梁的书有几个很有特点很有意思的附录,把算符、映射的空间结构用于量子力学,以及用于李代数,乃至量纲分析。似乎,梁希望把所有的核心的物理学,用这样的结构重新表述,似乎,梁希望把自己所有的体会都能传之于后学。是呀,这样的一个宏伟目标,确实需要与阎罗试比高了。而这个做学生的,竟然,随随便便就荒废了这么多光阴,为什么不能要求自己抓紧学习线性空间及时赶上呢。不过,后悔药是没有的了,希望能够吸取教训。每一次,想起梁的一头银发,想起梁的匆匆脚步,心里总是充满力量。

(这次整理加上的)我自己的教学,企图做到精简,做到“教的少,学得多”,通过整理整个学科的框架来选择最有必要的东西来讲,突出对学科的基本问题、基本研究思想和方法的认知,突出学生对这个科学的情感,突出各个部分之间的联系,突出学生的学习方法,应该说很大程度上受梁老师的教学风格的影响。不过,我们两也有很大的不同,我去求全,不求多:要讲就讲透(这个一样),但是不一定把学生可能遇到的问题都讲而是留给学生去碰壁(这个不一样),很多东西我不讲(这个不一样)。

王永成——这个wwwwjs有点烦

其实,王从来没说过这样的话,我想他也没有认为我有点烦(按照惯例,应该,而是很烦),所以这个标题的意思,是我自己觉得,对王来说,呵呵,我把他烦的够可以的了。王的课讲的还可以,就是声音太小,所以,群论的效果比数理方法好,人少呀。不过,不管数理还是群论,都是数学的讲法(于是为什么教这些,就欠缺了点),所以,我倒是很喜欢。

为什么我要说自己烦呢?王把绝大部分的时间都用来讲复变函数,而不是数理方程。而我那时候,竟然不知道天高地厚,真的拿了一本复变函数的书来看,而不是咱们物理专业的数理方法教材上的不伦不类的东西。你知道,这玩艺儿里头的玄妙东西太多了,实变函数就够复杂的了,还要把数域扩大到复数。光一个Cauchy定理就够折腾的了,再加上我这个愣人,呵呵,大家可以想象我有多惨了。于是,不能光让我自己惨呀,我得去折腾老师去,答疑呀。呵呵,这样的学生!其实,去见王之间,我也没底,上着他的课,看着别的书,而且不是他指定的,王自己也可能没看过。反正,不管三七二十一,一股脑儿的把我的一大堆问题扔了过去。呵呵,王是个牛人,不管多少问题,不惊不诧,兵来将挡,水来土淹,堪堪搞定。不过,看着那略带疑问的眼神,我就知道,我应该把底牌亮出来了。我给他看了那本书,然后说,您看,我就做这个作业吧,至于咱课上的作业,咱不交了吧。呵呵,于是,王是大学中第一个明确允许我不交作业的人。

先且重点讲复变函数有什么好处呢?第一,当然,数学的逻辑更清楚,有利于以后发展。第二,就是等到积分变换和数理方程的时候,条件、定理、概念都会清楚的多。再说了,Fourier变换是第一个接触到的Hilbert空间,当然要用数学的方法来揭示结构了。当然,其实我不知道王是不是这么想的,反正正好对我的胃口就是了。

不过,这并不是被我折腾的全部内容。最惨的一次,是我心血来潮,搞了一个二维环形电荷分布的电势计算,竟然从解析函数搞到级数展开,最后还想以此为例证明某一个书上的收敛判据可以更广或更严(忘了)。这下子,把王还有他的助教全折腾起来了。最后结果是什么,我也已经不记得了。只记得一件事,过了一阵之后,又一次答疑,王说,只有一个学生还这么折腾过一次,那时候他教原子物理,那个学生把习题都给做了,连累他也要全做一遍。说的时候,很有点怀念那样的岁月的样子,感觉起来,这个学生简直是王心中的学生典范了。于是,我坦然了(本来就?),对于王这样的老师,你去问他深入的问题,甚至他不得不为此化上很多额外的时间,他绝不会计较的。后来,我每每看见他答疑一个人坐着的时候,总是想找个问题问问,也算有个借口可以聊两句。

说起来,这门课的体系,还有一个可以改进的地方。数理方程的本征值和初值问题,都可以用Green’s Function的方法统一地解决的。而其中的格林函数方法要比物理学中很晚才能学的到用的到的更加普遍一些。当然,这也是我在这里“被迫”给人讲课才知道的。

哦,对了,王说的那个学生,我没记错的话,叫冯世平。

拍肩膀称兄弟——刘大禾

我们好多学生都管他叫大禾。因为,一直觉得,他就比我们大不了多少的样子。牛仔裤,偶尔还戴个帽子,嚼着口香糖,打打windows纸牌游戏,扫扫雷。简直就是新新人类,当然,在我们那个时候,要知道那可是win31年代呀。讲起课来,挑最基本和最简单的讲。其实,本来物理课能够把最基本的东西理解透彻也就够了,物理最大的好处就是,就这么几个重要的原理。

说起来很有意思,从刘那学到的第一个体会,就是,不要把书当书看,当然是有些书。早就知道尽信书不如无书,可是这么多年学下来,早就学会把书当圣旨看了。有时候,有疑问也是顺着书的思路看出来的。原来书也是可以跳着看,选着看的。当然,所谓挑,也是需要眼光的,所以最好是有一个导师,或者先看一本导论性的书。可是说到导论性的书,大家都知道,不用数学,说清楚物理是很难的,所以,这世上也没有几本好的导论书。但是,刘是这样一个大活人,没准,做为一个实验物理学家,他自己就挺怀疑一切的,也不太注意理论的细节,但是,正因为如此,基本框架,问题的方向,倒是挺清楚。所以,可以当成一本很好的导论书来读,呵呵。

刘的开明还体现在非常直接地承认自己的不足,并且帮助你找其他人解决问题上。有一次我在看Feynman的小册子《光和物质的奇异性》,产生了很多问题。这本小册子其实是量子电动力学的通俗版科普版,而且其中的说法都是可以通过计算来验证的。那时候,有了问题,想着既然是光学的,就取找我之前的光学老师好了。刘听了听,直接就说,你看,这个问题我也不太懂,我可以帮你去找找谁谁谁去。如果你特别想听听我的,我是这样想的。坦诚,并且鼓励和帮助学生思考,这就是大禾老师。

所以呢,学生和刘之间,没什么距离。听说很多多年以前的学生,回来都找他喝酒聊天,像当年一样。我想,一个年轻的心态,一个开明的思想,才能让刘能够跟这么多年的学生们都打成一片的。说起保送校外的研究生,是从我们这一届开始的,不知道是谁做的决定,但是刘那开明的思想是肯定发挥了作用的。真希望,所有的老师都开明,所有的中国人都能开明一些。

鼓励思考和批判的张红群、伊月娥和刘涌源

说起来,现在的力学课不如以前,顺便就说一说这门课现在的老师张红群。她是我们热学课的老师。坦白地说,张的课讲的不好,说话发音也不太准,对于我这个南方人无所谓,如果你是北方人,语言就是第一关。但是,她教给了我很多很多东西,远远比热学多的多多的多。我们的张老师由一个特点,不管什么时候,你打断她讲课也好,你路上遇到她也行,无论你问什么,她都耐心倾听,细心解答。而且,最最可贵的是,她永远说,让咱们一起来想一想。这句话给你的感觉,只有你亲身听到才能感受到,你一个刚入门或还没入门的学生,一个老师能够跟你放在一个层次上来考虑问题。一般来说,老师解答你的问题是按照他自己的思路的,能不能解决你的思路和老师的思路之间的协调问题,就看你自己了。大部分时候,你的选择是,搞懂了他的思路,然后,把自己的扔了算了。但是,但是,在我们的张老师身上,她选择了先听明白你的想法。你永远不用放弃你自己的想法,而是,精炼它,更新它,让它成长。想想我自己给别人讲课或答疑,每每都以我为中心的,让学生理解我的思路。不能说两者之间效果的好坏,只是,我修养不够还做不到。珍惜这样的一位老师,好好利用这样的资源吧,师弟们你们很幸运,这将弥补一切讲课的不足。呵呵,当然,我们也相信一个好老师也是从普通老师成长而来的。到那一天,那就是相当于一个漆加一个杜,再加一个张红群。

想起来,我有一个很有意思的小学老师。老师姓伊,本村人,小学相当的文化,没有上过任何师范学校。伊是一个不可思议的老师,没有任何参考书,所有课后习题会前后让我们做五遍左右;没有任何练习试卷,让我们自己相互出题来做,同桌互换;不记任何隔夜的帐,今天没有交作业的,今天惩罚,明天重新开始;讲课过程中经常被我们打断,说老师的方法不如我们,于是我们就上讲台做给大家看。在现在看来,这些都可以看成创造性的革命。好像几乎都不应该这样的。但是,从做了五遍题之后,我们都记住了答案,不做也知道了,所以,我们一边做,一边琢磨题目中的每一句话,到最后,我几乎可以搞清楚没一句话在题目中的地位了。有些是大前提,通常你可以忽略;有些是多余的,是出题人做的陷阱;剩下的给出条件,可以从中信息,或者创设一个情景。从那以后,每每看到应用题,我就比没有受到这样的训练的人多了一份感觉,我读题目的时候甚至可以猜到出题人的意图。自己出试卷更加把我们的这种能力更上了一层楼。而且,从这里,我们知道,当你需要什么的时候,你创造它,而不是先去寻找别人提供替代品。对于不交作业不翻旧账,我尤其欣赏,一直到大学,我都很少交作业的,但是,老师们都相信我做了,可能做的是别的书上的而已。对于伊老师来说,我不做作业也就是站站黑板,被打几下手心,我皮糙肉厚,不在乎的,反正也不会影响老师跟学生的感情。对于最后一条,鼓励我们思考、批判和表现,我想迄今为止,我们有见过表现得比伊好的老师。最后,我们这个老师,还有一条更酷的,对事不对人。我是她的得意弟子了(尽管老捣蛋),但是,基本上每天都被罚在什么什么之前不许回家;然后更郁闷的是,一堆跟我在一起捣蛋的人,由于都交作业,经常比我早回去。搞的我爸经常说我们老师不好,每当这时候,我都跟他急。然后,我爸就妥协,好好,你反正更听你老师的而不是我的。

说起来,浙江的风气确实比较开明的。我初三的语文老师刘涌源经常跟我们一起分析问题,争论的面红耳赤,直到深夜的。记得有一次,他自己没敢肯定我错了,仅仅是我的答案和标准答案不一样了,他就请了语文组的其他两位老师,一起来讨论。我记得我不曾妥协过,另外两位老师也不曾妥协。最后,一抬头,发现,太晚了,我进不去宿舍了。于是,刘就帮我爬墙进的宿舍。

一个老师,对你的影响,绝不仅仅通过一个小时的课堂,但是,前提是,你自身的投入。有张老师、伊老师、刘老师是我的幸运。

机器学习能够学会量子力学吗?

经典和量子系统的行为和理论有很大的区别。一般认为经典的数学模型(欧式空间矢量、概率分布)是不能描述量子系统的。见经典和量子的区别

之前我提出来一个训练机器学习来求解Schrodinger方程的研究计划,看看是不是仅仅通过问题和已知的答案,能够得到一个Schrodinger方程求解器。见训练学习机用来求解Schrodinger方程

不过,由于写成Schrodinger方程之后,量子力学太像一个经典方程了,因此,就算能够学得出来这样的求解器,也不奇怪。如果得到波函数,然后加入测量,得到的实验结果,能够通过学习器给出来,就真的非常奇怪了。

于是,我提出来从光学实验的仪器组合出发,给定训练样本:仪器、组合、实验结果,然后看看是否能够在未训练的实验上也得到和量子理论一致的结果。

如果证明能够学到,也就是通过从一堆实验仪器和过程以及相应的测量结果里面学习到的模型能够用来给出正确的另一套同样的但是顺序方向等细节不一样的实验装置的测量结果的话,倒是比较简单,当然意义非凡——相当于找到了量子系统的经典理论,也就是实现了隐变量理论的目标,如果我们的学习机还是经典的话;如果数据结论是反面的,那逻辑结论比较难办——很有可能是没有解决好,而不是方法和思路有问题。因此,需要做好一个对比:类似的经典的情况,机器学习能够完全学到没有任何问题,然后同时,对比量子的情况,学不到。最好再增加一个量子学习机的学习结果对比,如果量子学习机能够学到,经典学习机学不到,而且经典学习机在类似的经典问题中能学到。这样就能够稍微更加有说服力一点,尽管还是有可能不是方法和思路的问题。

具体研究计划如下

  • 理论上,量子力学提供了三样东西来描述量子系统:状态矢量或者说密度矩阵以及投影测量的计算(在此,我们仅关心投影测量)、叠加原理以及什么情况下叠加原理可用、演化方程。所谓学习到量子力学指的就是学到这三样东西,或者说学到和这三样东西给出来的结果一致的某个东西。演化方程为了简单计,另外也可以相信如果学会了密度矩阵和叠加原理演化方程的部分更加容易学会,就暂时不考虑。
    1. 状态描述和测量在量子力学的语言下是这样的:量子系统的状态是密度矩阵\(\rho\),测量一个物理量得到的状态\(O\)是这个物理量对应着的算符\(\hat{O}\)的本征态之一\(\left|o\right>\),其概率是\(\left<o\right|\rho \left|o\right>\),测量后状态是\(\left|o\right>\left<o\right|\)。
    2. 叠加原理在量子力学语言下是这样的:如果一个量子系统有多种可能的状态,例如经过不同的路径上的装置到达同一个地点的自旋或者光子,则整体状态是两个可能状态对应的矢量的叠加态,也就是,如果\(\rho_{a}=\left|\psi_{a}\right>\left<\psi_{a}\right|\),\(\rho_{b}=\left|\psi_{b}\right>\left<\psi_{b}\right|\),则合起来的状态是\(\rho=\left|\psi_{a}+\psi_{b}\rangle\langle \psi_{a}+\psi_{b} \right|\)。由于这个叠加性的适用条件牵涉到是否不可区分,而是否不可区分牵涉到纠缠态和部分迹,这一点,也可以暂时不考虑。当然,密度矩阵和矢量空间本身包含的叠加性已经体现在上面那一条里面了。
    3. 因此,整个所谓量子系统的行为能够不用量子力学而是用经典学习机来学到的问题,也就成了学习到能够用来给出正确的测量结果,并且这个测量结果不包含多条路径可区分的问题。于是,主要的实验结果就成了描述下面的量子系统的实验行为,当然其中这些磁场的方向可以随意更换。
      SG
      其中的实验(c)实际上是不能用任何经典理论来解释的:在制备阶段被消灭的状态后来在最后的测量中会再一次出现。
  • 量子力学对这个问题的计算很简单:给定一个\(\left(\theta_{1}, \phi_{1}\right)\)方向的装置,挡住\(-\xi=\pm 1\)的一面让\(\xi\)的一面的光子进入下一步实验,则这个时候光子的状态是\(\left|\xi \hat{r}\left(\theta_{1}, \phi_{1}\right)\right\rangle\left\langle \xi \hat{r}\left(\theta_{1}, \phi_{1}\right) \right|\),它是算符\(\hat{r}\left(\theta_{1}, \phi_{1}\right) \cdot \vec{\hat{\sigma}}\)的本征值为\(\xi\)的本征向量,其中\(\vec{\hat{\sigma}}\)是三个Pauli矩阵。于是,如果这个状态,如果遇到一个\(\left(\theta_{2}, \phi_{2}\right)\)方向的测量,则测量结果可能是\(\eta = \pm 1\),其相应的概率为\(\left\langle \eta \hat{r}\left(\theta_{2}, \phi_{2}\right) \right|\left. \xi \hat{r}\left(\theta_{1}, \phi_{1}\right)\right\rangle\left\langle \xi \hat{r}\left(\theta_{1}, \phi_{1}\right) \right.\left|\eta \hat{r}\left(\theta_{2}, \phi_{2}\right)\right\rangle\),测量后的状态是\(\left|\eta \hat{r}\left(\theta_{2}, \phi_{2}\right)\right\rangle\left\langle \eta \hat{r}\left(\theta_{2}, \phi_{2}\right) \right|\)。

  • 给定量子问题训练集:也就是上面的图(a,b,c),其中磁场方向可以任意,对结果做量子力学计算来得到结果并用结果来标注。进行训练。训练得到的学习机用来预测测试集的实验结果。也就是说,我们运用这几样东西——若干个某个方向的磁场,挡住某个方向的输出的物块——来组成任意的实验过程,机器学习的目的是给我们这样的实验过程的正确的结果——表现为最终向上和向下输出的概率

  • 作为对比,我们提供量子力学的计算框架,在已知这个计算框架的条件下来学习,看看经典学习机是否能够学到。也就是给定
    \begin{equation}
    \left|\xi \hat{r}\left(\theta, \phi\right)\right\rangle = \left[\begin{array}{c}\alpha \left(\theta, \phi\right), \beta\left(\theta, \phi\right) \end{array}\right]^{T},
    \end{equation}
    看看能否学习到这些函数\(\alpha, \beta\)。

  • 给定经典问题和训练集:考虑一个经典多面体,其状态是多面体\(S\)中的一面\(s\)以及这些面的概率分布\(\rho\left(s\right)\)。有了这个多面体也就有了改变这个系统的状态的方式,也就是算符\(\Lambda\)——其每一个元素是\(s\)个状态的置换矩阵——和所对应的物理操作。然后,通过在给出来这些作用算符和测量算符的顺序并且做好结果标记的训练集上做训练,跟量子系统的学习一样,能够对新的算符的组合给出来正确的测量结果。

我们想看一看,是否经典系统的学习可以成功,量子系统给出来数学描述的需要学到函数的学习也可以成功,但是,量子系统的学习不会成功。如果真的是这样,那么,就表示,基于经典模型的学习机不能学到量子力学。

如果还能够给出来一个量子学习机的框架,并且学习成功,那么,就从一个全新的角度——让全能的经典学习机去试试——基本回答了量子隐变量理论的问题。

为什么要在系统科学导引里面讲物理学尤其是量子力学?

为什么要在《系统科学导引》课程里面讲量子力学?

首先,量子力学本身和其他物理理论甚至其他数学理论都非常的不一样,量子系统的行为也和通常大家熟悉的经典世界行为非常的不一样,因此不知道量子行为和量子理论的人生是不完整的:有一扇门你没有打开看过。

其次,更加重要的事情是,量子力学和量子系统的行为的关系,非常好地体现了什么是物理学,什么是科学。

科学是现实世界的心智模型,而且这些心智模型最好是系统化的:也就是说,这些心智模型是经过科学家门的整理和选择之后的,相互没有矛盾(或者有矛盾但是不妨碍解释力和简单性)的最简单的解释力最强的模型门的集合。能够解释现实是这些心智模型的最核心的特点。

物理学就是关于这个世界的物质层面的构成、状态和状态的变化这些事情的心智模型。由于要考虑物质的状态和状态变化,于是时间和空间也成了物理学的主要研究对象。由于其他的事情总是发生在时间空间里面,并且有一定的物质基础,于是,物理学这个关于自然界如何运行的科学,也就成了其他学科的基础。于是,拆分的思想(搞清楚对象物质的最小的组成部分,然后再重新合起来)和从部分到整体的思想,还有中间最关键的相互作用的思想,在物理学里面都有很好的体现。

那为什么在有可能体现物理学和科学的以上的思想的所有子学科中,偏偏把量子力学强调出来,在概论部分学一次,在数理基础部分再学一次呢?

第一、量子系统的行为非常容易实现和观察到,甚至比做自由落体实验还简单。
第二、很容易发现,量子系统的行为不能够用经典数学(位置矢量、概率分布)描述。
第三、量子系统的数学模型——Hilbert空间矢量和算符,以及所带来的对测量过程的理解的挑战,非常难以有直观的理解。
第四、量子系统的数学模型能够很好地解释量子系统的行为。
第五、基于量子系统的数学模型,也就是量子力学,后来发展起来的其他理论(独立或者通过量子化经典系统)很多都非常有意思和有意义,可能具有更加一般的意义。

那为什么还要学习力学和统计力学?

力学是为了补充物理学的基本概念(位置、速度、动量),还有学会使用最小作用量和Hamilton方程的语言,从而给量子力学和统计力学做铺垫,也方便将来学习最优控制等更加专门的内容。另外,有一些例子也体现了涌现性,以及相互作用的特殊地位。

统计力学里面很好地体现了从个体到整体的视角,里面有值得学习的关于相互作用的处理的理念和技术。另外,Boltzmann分布本身也是非常值得学习的具体内容。系统和系综在很多时候有助于思考问题。从一定意义上说,从个体到整体从直接到间接的系统科学本质上就是把统计力学的思想和技术,当然还要随着问题来发展一些新的,用在更加一般的系统上,而不仅仅是物理系统。

为什么要在系统科学导引里面讲博弈论?

博弈是人和人(智能主体)之间相互作用的基本的有能够被形式化的形式。

例如,我所讲的东西,可能影响你对事物的理解,你的思考,甚至你的行为。那,经济学的角度怎么来看呢?是这样的:我的行为可能可以改变你的行为的收益。以前,你的某些行为(思考,理解也当做广义的行为)可能收益比较低,但是,经过和我的行为联合起来看,这些行为的收益变高了。同样你的行为选择也可以改变我的行为的收益。例如,你们选择不思考无视,不做作业,那么,我选择好好讲课的收益就不如瞎讲。

当然,如果我的讲课,改变了你的理解和思考,不是因为我给你钱了,而是你增加了现在通过思考和理解得到的快感。因此,收益是广义的。

从这个角度来说,博弈就是个体之间相互作用的基本形式。系统科学就可以研究在这个相互作用下从个体到整体从直接到间接的问题了。