Learned something new about Bayesian formula last night and learned the hard way

Bayesian formula,
[P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\bar{A})P(\bar{A})}]
is conceptually straightforward, but amazingly useful in statistics. It turns calculation of (P(A|B)) into finding out (P(B|A)) by simply making use of the rule of total probability,
[P(A\cap B) = P(A|B)P(B) = P(B|A)P(A)]
and
[P(A) = P(A\cap B) + P(A\cap \bar{B}). ]

This seems rather trivial to me. Here comes the surprising part. Let us now add another set (C) in the following way,
[P\left(A|B\right) = P\left(\left(A|C\right)|B\right)P\left(C|B\right) + P\left(\left(A|\bar{C}\right)|B\right)P\left(\bar{C}|B\right), \hspace{2cm} (1)]
or in this way,
[P\left(A|B\right) = P\left(\left(A|B\right)|C\right)P\left(C\right) + P\left(\left(A|B\right)|\bar{C}\right)P\left(\bar{C}\right). \hspace{2cm} (2)]

Now let us ask which one of the above two formulae is the proper one, or both, or none?

It is easy to verify the first one: Assuming
[P\left(\left(A|C\right)|B\right) = P\left(A|\left(C,B\right)\right) = \frac{A\cap B \cap C}{B \cap C}, \hspace{2cm} (3)]
then right-hand side of Equ(1) becomes
[\frac{A\cap B \cap C}{B \cap C}\frac{B\cap C}{B} + \frac{A\cap B \cap \bar{C}}{B \cap \bar{C}}\frac{B\cap \bar{C}}{B} = \frac{A\cap B \cap C}{B} + \frac{A\cap B \cap \bar{C}}{B} = \frac{A\cap B}{B}, \hspace{1cm} (4)]
which is exactly the left-hand side of Equ(1).

Verifying Equ(2) is however not easy. If the assumption in Equ(3) is right, then Equ(2) becomes
[\frac{A\cap B \cap C}{B \cap C}\frac{C}{\Omega} + \frac{A\cap B \cap \bar{C}}{B \cap \bar{C}}\frac{\bar{C}}{\Omega}. \hspace{1cm} (4)]
I can see no clue that this expression should be (\frac{A\cap B}{B}).

However, if (P\left(A|B\right)) is the probability of a set of events, then the second one should be correct too. So what is the problem? It seems to me that when discussing (P\left(A|B\right)), we have implicitly limited the whole set, which originally is (\Omega), to be (B), therefore, all the expressions derived from there should have carried the condition (B) forever. So lesson one: Keeping the condition (B) as the condition for all other events. Therefore, Equ(1), not Equ(2), should be used in our case.

Another lesson learned is that conditional probability is a tricky concept and one has to deal it with extra attention.

神书推荐(Recommending The Princeton Companion to Mathematics)

最近读了一点点《普林斯顿数学指南》(The Princeton Companion to Mathematics),实在是精品,強烈推荐每一个数学家、物理学家、数学和物理系的学生,都看一看。

这本书把数学的主要分支的研究问题、主要思想、学习材料都做了介绍,而且是深入浅出,又不牺牲准确性、科学性的介绍。

这样的书,高中生、本科生、研究生、教授读了以后都会有收获。

什么时候,物理学也应该整出这样一本书来,系统科学也是。

Recently, I found a great book on mathematics, The Princeton Companion to Mathematics. It is like a guide or a big-picture introduction to almost every subfields of mathematics, without losing any accuracy and attractiveness.

All mathematicians, physicists, and students in math, physics, or even other fields related to appplied math, should read at least certain parts of this great book.

I think physicists should produce a similar book on physics too. Or maybe every discpline should have a simiar one.

系统科学基础课程的教材草稿

最近正在写系统科学基础的教材,欢迎大家提意见。我会一直更新这个工作版本

目前,第二部分,系统科学的数学物理基础已经基本完成,除了随机过程。

第一部分,系统科学导论,还需要很大的功夫,找例子,分类,复述,写评论。
第三部分,系统科学的基础理论,非线性动力学部分也基本完成。复杂网络没有动笔,但也不是难事。其他的部分还需要一些时间。
第四部分,计算附录以及概念地图学习方法,应该也花不了太多时间。

2012年春季《临界现象与复杂性》课程

这门课一直在系统这边的博士生的培养计划之中。一直没有开过。这学期我打算开起来。已经在选课系统中,希望大家感兴趣的来听听。博士生好像不得不上这门课了,硕士生(尤其是硕士生)我强烈推荐你来试试。

大致的内容,我打算按照《复杂性研究中的数学物理方法》的思路来组织。这样比《临界现象与复杂性》更一般一些,当然临界现象部分还是要讲的。主要的想法是:通过这门课把受教育背景各不相同的学生放在同样的起点上,为系统科学(复杂性、物理学、社会系统、经济系统)以后的研究工作做准备。基本上本科阶段的数学物理课程都会涉及(当然《数学分析》的内容就默认大家都了解)。然后每一门课,我只会讲最最基本的内容,基本上5-10小时之内给大家一个图像,帮大家入门。课后大家通过自主阅读与练习来达到真正学会的目的。

你来,我应该能保证,你会上一个层次,会得到对这些学科的不一样的体会。但是,我需要你保证完成作业,并尽可能地主动阅读我留下的或者推荐的教材、文献。

提纲:
1、线性代数与数值线性代数:矩阵、本征值与本征向量、线性变化、矢量空间、Blas与Lapack
2、概率论:古典概型、简单事件、复合事件、频率与概率、有限事件空间上的概率论,概率三元体,概率论的矩阵表示,Monte Carlo方法简介
3、分析力学:状态与状态空间、动力学过程、Hamilton方程、Lagrange方程
4、量子力学:二维系统的量子力学,态矢量、算符、Schroedinger方程、测量,密度矩阵
5、统计力学:状态空间、系综理论、配分函数,相变,Metropolis方法,量子统计初步
**********一学期的量,这次就开这么多,下次把《系统理论基础》跟这门课合起来开,讲两学期*************************
6、非线性动力学:动力系统、简单稳定性分析、不同定性行为分类并举例,混沌举例
7、高等统计力学:相变、重整化群、有限大小标度、临界现象与临界指数,产生湮灭算符形式的量子统计入门
8、高等量子力学:Hibert空间的矢量和算符,测量问题与量子力学基础,产生湮灭算符形式的量子力学

我的信念是学哪一门就要学会象那一门的专业学生一样地来思考问题。具体的知识、技巧可能掌握的程度不一样,但是有哪一些基本问题、如何处理,也就是大图景和品味是一样的。有很多的老师和学生可能不同意我这个观点。不过,不妨来试试,给我和你自己一个机会,没准我们能够成功呢。

这第一轮的课,允许我把主要时间放在把这些课程的基本内容做成一个整体。以后,我会把实际研究工作的例子加入进来,放在课程中合适的地方。

课程的组织方式大概按照:导论(背景,相关研究工作简介,参考书与文献介绍),核心内容讲解与讨论,课后作业,习题课(讲解习题以及个别的例题)。考核方式:习题(40%),大作业或者课程论文(20%),期末考试(40%)。课后作业可以通过小组讨论来解答,但是答案必须是自己的,类似的答案(例如错别字一样、相同的加减号错误、相同的常系数错误等)视作抄袭,大作业或者课程论文的任何部分(多于一句话)网上查得到,视作抄袭。抄袭者的成绩一概不及格(59/100)。

另外,这学期有两个与本课程相关的专题课(分别是《随机过程导论》与《平衡与非平衡统计物理学》)将由国际知名学者来讲授(分别为Peter Drummand,量子光学领域的牛人以及Birger Bergersen,那本比较流行的平衡态统计物理学的作者)。他们会过来用英文讲课,时间大约是5、6月份。

要不要我也用英文讲?那样的话,大家都要辛苦更多,我也要花更多的精力来准备。要不,下一轮,我再用英文讲授吧。关键是我恐怕没这么多时间来准备。