写给研究生的研究方法

最近,我在学习概率图模型。其实,好几年前,从我做汉字学习和检测算法的时候,我就知道(也谢谢周海军的工作给我的启发,我记得是不是海军有一次聊汉字工作的时候还提到了概率图模型来着,但至少是提到过消息传递算法),我需要概率图模型来解决汉字检测的问题:在汉字检测中,我们需要回答两个可以用概率图模型来回答的问题。第一,我们需要算出来一旦测量了某个汉字并且得到被试认识或者不认识这个汉字这个结果之后,其他的没有测量过汉字的认识和不认识的几率如何变化。第二,有了第一个结果,我们还需要确定一个最优的检测顺序,使得测量尽可能少的汉字却能得到尽可能多的汉字的是否被认识的信息。

但是,由于各种原因,我连《概率图模型》那本巨著都买了(谢谢王馨帮我千里迢迢背回来这么死沉死沉的书),也没有真的开始学习。直到最近,乘着Daphne Koller的概率图模型公开课,终于老老实实学习了一下。目前,已经完成第一遍的学习,了解了知识,基本上想通了这些知识之间的联系,了解了这个领域在做什么基础理论上和应用上。现在,在学习第二遍,开始思考知识之上的层面,例如怎么用,这个课为什么这样讲为什么讲这些。无论上面的哪一个层面,Daphne的课都非常值得借鉴。

当然,下一步就是去把这个方法用来解决我的汉字检测的问题。并且,很有可能,我们的第二个问题,是超越目前的概率图模型的框架的,也就是一个基础性的创新。同时,随着研究的开展,也会需要再一次地来学习某些和具体研究直接相关的内容,促进研究的开展和对概率图模型的理解。

从这个例子,我想向研究生说一点关于研究方法的事情。研究上的创新主要包含:新问题、新方法、新整理的思路(也包含新理解新解释)、新结果。而且,这里的新意的程度是有相对顺序的。新问题和新方法最重要,新结果最低。因此,那种修改别人的模型参数,得到一些新结果的,除非结果本身的新意特别大,跟前人的结果有定性区别,意义不大。

按照这样的一个新意的追求,研究上的创新也有一个一般过程:找一个感兴趣的问题,先思考大概怎么做,有了整体思路或者至少有方向了再来看文献检验这个思路或者方向,接着进一步学习必要的技术,做出来,检验一下。

你说,那我要是就没有问题怎么办?那是平时学习和思考的方法不对。永远要批判着学习和思考,不是接收,慢慢形成对一个领域的整体认知。无论是学科的基础问题,还是实际现象,都能够启发你提出新问题。当然,如果别人已经提出问题,但是就是没有好方法,那这个新意也是不错的。

你问,不看大量文献,怎么形成整体认知?看了呢,又违反了上面的现有问题思路和方向,再来看文献的方法。那是看文献的方法不对。只要冲着整理整个领域的典型研究问题、思维方式、分析方法去看,就不需要看大量文献,不需要看太多细节。看文献是为了构建自己对学科的大图景的认知地图,而不是去记住人家怎么做,照着做。当然,你要是都学不会人家怎么做,那也是白看。进得去,出得来,还能反思。这就是看文献的要求。

你说,我就是学不会从细节到整体,从整体到细节的大图景学习,理解型学习和思考,那怎么办?那,再努力一下试试,但是如果还不行,就请你不要走学术研究,至少理科的务实的提出问题和解决问题的,这条路。赶紧赚钱去吧。任何工作都是职业上的区别,而且,一般来说你走其他的路,赚的钱都比走学术的路要多。所以,不要在学术上困死,除非你跟我一样特别愿意和享受做学问,还能做,还不太计较赚钱多少。

什么是研究工作,什么是一个博士生的研究工作

学习的根本目的是为了创造知识、创造性地运用知识、欣赏知识和知识的创造过程。当然,顺便,为了实现这些目的,最重要的是理解知识,也就是看到概念之间的联系、看到概念和它诞生的时候的问题的联系、看到概念和学科大图景(一个学科的典型研究对象、典型研究问题、典型思维方式、典型分析方法、和世界还与其他学科的关系)之间的联系。只有在学习的时候得到了深刻的理解、用了研究性学习(创造体验式学习,把一个概念的典型场景从原始论文或者其他地方提炼出来,设计好一个问题,让学生通过解决这个场景问题来自己提出概念),才能帮助我们做好的研究。不过,这个理解知识不是我们今天要说的重点。我们今天来说说,既然研究是学习的根本目的之一,甚至也是学习的重要方法之一,那什么才是研究,尤其对于一个博士生来说。

首先,研究是大概来说这样的一个过程:提出问题之前的准备(包括学科知识和大图景的研究性学习、论文阅读,论文阅读要看到论文之间的联系,形成概念地图,得到所研究问题的来龙去脉和现状的整体认知)、提出问题、把问题形式化(例如变成一个数学问题、变成一个实验)、求解问题、检验答案(先假设形式化准确,用其他方法或者极端情况来对比一下一般的答案,设置对比实验组;如果过了这一关,回到形式化这一步,看一看假设是否可以接受,如果修改其中某些假设会怎样;最后,可能还要做实验和实践的检验),以及之后的撰写和投稿论文(这里也有很多技能要学习,例如结构化写作)。一个希望做研究工作的人,毫无疑问,要通过一两个工作来对这个研究过程形成一定的认识。尤其是提出问题这一步,就算在导师已经提好问题的情况下,也要回到场景去体会一下,问

  1. 为什么会提出这个问题?
  2. 如何提出的这个问题?

当然,熟悉过程,学会一些技能,理解好学科,这些都是训练。基本上是硕士阶段应该完成的事情。当然,随着研究工作的开展,你对学科可能会有更好的理解。如果是博士,则还有更高的要求:你得是某个方面的专家,以及有一两把善于使用的刀子,以及对某个领域的兴趣和对磨刀子甚至发明刀子的兴趣

其次,研究不仅仅是上面的那个过程而已,研究是通过找到和解决一个学科当前还不能解决的问题(可能是形式化之前的偏实际场景的问题或者形式化之后的偏理论体系的问题)来补充甚至重构这个学科当前的知识体系和大图景。对于后者,有的研究工作会给这个学科提供新的思维方式分析方法,因此,不仅仅是解决了某个问题而已。因此,对于任何一个研究工作,都要问类似这样的问题(对于欣赏他人的研究工作,也要问类似的问题):

  1. 在我自己要做的这个研究之前,
    1. 这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?
    2. 这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?
    3. 这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?
  2. 在我解决这个问题之后,
    1. 这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?
    2. 这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?
    3. 我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?可以从学科大图景的角度来思考,从知识和技能的角度来思考。

经过这些思考,你除了了解了研究的流程,还对某个学科分支的研究现状——已经解决的没有解决的问题、问题的理论和实践价值、典型思维方式和分析方法,以及这个现状的来龙去脉——有了比较好的认知,还有一两把善于使用的刀子(思维方式、分析方法、提出问题、问题的形式化等等,任何一步任何一个方向比较强,都行)。这时候就差不多可以成为博士了:在你所研究的问题的方面,你已经和这个领域的最前沿的研究者在思考和面对类似的问题了(尽管你可能没有人家快、深入、可靠等等),你已经超过你的导师了,如果这个导师不是也正好做这个问题的直接研究的话。

拿论文追热点的工作当例子

我们来问和回答上面的问题。

为什么会提出这个问题?如何提出的这个问题?
论文的创新性的度量是一个很重要的问题,论文的评价、推荐、甚至将来是否选择把这个论文加入学科核心知识结构,都需要依靠这个创新性。但是,人类是通过阅读论文,把这个论文的核心内容提炼出来,在其他研究工作的背景上,来做这个创新性的评价的。也就是说,如果算法要能做的话,要先解决本论文的核心内容提取、其他研究论文的核心内容提取、作对比的技术,这些问题。在那之前呢?我们是不是可以通过引用行为来衡量追热点程度,也就是一定程度上创新性的反面呢?例如有的人引用一篇论文,真的是因为看到很多其他人也在引用这篇论文。

这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?
创新性的问题有人研究但是进展有限(这句话背后是大量的论文),领域层面的平均追热点程度有人研究,论文个体层面没有。更进一步,暂时没有发现用追热点程度传递的方式来衡量论文追热点程度。

这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?
有可能可以找到一个能够描述论文追热点程度,也就是创新性的反面,的指标。不过,这个需要检验,而且这样的检验不是很容易。如果做出来了,第一确实就可以帮助做论文的评价和推荐等任务,多了一个维度;第二,可能可以在科学学领域进一步推广影响力扩散(从直接到间接)这个思维方式和分析方法。

这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?
从中可以学会影响力扩散的思维方式和分析方法,也能够进一步了解科学学这个领域。

这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?
新方法,可以用于论文评价等场景。

这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?
还没有实现真正的论文创新性度量,这个论文追热点指标本身也还需要进一步的验证。

我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?可以从学科大图景的角度来思考,从知识和技能的角度来思考。
这个留给建林回答。以下是建林的回答。

类似用户画像,对一篇论文我们也可以从多个角度或维度来描述,比如论文的学科交叉性、创新性、影响力、作者特征、期刊特征等等。在本研究中我们主要试图通过刻画一篇论文追踪热点的程度来间接刻画一篇论文的创新性。通过这个研究,我不仅加深了对论文间“引用”关系的认识,主要还学会了更深入地思考问题,用系统思维或是“联系”的视角去看待和解决问题。“论文追热点”是个很有意思的研究主题,在开展研究的过程中我有一系列的思考和疑问,比如:论文是否存在追热点这种现象?如果存在,我们如何来度量论文追热点的程度?当我们提出了量化指标,又该如何验证?这种指标的设计思想是否可拓展?根据指标得分来判断追热点程度高或低的论文有什么特征(在发表时间上、学科分布上、国家分布上)?哪些因素又会影响这些特征?对于这些疑问,我需要通过查文献、实证研究、反复调整算法指标来解决,也需要多思考这些问题之间的逻辑,不至于使自己偏离研究主线。通过这项工作培养了我自己独立思考的习惯以及严谨的科研态度,有助于日后书写项目申请书时理清研究思路以及学会独立开展一项研究工作。在本研究中,除了学会思考问题,还需要补充很多相关的背景知识,而这些知识主要是从相关文献中获得,学会如何整理这些相关文献也是必备的一项技能,主要是理清这些文献与当前研究的联系。

拿综述文献识别的工作当例子

为什么会提出这个问题?如何提出的这个问题?
实际工作中,我们需要把总数文献识别出来,单独做处理,不管是评价还是用来构建学科概念地图的基础帮助学生进入一个领域(总数文献在这方面无与伦比)。

这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?
前人提出了多个经验指标,例如参考文献的数量、看期刊。但是,还没有真正解决识别的问题,尽管已经可用。我们打算构建一个机器学习分类器来做这件事情。

这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?
对于这个问题,有一个综述文献分类器的作用就是可以区分综述文献了。

这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?
需要学会机器学习,尤其是其中的自然语言处理和分类器。由于实际标注数据中有噪声,因此,这个工作除了实现一下分类器之外,还需要考虑噪声的解决。后者是一个科学问题,前者基本上就是工程问题。从中,我还能学会如何区分工程和科学问题,以及从研究工作中提出和解决科学问题。

这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?
新工具(分类器)、新方法(噪声问题,不过后来发现这个方法的精神已经有前人的工作,尽管细节不同)。

这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?
分类结果还需要进一步的验证。可以把噪声处理的方式作进一步的研究和应用。

我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?可以从学科大图景的角度来思考,从知识和技能的角度来思考。
这个留给骆慧颖回答。以下是骆慧颖的回答。

首先是在整个工作过程中将数据处理、构建模型、训练模型等技术运用于实践的过程中掌握了这项技术,编程能力也得到了提升。这对于我来说是一种知识和技能的积累,也是研究nlp的基础。其次是学会了如何去区分问题和工程问题,也学会了面对科学和工程问题怎么去思考。如老师所说的,构建分类器是一个工程问题,而处理噪声数据就是一个科学问题了。科学问题就像是“咦?这条路看上去好诱人,感觉前方风景很好呢!走!去看看!”我们不知道这条路通向哪里,更多的是好奇心驱使的在过程中发现问题和解决问题,它从问题出发,如我们的工作中,对于分类器的训练,标注的数据中有错误的怎么办?这些都是驱使我们进行噪音数据处理的问题导向。而工程问题则是“我知道我要去哪,但是眼前这么多条路,我该选择哪一条?又或者自己开条路?”是由实际需求和应用出发的,从选择道路到沿着路走在最终到达目的地,就像我们工作中我们想要从众多文献中将综述文献识别出来我们应该怎么做?这些都在今后的研究中给我提供了提出问题和解决问题的思路。也接触到了ensamble learning和active learning这两种学习方式,同时在进行资料学习的也同时学习到了监督学习、半监督学习、无监督学习等学习方式,是对机器学习知识的一种补充。

拿科学家的半生命的工作当例子

这是邓老师的回答:

  1. 为什么会提出这个问题?
    研究科学家的科研规律可以更好的来指导科学家的工作,不管是把科研当工作(痛苦不堪),还是把科研当人生(痛并快乐),搞科研的科学家,他应该会想知道,在进入学术领域N年之后,平均来说,还有多少年,他就可以退出学术领域了(开心,终于解脱),或者说,还有多少年,他就要离开学术领域了(遗憾,还没玩够)。具体来说,我们可以从发表文章,被引文章的角度,来定义科学家的学术生命和半生命。
  2. 如何提出的这个问题?
    在前人的基础之上提出问题,前人有研究期刊,知识,同龄人等的半生命,我们关注科学家个人的学术半生命。
  3. 这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?
    科学家个人学术半生命(发文和被引角度)的问题暂时没有人研究,不过前人用类似的方法研究过人的生物学生命问题。
  4. 这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?
    我们可以计算出科学家当前年龄的淘汰率和预期剩余寿命,对于科学家个人而言,他可以大概知道,还有多长时间,他的学术生命就要结束了。
  5. 这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?
    主要是利用统计学的知识进行数据的处理和结果的可视化,在某一个数据集上,统计个人的退出年龄,根据人口动力学方程计算出平均的预期寿命和淘汰率。
  6. 这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?
    一种新的从发文和被引的角度来定义个人的学术生命的方法,同时给出了个人平均预期学术生命和淘汰率的参考曲线。
  7. 这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?
    数据集的体量较小,需要更大规模的数据集,来计算得到更加普遍的结果。
  8. 我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?
    • 了解了科研工作大概是一个什么样的过程,是提出一个可以计算和验证的模型(数学语言来描述),在数据上计算并验证模型,如果模型能够较好的符合现有的数据,则可以进行模型的迁移,当然,模型很有可能在其他数据上被推翻。
    • 以前做的工作都是各种工程类的项目,分析需求,寻找技术,完成功能,联调测试,进行维护,不断的循环,虽然也是在不断学习新的技术,但是,实际上,这些项目肯定是能完成的,只是时间投入的问题。并且,项目的结果好坏是有既定的评价标准,比如通过联调测试,用户反馈等。
    • 而科研的工作,是为了去回答一个前人没有回答过问题,不管是问题的提出,问题的解决方法,结果的评价方法,都有可能是全新的,此时,去寻找解决问题的方法,去寻找问题的答案已经比较困难,有可能找不到问题的答案,而在得到一个答案之后,怎么去评价它有时候可能会更难,这些都是和工程项目不一样的地方。
    • 在了解了以上的区别之后,我觉得最大的收获是,工程项目让人躺在舒适区里,而科研项目让人怀疑人生,痛并快乐。自己给自己打一针预防针,进入新的科研工作就没那么恐怖了。

拿替代力指数的工作当例子

这是邓老师的回答:

  1. 为什么会提出这个问题?
    因为引用某篇文献的后代会引用这篇文献的祖先,也许祖先对后代的贡献更大呢,因此,仅仅从被引数量来衡量文献的创新性,有失偏颇。一篇文献在引文网络中的作用是什么,它是否是不可替代的?如果仅从被引数量来衡量,那进入引文网络的文献都不可替代。但实际上,很多文献的后代,不仅仅引用了父亲,还引用了各个层级的祖先。如果扣除了祖先对后代的影响,文献对后代的实际影响是怎么样的,在引文网络中它的不可替代性会有怎样的变化?

  2. 如何提出的这个问题?
    在前人的基础上提出该问题,前人研究了文献扣除父亲对后代的影响后的情况,我们更进一步,把所有祖先对后代的影响全部扣除。

  3. 这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?
    考虑所有祖先对文献后代的影响暂时没有人研究过。

  4. 这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?
    最可能的答案,扣除掉所有祖先的对后代的影响,文献的不可替代性会下降,某些文献甚至可能会出现反转,比如某些高被引文献的实际不可替代性很低,并且这些高被引文献实际上是灌水之作,如果真的是这样的话,那对文献特别是高被引文献的创新性的评估就需要采用和以前不一样的方法,也就是不能仅仅采用被引数量,还要考虑扣除祖先对后代的影响。也许可以发展出一种方法来识别真正有创新性的文章和灌水的文章。

  5. 这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?
    主要是在数据集上对大型稀疏矩阵进行求逆操作,还有后续的数据分析可视化。大型稀疏矩阵的求逆操作通常转化成求解方程组问题,采用迭代法来完成。评价方面,可以选择公认的好文章和灌水文章来检验我们定义的替代力指数,好文章可以用诺奖和里程碑,而灌水文章也许可以把追热点的文章拿来试一下。

  6. 这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?
    是一种新的评估文章创新性的方法。

  7. 这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?
    • 如果在诺奖,里程碑文章上与实际符合较好,那在另一端,灌水文章上是否也符合较好,怎么识别灌水文章呢,需要其它的证据。
    • 可否迁移到其它知识网络,比如github的引用网络,来检验代码的创新性。(非常值得做,尤其是,可以考虑一个大项目,例如Linux操作系统,中各个程序的相对地位的问题
  8. 我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?
    • 不能迷失在技术的深渊里,当某些技术无法解决问题时,需要考虑其它更合适的技术,比如求解线性方程组的scipy,petsc。
    • 在整个研究的过程中,一定要挂一盏灯在头上,就是,我要解决的问题是什么,我做的事情和我要解决的问题有关联吗?

拿概率条件下决策影响因素的工作当例子

天笑回答。以下是天笑的回答。

Q1:为什么会提出这个问题?如何提出的这个问题?

A1:在研究决策影响因素时,考虑个人风险态度可能是因素之一,因此需要引发个人风险态度的方法。通过文献阅读发现常用的引发风险偏好的“十项决定”已经成为很成熟的引发技术了,于是直接拿来使用。在使用的过程中发现,该量表提供的两项风险资产对比,既有均值的变化,又有方差的变化。效用函数框架下,风险资产的效用函数可以分解为各阶矩的函数(各阶矩被称为数字特征的原因)。那么从数学上,我们形式上就可以用包含均值(一阶矩)、方差(二阶矩)、偏度(三阶矩)、峰度(四阶矩)以及更高阶矩的函数来描述一项风险资产,作为风险资产的效用函数。显然,均值和方差一定在效用函数之中。那么,我们需要知道实际上人们的效用函数是否包含更高阶矩,即人们是否可以感知到各阶风险的变化呢?更高阶矩是否在决策过程中其作用呢?

如果人们不能识别高阶风险,那么效用函数就完全由均值和方差来刻画。
如果人们能够识别更高阶的风险,即对待更高阶的风险有不同的态度,反映在实验上,就是有不同的风险资产选择倾向,那么在测量人们的风险态度时,就要考量高阶风险的影响。
更进一步,我们需要考察有哪些高阶风险被包含在效用函数之中,以便进一步完善效用函数构建。举例来说,比如人们对于5阶以上的风险不识别,那么效用函数就只需要包含前四阶矩;再如人们只识别奇数的高阶风险,不识别偶数的高阶风险,那么效用函数就应该包含均值、方差以及之后所有奇数阶矩。即我们需要知道实际上哪些高阶矩进入效用函数之中。

技术上,我们可以保持其他阶数不变,只有被考察阶数不同的情况来构建实验需要的风险资产,通过风险资产之间的对比考察的该阶风险是否被识别。

总的来说,是因为我们需要引发被试的风险偏好,使用作为引发风险偏好的标准量表——“十项决定”量表时,逐渐深入了解发现,其并不能满足更精确的描述人们的风险偏好的要求,所以我们将研究的目光从前述工作转向了风险态度,尤其是高阶风险态度的测量。

Q2:这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?

A2:通过文献调研发现,对于高阶风险态度的研究主要集中在金融和实验经济学领域,金融领域中对三阶风险——偏度的研究比较早,在效用函数框架下,经济学家和金融学家天然的需要研究效用函数各阶导数的现实意义。他们将三阶风险厌恶称为“下行风险厌恶”,用效用函数三阶导数的凹凸性来解释了人们在预防性储蓄时的经济行为。在金融领域的资产定价和资产组合中起到了重要的作用。2006年,Eeckhoudt 和 Schlesinger脱离了期望效用框架,将高阶风险态度和特定的“彩票对”的选择偏好联系在一起,使得高阶风险态度的直接测量成为可能。 一些实验经济学家通过设定两个只有某一阶数不同,其他阶数都相同的两张彩票的对比实验,来引发人们的高阶风险偏好。这种方法正是本工作使用的方法。其理论依据是将高阶风险拆解成低阶风险的组合。

通过阅读文献我们发现,大多数研究者使用的“彩票对”,存在两个问题:
每个彩票的或有收益对应的概率不同,并且随着需要考察阶数的升高,或有收益的概率之间的差异越来越大。通过其理论基础——期望效用理论发展而来的前景理论我们知道,人们不仅会将或有收益看作主观收益,还会将其对应的概率看作主观概率(一个事实是,人们会夸大小概率事件的结果,举例:颤抖的手),那么我们考虑能不能将考察时的彩票的或有收益设置成等概率的,以便排除主观概率的影响。
另一个问题是,以三阶偏度为例,研究者选取的彩票对的偏度值都偏大,这样有助于使用小样本产生更明显的结果,但明显没有均匀的覆盖全部偏度值的取值范围,我们能不能通过彩票设定,使三阶偏度值在其取值范围内全都考察到?
针对以上两个问题,仍以三阶偏度为例,我们构建的彩票对需要三个等概率的或有收益,并且保证均值、方差都相同、偏度值正好是设定的相反值,比如±0.1,±0.2等。三个未知数(三项或有收益),三个约束条件构成方程(均值、方差、偏度),理论上存在非零解,因此我们可以解出需要的彩票的或有收益。

上述工作我们通过文献调研,并没有发现有研究者做过。高阶风险的经济学实验部分仍处在刚起步的阶段。

Q3:这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?

A3:首先,我们需要在实验上证明我们对实验的改变是否影响被试的选择。如果仅仅是将或有收益的概率变为等概率的,就会改变实验结果,那么说明通过彩票对这种方法引发高阶风险根本没有稳定性可言。使用类似技术的高阶风险结论都将存疑。
如果我们将概率变为等概率,不影响主流结论,那么就说明我们带来的改变是无害的,我们的结果是可以和其他研究者进行对比的。
此时我们再将目光关注在其他研究者不曾关注的小偏度值之上,考察三阶偏度在小偏度值的时候,结果是否和大偏度值的一样。

总而言之,我们的结论将取决于我们对该实验带来的改变是否影响实验结果。通过只改变其中一个点来层层递进,如果直至最后,我们的结果和主流结果仍相同,那么至少我们完全研究了该阶风险的情况,证明了结果的稳定性。

Q4:这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?

A4:需要的知识储备主要包括,理解效用函数框架所需的基础——期望效用理论及其发展,理解主观收益、主观概率,进而理解我们为什么要在构建彩票对时控制或有收益的概率都是相同的;经济学中效用函数函数的各阶导数,对应的数学上的各阶矩,明白为什么数字特征可以描述一个随机变量,从而理解我们可以使用包含各阶矩在内的效用函数描述人们的选择行为;高阶风险彩票对的构建,将高阶风险看作两个低阶风险的组合;解方程的技术——用来计算我们需要考察的彩票对;关键之处在于,通过控制变量,一步步将彩票对的设计演化为我们需要的格式,而其中一旦结论发生变化,那么彩票对引发高阶风险这一手段的稳定性就将存疑。

Q5:这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?

A5:最终这个工作完善了原有结论,证明了结果的稳定性。这部分工作主要研究三阶风险偏度,证明了被试倾向于选择“谨慎”的风险资产。

Q6:这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?

A6:关于引发风险偏好,乃至于引发高阶风险偏好,“彩票对”的方式提供了两个不同的风险资产进行对比,通过被试的选择行为考察高阶风险的作用。其实还有其他方式考察人们对不同风险资产的定价,比如发现确定性等价。在本工作中,我们并没有采用发现确定性等价的方法让被试给我们设计的每一个彩票“定价”,这可以来进行交叉验证实验结果,我们没采用确定性等价这个方法的原因是,没有彩票直接对比直观明显,需要被试有良好的计算能力。

目前我们只完成了三阶风险偏度的实验,在整个工作框架下,可以继续向更高阶风险推进,直至人们对于某一阶风险及其之后的更高阶风险不再识别,那么我们所构建的用于描述人们风险偏好选择行为的效用函数,就包含那些我们发现有用的那些阶数的风险。另外还可以使用其他方法,如确定性等价来和本结果交叉验证,证明高阶风险在不同引发方法下仍起作用。

Q7:我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?可以从学科大图景的角度来思考,从知识和技能的角度来思考。

A7:这项工作在发现问题上,使我亲身体会到了在应用别人的成果时,并不能完全满足我们的需求,为此我们提出问题,从别人的工作中进一步发展。在实验设计上,主要是需要层层推进,一步步将我们的设定和改变加在原始设定之上。同样,这项工作我陷入技术细节陷入的更深,既想干这个,又想干那个,最终我是通过紧紧围绕核心问题,一步步消减冗余来走出泥潭的,比如完全舍弃了预实验与彩票直接对比同时使用的确定性等价这个方法。“抬头看路,低头向前”还是做的不好,知道和运用是有距离的,话说的好听,但学到的唯一教训就是人们不会从历史吸取任何教训。

拿最后通牒和概率理解的关系的工作当例子

下面是天笑的回答。

Q1:为什么会提出这个问题?如何提出的这个问题?

A1:从大的方面来说,可以帮助我们回答为什么要提出这个问题。

研究人们是如何做出决策的,始终是经济学、心理学等社会科学的核心问题。科学家们研究的目的有二:解释和预测。对于已经发生的行为,通过构建模型来解释人们在相应条件下为什么做出这样的决策,并外在表现为观察到的行为;更进一步,构建的描述人们决策的模型需要在相同条件或是不同条件下,预测人们会做出什么样的决策,产生什么样的行为。

决策问题是一个很庞大的问题,我们的关注点需要集中,这可以帮助我们回答如何提出这个问题。

在从我们关注的经济决策方面来说,博弈论为我们提供了很多研究框架,比如囚徒困境、公共品博弈、最后通牒博弈等博弈形式。本工作中,在这些前人的基础上,我们关注最后通牒博弈,试图找出最后通牒博弈框架下影响人们决策的因素。通过文献我们了解到,前人提出了各种影响决策的因素,包含公平、利他、信誉、文化、语境、性别、年龄、情绪、生理指标等等因素皆能影响最后通牒框架下人们的决策。在文献整理中,我们不乏看到通过实验设计来排除其他因素的影响,专注研究某一因素的思路经常出现在各文章中。因此,我们可以通过集中关注最后通牒博弈框架下人们的经济决策来缩小研究范围,通过构造实验排除其他因素影响,专注于我们需要考察的因素之上。

Q2:这个问题确实还没有解决吗,没有人研究过或者说没有人用这种方法研究过吗?

A2:考察这个问题是否被解决了,就需要考察构建出来的人类决策模型是不是能解释现有实验结果,并预测一定条件下人们的决策行为。

在最后通牒博弈中,即使我们排除了目前研究的影响因素,仍距离理论结果有着显著的差异。这代表着一定还有其他因素在人们决策过程中起作用,并进一步通过行为表现出来。

本工作的研究方法并不新颖,主要目的是试图继续深挖最后通牒博弈理论与实验之间的显著差异,试图在前人的探索上更进一步。

Q3:这个问题可能的答案是什么,如果我们得到了某个答案,对于整个学科甚至整个科学和技术来说,意味着什么?

A3:我们主要考察的是对概率的理解和被试的风险偏好是否是最后通牒博弈中的影响因素,更进一步,将已经发现的影响因素包含在一起,是否能使理论预测与实验结果相一致。

如果上面两点都达成了,那么我们就能够构建包含所有影响决策因素在内的模型,来描述人们的经济行为就更进一步了(至少在最后通牒博弈框架下)。

如果我们提出的印象因素确实在决策中起作用,但最终还是和理论值有显著差距,那么就说明除了前人提出的因素和我们提出的因素之外,人们的决策模型还包含其他我们目前未知的影响因素。此时我们至少距离完全描述决策行为更近了一步。

一旦我们提出的新影响因素被证实在决策过程中起作用,尤其是概率理解,这意味着其他框架下也需要考察这个因素是否影响人们决策,这个因素是否普遍适应各种决策框架。

如果我们提出的因素在决策过程中不起作用,在确定我们设计的实验没有问题的情况下,在各种努力尝试都改变不了结果的情况下,至少我们排除了两个影响决策因素的错误答案。至少个人风险偏好不影响最后通牒博弈框架某种条件下的个人决策,也是挺反直觉的一个结果。我们接受这个事实,总结经验教训,科研是未知答案的,甚至很多时候是未知问题的。

Q4:这个问题的解决大概需要什么知识和技能的基础,尤其要识别出来其中最关键的那一步,我从中能够学会什么?

A4:这个问题解决需要一些博弈论相关的知识,理解最后通牒博弈实验的结果和理论预测不一致冲击了经济学基本假设——理性人假设;另一方面需要博弈实验相关的知识,理解为了回答问题而设计实验,而不是反过来。需要的技能主要是依据目的设计实验的能力。在本工作中,最关键的一步是将被试的决策过程进一步分解,看作是先估计行为,再做出反应,而其中对概率的理解影响了人们做出反应这一部分。我们设计实验时,通过约束估计行为来考察我们提出的影响因素。

通过本工作,我学到了实验是为了某种目的设计的。在平时的课堂中,我们都是先接触囚徒困境、最后通牒博弈、公共品博弈、独裁者博弈等各种实验格式,更有甚者,比如最后通牒博弈,已然工具化成了引发公平的实验工具,广泛应用在各种经济学、心理学、社会科学场景中。而如果我们仔细阅读提出他们的原始文章,就能看出他们是出于何种目的构建出来的这个实验格式。更重要的是构建他们的思想,而非这些实验格式本身。

Q5:这个工作提出了新问题,发展了新方法、得到了新结论、提供了新案例新应用场景?

A5:这个工作得到了新结论,概率理解确实是最后通牒博弈框架下决策影响因素之一(同时风险偏好也是),但加入新的因素,仍不能完全抹平理论预测与实验结果的差异。
这提示我们两点:1、继续深挖。我们在解释决策问题上前进了一步,但仍存在其他我们未知的因素影响着决策过程;2、横向考察。在其他框架下,可能应该考虑概率理解因素是否起作用。

Q6:这个问题以及现在的解决方式和答案,还有什么需要继续改进的,还可以怎样进一步发展和迁移?

A6:这个问题现在的解决方式是“剥洋葱”式的,将对手替换成机器解决对手是人对提议者的影响,比如利他公平等,将机器的响应模式和概率直接展示给提议者解决提议者估计响应者行为这一学习过程。通过一步步去除其他因素,改变实验设计适应新的需求,控制变量得到答案的。我们还需要将我们找到的影响因素还原到最初的最后通牒博弈中,比如设计实验,在进行真实最后通牒博弈之前,先测试概率理解,看看那些未通过概率匹配测试的提议者,是不是真的分给响应者更多。除了最后通牒博弈框架,我们将眼光放远,概率理解在其他博弈框架是不是也是影响因素之一?

Q7:我从中学会了什么,学会的东西可以如何帮助我成为一个研究者?可以从学科大图景的角度来思考,从知识和技能的角度来思考。

A7:从帮助我成为一个研究者角度,除了为了回答问题设计实验之外,在具体工作中一定要保持“抬头看路,低头向前”。推进工作时,考虑太多会扰乱你的思路,尤其是经济学实验方面,你没办法完全预测被试的行为,所以不必要求自己一下子拿出完美的实验设计,通过预实验及其结果不断调整完善实验设计,会使整个研究过程更平滑。另外在研究过程中,当纠结于实验程序,陷入技术细节的时候,不妨抬头看看整个框架,保持核心问题,舍弃细枝末节,会帮助你走得更远。

拿量子输运的工作当例子

吴金闪回答

推荐参考文献管理工具Zotero

其实,我自己已经养成了把重要的参考文献整理在网络上的好习惯(见www.bigphysics.org)和相应的研究项目整理在一起。

不过,其他人可能还是会需要一个专门的参考文献管理工具来把自己读过的文献整理好,包含分类、做批注、做成bibtex等方便以后写文章的时候使用的文献格式。甚至,可能需要把阅读完的pdf直接变成bibtex文件

这个时候,Zotero就很管用了:它可以直接从pdf文件得到题录,甚至倒过来从题录直接搜索pdf文件。同时,如果配合ZotFile,还可以把任何时候任何机器上看到的文章都先上传到一个网盘上,网盘同步到电脑上,ZotFile同步到Zotero的方式整理到参考文献列表中。如果安装浏览器插件,则可以直接通过Zotero网上账号来同步(不过存储空间只有300M),直接做到在任何地方任何机器上看文献都能够保存在统一的地方。

试了试其中的pdf到参考文献功能,相当准确。应该是背后检索了相应的数据库,看起来包含了CrossRef和Google。

输出格式方面,可以输出bibtex、APA格式等,也可以导出为Refworks、EndNote等软件的格式。

不过这个软件的Linux版本下载回来是一个预编译文件不需要安装,也不能安装,因此,如果要加入dock里面快捷运行,需要自己做一个快捷方式:

gedit ~/.local/share/applications/zotero.desktop
文件内容如下:

[Desktop Entry]
Name=Zotero
Exec=zotero
Comment=Run Zotero
Terminal=false
Type=Application
Icon=~/software/Zotero_linux-x86_64/icons/zotero.png

对了,刚才我同事提醒我,如果你用Windows,则ReadCube也有类似的功能。是的,也很好用。

团队维护的网站

cloud.systemsci.org 团队云存储,用的owncloud平台,放在北京师范大学(219.224.31.20反向代理)。

cmap.systemsci.org 概念地图网站,用的CmapServer平台,放在北京师范大学(219.224.31.20反向代理)。

game.systemsci.org 博弈实验平台,用的oTree平台,放在北京师范大学(219.224.31.20反向代理)。

hpc.systemsci.org 计算平台,用的jupyter+SageMath平台,以及lapack, petsc, slepc, MKL等计算包(后面这些需要本地ssh登录——例如ssh hpc.systemsci.org -p 7712 使用),放在北京师范大学(219.224.31.43反向代理)。

www.edutopian.org 概念地图为基础架构的课程系统,建设中,暂时只能内部测试,放在北京师范大学。

www.revdi.org 综述文献点评网,建设中,暂时只能内部测试,放在北京师范大学。

www.systemsci.org 团队成员博客群,已经搬到阿里云上。

www.bigphysics.org 团队研究项目整理网站,已经搬到阿里云上。

www.learnm.org 汉字理解型学习网站,已经搬到阿里云上。

阿里云服务器地址,47.93.254.253。ubuntu虚拟机。

学校识别,GRID和google 自定义搜索(custom search engine) api

由于研究工作需要(城市以及学校之间的学术支撑和利用关系、作者姓名识别),需要对文章的作者单位做一个识别。

目前,已经有Grid.ac(https://www.grid.ac/)做了这样的工作,并且提供编码以后的全数据下载

我们也对Grid给出来的结果做了初步测试,结果很不错。不过大约有10%需要人工干预,或者至少人工确认一下。在这个10%之中,通过wikipedia或者google搜索,可以发现,大约有40%左右还是正确的,剩下的就需要从wikipedia或者google搜索来获取数据了。

其中,https://www.google.com/cse/ 提供了用户自定义搜索(针对某个网站+全网)的API。

对于需要人工确认的学校名称、地址,除了调用wikipedia数据(data dump 或者 api)之外,还可以用这个google 自定义搜索(custom search engine) api来实现。例如,这是一个以wikipedia和系统科学人为特定网站设定的(同时也包含了全网的结果的)自定义搜索:https://cse.google.com/cse?cx=003079937312448303458:6csbgejecua

甚至,google还允许你用JSON API的方式来格式化获取搜索结果,而不仅仅是网页形式。不过,这个JSON API的方式每天的上线是1万次,并且不能全网搜索。