发布网友 发布时间:2022-04-20 05:19
共1个回答
热心网友 时间:2023-08-31 05:11
(陈希孺访谈)
记者:陈希孺院士,请你谈谈概率论与数理统计学学科的诞生和发展情况。
陈希孺院士:先从数理统计学开始,数理统计学是研究收集数据、分析数据并据以对所研究的问题作出一定的结论的科学和艺术。数理统计学所考察的数据都带有随机性(偶然性)的误差。这给根据这种数据所作出的结论带来了一种不确定性,其量化要借助于概率论的概念和方法。数理统计学与概率论这两个学科的密切联系,正是基于这一点。
统计学起源于收集数据的活动,小至个人的事情,大至治理一个国家,都有必要收集种种有关的数据,如在我国古代典籍中,就有不少关于户口、钱粮、兵役、地震、水灾和旱灾等等的记载。现今各国都设有统计局或相当的机构。当然,单是收集、记录数据这种活动本身并不能等同于统计学这门科学的建立,需要对收集来的数据进行排比、整理,用精炼和醒目的形式表达,在这个基础上对所研究的事物进行定量或定性估计、描述和解释,并预测其在未来可能的发展状况。例如根据人口普查或抽样调查的资料对我国人口状况进行描述,根据适当的抽样调查结果,对受教育年限与收入的关系,对某种生活习惯与嗜好(如吸烟)与健康的关系作定量的评估。根据以往一般时间某项或某些经济指标的变化情况,预测其在未来一般时间的走向等,做这些事情的理论与方法,才能构成一门学问——数理统计学的内容。
这样的统计学始于何时?恐怕难于找到一个明显的、大家公认的起点。一种受到某些著名学者支持的观点认为,英国学者葛朗特在1662年发表的著作《关于死亡公报的自然和*观察》,标志着这门学科的诞生。中世纪欧洲流行黑死病,死亡的人不少。自1604年起,伦敦教会每周发表一次“死亡公报”,记录该周内死亡的人的姓名、年龄、性别、死因。以后还包括该周的出生情况——依据受洗的人的名单,这基本上可以反映出生的情况。几十年来,积累了很多资料,葛朗特是第一个对这一庞大的资料加以整理和利用的人,他原是一个小店主的儿子,后来子承父业,靠自学成才。他因这一部著作被选入当年成立的英国皇家学会,反映学术界对他这一著作的承认和重视。
这是一本篇幅很小的著作,主要内容为8个表,从今天的观点看,这只是一种例行的数据整理工作,但在当时则是有原创性的科研成果,其中所提出的一些概念,在某种程度上可以说沿用至今,如数据简约(大量的、杂乱无章的数据,须注过整理、约化,才能突出其中所包含的信息)、频率稳定性(一定的事件,如“生男”、“生女”,在较长时期中有一个基本稳定的比率,这是进行统计性推断的基础)、数据纠错、生命表(反映人群中寿命分布的情况,至今仍是保险与精算的基础概念)等。
葛朗特的方法被他同时代的*经济学家佩蒂引进到社会经济问题的研究中,他提倡在这类问题的研究中不能尚空谈,要让实际数据说话,他的工作总结在他去世后于1690年出版的《*算术》一书中。
当然,也应当指出,他们的工作还停留在描述性的阶段,不是现代意义下的数理统计学,那时,概率论尚处在萌芽的阶段,不足以给数理统计学的发展提供充分的理论支持,但不能由此否定他们工作的重大意义,作为现代数理统计学发展的几个源头之一,他们以及后续学者在人口、社会、经济等领域的工作,特别是比利时天文学家兼统计学家凯特勒19世纪的工作,对促成现代数理统计学的诞生起了很大的作用。
数理统计学的另一个重要源头来自天文和测地学中的误差分析问题。早期,测量工具的精度不高,人们希望通过多次量测获取更多的数据,以便得到对量测对象的精度更高的估计值。量测误差有随机性,适合于用概率论即统计的方法处理,远至伽利略就做过这方面的工作,他对测量误差的性态作了一般性的描述,法国大数学家拉普拉斯曾对这个问题进行了长时间的研究,现今概率论中著名的“拉普拉斯分布”,即是他在这研究中的一个产物,这方面最著名且影响深远的研究成果有二:一是法国数学家兼天文家勒让德19世纪初(1805)在研究慧星轨道计算时发明的“最小二乘法”,他在估计过巴黎的子午线长这一工作中,曾使用这个方法。现今著作中把这一方法的发明归功于高斯,但高斯使用这一方法最早见诸文字是1809年,比勒让德晚。一种现在逐步取得公认——这项发明系由二人独立做出,看来使比较妥当的。另外一个重要成果是德国大学者高斯1809年在研究行星绕日运动时提出用正态分布刻画测量误差的分布。正态分布也常称为高斯分布,其曲线是钟形,极象颐和园中玉带桥那样的形状,故有时又称为“钟形曲线”,它反映了这样一种极普通的情况:天下形形色色的事物中,“两头小,中间大”的居多,如人的身高,太高太矮的都不多,而居于中间者占多数——当然,这只是一个极粗略的描述,要作出准确的描述,须动用高等数学的知识。正是其数学上的特性成为其广泛应用的根据。
正态分布在数理统计学中占有极重要的地位,现今仍在常用的许多统计方法,就是建立在“所研究的量具有或近似地具有正态分布”这个假定的基础上,而经验和理论(概率论中所谓“中心极限定理”)都表明这个假定的现实性,现实世界许多现象看来是杂乱无章的,如不同的人有不同的身高、体重。大批生产的产品,其质量指标各有差异 。看来毫无规则,但它们在总体上服从正态分布。这一点,显示在纷乱中有一种秩序存在,提出正态分布的高斯,一生在多个领域里面有不少重大的贡献,但在德国10马克的有高斯图像的钞票上,单只画出了正态曲线,以此可以看出人们对他这一贡献评价之高。
20世纪以前数理统计学发展的一个重要成果,是19世纪后期由英国遗传学家兼统计学家高尔顿发起,并经现代统计学的奠基人之一K·皮尔逊和其他一些英国学者所发展的统计相关与回归理论。所谓统计相关,是指一种非决定性的关系如人的身高X与体重Y,存在一种大致的关系,表现在X大(小)时,Y也倾向于大(小),但非决定性的:由X并不能决定Y。现实生活中和各种科技领域中,这种例子很多,如受教育年限与收入的关系,经济发展水平与人口增长速度的关系等,都是属于这种性质,统计相关的理论把这种关系的程度加以量化,而统计回归则是把有统计相关的变量,如上文的身高X和体重Y的关系的形式作近似的估计,称为回归方程,现实世界中的现象往往涉及众多变量,它们之间有错综复杂的关系,且许多属于非决定性质,相关回归理论的发明,提供了一种通过实际观察去对这种关系进行定量研究的工具,有着重大的认识和实用意义。
到20世纪初年,由于上述几个方面的发展,数理统计学已积累了很丰富的成果——在此因篇幅关系,我们不能详尽无遗地一一列举有关的重要成果,如抽样调查的理论和方法方面的进展,但是直到这时为止,我们还不能说现代意义下的数理统计学已经建立起来,其主要标志之一就是这门学问还缺乏一个统一的理论框架,这个任务在20世纪上半叶得以完成,狭义一点说可界定在1921——1938年,起主要作用的是几位大师级的人物,特别是英国的费歇尔·K·皮尔逊,发展统计假设检验理论的奈曼与E·皮尔逊和提出统计决策函数理论的瓦尔德等。我国已故著名统计学家许宝(1910——1970)在这项工作中也卓有建树。
自二战结束迄今,数理统计学有了迅猛的发展,主要有以下三方面的原因:一是数理统计学理论框架的建立以及概率论和数学工具的进展,为统计理论在面上和向纵深的发展打开了门径和提供了手段,许多在早期比较粗略的理论和方法,在理论上得到了完善与深入,并不断提出新的研究课题;二是实用上的需要,不断提出了复杂的问题与模型,吸引了学者们的研究兴趣;三是电子计算机的发明与普及应用,一方面提供了必要的计算工具——统计方法的实施往往涉及大量数据的处理与运算,用人力无法在合理的时间内完成,所以在早年,一些统计方法人们虽然知道,但很少付诸实用,就因为是人力所难及。计算机的出现解决了这个问题。而赋予统计方法以现实的生命力。同时,计算机对促进统计理论研究也有助益,统计模拟是其表现之一,在承认上述成就的同时,不少统计学家也指出这一时期发展中出现的一些问题或偏向,其中主要的一点是,数理统计学理论研究中的“数学化”气味愈来愈重,相当一部分研究工作停留在数学的层面,早期那种理论研究与现实问题密切结合的优良传统有所淡化,一些学者还提出了补救的建议,对未来统计学发展的方向进行探讨。同时,现实问题愈来愈涉及到大量的,结构复杂的数据,按现行的数理统计学规范去处理,显得力所不及,需要一些带有根本性创新的思路,使统计学的发展登上一个新的台阶,以适应应用上的需要,考虑这一背景,有的统计学家乐观地认为数理统计学正面临一个新的突破。
在上面讲述数理统计学的发展状况时,我们着重在实际需要所起的促进作用方面,由于概率论的概念和方法是数理统计学的理论基础,概率论的进展也必然对数理统计学的发展起促进作用。
概率,又称几率,或然率,指一种不确定的情况出现可能性的大小,例如,投掷一个硬币,“出现国徽”(国徽一面朝上)是一个不确定的情况。因为投掷前,我们无法确定所指情况(“出现国徽”)发生与否,若硬币是均匀的且投掷有充分的高度,则两面的出现机会均等,我们说“出现国徽”的概率是1/2;同时,投掷一个均匀骰子,“出现4点”的概率是1/6,除了这些以及类似的简单情况外,概率的计算不容易,往往需要一些理论上的假定,在现实生活中则往往用经验的方法确定概率,例如某地区有N人,查得其中患某种疾病者有M人,则称该地区的人患该种疾病的概率为M/N,这事实上是使用统计方法对发病概率的一个估计。
概率的概念起源于中世纪以来的欧洲流行的用骰子*,这一点不难理解,某种情况出现可能性的大小要能够体察并引起研究的兴趣,必须满足两个条件:一是该情况可以在多次重复中被观察其发生与否(在多次重复下出现较频繁的情况有更大的概率),一是该情况发生与否与当事人的利益有关或为其兴趣关注之所在,用骰子*满足这些条件。
当时有一个“分赌本问题”曾引起热烈的讨论,并经历了长达一百多年才得到正确的解决。在这过程中孕育了概率论一些重要的基本概念,举该问题的一个简单情况:甲、乙二人*,各出赌注30元,共60元,每局甲、乙胜的机会均等,都是1/2。约定:谁先胜满3局则他赢得全部赌注60元,现已赌完3局,甲2胜1负,而因故中断赌情,问这60元赌注该如何分给2人,才算公平,初看觉得应按2:1分配,即甲得40元,乙得20元,还有人提出了一些另外的解法,结果都不正确,正确的分法应考虑到如在这基础上继续赌下去,甲、乙最终获胜的机会如何,至多再赌2局即可分出胜负,这2局有4种可能结果:甲甲、甲乙、乙甲、乙乙。前3种情况都是甲最后取胜,只有最后一种情况才是乙取胜,二者之比为3:1,故赌注的公平分配应按3:1的比例,即甲得45元,乙15元。
当时的一些学者,如惠更斯、巴斯噶、费尔马等人,对这类赌情问题进行了许多研究,有的出版了著作,如惠更斯的一本著作曾长期在欧洲作为概率论的教科书,这些研究使原始的概率和有关概念得到发展和深化。不过,在这个概率论的草创阶段,最重要的里程碑是伯努利的著作《推测术》。在他死后的1713年发表,这部著作除了总结前人关于赌情的概率问题的成果并有所提高外,还有一个极重要的内容,即如今以他的名字命名的“大数律”,大数律是关于(算术)平均值的定理,算术平均值,即若干个数X1、X2……Xn之和除以n,是最常用的一种统计方法,人们经常使用并深信不疑。但其理论根据何在,并不易讲清楚, 就是伯努利的大数律要回答的问题,在某种程度上可以说,这个大数律是整个概率论最基本的规律之一,也是数理统计学的理论基石。
概率论虽发端于*,但很快在现实生活中找到多方面的应用,首先是在人口、保险精算等方面,在其发展过程中出现了若干里程碑的《机遇的原理》,其第三版发表于1756年,法国大数学家拉普拉斯的《分析概率论》,发表于1812年,1933年苏联教学家柯尔莫哥洛夫完成了概率论的公理体系,在几条简洁的公理之下,发展出概率论整座的宏伟建筑,有如在欧几里得公理体系之下发展出整部几何。自那以来,概率论成长为现代数学的一个重要分支,使用了许多深刻和抽象的数学理论,在其影响下,数理统计的理论也日益向深化的方向发展。