§2 概率理论基础(Part I)

Zhu Huaiqiu@Peking University

Zhu Huaiqiu@Peking University

《统计与数据分析》Statistics & Data Analysis《统计与数据分析》Statistics & Data Analysis

“概率论是生活真正的领路人，如果没有对概率的某种估计, 那么我们就寸步难行、无所作为。”

——经济学家 W. S. Jevons(1835-1882)

概率（机率、或然率、机会率）（probability）

——The likelihood or chance that something is the case or will happen.

“对于生活中的大部分，最重要的问题实际上只是概率问题。你可以说几乎我们所掌握的所有知识都是不确定的，只有一小部分我们能确定地了解。甚至数学科学本身，归纳法、类推法和发现真理的首要手段都是建立在概率论的基础之上的。因此，整个的人类知识系统是与这一理论相联系的。”

——Pierre-Simon Laplace(1749－1827)

第一个系统地推算概率：Jerome Cardan

《Liber de Ludo Aleae》（《论赌博游戏》）

首次提出系统研究概率

——掷骰子问题和比赛奖金应分配问题。

Blaise Pascal(1623－1662)

Pierre de Fermat(1601－1665)

游戏规则：玩家连续掷4次骰子，如果其中没有6点出现，玩家赢，如果出现一次6点，则庄家（相当于现在的赌场）赢。

（玩家赢概率0.48，庄家赢概率0.52，n重Bernoulli试验）

游戏规则：改为玩家用2个骰子连续掷24次，至少出现一次双6点，庄家赢，否则玩家赢。当时人们普遍认为，出现双6点的概率是出现一个6点的概率的1/6，因此6倍于前一种规则的次数，也既是24次赢或输的概率与以前是相等的。

（玩家赢概率0.51，庄家赢概率0.49， n重Bernoulli试验）

§2.1 概率【讨论 1】在六合彩（49选6）中，一共有13,983,816种可能性，

普遍认为，如果每周都买一个不相同的号，最晚可以在13,983,816/52（周）=268,919年后获得头等奖。

香港赛马会投注站门外的六合彩广告，六合彩搅珠结果也会在该版展示 六合彩彩票前面和背面

【讨论 2】在一个足球场上有23个人（2×11个运动员和1个裁判员），在这23人当中至少有两个人的生日是在同一天的概率很小。

100%≥3661 − (3 × 10−131)3501 − (7 × 10−73)30099.9999999999999999999999999998%20099.99996%10097%5070%3041%2012%10p(n)n

【讨论 3】轮盘游戏：在游戏中玩家普遍认为，在连续出现多次红色后，出现黑色的概率会越来越大。

【讨论 3】三门问题：在电视台举办的猜隐藏在门后面的汽

车的游戏节目中，在参赛者的对面有三扇关闭的门，其中只有一扇门的后面有一辆汽车，其它两扇门后是山羊。游戏规则是，参赛者先选择一扇他认为其后面有汽车的门，但是这扇门仍保持关闭状态，紧接着主持人（完全知道门后的情况）打开没有被参赛者选择的另外两扇门中后面有山羊的一扇门，这时主持人问参赛者，要不要改变主意，选择另一扇门，以使得赢得汽车的概率更大一些？

确定性现象（Deterministic phenomena）——在一定的条件下必然发生或必然不发生的现象

（标准大气压下、100，水必然沸腾，必然不结冰）——经典数学理论和方法

（线性代数、微积分、微分方程……）

随机现象（Random phenomena）——在一定条件下可能发生也可能不发生的现象

（投掷骰子、硬币、产品质量控制、疾病诊断）——非经典数学理论和方法

（概率、统计、机器学习、模式识别……）

§2.1.1 随机事件

随机试验 E (Random experiment E )试验 E (Experiment E )

——在相同的条件下，对随机现象进行大量重复的观察、观测

或各种各样的科学实验，以获得随机现象内在的统计规律。

——用字母E或E1, E2等表示

——随机试验的特征：（1）试验在相同的条件可以重复进行；

（2）每次试验的可能结果不止一个，且不能准确预言；

（3）所有可能结果在试验前是明确已知的，每次试验必有其中

之一出现，且仅有一个结果出现。

讨论：确定性系统的混沌现象

基本事件（基本结果）ω（generic element）

——随机试验所观察到的每一个最基本的直接结果，也称样本点。（注：“基本事件”的说法实际上是错误的！ωi (i1, 2, …)才是基本事件！）

——记作ω

样本空间Ω（sample space）——全体基本事件的集合

——记作Ω

——有限集、无限集、（无限）可数集、（无限）不可数集

【Example 2.1】E1：掷骰子的点数。

【Example 2.2】E2：投掷硬币，观察出现正反面的情况。

【Example 2.3】E3：基因组DNA的某一核苷酸位点测定结果。

【Example 2.4】E4：显微镜目镜中的细胞数目。

【Example 2.5】E5：乙肝病毒血清标志物化验包括5项内容：①表面抗原（HBsAg）(体内是否存在乙肝病毒)；②表面抗体（抗-HBs）(是否有保护性)；③е抗原（HBeAg）(病毒是否复制及具有传染性)；④е抗体（抗-HBe）(病毒复制是否受到抑制)；⑤核心抗体（抗-HBc）(是否感染过乙肝病毒)。化验结果有3项呈阳性的可能情况。

【Example 2.6】E6：用于毛细管电泳仪的氘灯的使用寿命（正常工作时间，如规定光强度降低到50%即不能正常工作）测试。

随机事件A （Random event A）事件A （Event A）

——满足某一条件的基本事件构成的样本空间Ω的子集

——记作A, B, C, 或A1, A2, …

特殊的随机事件：

（1）样本空间Ω：必然事件（2）空集 Ω：不可能事件

【Example 2.1】E1 掷骰子的点数。

点数为偶数的事件

点数不小于3的事件

【Example 2.5】E5 乙肝病毒血清标志物化验包括5项内容：①表面抗原（HBsAg）(体内是否存在乙肝病毒)；②表面抗体（抗-HBs）(是否有保护性)；③е抗原（HBeAg）(病毒是否复制及具有传染性)；④е抗体（抗-HBe）(病毒复制是否受到抑制)；⑤核心抗体（抗-HBc）(是否感染过乙肝病毒)。化验结果有3项呈阳性的可能情况。

可以判断感染乙肝病毒的3项呈阳性的事件。

【Example 2.3】E3 基因组DNA的某一核苷酸位点测定结果。

连续测3个核苷酸，可以形成编码亮氨酸的密码子的事件

【Example 2.2】E2 投掷硬币，观察出现正(H)反(T)面的情况。

连续投掷3次，出现正面（H）的事件

随机事件间的关系和运算

设Ω是给定的一个随机试验的样本空间，事件A, B, C, Ak (k=1, 2, …) Ω。

1、包含关系

Ω

2、相等关系

3、和事件

Ω

4、积事件 Ω

5、差事件 Ω

6、互斥事件（互不相容事件） Ω

7、逆事件

Ω

事件运算规则

（1）交换律：A∪B=B∪A，AB=BA

（2）结合律：(A∪B)∪C=A∪(B∪C)，(AB)C=A(BC)

（3）分配律：A∪(BC)=(A∪B)(A∪C)，A(B∪C)=AB∪AC

（4）对偶(De Morgan)律： ，

（5）双重否定律：

（6）排中律：

（7）矛盾律：

（8）差积转换律：

事件运算的先后顺序：括号最优先，先求逆运算，再求积运算，再求和、差运算。

A B AB AB A B

A A

A A

A A

( )A B A B A A B

【Example 2.7】给定电路(a)、(b)，设Ai =第i个开关闭合，请用Ai表示事件A=L至R导通。

(a)

(b)

L

L

R

R

1

1

2

2

3

3

4

4

5

样本空间的划分——完备事件组 (Complete events)

设Ω被划分成n个事件Ai (i=1, 2, …, n)，它们满足：

（1）AiAj＝ ( i ≠ j, i, j = 1, 2, …, n)；（2）A1∪A2∪…∪An = Ω，

则称这n个事件Ai (i=1, 2, …, n)构成样本空间Ω的一个完备事件组（或一个划分, partition）。

1A2A

3A1nA nA

§2.1.2 随机事件的概率

（Kolmogorov，1903－1987）概率论作为数学学科，可以而且应该从公理开始建设，和几何、代数的路一样。

Kolmogorov公理使概率论成为严谨的数学分支，根据公理化定义，概率被定义在样本空间的子集的σ域上的一个测度（即定义在Euclid空间上的Lebesgue测度），构成σ域的那些子集为事件，使得所有集的测度为1。

σ域 或 σ代数：（ σ-field or σ-Algebra）

设Ω为集合，满足以下条件的Ω的子集的集合族F Ω称为Ω上的一个σ域:

F CA F A F

1

( , )n nn

n N A F A F

σ域对集合的交、并、补、可列交、可列并运算都是封闭的。可以在σ域上定义可测空间。

σ域是Ω的子集的集合的一个子集！

Kolmogorov公理（Probability Axioms）

假设一个基础集Ω（即样本空间）， F Ω为其子集的σ域，给F Ω的元素（即Ω的子集）指定一个实数的函数P，或者给F Ω的元素定义测度P。F Ω的元素是Ω的子集，称为“事件”。

第一公理：对于任意一个集合A∈F Ω ，即对于任意的事件，有P(A)∈[0, 1]。

第二公理：P(Ω)=1.

第三公理：任意两两不相交事件A1 , A2, ...的可数序列满足

1 2( ...) ( )iP A A P A

概率的公理化定义

设Ω是给定的试验E的样本空间，F Ω为其子集的σ域，对任一事件A∈ F Ω ，有函数P(A)∈R+，R+为非负实数。若P(A)满足：

第一公理（非负性）：P(A)∈[0, 1]

第二公理（规范性）：P(Ω)=1

第三公理（可数可加性）：当可数个事件A1 , A2, ...两两互斥时，有

则称P(A)为事件A的概率。

概率空间Ω，F Ω，P(A) ------ 统计模型Ω，F Ω，Φ

1 1( ) ( )i i

i iP A P A

概率的若干性质

性质1 不可能事件的概率为零，即P()=0

性质2 有限可加性，即当有限个事件A1 , A2, ... An两两互斥时，有

性质3 对任意事件A，有

性质4 若AB，有P(A-B)=P(A)-P(B)

性质5 设A, B是任意二事件，有P(A∪B)=P(A)+P(B)-P(AB)（一般加法公式，可推广到有限多个事件的情况）

1 1

( ) ( )n n

i ii i

P A P A

( ) 1 ( )P A P A

讨论

——概率的公理化定义的意义

——如何计算概率P(A)∈ [0, 1] ？

——概型（Scheme of probability）：能够计算概率P(A)值的特殊情形，需要对Ω，F Ω，P(A) 提出一系列简化的条件

概率的概型研究！

一、概率的统计定义（统计概型）

频率：

英国逻辑学家John Venn (1834-1923)和奥地利数学家Richard Von Mises (1883-1953)提出。

设nA是n次试验中事件A发生的次数，称为事件A发生的频数，比值nA/n称为事件A发生的频率，记为fn(A)。

频率的性质：

（1）0 fn(A) 1；（2）fn(Ω)＝1；（3）若AB=，则fn(A+B)= fn(A)+ fn(B)。

实验者 n nH fn(H)De Morgan 2048 1061 0.5181

Buffon 4040 2048 0.5069K. Pearson 12000 6019 0.5016K. Pearson 24000 12012 0.5005

历史上频数nA 与频率fn(A) 的掷硬币试验记录：

频率fn(A)的趋稳定性：

扔掷数 获得 6 点的绝对频率 获得 6 点的相对频率

1 1 1.000002 1 0.500003 1 0.333334 1 0.250005 2 0.4000010 2 0.2000020 5 0.25000100 12 0.12000200 39 0.19500300 46 0.15333400 72 0.18000500 76 0.15200600 102 0.17000700 120 0.171431000 170 0.170002000 343 0.171503000 560 0.16867

频数nA 与频率fn(A) 的掷骰子试验记录：

fn(A)

n

p

概率的统计定义

设随机试验E的重复次数n充分大时，事件A发生的频率fn(A)总在常数p∈[0, 1]附近涨落并逐渐稳定于p，则称常数p为事件A发生的概率，记为P(A)。

——概率的统计定义肯定了随机事件的概率存在，提供了估算方法，即用足够大的n的fn(A)近似代替p。

——P(A)的性质：（1）0 P(A) 1；（2）P(Ω)＝1；（3）若AB=，则P(A+B)=P(A)+P(B)。

性质3可推广到k个互斥事件的情况。

概率与频率的关系

频率：（1）在一定程度上反映了随机事件发生的可能性；（2）依赖于试验本身（试验者）、试验次数。

概率：（1）反映随机事件发生的可能性，是随机事件本身固有的性

质；（2）不依赖于具体的试验；（3）以频率稳定性为基础，并通过大量试验中的频率稳定性

来表现

讨论：

1 频率定义概率（统计概率）的理论基础是大数定律，以描述随机事件A发生概率p(A)的Bernoulli试验来实现；

2 统计概率在实践中具有重要意义，它是数理统计的基础；

3 概率的统计定义需要大量重复试验，在实际应用中具有限制性。

二、概率的古典定义（古典概型）

古典型随机试验（Laplace试验或古典概型）：

Laplace提出，如果一个随机试验所包含的单位事件是有限的，

且每个单位事件发生的可能性均相等，则这个随机试验E叫做

Laplace试验或古典概型。

古典概型的两个特征：（1）有限性：样本空间Ω是有限集，即Ω＝ω1, ω2, …, ωn；

（2）等可能性：每个基本事件（单个样本点构成的集合）发生

的可能性相等，即P(ω1)=P(ω2)=…=P(ωn)=1/n。

概率的古典定义（古典概率）：

设古典概型试验（Laplace试验）E的样本空间Ω有n（有限）个

样本点，若事件A包含其中m个样本点，则事件A发生的概率

P(A)定义为：

讨论：（1）古典概率是（概率公理化定义的）概率模型中的一种简化

的模型；

（2）古典概率可以推广到无限可数个样本点的情况。

( ) mP An

古典概率P(A)的性质：

（1）0 P(A) 1；

（2）P(Ω)＝1；

（3）若事件A与事件B互斥，即AB=Φ，则P(A+B)=P(A)+P(B)。

性质3可推广到k个互斥事件的情况。

【Example 2.8】Simpson’s paradox：假定选中红色球有奖

A

B

C

排列组合（Permutations & combinations）公式：

（1）加法原则设完成一件事共有s (s≥1)类不同的方法，第i类有ri种不同的情况，i=1, 2, …, s。只要选择任何一类中的任何一种方法即可完成这件事，则完成此事的方法有r1+r2+…+rs种。

（2）乘法原则设完成一件事共有s (s≥1)个步骤，第i步有ri种方法，i=1, 2, …, s。完成此事须经过所有步骤，则完成此事的方法有r1×r2×…×rs种。

（3）排列

选排列：从n个不同的元素中，每次不带放回地取一个，连续取m (m ≤ n)次，依次排成一列，排列数为

全排列：m=n时的选排列

可重复的排列：从n个不同的元素中，每次有放回地取一个，连续取m (m ≤ n)次，依次排成一列，排列数为nm；

环形排列：从n个不同的元素中，每次不带放回地取一个，连续取m (m ≤ n)次，依次排成一个圆圈，排列数为

!( 1)( 2)...( 1)( )!

mn

nA n n n n mn m

( 1)( 2)...( 1) !( )!

mn

n n n n m nRm m n m

（4）（不可重复）组合

从n个不同的元素中，每次不带放回地取一个，连续取m (m ≤ n)次，不考虑抽取顺序，组合数为

几个重要公式：

( 1)( 2)...( 1) !( 1)...1 !( )!

mn

n n n n m nCm m m n m

m n mn nC C

11

m m mn n nC C C

0 1 ... 2n nn n nC C C

1 2 1 20

mm k m kn n n n

k

C C C

【Example 2.9】生物学家的车牌号

（1）可以为多少生物学家每人发一个车牌号？

（2）获得无任何重复字符的车牌号的概率？

AFC012

AFCUDNEQGHLIKOMPRSTVWY

20个标准氨基酸符号

0123456789

10个数字

【Example 2.10】 假定1年为365天

生日问题1：工学院有n个博士生，至少有两人同生日的概率有多大？

生日问题2：生命科学学院有n个博士生，其中至少有一人与工学院博士生小明同生日的概率有多大？

【Example 2.11】生物统计应用：

野生种群数目估算方法——Capture/recapture method。

为估算可可西里国家级自然保护区野生藏羚羊的数目，调查队从保护区第一次捕获100只，标记后放回保护区。两周后调查队再次捕获500只，发现其中5只带有标记。据此估算保护区内野生藏羚羊的数目n。

t

m

r

nn

三、概率的几何定义（几何概型）

几何概型随机试验：

若一个试验满足

（1）样本空间Ω是几何空间上某一有限可测区域，含有无限不可数个样本点；

（2）每个样本点的发生具有某种等可能性，

则称该试验为几何概型试验。

概率的几何定义：

设试验的每个样本点等可能地落入区域Ω（即样本空间），则样本点落入子域A（即事件）的概率为：

( )( )( )

D AP AD

D(Ω)：区域Ω的测度D(A)：子域A的测度

在保证等可能性条件的情况下，随机点落在Ω内任意可测区域AΩ上的概率只与A的测度成正比，与子区域A的几何形状、空间位置无关。

A

Ω

几何概率P(A)的性质：

（1）0 P(A) 1；

（2）P(Ω)＝1；

（3）若事件A与事件B互斥，即AB=Φ，则P(A+B)=P(A)+P(B)。性质3可推广到k个互斥事件的情况。

Buffon's needle:

在平面上画有一组间距为D的平行线，将一根长度为L（L<D）的针任意掷在这个平面上，则此针与平行线中任 一 条 相 交 的 概 率 是P=2L/(πD)，π即为圆周率。

1901年意大利数学家Mario Lazzarini重复了这个试验。他总共投掷了3408次针，得到π的值为355/113，已经精确到了小数点的第6位。

【Example 2.12】会面问题：

两人相约在[0, T]时间间隔内会面，先到者等候时间t (t≤T)后即可离去，则两人能够会面的概率是多少？

x

y

T

T

t

t

0

计算几何概率的关键

——样本空间Ω与事件A的几何关系（即：测度上的比例关系）

——“等可能性”条件的保证：（1）每个样本点的发生具有某种等可能性（2）每个样本点等可能地落入区域Ω

【Example 2.13】Bertrand paradox：

在半径为1的圆内随机地取一条弦，则其长超过该圆内接等边三角形的边长的概率是多少？

说明：构成该圆的点沿着周长均匀分布，构成圆周或弧的点的数目无限不可数

§2.1.3 概率的基本理论

【Example 2.14】Digitalis（洋地黄）临床上常用于治疗充血性心力衰竭，但也有可能导致Digitalis中毒，且这种副作用

临床上较难诊断。为观察药物疗效，医院能够检测出患者血液中的Digitalis浓度T。Beller等（1971年）以135名患者为样本，调查Digitalis浓度T与Digitalis中毒的关系。

D＋ D－ TotalT＋ 25 (0.185) 14 (0.104) 39 (0.289)

T－ 18 (0.133) 78 (0.578) 96 (0.711)

Total 43 (0.318) 92 (0.682) 135

D＋：患者出现中毒

D－：患者未中毒

T＋：浓度高（阳性）

T－：浓度底（阴性）

Beller, G. et al. (1971). Digitalis intoxication: A prospective clinic study with serum level correlations. New England J. Med., 284: 989-997.

关心的问题：当Digitalis浓度T检测偏高（阳性）时，患者中毒的概率P(D+|T+)=25/39=0.64 orP(D+|T+)=0.185/0.289=0.64

类似：P(D-|T-)=0.578/0.711=0.848P(D+|T-)=0.187P(D-|T+)=0.36

一、条件概率（Conditional probability）

条件概率的定义：

设E的样本空间为Ω，对任意二事件A, B，其中P(A)>0，称

为已知事件A发生的条件下事件B发生的条件概率。

A BAB

( )( | )( )

P A BP B AP A

本质：减小样本空间Ω，在某样本子空间A上考察某事件B的概率。

类似地，可定义P(A|B) 。

条件概率的3个重要性质：

（1）

（2）P(Ω|A)＝1, P(|A)=0；

（3）设A1, A2, …, 是两两互斥事件，则有

条件概率也是概率。

概率的公理化定义已经提出了条件概率的自然概念：对于每一个非零概率A都可以在空间上定义另外一个概率。

( | ) ( | )i iP B A P B A

0 ( | ) 1P B A

重要性质：

1 2 1 2 1 2( | ) ( | ) ( | ) ( | )P A A B P A B P A B P A A B

( ) 1 ( )P B A P B A

二、乘法公式（Multiplication law）

由条件概率的定义立即得到：

利用乘法公式可计算两个事件同时发生的概率。

)0)(()|()()( APABPAPABP

)0)(()|()()( BPBAPBPABP

讨论：乘法公式可推广到多个事件的情况

P(ABC)=P(A)P(B|A)P(C|AB)P(A1A2…An)=P(A1)P(A2|A1)…P(An|A1A2…An-1)

【Example 2.15】毛细管电泳仪所用的氘灯需定期更换。某公司生产的氘灯按设计要求使用寿命超过1500小时的概率为0.8，超过2000小时的概率为0.5。试求该氘灯在使用1500小时后，将在500小时内损坏的概率。

【Example 2.16】罐中有3只黑球，1只红球。不放回地从中依次任取2球，试求都是黑球的概率。

【Example 2.17】Poloya模型：

罐中有b只黑球，r只红球，随机地取一只之后，把原球放回，并加进与刚取出的球同色之球c只，再摸第二次，这样下去共摸n次。问前n1次出现黑球，后面n2=n－n1次出现红球概率是多少？

Poloya模型是曾用于描述传染病的数学模型。

思考题：在Poloya模型中，取n次，问正好出现n2次红球概率是多少?

三、全概率（Total probability）

定理：全概率

设试验E的样本空间为Ω，事件A1, A2, …, An构成样本空间Ω的完备事件组，且P(Ai)>0 (i=1, 2, …, n)，则对任一事件B，有

关键：找出样本空间的一个恰当的完备事件组

1( ) ( ) ( | )

n

i ii

P B P A P B A

证明：B=ΩB=(A1∪A2∪ …∪An)B=A1B∪A2B∪…∪AnB，故有：

1( ) ( ) . . .

n

ii

P B P A B

因为Ai互斥，故B被分解为两两互斥的AiB事件之和。

样本空间的划分——完备事件组 (Complete events)

设Ω被划分成n个事件Ai (i=1, 2, …, n)，它们满足：

（1）AiAj＝ ( i ≠ j, i, j = 1, 2, …, n)；（2）A1∪A2∪…∪An = Ω，

则称这n个事件Ai (i=1, 2, …, n)构成样本空间Ω的一个完备事件组（或一个划分, partition）。

1A2A

3A1nA nA

B

1A2A

3A1nA nA

基本思想：将事件B投影到样本空间Ω的一个n维正交坐标系上，坐标轴是完备事件组A1, A2, …, An，条件概率P(B|Ai)是坐标轴上的投影值。

【Example 2.18】后代职位变迁调查分析：

假定社会职位分为高（U）、中（M）、低（L）三个层次。U1表示父辈的职位为高（U）层次，U2表示第二代的职位为高（U）层次。Glass和Hall（1954年）对England和Wales地区进行调查，结果如表所示。该表被称为转移概率矩阵（Transition probability matrix），每一元素其实就是一个条件概率。现假设父辈10%是U，40%是M，50%是L，试求第二代中U、M、L的比例。

Glass, D., & Hall, J. (1954). A study of intergeneration changes in status. In Social Mobility in Britain.

U2 M2 L2

U1 0.45 0.48 0.07M1 0.05 0.70 0.25L1 0.01 0.50 0.49

Transition probability matrix

U: upper level

M: middle level

L: lower level

【Example 2.18】后代职位变迁调查分析：

已知第二代某人职位是U层次，问其父辈职位也是U层次的概率？

U2 M2 L2

U1 0.45 0.48 0.07M1 0.05 0.70 0.25L1 0.01 0.50 0.49

Transition probability matrix

U: upper level

M: middle level

L: lower level

即计算P(U1|U2)，有：1 2

1 22

2 1 1

2 1 1 2 1 1 2 1 1

( )( | )( )

( | ) ( )( | ) ( ) ( | ) ( ) ( | ) ( )

0.64

P U UP U UP U

P U U P UP U U P U P U M P M P U L P L

类似地P(M1|U2)=0.29; P(L1|U2)=0.07

四、Bayesian概率

【Example 2.18】后代职位变迁调查分析：

已知第二代某人职位是U层次，问其父辈职位也是U层次的概率？

U2 M2 L2

U1 0.45 0.48 0.07M1 0.05 0.70 0.25L1 0.01 0.50 0.49

Transition probability matrix

U: upper level

M: middle level

L: lower level

Glass, D., & Hall, J. (1954). A study of intergeneration changes in status. In Social Mobility in Britain.

定理：Bayesian概率

设试验E的样本空间为Ω，事件A1, A2, …, An构成样本空间Ω的完备事件组，且P(Ai)>0 (i=1, 2, …, n)，则对任一事件B，P(B)>0，有：

1

( ) ( | )( | )( ) ( | )

i ii n

j jj

P A P B AP A BP A P B A

B

1A2A

3A1nA nAΩ

1

( ) ( | )( | )( ) ( | )

i ii n

j jj

P A P B AP A BP A P B A

讨论：如果把事件B看作一个试验结果，把构成样本空间划分的事件组A1, A2, …, An看作导致B发生的各种原因，则Bayes概率用于推测事件B发生的原因。

B

1A2A

3A1nA nA

P(Ai)： 完备事件组Ai的先验概率 (prior probability)P(B)： 事件B的先验概率 (prior probability)P(Ai|B)：后验概率 (posterior probability)

Bayes概率在机器学习、人工智能知识发现领域中有极其广泛的应用，是工程数据分析、生物医学信息学等的基本方法之一。

Structure of Bayesian network. Labeled ovals represent nodes; arrows (arcs) represent conditionaldependence relationships. Each node is a data structure that contains conditional probability tables toquantify probabilistic relationships between variables. Cacalcifications, FCfibrocystic change, FHxfamilyhistory of breast cancer, HRThormone replacement therapy, LNlymph node, P/A/O present, absent, orobscured.Elizabeth et al., (2006) Bayesian Network to Predict Breast Cancer Risk of Mammographic Micro-calcifications and

Reduce Number of Benign Biopsy Results: Initial Experience. Radiology, 240, 666-673.

【Example 2.19】冠状动脉病诊断分析：研究人员试图通过心脏X线透视检查具有胸疼的患者冠状动脉的钙化来确定是否患冠状动脉病。检查结果可以分别标记0、1、2、3处冠状动脉已钙化（事件的发生记为T0, T1, T2, T3），对应的结果见表。

( ) ( | )( | )( ) ( | ) ( ) ( | )

ii

i i

P D P T DP D TP D P T D P D P T D

i P(Ti|D+) P(Ti|D-)0 0.42 0.961 0.24 0.022 0.20 0.023 0.14 0.00

30-39岁年龄段：P(D+) ＝0.05

50-59岁年龄段：P(D+) ＝0.92

Diamond, G. & Forrester, J. (1979). Analysis of probability as an aid in the clinical diagnosis of coronary-artery disease. New Eng. J. Med., 300: 1350-1358.

（1）已知30－39岁年龄段胸疼患者的冠状动脉病发病率为0.05，某该年龄段的患者胸疼，但未查处冠状动脉钙化，有：P(D+|T0)=(0.42×0.05)/(0.42×0.05+0.96×0.95)=0.02，故发病的可能性很小；若已查处1处钙化，有：P(D+|T1)=(0.24×0.05)/(0.24×0.05+0.02×0.95)=0.39，故可能发病但无法诊断。

（2）已知50－59岁年龄段胸疼患者的冠状动脉病发病率为0.92，某该年龄段的患者胸疼，有P(D+|T0)=(0.42×0.92)/(0.42×0.92+0.96×0.08)=0.83，P(D+|T1)=(0.24×0.92)/(0.24×0.92+0.02×0.08)=0.99。

先验概率很重要！

Gastwirth, J. (1987). The statistical precision of medical screening procedures. Statistical Science, 3: 213-222.

【Example 2.20】测谎仪的可靠性

测谎仪（Lie detector）被某些公司以隐蔽的方式用于测试员

工对公司的忠诚度，理由是现代测谎仪已经具有较高的可靠性，因为据Gastwirth（1987年）的分析，有P(+|L)=0.88，P(－|T)=0.86，这里L表示被测者说谎，T表示被测者没有说谎，+表示测谎仪认定结果为说谎，－表示测谎仪认定结果未说谎。

某公司对大量员工在不知情的情况下进行了测试，且绝大多数员工对测试问题没有必要说谎，即P(T)=0.99，P(L)=0.01。试求该测试结果的可靠性。

【Example 2.21】由于随机干扰，在无线电通讯中发出信号“•”，收到信号“•”，“不清”，“－”的概率分别为0.7，0.2，0.1；发出信号“－”收到信号“•”，“不清”，“－”的概率分别为0.0，0.1，0.9．已知在发出的信号中，“•”和“－”出现的概率分别为0.6和0.4，试分析，当收到信号“不清”时，原发信号为“•”还是“－”的概率哪个大？

• － NC• 0.7 0.1 0.2

－ 0.0 0.9 0.1

【Example 2.22】设箱子中有6个红球、4个绿球，现有放回地依次取2个球。令A=第一次取到绿球，B=第二次取到绿球。求P(A)，P(B)，P(AB)，P(B|A)。

事件的相互独立性是概率论中的一个重要概念。

五、随机事件的独立性

解：P(A)=P(B)=2/5；P(AB)=4/10×4/10=4/25；P(B|A)=P(AB)/P(B)=2/5=P(B)。

显然事件A的发生并不影响B的发生。类似，B也不影响A

1. 两个事件相互独立

对于事件A与B，若P(AB)=P(A)P(B)，则称事件A与B相互独立。

定理：相互独立的充要条件

设A, B为两个事件，且P(A)>0，则A, B相互独立的充要条件是P(B|A)=P(B)。

若P(B)>0，则A, B相互独立的充要条件是P(A|B)=P(A)。

定理

以下四个命题等价：

（1）事件A与B相互独立；

（2）事件A与 相互独立；

（3）事件 与B相互独立；

（4）事件 与 相互独立。

A

B

A B

2. 多个事件相互独立

对事件A, B, C，若下面四个关系都成立：

P(AB)=P(A)P(B); P(BC)=P(B)P(C); P(AC)=P(A)P(C); P(ABC)=P(A)P(B)P(C)，

则称事件A, B, C相互独立。

n个事件相互独立

设有n个事件A1, A2, …, An，若对于任意的整数k (1<k≦n)和任意的k个整数i1, i2, …, ik (1≦i1<i2 <…< ik≦n)都有

成立，则称这n个事件A1, A2, …, An相互独立。

讨论：

（1）若事件A1, A2, …, An相互独立，其中任意k个(1<k≦n)事件也相互独立；（2）当k=2时，任意两个相互独立；（3）n个事件两两独立不能保证这n个事件相互独立；

（4）上式共有 个。2

2 1n

k nn

kC n

1 2 1 2... ...

k ki i i i i iP A A A P A P A P A

【Example 2.7】给定电路(a)、(b)，设Ai=第i个开关闭合，设每个继电器闭合的概率都为p，且相互独立，试求事件A=L至R导通的概率。

(a)

(b)

L

L

R

R

1

1

2

2

3

3

4

4

5