Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
1応用数学 III:(4)多次元確率分布
応用数学III (4)多次元確率分布
木村真一
2応用数学 III:(4)多次元確率分布
講義のスケジュール
(1) 確率の基礎(2) 確率変数と確率分布(3) いろいろな確率分布(4) 多次元確率分布(5) 大数の法則と中心極限定理
(6) 確率過程の基礎1(7) 確率過程の基礎2
(8) フーリエ解析(9) フーリエ変換の性質(10) 相関解析(11) 群・環・体の定義(12) 準同型写像(13) Nを法とする合同式(14) 線形代数
3応用数学 III:(4)多次元確率分布
参考書1
4応用数学 III:(4)多次元確率分布
参考書2
5応用数学 III:(4)多次元確率分布
参考書3
6応用数学 III:(4)多次元確率分布
前回の復習:確率分布
• 一様分布
• 二項分布
• ポアソン分布
• 指数分布
f x( ) = P X = x( ) =n!
n ! x( )!x!"x1!"( )
n! x,X ! B n;"( )
f x( ) = P X = x( ) =!x
x!e"!,X ! Po !( )
f x( ) =1
b ! a,X !U a,b( )
f x( ) = ! " e
#!x,X ! Ex !( )
7応用数学 III:(4)多次元確率分布
xf x( )! =n!
n " x( )!x!x #
x=0
n
! $x1"$( )
n" x
=n!
n " x( )! x "1( )!x=1
n
! $x1"$( )
n" x
= $n!
n " x( )! x "1( )!x=1
n
! $x"1( )
1"$( )n" x
訂正:二項分布の平均
x-1=kで変数変換
= !n!
n " k "1( )!k!k=0
n"1
# !k1"!( )
n" k"1
m=n-1で変数変換
= !m +1( )!
m " k( )!k!k=0
m
# !k1"!( )
m" k
= ! m +1( )m!
m " k( )!k!k=0
m
# !k1"!( )
m" k
= n! ! + 1"!( ){ }m
= n!
8応用数学 III:(4)多次元確率分布
訂正:二項分布の分散1
x2f x( )!
=n!
n " x( )!x!x2#
x=0
n
! $x1"$( )
n" x
= $n!
n " x( )! x "1( )!x #
x=1
n
! $x"11"$( )
n" x
x-1=k、 m=n-1で変数変換
= ! m +1( )m!
m " k( )!k!k "1( ) #
k=0
m
$ ! k1"!( )
m" k
= n!m!
m " k( )!k!k "1( ) #
k=0
m
$ ! k1"!( )
m" k
= n!m!
m " k( )!k!k #
k=1
n
$ ! k1"!( )
m" k+
m!
m " k( )!k!#
k=1
n
$ ! k1"!( )
m" k%&'
()*
9応用数学 III:(4)多次元確率分布
訂正:二項分布の分散2
= n!m!
m " k( )!k!k #
k=1
m
$ !k1"!( )
m" k+ n!
= n! #m!m "1( )!
m " k( )! k "1( )!#
k=1
m
$ !k"11"!( )
m" k+ n!
x ! x( )2
f x( )" = n# n !1( )# + n# ! x2
= n2#2! n#
2+ n# ! n
2#2
= n# 1!#( )
= n!m! + n!
= n! n "1( )! + n! = n2!2" n!
2+ n!
再びk-1=i、 j=m-1で変数変換
= n! "m!j!
j # i( )!i!i=0
j
$ !i1#!( )
j# i+ n!
= n! "m! " ! +1#!( )j+ n!
10応用数学 III:(4)多次元確率分布
指数分布の平均と分散
• 指数関数の平均と分散を計算してみてください。
• 平均
• 分散
• 応用例としては、災害が起こる時間間隔、機械が突発的な理由で故障する時間間隔などがあります。
1
!
1
!2
11応用数学 III:(4)多次元確率分布
正規分布
• 小生の主義に大変反するのですが、ここから先は説明が天下りになります。(理由があります。)
• 次のような関数を考えます。
• 特徴としては‒ -∞から∞まで広がっているけど、ほとんどは平均値付近に集まっている(3σ内に99.73%)
‒ 平均値に対して左右対称など観測を行ったときのデータのばらつきによく似た性質を持っています。
• この分布を正規分布といいます。
f x( ) =1
2!"2e#x#µ( )2
2"2
,X ! N µ," 2( )
12応用数学 III:(4)多次元確率分布
正規分布(つづき)
• 平均と分散はどのようになるでしょう。
• 平均はμになります。
• 分散はσ2になります。
• 実はこの正規分布、ある範囲を設定したときの確率も解析的には計算できません!!!
• ですので、数表か計算機による計算で代用します。
13応用数学 III:(4)多次元確率分布
正規分布
14応用数学 III:(4)多次元確率分布
多次元確率変数
• これまでは確率変数は1次元でした。• 複数の変数を同時に取り扱いたい事がよくあります。‒ 例えば身長と体重の分布、先の袋から玉を取り出すくじで玉の色と玉に描かれた数字等々
• そこで確率変数を組み合わせてベクトルとして扱います。
• これを同時確率分布といます。• 分布関数は次のように表されます。
X = X1,X
2,....X
n( )t
P X ! x( ) = P X1! x
1,....X
n! x
n( )
= .....
!"
xn
# f x1,..., xn( )dx1....dxn
!"
x1
#
15応用数学 III:(4)多次元確率分布
同時確率分布と同時確率密度分布
• 分かりやすい例として2次元を考えましょう。• 下の図のようにXとY二つの確率変数があるとすると、同時確率分布関数と同時確率密度分布関数は次のように定義されます。
• 同時確率密度関数
• 同時確率分布関数
P x ! X ! x + "x, y ! Y ! y + "y( )
= f #x , #y( )y
y+"y
$x
x+"x
$ d #y d #x
F x, y( ) = P X ! x,Y ! y( )
= f "x , "y( )#$
y
%#$
x
% d "y d "x
16応用数学 III:(4)多次元確率分布
同時確率分布
17応用数学 III:(4)多次元確率分布
周辺分布関数
• これに対し、多次元確率分布変数の1つの分布だけに着目した分布関数のことを、周辺分布関数といいます。
• 次のように定義されます。
f1x( ) = ..... f x
1,....., xn( )
!"
"
#!"
"
# dx2....dxn
18応用数学 III:(4)多次元確率分布
演習問題1
• 2次元確率密度関数f(x,y)が、ある矩形領域(x1≦X ≦x2,y1 ≦Y ≦y2)で一定値をとるとき、この分布は2次元一様分布といわれる。このときの一定値を求めよ。
19応用数学 III:(4)多次元確率分布
演習問題2
• ある地点での気温と湿度を時刻を変えて同時に計測する場合、2次元同時確率分布、及びその周辺分布はどのようにしたら計測できるか。
20応用数学 III:(4)多次元確率分布
多次元確率変数の期待値
• 多次元確率変数においても期待値は同様に定義されます。但し結果はベクトルです。
• 平均値も平均ベクトルとして定義されます。
• 以下のように、各要素は周辺確率分布の平均値と同じになります。
E g X( )!" #$ = g x( ) f x( )dx%E g X( )!" #$ = E g
1x( )!" #$,.....,E gn x( )!" #$( )
!µ = µ
1,.....,µ
n( ) = E X[ ] = E X1[ ],.....,E X
n[ ]( )
E X1[ ] = x
1f x( )dx! = x
1! .....! f x( )dxn ....dx1!
= x1! f x
1( )dx1
21応用数学 III:(4)多次元確率分布
共分散
• 次に多次元確率変数の分散を求めてみましょう。理屈は1次元と同じです。
• ただ、ここで単に偏差の自乗だけでなく、偏差を他の要素と組み合わせると、変数の間の関係がわかってきて便利です。
• そこで次のような量を共分散として定義します。
• このような共分散をまとめて共分散行列として取り扱います。半正定値対角行列
!i
2 = V Xi[ ] = E X
i" µ
i( )2#
$%&
! ij = Cov Xi ,Xj"# $% = E Xi & µi( ) Xj & µ j( )"
#$%
! = V X[ ] =
"11! "
1n
" # "
"n1! "
nn
#
$
%%
&
'
((
22応用数学 III:(4)多次元確率分布
相関係数
• 共分散の他に確率変数の間の関係を表す指標として相関係数があります。
• 標準化した変数の共分散です。• 相関係数が0の時、二つの確率変数の間に相関はありません。• 相関係数が1の時、二つの変数の間に線形性が成り立ちます。
!ij = Corr Xi ,Xj"# $% =
Cov Xi ,Xj"# $%
V Xi[ ]V Xj"# $%
23応用数学 III:(4)多次元確率分布
演習問題3
• 1,1,2,3と書かれた4枚のカードから2枚抜き出して並べるとき、はじめのカードの数をX、2番目のカードの数をYとする。‒ X,Yの同時分布を求め、その周辺分布を求めよ。‒ X,Yそれぞれの平均、及び分散を求めよ。‒ X,Yの共分散を求めよ。
24応用数学 III:(4)多次元確率分布
確率変数の独立性
• 複数の事象が独立であるとき、ある事象の組み合わせの確率は、それぞれの事象の積になりました。
• 事象をもとにした確率では独立性を以下の様に表しました。
• これを連続型の確率変数に応用します。確率変数が以下の条件を満たすとき、独立であるといいます。
P A ! B( ) = P A( )P B( )
P X1,....,X
n( ) = x1...., x
n( )( ) = P X1= x
1( ) ! ..... !P Xn= x
n( )
f x1,...., xn( ) = f
1x1( ) ! ..... ! fn xn( )
F x1,...., x
n( ) = F1 x1( ) ! ..... !Fn xn( )
25応用数学 III:(4)多次元確率分布
確率変数の独立性
• 表現を変えれば、同時確率分布が周辺確率分布の積で表されるとき、各確率変数は独立であるといえます。
• 特に独立が確率変数X1,....Xnが同一の確率分布F(x)に従っているとき確率変数X1,....Xnは、独立同一分布に従うといいます。
26応用数学 III:(4)多次元確率分布
確率変数の独立性と期待値
• 確率変数が独立であるならば次の関係が成り立ちます。
• 例としてn=2の時を示します。
• また、独立であるならば二つの確率変数は無相関です。
E X1! .... ! X
n[ ] = E X1[ ] ! ..... !E X
n[ ]
E X1! X
2[ ] = x1x2f x
1, x
2( )dx1dx2!! = x1x2f1x1( ) f2 x
2( )dx1dx2!!
= x1f1x1( )dx1! " x
2f2x2( )dx2! = E X
1[ ] !E X2[ ]
Cov X,Y[ ] = E X ! µX( ) " Y ! µ
Y( )#$ %& = E X ! µX( )"# $% &E Y ! µ
Y( )"# $%
= 0
27応用数学 III:(4)多次元確率分布
確率変数の和の平均(例題)
• 確率変数の和の平均はどのようになりますか。• 今までの例を参考に考えてみてください。
• おっとこれは簡単、各平均の和です。
= x1+ x
2( ) f x( )dx1dx
2!!E X1+ X
2[ ]
= x1f x( )dx
1dx
2!! + x2f x( )dx
1dx
2!!
= E X1[ ] + E X
2[ ]
28応用数学 III:(4)多次元確率分布
確率変数の和の分散(例題)
• それでは分散は?
• 単純に各分散の和にはならず共分散が入り込みます。• ですから、それぞれ独立ならば、各分散の和になります。
V X1+ X
2[ ] = E X1+ X
2( ) ! µ1+ µ
2( )( )2"
#$%
= E X1! µ
1( ) + X2! µ
2( )( )2"
#$%
= E X1! µ
1( )2
+ 2 X1! µ
1( ) " X2 ! µ2( ) + X
2! µ
2( )2#
$%&
= E X1! µ
1( )2"
#$%+ E X
2! µ
2( )2"
#$%+ 2E X
1! µ
1( ) & X2 ! µ2( )"# $%
= V X1[ ] +V X
2[ ] + 2Cov X1,X
2[ ]
29応用数学 III:(4)多次元確率分布
条件付き確率変数
• 周辺確率分布を用いると、事象をもとにした確率で議論した条件付き確率を、確率変数に拡張できます。
• 事象をもとにした確率では条件付き確率は次のように表されました。
• 確率変数では以下のように表します。
P B A( ) =P A ! B( )
P A( )
fY X
y x( ) =f x, y( )
fX x( )
30応用数学 III:(4)多次元確率分布
チェビシェフの不等式
• 確率変数Xの平均値がμ、分散がσであるとき、任意のε>0について、次の不等式が成り立ちます
• 分散σが小さいほど平均付近に集中している
P X ! µ " #( ) $%2
#2
31応用数学 III:(4)多次元確率分布
コーシー・シュバルツの不等式
• 確率変数XとYがあるとき、分散と共分散の間には次の不等式が成り立ちます。
• 相関係数は でしたから、絶対値は必ず1以下です。
Cov X,Y[ ]2!V X[ ] "V Y[ ]
! =Cov X,Y[ ]
V X[ ]V Y[ ]
32応用数学 III:(4)多次元確率分布
まとめ
• 正規分布
• 同時確率分布• 周辺分布関数• 共分散• 相関係数• 確率変数の独立性• 条件付確率変数• チェビシェフの不等式• コーシー・シュバルツの不等式