Embed Size (px)
Citation preview
最低限の Linear Algebra
浅川伸一
1993年 5月 13日 revised at 24-Aug.-2002
目 次
1 記号の定義と予備知識 3
1.1 ベクトル Vector . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 ノルム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 内積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.4 ベクトル間の距離 . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 行列 Matrix 4
2.1 行列のスカラ倍 . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 行列の和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.3 行列の積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.4 行列式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.5 逆行列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.6 直交行列 orthogonal matirx . . . . . . . . . . . . . . . . . . . 82.7 トレース Trace . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3 ベクトル空間 Vector space 8
3.1 線形部分空間 liner subspace . . . . . . . . . . . . . . . . . . . 93.2 基底 basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93.3 ランク . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.4 空間の分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.5 線形変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.6 射影行列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4 固有値 Eigen value 12
4.1 固有値の求めかた . . . . . . . . . . . . . . . . . . . . . . . . . 134.2 固有値の用途 . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.3 固有値の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
5 行列の微分 16
1
6 演習問題 17
7 多次元正規分布 22
8 主成分分析 23
9 重回帰分析 24
2
1 記号の定義と予備知識
1.1 ベクトル Vector
ベクトルとはいくつかの数値をまとめて表現する方法である．例えば x =(x1, x2, . . . , xn) は n 次元のベクトルである．これに対して，普通の意味での
数値をスカラ scalor という.行ベクトル raw vectorとは n個の数値が横に並んだもので，a = (a1, a2, . . . , an)と表記する．列ベクトル column vector とは n 個の数値が縦に並んだもであ
り，b =
b1
b2
...bn
および bt = (b1, b2, . . . , bn) とベクトルの肩に t や ′ をつ
けて表記することもある．
1.2 ノルム
ベクトルのノルム norm あるいはユークリッドノルムとはベクトルの長さのことであり，|a| =
√a′a =
∑i a2
i と表記する．|x| = 1 ならば正則化されたベクトルという．
1.3 内積
同じ次元をもつ 2 つのベクトルの内積 inner product を atb または (a · b)
と表記する．これは (a · b) = |a| |b| cos θ =n∑
i=1
aibi である．2 つのベクトル
なす角 θ は
cos θ =(a · b)|a| |b| (1)
である．内積は 2 つのベクトルの共線性，すなわち平行の度合の尺度となり，特に (a · b) = 0 ならばそれら 2 本のベクトルは直交し，|x′y| = |x| |y| ならばそれら 2 本のベクトルは平行である．ベクトルのノルムと内積については以下の関係が成立する．
1. |a|2 = (a · a)
2. |a + b|2 = |a|2 + |b|2 + 2 (a · b)
3. (αa · b) = (a · αb) = α (a · b)
4. |a|2 = 0 ⇐⇒ a = 0
ここで α はスカラである．
3
ベクトルの内積からコーシー・シュワルツ Cauchy–Schwarz の不等式
(a · b)2 ≤ |a|2 |b|2 (2)(∑
aibi
)2
≤(∑
a2i
)(∑b2i
)(3)
が導き出せる．
証明は，任意の実数 t に対して
|a− tb|2 = |a|2 − 2t (a · b) + t2 |b|2 ≥ 0 (4)
が常に成立するためには，判別式 D が負であればよい. 従って
D = (a · b)2 − |a|2 |b|2 ≤ 0 (5)
ゆえに
(a · b)2 ≤ |a|2 |b|2 (6)
が成り立つ．
1.4 ベクトル間の距離
2 本のベクトル間の距離を
d(a, b) = |a− b| (7)
と定義すれば，次のことが成り立つ．
1. d(a, b) ≥ 0
2. d(a, b) = 0 ⇐⇒ a = b
3. d(a, b) = d(b, a)
4. d(a, b) + d(b, c) ≥ d(a, c)
最後のものは，いわゆる三角不等式とよばれるものである．
2 行列 Matrix
数値を縦横の矩形に配置したものを行列という．A = (aij) などと表される．これは i 行 j 列目の要素が aij であるという意味である．行数と列数の
等しい行列を正方行列という．
すべての要素が 0である行列を零行列といい 0と太文字を使って表される．
ある行列の行と列とを入れ換えた行列を転置行列といい，行列の肩に t ま
たは ′ をつけて表す A′ = (aji)．転置行列には次のような性質がある．
4
• (A′)′ = A
• (A + B)′ = A′ + B′
• (AB)′ = B′A′
転置行列ともとの行列が等しいとき，その行列を対称行列というA′ = A．aii
要素がゼロでなく，他の要素が全てゼロ aij = 0, (i 6= j) である行列を対角行
列という．D =
d1 0 · · · 00 d2
.... . .
0 dn
対角要素が全て 1 の対角行列を単位
行列といい I = (δij) などと表す．ここで，δ はクロネッカー kronecker のデルタと呼ばれ
δij =
{1 i = j のとき
0 i 6= j のとき(8)
である.
2.1 行列のスカラ倍
行列のスカラ倍とは行列の各成分をスカラ倍したものであり，次のような
演算が許される．ここで lambda はスカラである．
• λA = Aλ
• (λ + µ)A = λA + µA
• λ (A + B) = λA + λB
2.2 行列の和
行列の和は対応する各要素を加えたものである．このため行数と列数が等
しい行列間でしか行列の和は定義されない．行列の和には次のような規則が
ある．
• A + B = B + A
• (A + B) + C = A + (B + C)
5
2.3 行列の積
2 つの行列の積は次のように定義される．
AnmBml =
m∑
j=1
aijbjk
(9)
一般に AB 6= BA である．行列の積には次のような性質がある．
• (AB) C = A (BC)
• A (B + C) = AB + AC
• IA = AI = A
2.4 行列式
一般に d× d の正方行列の行列式はスカラで det (A) あるいは |A| などと表す．
2次の正方行列 A =
(a1 b1
a2 b2
)の行列式は a =
(a1
a2
), b =
(b1
b2
)
とすれば, a1b2 − a2b1 であり, この 2 本のベクトルによって作られる平行四辺形の面積に等しい.
|a| |b| sin θ = |a| |b|√
1− cos2 θ (10)
=
√|a|2 |b|2
{ |a|2 |b|2 − (a · b)2
|a|2 |b|2}
(11)
=√|a|2 |b|2 − (a · b)2 (12)
=√
a21b
22 + a2
2b21 − 2a1b1a2b2 (13)
=√
(a1b2 − a2b1)2 (14)
= a1b2 − a2b1 (15)
(16)
A の列をベクトルと考え，それらのベクトルが線形独立ではないとすると
A の行列式は 0 になる．逆行列が存在するためには行列式が 0 であってはならない．
一般の正方行列の行列式は，小行列展開と呼ばれる方法で計算でき，再帰
的に定義できる．すなわち，行列 A の i 行 j 列を除いて得られる m− 1 行m− i 列の小行列の行列式に (−1)i+j をかけたものを aij の余因子 cofactorといい, Aij と表記する．このとき次の関係が成り立つ．
|A| =m∑
j=1
aijAij =m∑
i=1
aijAij (17)
6
|Aij | が分かれば A の行列式は第 1 列に対して次のように展開できる．ここで符合が交互に変わる．
|A| = a11 |A11| − a22 |A21|+ a31 |A31| − · · · ±md1 |Ad1| (18)
この過程はより小さい行列の行列式に対して再帰的に繰り返し適用できる．
行列式には次のような性質がある．
• 対角行列, 三角行列の行列式はすべての対角成分の積に等しい. |A| =n∏
i=1
aii
• A の任意の２列（行）を入れ換えると |A| の符号が変わる
•∣∣A′∣∣ = |A|
• |AB| = |A| |B|
• |AB| = |BA|
•∣∣A−1
∣∣ = |A|−1
2.5 逆行列
正方行列の行列式が 0 でなければ逆行列が存在する．行列 A にある行列
を掛けて答が単位行列になるような行列を逆行列といい AA−1 = I と表さ
れる．逆行列には次の性質が成り立つ．
• (A−1
)−1= A
• (A′)−1 =
(A−1
)′
• (AB)−1 = B−1A−1
• (λA)−1 = 1λA−1
• (A−1 + B−1
)−1= A (A + B)−1
B = B (A + B)−1A
¶ ³次の逆行列を求めよ (
a b
c d
)
(cos θ − sin θ
sin θ cos θ
)
1 1 10 1 10 0 1
µ ´
7
行列 M が正方行列でないときや，行列 M の列が線形独立でないため逆
行列 M−1 が存在しないとき次の擬似逆行列 M † が定義できる．
M † =[M tM
]−1M t (19)
擬似逆行列は M †M = I が保証されるので最小問題を解くとき便利である．
2.6 直交行列 orthogonal matirx
L′L = I, L′ = L−1 を満たす行列を直交行列という．
2.7 トレース Trace
. d× d の正方行列の対角要素の和をトレースといい tr (A) =n∑
i=1
aii のよ
うに表す．行列のトレースには次の性質がある．ここで c, d はスカラである．
• tr (cA + dB) = c tr (A) + d tr (B)
• tr (AB) = tr (BA)
• tr(A′A
)=
m∑j=1
n∑i=1
a2ij
• tr A(A′A
)−1A′ = m (ただしAは rank A = m の n×m行列)
• tr (AB) = tr (BA)
• tr (A′A) = 0 ⇐⇒ A = 0
• tr (A′B) ≤√
tr (A′A) tr (B′B) Cauchy–Schwarz の不等式の一般化
3 ベクトル空間 Vector space
m 個の 0 でないベクトル a1, a2, . . . , am をもちいて
α1a1 + α2a2 + . . . + αmam = 0
が成り立つ条件を考える. αi = 0 (i = 1, 2, . . . , m)のときは明らかに成り立つ. 上式が αi = 0 (i = 1, 2, . . . , m)以外の自明でない解をもつとき, ベクトルa1, a2, . . . , am は線形従属（１次従属）linearly dependent であるという. 反対に, 上式が成り立つのは ai = 0 (i = 1, 2, . . . ,m) に限るとき, 線形独立（１次独立）linearly independent であるという.
a1,a2, . . . , am が線形独立なとき, ai 6= 0 を使って bk = −ak/ai (k =1, 2, . . . , m)を作って
ai = b1a1 + · · ·+ bi−1ai−1 + bi+1ai+1 + · · ·+ bmam
8
となる. したがって, あるベクトルの組が線形従属であるということは, その組の中のあるベクトルが他のベクトルの線形結合で表されることを意味して
いる.
3.1 線形部分空間 liner subspace
m 個の線形独立なベクトルの線形結合の集合を
W =
{b
∣∣∣∣∣b =m∑
i=1
aiai
}
と表現する. m 次元ベクトル全体の集合を Em とする, Em の部分集合 W
が
1. a ∈ W, b ∈ W → a + b ∈ W
2. a ∈ W → ca ∈ W
を満たすとき, これを m 次元の線形部分空間という.
3.2 基底 basis
任意の線形部分空間 W で線形独立な m 個のベクトルが存在し, (m + 1)個のベクトルは線形従属になるときW の次元は r であるといい, dim W と
表記する. 上記の W に属する線形独立な m 個のベクトルを空間 W の基底
という. また, 空間 W は m 個のベクトルによって生成されるという. このことを
W = S (a1, a2, . . . , am) = S (A)
と表す.重要な定理¶ ³
m 次元の部分空間 W に属する m 個の線形独立なベクトルを
a1, a2, . . . , am とすると, W に属する任意のベクトルは a1,a2, . . . , am
の線形結合としてただ一通りに定まる.µ ´つまり, 線形部分空間の任意のベクトルは, その空間を定める基底を用いて表現可能である.一般に, 基底の定め方は一通りではない. a1, a2, . . . , am が W の基底で全
てが直交するとき, 直交基底 orthogonal basis という. さらに, bj = aj/ |aj |とすると, |bj | = 1 (1 ≤ j ≤ m) となる. これを正規直交基底 orthonormalbasis という. b1, b2, . . . .bm が正規直交基底のとき
(bi · bj) = δij
である.
9
3.3 ランク
rank A m× n行列Aの行ベクトルのうちで線形独立なベクトルの個数は
Aの列ベクトルのうちで線形独立なベクトルの個数に等しい. この線形独立なベクトルの個数のことを行列Aのランクという.
• |A| = 0 ⇔ rank A < m (Aはm次の正方行列)
• rank A = rank A′
• rank (AB) ≤ max (rank A, rank B)
• rank A = rank(A′A
)= rank
(AA′)
3.4 空間の分割
2 つのベクトルの組A = (a1,a2, · · · , ap), B = (b1, b2, · · · , bq) によって生成される部分空間をそれぞれ, VA = S (A), VB = S (B) とするこのとき,
和空間: 2 つの部分空間の和, VA + VB = {a + b |a ∈ VA, b ∈ VB } は線形部分空間になる. これを和空間と呼び, 次のように表記する.
VA∪B = VA + VB = S (A : B)
積空間: 2 つの部分空間の共通部分,
VA∩B = {x |x = Aα = Bβ }
も, 線形部分空間であり, これを積空間と呼ぶ. 次のように表記する.
VA∩B = VA ∩ VB
直和分解: VA ∩ VB = {0} のとき, 和空間 VA∪B は VA と VB とに直和分解
されたと呼び, 次のように表記する. また, VA と VB は独立であるとも
いう.VA∪B = VA ⊕ VB
補空間: 全空間 En が二つの空間 V と W とに直和分解されるとき, W は
V の補空間 complementary space といい WC と表記する.
直交補空間: W に属する任意のベクトルが V に属する任意のベクトルと直
交するとき, W は V の直交補空間 orthocoplementary space といい,W = V ⊥ と表記する.
V ⊥ = {a |(a · b) = 0, ∃ b ∈ V }
10
全空間 En が r 個の独立な空間 Wj (j = 1, 2, . . . , r) に直和分解されるときは, 次のように書く.
En = W1 ⊕W2 ⊕ · · · ⊕Wr
部分空間の次元に関する定理¶ ³
1. dim (VA∪B) = dimVA + dimVB − dimVA∩B
2. dim (VA ⊕ VB) = dimVA + dimVB
3. dimV C = n− dimVµ ´また,¶ ³
W = W1 ⊕W2 ⊕ · · · ⊕Wr に含まれる任意のベクトル x は
x = x1 + x2 + · · ·+ xr (xi ∈ Wi)
とただ一通りに分解される.µ ´
3.5 線形変換
m次元ベクトル xを n次元ベクトル y に対応させることを考え, y = φ (x)と表記する. 次の性質をもつ変換 φ を線形変換という.
1. φ (αx) = αφ (x).
2. φ (x + y) = φ (x) + φ (y).
任意の m 次元ベクトル x を n 次元ベクトル y に対応させる線形変換 φ は
m個の n次元ベクトルによって構成されるm×n行列 A = (a1,a2, · · · , am)をもちいて, y = Ax と表現される.
3.6 射影行列
En = V ⊕W のとき, En に含まれる任意のベクトル x は
x = x1 + x2 (where, x1 ∈ V, x2 ∈ W )
とただ一通りに分解される. このとき, x を x1 に移す変換をW に沿った V
への射影 projection という.
11
基本性質¶ ³
P ,Qを射影行列とすると以下の性質が成り立つ
• べき等性 P 2 = P (必要十分条件)
• 対称性 x′ (Py) = x′P ′y =(Px′y
)
• 直交性 PQ = 0
• 相補性 P + Q = Iµ ´定理 P が射影行列ならば Q = I − P も射影行列である.
証明: QQ = (I − P ) (I − P )
= I + P − P + P
= I − P = Q
定理 PQ = QP = 0
証明: PQ = P (I − P )
= P − P = 0
4 固有値 Eigen value
たとえば, A =(
1 12
12 1
)として,
(x
y
)をどこに写すかを考える.
(x′
y′
)= A
(x
y
)=
(x + y
2x2 + y
)
この行列Aは y = xと y = −xという直線の方向については拡大, 縮小しかしない. すなわち
A
(x
x
)=
32
(x
x
)A
(x
−x
)=
12
(x
−x
)
そこで任意のベクトル x = (x, y)′ をこの 2 つのベクトルに分解して考える.すなわち, Ax = Ax1 + Ax2 = 3
2x1 + 12x2
1. Aには 2つの比例拡大（縮小）の方向がある
2. Aはその 2つの方向への作用の和として表される
12
これを一般化すると n 次の正方行列 A に対して
Ax = λx (x 6= 0)
を満たすベクトル x を Aの固有ベクトル, λ を Aの固有値という.そこで, 以下の問題を考える
問題 1.正方行列 A の固有ベクトルと固有値を求める方法を考える
問題 2.求めた固有ベクトルでベクトル空間の基底が作れるような行列を判別する方法を考える
定理 正方行列 A の固有値は λ の代数方程式 det (A− λI) = 0 の根である. 逆にこの方程式の根は A の固有値である
証明 x(6= 0) をA の一つの固有ベクトル, λ0 を対応する固有値とすると
Ax = λ0x
Ax− λ0x = 0
これは x = (x1, x2, · · · , xn)′ に関する連立一次方程式である. これが 0 でな
い解 x をもっているのだから, その係数の行列式は 0 でなければならない.逆にあるスカラー λ0 が det (A− λ0I) = 0 を満たせば
(Ax− λ0I)x = 0
は少なくとも一つの 0 でない解 x を持つ. そのとき
Ax = λ0x (x 6= 0)
だから, x は A の固有ベクトルであり, λ0 は対応する固有値である.
4.1 固有値の求めかた
det (A− λI) = 0 のとき, 次の各根 λ1, λ2,· · ·,λn に対して連立方程式
(A− λiI) = 0 をといて x1,x2,· · ·,xn を求めればよい.
例 1 A =(
1 12
12 1
)の固有方程式は
det (A− λI) =∣∣∣∣1− λ 1
212 1− λ
∣∣∣∣
=(
1− λ− 12
)(1− λ +
12
)= 0
ゆえに
λ =12,
32
13
• λ1 = 12 に対応するAの固有値ベクトルは
(A− λI)x1 ={(
1 12
12 1
)− 1
2
(1 00 1
)}(l
m
)
=( 1
212
12
12
)(l
m
)=
(00
)
l + m = 0,⇒ l = −m
x = c
(1−1
)(cは任意の 0でない数)
• λ2 = 32 に対応するAの固有値ベクトルは
(A− λI)x2 ={(
1 12
12 1
)− 3
2
(1 00 1
)}(l
m
)
=(− 1
212
12 − 1
2
) (l
m
)=
(00
)
−l + m = 0,⇒ l = m
x = c
(11
)(cは任意の 0でない数)
例 2(
1 −11 1
)の固有値 (複素数解)
例 3(
3 1−1 1
)の固有値 (重根)
4.2 固有値の用途
n 次の正方行列 A の固有値を対角要素にもつ行列を D とする. この固有値に対応する固有ベクトル (x1,x1,· · ·,xn)を並べてできた行列を X =(x1,x2, · · · , xn) とすると
AX = XD
と表すことができる．また同じことだが A はX とD とを用いて
A = XDX−1
と表現できる. このとき X の要素である縦ベクトル xi(i = 1, . . . , n), は全て直交する．すなわち任意のベクトル x が
x = x1 + x2 + · · ·+ xn
の形に一意的に分解できることを意味する．x → x1, x → x2, · · ·, x → xn
に各々射影する操作をそれぞれ P1, P2, · · ·, Pn と書くことにすると
x (= Ix) = P1x + P2x + · · ·+ Pnx
14
がすべての x について成立する．写像だけの式にしてみると
I = P1 + P2 + · · ·+ Pn
が成立する．このようにベクトルに分解しておくと
Ax = Ax1 + Ax2 + · · ·+ An
= λ1x1 + λ2x2 + · · ·+ λnxn
となる．すなわち A は xi 方向には λi 倍する引き伸ばし作用をしているこ
とになる．換言すれば A は固有値数だけの引き伸ばし作用の合成によって得
られる写像である．射影演算子 Pi を使って表すと
Ax = λ1P1x + λ2P2x + · · ·+ λnPnx
となるので行列だけの関係式にすると
A = λ1P1 + λ2P2 + · · ·+ λnPn
が成立することになる．I = P1 + P2 + · · · + Pn が成立するように Ax =λ1P1x + λ2P2x + · · ·+ λnPnx の形に分解することを行列 A の射影分解ま
たはスペクトル分解という．P1, P2, · · ·, Pn はそれぞれ λ1, λ2, · · ·, λn に対
する固有空間への射影を表している．この Pi を使うと
A2 = λ21P1 + λ2
2P2 + · · ·+ λ2nPn
5A− I = (5λ1 + 1) P1 + (5λ2 + 1) P2 + · · ·+ (λn − 1)Pn
などのように A の多項式も Pi を使って表現できる．
固有値 λi に対する (A− λiI)x = 0 を満たすベクトル x 全体のことを固
有値 λi に対する固有空間という．
4.3 固有値の性質
n 次の正方行列 A の固有値を（重複を許して）λ1, λ2, · · · , λn とすると
1. 固有値の積は行列式である∏n
i=1 λi = |A|
2. 固有値の和は行列のトレースである∑n
i=1 λi = tr A
3. A′ の固有値は λ1,λ2,· · ·,λn
4. Ak (k = 1, 2, · · ·) の固有値は λk1 ,λk
2 ,· · ·,λkn
5. f(n)を x の多項式とするとき f(A) の固有値は f(λ1),f(λ2),· · ·,f(λn)
15
5 行列の微分
d 次元のベクトル，すなわち d 個の変数 x1, x2, . . . , xd をとる関数 f (x) を考える．このベクトルに関して f(·) の微分すなわち勾配は
∇f (x) = grad f (x) =∂ (x)∂x
=
∂f(x)∂x1
∂f(x)∂x2...
∂f(x)∂xd
(20)
で計算される．
行列M の要素がスカラ θ の関数であるとき，行列M を θ で微分すると
次の行列を得る．
∂M
∂θ=
∂m11∂θ
∂m12∂θ · · · ∂m1d
∂θ∂m21
∂θ∂m22
∂θ · · · ∂m2d
∂θ...
.... . .
...∂mn1
∂θ∂mn2
∂θ · · · ∂mnd
∂θ
(21)
この行列 M の逆行列 M−1 の微分は次のようになる．∂
∂θM−1 = −M−1 ∂M
∂θM−1 (22)
行列 M およびベクトル y が ベクトル x に独立であるとき，以下の等式
が成り立つ．∂
∂x[Mx] = M (23)
∂
∂x
[ytx
]=
∂
∂x
[xty
]= y (24)
∂
∂x
[xtMx
]=
[M + M t
]x (25)
ここで，M が対称行列ならば∂
∂x
[xtMx
]= 2Mx (26)
のように簡単になる．
∂tr(XtY X
)
∂X=
(Y + Y t
)X (27)
∂ ln |X|∂X
=(Xt
)−1(28)
∂ (xtMy)∂M
= xyt (29)
∂(xtM ty
)
∂M= ytx (30)
16
6 演習問題
1. 次の行列は何行何列か (1 3 07 −1 2
)
2. 次の行列の 3行 2列目の要素を答えよ
α β γ δ
ε ζ η θ
ι κ λ µ
ν ξ o π
ρ σ τ υ
φ χ ψ ω
3. A, B,C はそれぞれ 3 行 2 列,3 行 3 列,2 行 3 列の行列とする．以下のうち行列の積が定義できないものに ×,できるものには© をつけよAA AB AC A′A A′B A′C
BA BB BC B′A B′B B′C
CA CB CC C ′A C ′B C ′C
AA′ AB′ AC ′ A′A′ A′B′ A′C ′
BA′ BB′ BC ′ B′A′ B′B′ B′C ′
CA′ CB′ CC ′ C ′A′ C ′B′ C ′C ′
4. 次の計算をせよ
(a)(
7 5 1−1 2 4
)+
(3 5 911 8 6
)=
(b) ( 2 0 5 )
−953
=
17
(c)(
1 23 1
) (x
y
)=
(d) ( x y )(
1 23 1
)=
(e)
{(3 1−2 1
)−1}′
=
5. 次の式を満たす x を求めよ.
2 0 70 1 01 2 1
−x −14x 7x
0 1 0x 4x −2x
=
1 0 00 1 00 0 1
6. A =(
1 23 4
)としたとき次の行列を計算せよ.
(a) A3 =
(b) A−1 =
(c) A2 − 5A− 2I =
7. y =
0589
,A =
1 11 21 31 4
としたとき次の行列を計算せよ.
(a) A′A =
18
(b)(A′A
)−1 =
(c) θ =(A′A
)−1A′y =
(d) Q = A(A′A
)−1A′ =
(e) Q′ =
(f) Q2 =
(g) I −Q =
(h) (I −Q) (I −Q) =
(i) y −Qy = y −Aθ =
(j) y′ (I −Q) (I −Q) y =
8. y =
y1
y2
y3
y4
, A =
1 a1
1 a2
1 a3
1 a4
としたとき次の行列を計算せよ.
(a) A′A =
(b)(A′A
)−1 =
19
(c) θ =(A′A
)−1A′y =
(d) Q = A(A′A
)−1A′ =
(e) Q′ =
(f) Q2 =
(g) I −Q =
(h) (I −Q) (I −Q) =
(i) y −Qy = y −Aθ =
(j) y′ (I −Q) (I −Q) y =
9. a =(
32
), b =
(−31
), c =
(3−1
), d =
(−24
)とする. それぞれ
のベクトルをグラフに示せ.
10. 連立方程式 {x + 2y = 63x− y = 4
をグラフを用いて解け.
11. 次の行列 A =(
1 23 −1
)によって 次の各点 x = (x1, x1)′ はどこ写さ
れるかグラフに示せ.
(x,y) (x,y) (x,y)
(0,0) (0,1) (0,2)(1,0) (1,1) (1,2)(2,0) (2,1) (2,2)
20
12. 行列 A =(
2 11 2
)によって y = Ax はどこ写されるかをグラフに示
せ．さらに A の固有値を求めよ．(固有値が正、不安定結節点)
13. 行列 A =(
0 1− 1
4 − 54
)によって y = Ax はどこ写されるかをグラフ
に示せ．さらに A の固有値を求めよ．(固有値が負、安定結節点点)
14. 行列 A =(
1 22 1
)によって y = Ax はどこ写されるかをグラフに示
せ．さらに A の固有値を求めよ．(固有値が正と負、鞍点)
15. 行列 A =(
2 11 1
2
)によって y = Ax はどこ写されるかをグラフに示
せ．さらに A の固有値を求めよ．(固有値の一つが 0 の場合)
16. 行列 A =(−1 2−2 3
)によって y = Ax はどこ写されるかをグラフに
示せ．さらに A の固有値を求めよ．(固有値が重根で対角化不可能な場合、不安定結節点)
17. 行列 A =(
0 1− 1
4 −1
)によって y = Ax はどこ写されるかをグラフ
に示せ．さらに A の固有値を求めよ．(固有値が重根で対角化不可能な場合、安定結節点)
18. 行列 A =(
2 00 2
)によって y = Ax はどこ写されるかをグラフに示
せ．さらに A の固有値を求めよ．(固有値が重根で対角化可能な場合、不安定結節点)
19. 行列 A =(−2 0
0 −2
)によって y = Ax はどこ写されるかをグラフ
に示せ．さらに A の固有値を求めよ．(固有値が重根で対角化可能な場合、安定結節点)
20. 行列 A =(
0 1−26 −2
)によって y = Ax はどこ写されるかをグラフ
に示せ．さらに A の固有値を求めよ．(固有値が複素数で実部が負の場合、安定渦状点)
21. 行列 A =(
0 5−2 2
)によって y = Axはどこ写されるかをグラフに
示せ．さらに A の固有値を求めよ．(固有値が複素数で実部が正の場合、不安定渦状点)
22. 行列 A =(
0 1− 1
4 0
)によって y = Ax はどこ写されるかをグラフに
示せ．さらに A の固有値を求めよ．(固有値が虚数だけで実数部が 0の場合、渦心点)
21
7 多次元正規分布
正規分布は理論的に都合の良い性質を数多く持っている．例えば，二つの
独立な正規確率変数の和の分布も正規分布に従うし，二つの正規分布の畳み
込み積分も正規分布である．d 個の確率変数 xi(i = 1, . . . , d) の各々が独立した正規分布 pi(xi) ∼ N(µi, σ
2) であるとすると，すべてを結合した確率密度は
p (x) =d∏
i=1
p(xi) =d∏
i=1
1√2πσ2
e − 12 (
xi−µiσ )2
=1
(2π)d2
∏di=1 σi
exp
{−1
2
d∑
i=1
(xi − µi
σi
)2}
(31)
と書くことができる．この場合，共分散行列が以下の対角行列である．
Σ =
σ21 0 · · · 00 σ2
2 · · · 0...
.... . .
...0 0 · · · σ2
d
(32)
対角行列なので逆行列は単に対角要素の逆数であるから
Σ−1 =
1/σ21 0 · · · 0
0 1/σ22 · · · 0
......
. . ....
0 0 · · · 1/σ2d
(33)
従って式 (31)の指数部は
d∑
i=1
(xi − µi
σ
)2
= (x− µ)t Σ−1 (x− µ) (34)
と書くことができる．Σ の行列式が各々の変数の分散の積であることを考慮
すれば，全ての変数をまとめて x と表現した多変量正規分布の密度関数は
p (x) =1
(2π)d2 |Σ| 12
exp{−1
2(x− µ)t Σ−1 (x− µ)
}(35)
と書くことができる．これは多変量正規分布の密度関数の一般型であり，共
分散行列 Σ は対角行列である必要は無い．
二つの変量，すなわち 2 変数の正規分布に従う変数 x1, x2 を考えるとこの
二つの変数の相関係数を ρ とし各々の分散を σ21 , σ2
2 と書けば共分散行列は
Σ =
(σ2
1 ρσ1σ2
ρσ1σ2 σ22
)(36)
22
となり，共分散行列の行列式は
|Σ| = σ21σ2
2
(1− ρ2
)(37)
となる．この逆行列は
Σ−1 =1
σ21σ2
2 (1− ρ2)
(σ2
2 −ρσ1σ2
−ρσ1σ2 ρ21
)
=1
1− ρ2
(1/σ2
1 −ρ/ (σ1σ2)−ρ/ (σ1σ2) 1/σ2
2
)(38)
指数部分は
(x− µ)t Σ−1 (x− µ)
= ((x1 − µ1)(x2 − µ2))1
1− ρ2
(1/σ2
1 −ρ/(σ1σ2)−ρ/(σ1σ2) 1/σ2
)(x1 − µ1
x2 − µ2
)
=1
1− ρ2
{(x1 − µ1
σ1
)2
− 2ρ
(x1 − µ1
σ1
) (x2 − µ2
σ2
)+
(x2 − µ2
σ2
)2}
(39)
従って 2 変量正規分布の一般形は次のようになる
p (x1, x2) =1
2πσ1σ2
√1− ρ2
×
exp
{− 1
2 (1− ρ2)
[(x1 − µ1
σ1
)2
− 2ρ
(x1 − µ1
σ1
)(x2 − µ2
σ2
)+
(x2 − µ2
σ2
)2]}(40)
8 主成分分析
データ行列 D に対して重みベクトル w を掛けて合成変量 y を作りたいと
する．このときデータ行列 D の性質を最も良く表すようにするために y の
最大化を考える y の最大化とは例えば，図 1で考えれば右斜め 45 度の角度である．すなわち
y = Dw (41)
において y の最大化とは分散が最大になる方向を考えることに等しい．た
だし，なんらかの制約を付けないと y は際限なく大きくなってしまうので
|w| = 1 という制約をつけることを考える．この制約は wtw = 1 と書くことができるので，ラグランジェの未定常数法をもちいて
yty = wtDtDw − λ(wtw − 1
)(42)
この式を w について微分して 0 とおくと
2DtDw − 2λw = 0 (43)
DtDw = λw (44)
23
��
��
��
��
�
�
�
�
�
��
��
��
�� � � � � �
図 1: 2 次元のサンプルデータ
となって行列 DtD の固有値問題になっている．行列 D が各列毎に平均 0 すなわち平均偏差行列になっているとすれば行列 DtD = R すなわち共分散行
列の固有値問題を解くことに等しい．これが主成分分析と呼ばれる多変量解
析の一手法である．
9 重回帰分析
独立変数群を表す行列 X を使って従属変数群を表す行列Y を予測する問
題を考える．回帰係数行列を W とすれば重回帰モデルは
Y = XW (45)
と表すことができる．回帰係数行列は以下のような展開によって
XtY = XtXW (46)(XtX
)−1XtY =
(XtX
)−1XtXW (47)
(XtX
)−1XtY = W (48)
と表現することができる．この W を最初の式に代入してY の予測式
Y = X(XtX
)−1XtY (49)
が導ける．ここでX (XtX)−1 Xt = P とおけば
P2 = X(XtX
)−1XtX
(XtX
)−1Xt = X
(XtX
)−1Xt = P (50)
とべき等性が成り立つので P は射影行列である．P が射影行列であるから
定義により I − P も射影行列である．すなわち重回帰分析とは P で張られ
24
る空間へ Y を写像する問題に帰結する．PY を予測行列，QY を残差行列
という．実際 P と Q は直交することは，
PQ = P (I−P) = P−P2 = P−P = 0 (51)
によって明らかである．直交射影行列 P, Q によって射影された Y も直交
する．
(PY)t QY = YtP (I−P)Y (52)
= YtPY −YtPPY (53)
= YPY −YPY = 0 (54)
25
