Embed Size (px)
Citation preview
Classification
• Qualitative variables take values in an unordered set C,such as:eye color∈ {brown, blue, green}email∈ {spam, ham}.
• Given a feature vector X and a qualitative response Ytaking values in the set C, the classification task is to builda function C(X) that takes as input the feature vector Xand predicts its value for Y ; i.e. C(X) ∈ C.
• Often we are more interested in estimating the probabilitiesthat X belongs to each category in C.
For example, it is more valuable to have an estimate of theprobability that an insurance claim is fraudulent, than aclassification fraudulent or not.
1 / 40
Classification
• Qualitative variables take values in an unordered set C,such as:eye color∈ {brown, blue, green}email∈ {spam, ham}.
• Given a feature vector X and a qualitative response Ytaking values in the set C, the classification task is to builda function C(X) that takes as input the feature vector Xand predicts its value for Y ; i.e. C(X) ∈ C.
• Often we are more interested in estimating the probabilitiesthat X belongs to each category in C.For example, it is more valuable to have an estimate of theprobability that an insurance claim is fraudulent, than aclassification fraudulent or not.
1 / 40
Example: Credit Card Defualt
0 500 1000 1500 2000 2500
02
00
00
40
00
06
00
00
Balance
Incom
e
No Yes0
50
01
00
01
50
02
00
02
50
0
Default
Ba
lan
ce
No Yes
02
00
00
40
00
06
00
00
Default
Inco
me
2 / 40
Can we use Linear Regression?Suppose for the Default classification task that we code
Y =
{0 if No
1 if Yes.
Can we simply perform a linear regression of Y on X andclassify as Yes if Y > 0.5?
• In this case of a binary outcome, linear regression does agood job as a classifier, and is equivalent to lineardiscriminant analysis which we discuss later.
• Since in the population E(Y |X = x) = Pr(Y = 1|X = x),we might think that regression is perfect for this task.
• However, linear regression might produce probabilities lessthan zero or bigger than one. Logistic regression is moreappropriate.
3 / 40
Can we use Linear Regression?Suppose for the Default classification task that we code
Y =
{0 if No
1 if Yes.
Can we simply perform a linear regression of Y on X andclassify as Yes if Y > 0.5?
• In this case of a binary outcome, linear regression does agood job as a classifier, and is equivalent to lineardiscriminant analysis which we discuss later.
• Since in the population E(Y |X = x) = Pr(Y = 1|X = x),we might think that regression is perfect for this task.
• However, linear regression might produce probabilities lessthan zero or bigger than one. Logistic regression is moreappropriate.
3 / 40
Can we use Linear Regression?Suppose for the Default classification task that we code
Y =
{0 if No
1 if Yes.
Can we simply perform a linear regression of Y on X andclassify as Yes if Y > 0.5?
• In this case of a binary outcome, linear regression does agood job as a classifier, and is equivalent to lineardiscriminant analysis which we discuss later.
• Since in the population E(Y |X = x) = Pr(Y = 1|X = x),we might think that regression is perfect for this task.
• However, linear regression might produce probabilities lessthan zero or bigger than one. Logistic regression is moreappropriate.
3 / 40
Linear versus Logistic Regression
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
ba
bili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
BalanceP
rob
ab
ility
of
De
fau
lt
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
The orange marks indicate the response Y , either 0 or 1. Linearregression does not estimate Pr(Y = 1|X) well. Logisticregression seems well suited to the task.
4 / 40
Linear Regression continued
Now suppose we have a response variable with three possiblevalues. A patient presents at the emergency room, and we mustclassify them according to their symptoms.
Y =
1 if stroke;
2 if drug overdose;
3 if epileptic seizure.
This coding suggests an ordering, and in fact implies that thedifference between stroke and drug overdose is the same asbetween drug overdose and epileptic seizure.
Linear regression is not appropriate here.Multiclass Logistic Regression or Discriminant Analysis aremore appropriate.
5 / 40
Linear Regression continued
Now suppose we have a response variable with three possiblevalues. A patient presents at the emergency room, and we mustclassify them according to their symptoms.
Y =
1 if stroke;
2 if drug overdose;
3 if epileptic seizure.
This coding suggests an ordering, and in fact implies that thedifference between stroke and drug overdose is the same asbetween drug overdose and epileptic seizure.
Linear regression is not appropriate here.Multiclass Logistic Regression or Discriminant Analysis aremore appropriate.
5 / 40
Logistic Regression
Let’s write p(X) = Pr(Y = 1|X) for short and consider usingbalance to predict default. Logistic regression uses the form
p(X) =eβ0+β1X
1 + eβ0+β1X.
(e ≈ 2.71828 is a mathematical constant [Euler’s number.])It is easy to see that no matter what values β0, β1 or X take,p(X) will have values between 0 and 1.
A bit of rearrangement gives
log
(p(X)
1− p(X)
)= β0 + β1X.
This monotone transformation is called the log odds or logittransformation of p(X).
6 / 40
Logistic Regression
Let’s write p(X) = Pr(Y = 1|X) for short and consider usingbalance to predict default. Logistic regression uses the form
p(X) =eβ0+β1X
1 + eβ0+β1X.
(e ≈ 2.71828 is a mathematical constant [Euler’s number.])It is easy to see that no matter what values β0, β1 or X take,p(X) will have values between 0 and 1.
A bit of rearrangement gives
log
(p(X)
1− p(X)
)= β0 + β1X.
This monotone transformation is called the log odds or logittransformation of p(X).
6 / 40
Linear versus Logistic Regression
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
ba
bili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
BalanceP
rob
ab
ility
of
De
fau
lt
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
Logistic regression ensures that our estimate for p(X) liesbetween 0 and 1.
7 / 40
Maximum Likelihood
We use maximum likelihood to estimate the parameters.
`(β0, β) =∏i:yi=1
p(xi)∏i:yi=0
(1− p(xi)).
This likelihood gives the probability of the observed zeros andones in the data. We pick β0 and β1 to maximize the likelihoodof the observed data.
Most statistical packages can fit linear logistic regression modelsby maximum likelihood. In R we use the glm function.
Coefficient Std. Error Z-statistic P-value
Intercept -10.6513 0.3612 -29.5 < 0.0001balance 0.0055 0.0002 24.9 < 0.0001
8 / 40
Maximum Likelihood
We use maximum likelihood to estimate the parameters.
`(β0, β) =∏i:yi=1
p(xi)∏i:yi=0
(1− p(xi)).
This likelihood gives the probability of the observed zeros andones in the data. We pick β0 and β1 to maximize the likelihoodof the observed data.
Most statistical packages can fit linear logistic regression modelsby maximum likelihood. In R we use the glm function.
Coefficient Std. Error Z-statistic P-value
Intercept -10.6513 0.3612 -29.5 < 0.0001balance 0.0055 0.0002 24.9 < 0.0001
8 / 40
Making Predictions
What is our estimated probability of default for someone witha balance of $1000?
p(X) =eβ0+β1X
1 + eβ0+β1X=
e−10.6513+0.0055×1000
1 + e−10.6513+0.0055×1000 = 0.006
With a balance of $2000?
p(X) =eβ0+β1X
1 + eβ0+β1X=
e−10.6513+0.0055×2000
1 + e−10.6513+0.0055×2000 = 0.586
9 / 40
Making Predictions
What is our estimated probability of default for someone witha balance of $1000?
p(X) =eβ0+β1X
1 + eβ0+β1X=
e−10.6513+0.0055×1000
1 + e−10.6513+0.0055×1000 = 0.006
With a balance of $2000?
p(X) =eβ0+β1X
1 + eβ0+β1X=
e−10.6513+0.0055×2000
1 + e−10.6513+0.0055×2000 = 0.586
9 / 40
Lets do it again, using student as the predictor.
Coefficient Std. Error Z-statistic P-value
Intercept -3.5041 0.0707 -49.55 < 0.0001student[Yes] 0.4049 0.1150 3.52 0.0004
Pr(default=Yes|student=Yes) =e−3.5041+0.4049×1
1 + e−3.5041+0.4049×1 = 0.0431,
Pr(default=Yes|student=No) =e−3.5041+0.4049×0
1 + e−3.5041+0.4049×0 = 0.0292.
10 / 40
Lets do it again, using student as the predictor.
Coefficient Std. Error Z-statistic P-value
Intercept -3.5041 0.0707 -49.55 < 0.0001student[Yes] 0.4049 0.1150 3.52 0.0004
Pr(default=Yes|student=Yes) =e−3.5041+0.4049×1
1 + e−3.5041+0.4049×1 = 0.0431,
Pr(default=Yes|student=No) =e−3.5041+0.4049×0
1 + e−3.5041+0.4049×0 = 0.0292.
10 / 40
Logistic regression with several variables
log
(p(X)
1− p(X)
)= β0 + β1X1 + · · ·+ βpXp
p(X) =eβ0+β1X1+···+βpXp
1 + eβ0+β1X1+···+βpXp
Coefficient Std. Error Z-statistic P-value
Intercept -10.8690 0.4923 -22.08 < 0.0001balance 0.0057 0.0002 24.74 < 0.0001income 0.0030 0.0082 0.37 0.7115student[Yes] -0.6468 0.2362 -2.74 0.0062
Why is coefficient for student negative, while it was positivebefore?
11 / 40
Confounding
500 1000 1500 2000
0.0
0.2
0.4
0.6
0.8
Credit Card Balance
Defa
ult R
ate
No Yes
0500
1000
1500
2000
2500
Student Status
Cre
dit C
ard
Bala
nce
• Students tend to have higher balances than non-students,so their marginal default rate is higher than fornon-students.
• But for each level of balance, students default less thannon-students.
• Multiple logistic regression can tease this out.12 / 40
Example: South African Heart Disease
• 160 cases of MI (myocardial infarction) and 302 controls(all male in age range 15-64), from Western Cape, SouthAfrica in early 80s.
• Overall prevalence very high in this region: 5.1%.
• Measurements on seven predictors (risk factors), shown inscatterplot matrix.
• Goal is to identify relative strengths and directions of riskfactors.
• This was part of an intervention study aimed at educatingthe public on healthier diets.
13 / 40
sbp
0 10 20 30
oo
o
o
ooo
ooo
o
ooo
oo o
oo
oo
ooo ooo
oooo
o
oo
o
oo
oo oo
o
oo
oo
o
ooooo
oo
oo
o ooooo
ooo o
oo oooo ooo
ooo
o
oo
oo ooo oooooo
o
o
o
oooo
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
ooooooo
oo
o
oo o
oo
oo oooo
ooo
o
ooo
o
o
ooo
o
ooo
oo
oo
o
oo
o
o
ooo o
o
o
o
o
o
oo
o
o oo
ooo
oo
oo
oo
oooo
oo
o
oooo
ooo
o oooo
oo
oooo
oooo
oo
oo
o
oo
o ooo
ooo
o
o
oooo
oo
o
oooo
o
oooooo
o
o
o
ooo o
oo oo
oooo o
ooo
ooo oo
o
o
o
o
oooo
o
o
oo
ooooooo
oo
oooo o
o
oo
o
oooo
oo
o
o
o
oo
o
o
oo
o
oo o
o
ooooo
o
oo
oooo
o
ooo
oo o
o
oo
o
ooo
o
oo
o
oooo ooo
ooo
oo
ooooo o
oo ooo
ooo
o
o
ooo o
oo oo
o
oo
o o
ooo
o
oooo
o
o
o
o
oo
oo
oo o
o
oo
oo
oo o
o
o
o
oooo o
ooo
oooooooooo
o
oooooo
ooo
o
ooo
o
o
o
ooo
oo
o
o
o oo
ooo
o
ooooo o
oo
oo
oo
oooo
oooo
o
oo
o
oo
oo
oo
o
oooo
o
ooo oo
oo
o o
ooo
oo o
ooooo
o ooooo oo
o oo
o
oo
o ooooo
ooooo
o
o
o
ooo o
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
ooo
o ooo
oo
o
oo o
oo
oo oooo
ooo
o
oooo
o
ooo
o
ooo
oo
oo
o
o
oo
o
oo
oo
o
o
o
o
o
o o
o
o ooo o
o
oo
oo
oo
oooo
oo
o
oooo
o oo
oo ooo
oo
ooo ooo
o o
oo
oo
o
o
o
oooo
ooo
o
o
oooooo
o
oooo
o
ooo o
o o
o
o
o
oo
o ooo oo
ooooo
o oo
ooooo
o
o
o
o
oooo
o
o
oo
ooo ooo
o
oo
oooo o
o
o o
o
ooo
ooo
o
o
o
oo
o
o
o o
o
ooo
o
ooo
ooo
oo
o oo oo
o oo
o oo
o
oo
o
oo o
o
oo
o
oo
oo oo
oo
oo
o ooo
o o
o oooo
oo
ooo
o
o
o ooo
oo oo
o
o
o
oo
oo
o
o
oooo
o
o
o
o
oo
oo
oo o
o
oo
oo
ooo
o
o
o
oo
ooooo
o
ooooo ooo
oo
o
ooo oo oo
oo
o
oo
o
o
o
o
o oo
0.0 0.4 0.8
oo
o
o
ooo
ooo
o
ooo
ooo
oo
oo
oo
oooo
o oooo
oo
o
oo
oooo
o
o ooo
o
ooo ooo
ooo
oo
oo
o oo
oo o
oo ooo
oo oooo o
o
oo
ooooooooooo
o
o
o
o ooo
o
o
o
ooo
o
o
o
ooo
o
o
o
o ooo ooooooo
o
ooooo
oooo
oooo o
o
oooo
o
ooo
ooooo
oo
o
o
o
oo
o
oo
ooo
o
o
o
o
oo
o
ooo
ooo
oooo
oo
oo o
oo
o
o
oo oo
o oo
oooo o
oo
oo oo
oooooo
oo
o
o
oo
ooo
oo o
o
o
oooooo
o
ooo
o
o
ooo ooo
o
o
o
oooooooo
o oooo
ooo
oooo o
o
o
o
o
oooo
o
o
oo
ooooooo
oo
ooooo
o
oo
o
oo oo
oo
o
o
o
ooo
o
oo
o
ooo
o
ooo
ooo
oo
oo
ooo
ooo
oo o
o
oo
o
o
o o
o
oo
o
ooo
oo oo
ooo
oo
oo
ooo o
oo oo
oo oo
o
o
oooo
ooooo
o
o
oo
ooo
o
oooo
o
o
o
o
oo
oo
ooo
o
oo
oo
ooo
o
o
o
oo
ooo
ooo
oo
oo ooooo
o
o
oo oooooo
o
o
o
oo
o
o
o
oo
o
oo
o
o
o oo
ooo
o
oooooo
oo
oo
oo
ooo o
o oooo
ooo
oo
ooo
o
oo o
oo
o
oooo
oo
ooo
oo
oooo
ooo o oo ooo
o oo oo oo
o
oo
ooo
o ooo
o oo o
o
o
o
o ooo
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
ooo
oooooo
oo
oooo
oooo
oooo o
o
o o oo
o
ooo
oo
oooooo
o
ooo
o
oo
oo
o
o
o
o
o
oo
o
o ooo oo
oo
oo
oo
ooooo
o
o
ooo o
ooo
oo ooo
oo
oo oo
oooo
oo
oo
o
o
oo
ooo
ooo
o
o
oooooo
o
oooo
o
oooo
oo
o
o
o
oooo
oooo
o oooo
ooo
oo o oo
o
o
o
o
oo oo
o
o
oo
o ooo
ooo
oo
oooo o
o
o o
o
oo oo
oo
o
o
o
oo
o
o
oo
o
oooo
ooo
oo
o
oo
oo
ooo
oo oooo
o
oo
o
o
o o
o
oo
o
ooo o oo
ooo
o
ooo
ooo
ooo oo
oo
oo o
o
o
ooo o
oo oo
o
o
o
o o
oo
o
o
ooo o
o
o
o
o
oo
oo
ooo
o
ooo
o
ooo
o
o
o
oo
ooo
ooo
oo
o o oooo
oo
o
ooo
ooo
ooo
o
o
oo
o
o
o
oo
o
0 50 100
oo
o
o
ooo
ooo
o
oooo oo
oo
oo
oooooo
ooooo
oo
o
oo
oo
oooo ooo
o
o oooo
oo
o o
oo
oooo
ooo ooooooo oooooo
o
oo
oooo ooooooo
o
o
o
o ooo
o
o
o
ooo
o
o
o
ooo
o
o
o
ooo
o ooooo
oo
o
ooo
o o
ooo
oooooo
o
oo oo
o
oooo
oooo
ooo
o
o
oo
o
oo
ooo
o
o
o
o
oo
o
oooooo
ooo
o
oo
oo o
ooo
o
oooo
ooo
ooooo
oo
oo oooo
oo
oo
oo
o
o
oo
ooo
ooo
o
o
ooo
ooo
o
ooo
o
o
oooooo
o
o
o
oo
oooo o
o
ooo
oooooooooo
o
o
o
o
ooo o
o
o
oo
ooooooo
oo
o ooo o
o
oo
o
oooo
oo
o
o
o
o oo
o
oo
o
ooo
o
ooooo
o
oo
oooo
o
ooo
ooo
o
oo
o
o
oo
o
oo
o
oooooo
ooo
o
oo
oooo
oooooo
ooo o
o
o
ooo o
ooo o
o
o
o
oo
ooo
o
ooo o
o
o
o
o
oo
oo
ooo
o
oo
oo
o o o
oo
o
o o oooooo
oooooooooo
o
o ooooooo
o
o
oo
o
o
o
o
oo
o
100
160
220
oo
o
o
ooo
ooo
o
ooo
ooo
oo
oo
oo
ooo o
oo ooo
oo
o
oo
oo o
o
oo
oo
o
o
ooo o
oo
ooo
o o
oo
o oo
oo o
oo oooo oo o o oo
o
oo
oooo oo
oo oo o
o
o
o
oo oo
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
oo o
o oo o
oo
o
oo o
oo
oo oooo
oo o
o
o o oo
o
ooo
o
ooo
oo
oo
o
oo
o
o
o oo
o
o
o
o
o
o
o o
o
ooo
oo
o
oo
oo
oo
o
o ooo
o
o
oooo
o oo
ooo oo
oo
ooooo
ooo
oo
oo
o
o
ooo o
o
oo o
o
o
oooo o o
o
oooo
o
oooooo
o
o
o
oo
o oo o o
o
oo oo o
ooo
oo o
ooo
o
o
o
ooo o
o
o
oo
oooo ooo
o
o
o ooo o
o
oo
o
oo o
oo
oo
o
o
oo
o
o
oo
o
oooo
ooo
ooo
oo
o ooo
o
oooo o o
o
o o
o
o
oo
o
oo
o
oooo oo
ooo
o
oo
oo
o oo ooo o
oo
o oo
o
o
ooo o
oooo
o
oo
oo
ooo
o
oooo
o
o
o
o
oo
oo
ooo
o
oo
oo
ooo
o
o
o
ooo oo
ooo
oooooo o o
oo
o
ooo o
oooo
o
o
oo
o
o
o
o
oo
o
010
2030
o
oo
oo
o ooo o
o
o
o o
o
o
oo
o
o
o
o
oo
o
oooooo o
oo
oo ooo
o
o oooo
o ooo
ooo o
ooo
oo
o o oo
o
oo
oo
oooooo
oooooo
oo
oo
o
oo
o
ooooo oo ooooo
oo
oo oo oo
o
ooo
o
o o
o
oo
oo
ooooo
oooo
ooo
oo
ooooooo
o
oooo oo oo
o
oo
ooo
o
o
o
o
oo
o
ooo
oo
ooo
ooo oooooo
o
oooo
oo
o
oo
o ooo o ooooo
oo ooo
o oo
o oo
ooo oo
o
ooo
o
o oooooo
o
o oo
o
oo o
o
o ooo
oo oo
ooo
oo
o oo
oo o
o
oo
o
ooooo
o
oo
o
o
o
oooo
o
o
oo
ooo oo
o
o
ooooooo o ooooo
o
ooo oooo
oo
oo
oo
ooo
ooo
o
oo
o oo
o oooo
oooo
o
oooo
ooo
o ooo o
ooo
oo
oo
o
o ooo
o o
o
oo
ooo ooo
o
oooo
ooooo
oo
o
oo
o
oooo
oo o oo
o
o
oo
o
oo
oo o
oo
o
o
oo
o
o
o
oo
o
o
ooo
oo
o
ooo oo
o
ooo oo oooooo
ooo
ooooooooo
oo oo o o
oooo
tobaccoo
oo
o
o
oooo o
o
o
oo
o
oo
o
o
o
o
o
oo
o
oo
oooo o
oooo oo
o
o
oooooo o
oo
oo
o o
oo
o
oo
ooo o
o
oo
ooo
ooooo
ooo oooo
oo
o
o
oo
o
ooooo
oo oooo
o
oo
oooooo
o
oo o
o
o o
o
oo
oo
o ooooo ooo
ooo
oo
oo ooooo
o
oooooooo
o
oooo o
o
o
o
ooo
o
o oo
oo
ooo
oo oooooo o
o
o ooo
oo
o
oo
oooo ooooo ooo
o ooooo
ooo
oooo o
o
o oo
o
o oooo o o
o
ooo
o
ooo
o
oooo
oooo
ooo
oo
o o
oo
ooo
oo
o
oooooo
o o
o
o
o
oooo
o
o
o oooooo
o
o
ooo ooo oo ooooo
o
oo
oo ooo
oo
ooo
o
ooo
oo o
o
oo
ooo
oo ooo
ooo o
o
ooo oo
o ooooo o
ooo
ooo
o
o
ooo
ooo
o
oo
oo
ooooo
ooo
oo o
oooo
o
o
oo
o
oo
oo
oo ooo
o
o
oo
o
oo
oo o
oo
oo
oo
o
o
o
o
oo
o
ooo
oo
o
ooo ooo
ooo ooooo ooo
ooo
ooooo oooo
ooooo o
oo oo
o
o o
oo
oo ooo
o
o
oo
o
oo
o
o
o
o
o
oo
o
ooo
oooo
oooooo
o
o
ooo ooo o
ooo
ooo
oooooo oo o
o
oo
oo
oo
oooo
oooo oo
ooo
o
o
oo
o
ooooooooo oo
o
oo
o ooooo
o
ooo
o
o o
o
ooo
ooooooo oo oo
oo
oooo oo oo o
o
ooooo ooo
o
oo
ooo
o
o
o
o
oo
o
ooo
oo
oooo
ooo ooooo
o
o ooooo
o
oooo oooo oo
o ooo
oooooooo o
o oooo
o
ooo
o
o ooooo o
o
ooo
o
ooo
o
o oooo ooo
oo o
oo
oo
oo
ooo
oo
o
oo oooo
oo
o
o
ooo o
oo
ooo
oooooo
o
ooooooooo
oooo
o
oo
oo oo o
o
oo o
o
o
oooo oo
o
oooo o
oo ooooo
oo
o
ooooo
oo oooo o
ooo
oo
oo
o
ooo
o oo
o
oooooo oo
o
ooo
ooo
o oooo
ooo
o
oo
oo
oooo
o
o
oo
o o
ooo
ooo o
o
o
oo
o
o
o
ooo
o
oo
ooo
o
ooo oo
o
ooooo oo ooooo o
ooo oo oo
ooo
oooo oo
ooo
o
o
oo
oo
oooo o
o
o
oo
o
oo
o
o
o
o
o
o o
o
o oo
oo
oo
oooo o o
o
o
ooo o ooo
oo
oo
oo
ooo
oo
oooo
o
oo
ooo
oooo
oo oo oo
oo
oo
o
o
o o
o
oo ooo
oo oo ooo
oo
o ooooo
o
oo o
o
o o
o
oo
o ooo oo
oo o
o oo
oo
oooo
oooo o
o
o oo
ooooo
o
oo
oooo
o
o
o
oo
o
oooo
o
ooo
ooo ooooo o
o
o oooo
o
o
oooo oo ooo ooo
ooo ooo oooo
o
o oooo
o
ooo
o
o oooo oo
o
ooo
o
ooo
o
oooo
oooo
ooooo
ooo
oooo
oo
o
oo ooo
o
oo
o
o
o
o oooo
o
oo
o ooo
oo
o
o ooo ooo oo
oooo
o
oo o ooo o
oo
o oo
o
o oo
ooo
o
oooo o
o oooo
oooo
o
oooo
oo
ooo
oo oooo
oo
oo
o
oo o
ooo
o
ooooo oo
oo
ooo
ooo
oo oo
o
o
oo
o
oo
ooo
o ooo
o
o
ooo
o
oo
oooo
oo
oo
o
o
o
oo
o
o
ooo
oo
o
ooo ooo
ooooooo oooo
ooo
o oo ooooo
o
oooo oo
oo oo
o
oo
o
o
ooooo
o
o
oo
o
oo
o
o
o
oo
oo
o
ooo
ooo o
ooo oooo
o
oooo
oooo ooo oo
oo
o
oo
oooo
o
oo
ooo
oooo
oooooo
ooo
oo
o
o o
o
ooooo
oooo oo
o
oo
oooooo
oooo
o
oo
o
oo
oo
ooooooo
o oo
o o
oo
o oooooo
o
oo oooo
oo
o
oooo
oo
o
o
o
oo
o
ooo
oo
ooo
ooooooooo
o
ooo o
oo
o
oo
ooooooooooo o
oooooo
oo o
ooooo
o
ooo
o
ooooooo
o
oo o
o
oo o
o
oooooo oo
ooo
ooo o
ooo o
o
oo
o
ooooo
o
oo
o
oo
ooooo
o
oooo o
ooo
o
oooo ooooo
o ooo
o
oooooo o
oo
ooo
o
o oo
oo o
o
oo
o oo
ooooooo
oo
o
oo oo
ooo
o ooo o
ooooo
oo
o
o o o
ooo
o
ooooooo
oo
oo
oo
oooo o
oo
ooo
o
ooo
oo
oooo
o
o
ooo
oo
ooo
oo
oo
oo
o
o
o
oo
o
o
oo o
oo
o
oo o ooo
ooooooooooooo
oo ooooo ooo
ooo ooo
oooo
o
oo
o
o
oo oo o
o
o
oo
o
ooo
o
o
oo
o o
o
o oo
oooo
oooo o o
o
o
oooo
oo
ooo
oo oo
oo
o
oo
o oo o
o
oo
ooo
ooo o
oo o o oo
oo o
oo
o
o o
o
oo oo oo
oo oo o o
oo
o oooo
o
o
ooo
o
o o
o
oo
oo
o oo oo
o oo o
ooo
oooo oo
oo o
o
o o oooo oo
o
oooo
oo
o
o
o
oo
o
o oo
oo
ooo
oo o ooooo o
o
oooo
oo
o
oooo oooooo
o ooo oo ooo
oooo
oo ooo
o
ooo
o
o o oo ooo
o
oo o
o
ooo
o
oooo
oooo
oooo
ooo
oo
ooo
o o
o
ooo oo
o
oo
o
o
o
oooo
o
o
oo
oo oo
oo
o
oooo ooo oo
o ooo
o
ooo o oo o
o
oo
oo
o
oo
oooo
o
oo
o oo
oo ooo
oo oo
o
oo oo
oo
ooo
o ooo o
oo
o
oo
o
ooo
ooo
o
oo
oo
oo o oo
ooo
oo oo oo
oo
o
oo
o
oo
oo
oo o oo
o
o
oo
o
ooo
oooo
oo
oo
o
o
o
oo
o
o
ooo
oo
o
oooo o
o
ooooooooo oo
ooo
ooo ooo oooo
ooo oooo
oo
ooo
o
o
o
ooo
o
oo
o ooo
o
oo
o
oo
ooo
o
o
ooo
oooo
o
o
oo
o
ooo
ooo o
oo
oo
oo
o
o o
o
o oo o
o
o oooo
oo
o
oo oooo ooo
oooooo
ooo ooo
oo
oo
oooo
o
o
o
oo oooo
oo
o
o o
o
o
o
o
o oo
ooo
oo
o
o
oo
o
oooo
oo
o
o ooooooo
ooo
oooo
oooo
ooo
ooo
ooooo
oo
o
o o
oo
ooooo
o
o oo
o
o
o
o
ooooo
oo
oooo o
o
oo
oo
oo o oooo
oo
ooo
o
oo
oo
o
ooo
oo
o
ooo
o
oo
o ooooo
o oo o
o
o
oo oo
oo
oo
oooo
oo
o
ooooo
oo
oo
o
oooo
oo
oo
ooo o o
ooooo
oo
o
o
o
ooooo
o ooo
o
o
ooo
oooo
o o oo
ooo oo oo
ooo o
o
ooooo
o
oo
oo
oo
o
oo
o
oo
o
oo
oo
o o
o
oo
oo
ooo
oo o o
oo ooo o
ooooo
oooo oo
o
o
ooo
o
o
ooo
o oooo
o
ooooo o
o
o
oo ooo
o
o
o
o
oo
oo
ooo oo
ooo
o
oooo
oo
o oooooo
o
o
o
oooo
oo o
oo o
oo
oo
oo
o
o
o ooo
o
o
o
ooo
o
oo
oo oo
o
oo o
oo
oo o
oo
ooo
oo ooo
ooo
ooo
oo
oo o
oo
oo
oo
o
oo
o
o ooo
o
o ooo o
oo
o
ooo oooooo
ooo
ooooo
ooooooo
ooooo
o
o
o
ooooo
o ooo
o o
o
o
o
o
oo o
ooooo o
o
oo
o
ooooo
o
o
oooooooo
ooo
oo oo
oooo
ooo
ooo
oooo oo
o
o
oo
oooo
o
oo
o
ooo
oo
o
o
oooo
ooooooo o
o
oo
oooooo
ooo
oo
ooo
o
ooo
o
o
oo o
ooo
oooo
oo
oo ooooo oo
o
o
o
oo oo
oo
oo
o
ooo
oo
o
oooo o
oo oo
o
ooo
o
oo
oo
ooooo o
oooooo
o
o
o
ooooo
oooo
o
o
ooo
ooo
o
ooo
o
ooo ooo o
oooo
o
o ooo o
o
oo
oo
oo
o
ooo
oo
o
oo
o ooo
o
oo
oo
ooo
oo oo
ooooo
oo
oo ooo ooo oo
o
o
o ooo
o
ooo
ooo oo
o
o
oo oo o
o
o
ooooo
o
o
o
o
oo
oo
oo ooo
ooo
o
oooo
ooooooooo
o
o
o
ooo
oooooo o
ooo
oo
oo
o
o
ldlo
o ooo
o
oooo
oo
oo oo
o
ooo
oo
ooo
oo
o oooo oooo
oo
ooo
oo
ooo
oo
oo
oo
o
oo
o
ooo o
o
ooo
o oo
o
o
oooooo
oo oo ooo
oo
ooo ooooooooo oo
o
o
o
o ooooo ooo
o o
o
o
o
o
ooo
oooooo
o
oo
o
oooooo
o
o oo oo ooooo o
oooo
oooooo
oooo
oooooo
o
o
oo
ooo o
ooo
o
ooooo
o
o
oo
ooo oooo ooo
o
oo
ooo oo o
ooo
oo
ooo
o
oooo
o
oo o
oo
o
oooo
oooooo
oooo oo
o
o
o oo
oo
ooo
oooo
oo
o
o oooo
ooo
o
o
oo oo
ooo
o
oooooo
oooooo
o
o
o
oooooo ooo
o
o
o oo
oo oo
o ooo
o oo oo ooo
ooo
o
oooo o
o
oo
oo
oo
o
ooo
oo
o
oo
oo
oo
o
oooo
o oo
oo oo
ooo oo
oooo o
ooo oooo
o
o
ooo
o
o
oooooooo
o
oo
ooo oo
o
ooooo
o
o
o
o
oo
oooooooooo
o
oooo
ooo oo oooo
o
o
o
ooo
oooo
oo o
ooo
ooo
o
o
o oooo
oo
oooo
oo
oooo
o
ooo
oo
ooo
oo
o oo
oo o
ooo
oo
o
oooo
o oo
o o
oo
oo
o
oo
o
oooo
o
ooo
o oo
o
o
ooo oo o
oooooo
oooo oo ooo
ooo
oo
o oo
o
o
o
o ooo
oo ooo
oo
o
o
o
o
ooo
oo o
ooo
o
oo
o
oooo
oo
o
ooo ooo o oo
oo
oooo
ooo
ooo
oooooo
o ooo
o
o
oo
oo
oo
ooo
o
oooo
o
o
o
ooooo oo
ooo
o o
o
ooo
ooo oo
ooo
oo
oo
o
o
ooo
o
o
ooo
o oo
ooo
o
oo
ooooooo oo
o
o
o
ooo
oo
oo
o
ooo o
ooo
o oooo
oo oo
o
o ooo
oo
oo
o ooo ooo
o ooo o
o
o
o
oooo
oo oo
o
o
o
o oo
oo o
ooo o
o
ooo
ooooo oo o
o
ooo
o o
o
oooo
ooo
ooo
oo
o
oo
oooo
o
oooo
ooo
oooo
oo oo
oo
oo oo
o
ooo ooo
o
o
oo o
o
o
ooo
oo o oo
o
o
o
oo ooo
o
ooooo
o
o
o
oo
oo
ooooo
oooo
o
oo oo
ooooo oooo
oo
o
o oo
ooo
oooo
oo
oo
oo
o
o
o ooo
o
oo
oooo
ooooo o
o
o oo
oo
ooo
oo
ooo
ooooo
oo
oo
ooo
oooo
oo
ooo
o
o
oo
o
oooo
o
o ooo oo
o
o
ooo oooo
oo o ooo
oo
o oooooo
oo
ooo oo
o
o
o
ooooo
oooo
oo
o
o
o
o
oo o
oooo
oo
o
oo
o
o ooo
oo
o
ooooo
oo ooo o
oooo
oooo
ooo
oo
o
oooo oo
o
o
oo
oo
ooo
oo
o
oooo
o
o
oo
ooo
ooo
oooo o
o
oo
ooo o
ooooo
oo
ooo
o
oo
oo
o
ooo
oo
o
ooo
o
ooo ooo
ooo oo o
o
o
ooooo
ooo
oooo
ooo
ooooo
ooo
o
o
oooo
ooo
o
ooo
oooooo
oo o
o
o
o
oo
oooooo
o
o
o
ooo
o oo
o
oo o
o
ooooo oo oooo
o
ooo
o o
o
oo
o o
oo
o
oo
o
oo
o
oo
oooo
o
ooo o
o oo
oo ooo oo
ooo
ooooo
ooo oo
oo
o
o ooo
o
ooo
ooooo
o
o
oo
o ooo
o
oo
ooo
o
o
o
o
oo
ooo o oo
ooo o
o
ooooooooooooo
o
o
o
o ooooo
ooo o
oo
ooo
oo
o
o
26
1014
o ooo
oo
ooo
oo
ooo oo
o
o oo
o o
o
oo
o
o
oo o
oo o
o oo
o
oo
ooo
ooo o
oo
oo
oo
o
o o
o
o oo o
o
o ooo oo
o
o
oo o oo
oo
oooo o
oooo o
ooo oo oo
oo
oo o
o
o
o
o oooo
ooo
o
o o
o
o
o
o
o o o
ooo
ooo
o
oo
o
oo
ooo
o
o
ooo ooo o oo
oo
oo oo
ooo
ooo
oo
oo
oo oo oo
o
o
oo
oo
oo
ooo
o
ooo o
o
o
o
oo ooo
oo
oooo o
o
oo
oo
ooooooo
oo
oo
o
o
ooo
o
o
ooo
ooo
ooo
o
oo
oo o oooo oo
o
o
o
oo o
oo
oo
o
oo
oo
oo
o
oo oo ooo oo
o
oooo
ooo
o
ooo o oo
ooooo o
o
o
o
oo
oooo oo
o
o
o
o oo
ooo
oo ooo
ooo oo oo
oooo
o
o oo
o o
o
oo
o o
ooo
ooo
o o
o
oo
oo
oo
o
oooo
ooo
oo o o
oooo
oo
ooo o
ooo oo o
oo
o
oo o
o
o
ooo
o ooo
o
o
o
oooo o
o
o
ooooo
o
o
o
o
oo
ooooo oo ooo
o
oooooooooo
o o o
o
o
o
ooo
ooo o
oo o
oo
ooo
oo
o
o
0.0
0.4
0.8
o
o
o ooo
o
oo o
o
o
o o
oo
o
o oo
o
o o
oo
o
o o
o
oo o
o
o oo oo
ooo
oo
o
oo
oo
o o
o
o o
o
ooooo
o
o
o o
oo
oo
o
o
oo oo
o
ooo
o
o
oo
o
o
o
o
oo
oo
ooo oo oo
ooo
o
o
o
o
oo oo
o
ooo
o
o
o
o
o
o o
o
oooo o o
o
o
o
o
o
ooooo
o
o
o
o
o
o
o
ooo o
o o
oo oooo
o o
o oo oo oo oo oo
oo o o
oo o
ooo
ooo o
o oooo
oo
oo
o
oo
oo
o
o o
o
oo
o
oo
o
o
oo
o
o
o
o
o oo o ooo oo
o
o
o
oo
o
o
o oo
ooo ooo
o
oo o
o
oo
o
o
o o
o
o
oo o
o oooo
o
o
o
oooo
oo o
o oo
o
o
oo
o o
oooo o oo
o
ooooooo o
o
ooooo
oo
o o
o
o
o o
oo
o o
o
o
o oo
o
o
o
o
oo
o
o
o o
o
oo oo
oo
oo
oo
o
o
oo
o o
oo
oo
o
o
o
o o oooo
oo
o
o
o
o
o oo
o o
oo
o
oo
o
o o
oo
o
o oo
oo
oo
oo
oo
oo o
oooo
o
o
o
ooo
o o
o
o o o
oo ooo
ooo
o
oo
oo o
o o
oo
o
o
o
ooo oo
o
o
o
oooo
o
ooo
o
o
oo o
oo
oo
oo
o
oooo
o o
o
o o oo
o
ooo
o
o
oo
oo
o
oo o
o
oo
o o
o
o o
o
ooo
o
ooooo
o oo
oo
o
o o
oo
o o
o
oo
o
o oo oo
o
o
o o
oo
oo
o
o
ooo o
o
ooo
o
o
oo
o
o
o
o
o o
oo
oo oo ooo
oo o
o
o
o
o
oooo
o
ooo
o
o
o
o
o
oo
o
oooo o o
o
o
o
o
o
ooo oo
o
o
o
o
o
o
o
oooo
oo
o ooooo
o o
o oo oo oooo o o
oo oo
ooo
ooo
oo oo
o oo oo
oo
oo
o
oo
oo
o
o o
o
oo
o
oo
o
o
o o
o
o
o
o
ooo oooo oo
o
o
o
oo
o
o
ooo
oooo oo
o
oo o
o
oo
o
o
o o
o
o
oo o
oo ooo
o
o
o
oo o o
oo o
o oo
o
o
oo
oo
oooo ooo
o
oooooooo
o
oooo o
oo
oo
o
o
o o
oo
o o
o
o
o oo
o
o
o
o
o o
o
o
oo
o
o ooo
o o
oo
oo
o
o
oo
oo
oo
o o
o
o
o
ooo ooo
o o
o
o
o
o
ooo
oo
oo
o
oo
o
oo
o o
o
o oo
oo
o o
oo
oo
ooo
oo oo
o
o
o
o oo
oo
o
o oo
oo oo o
o oo
o
oo
o oo
oo
oo
o
o
o
ooooo
o
o
o
oo oo
o
ooo
o
o
ooo
oo
oo
oo
o
o ooo
o o
o
o oo o
o
oo o
o
o
oo
oo
o
ooo
o
o o
oo
o
oo
o
oo o
o
ooo oo
o oo
oo
o
oo
oo
o o
o
o o
o
o ooo o
o
o
oo
oo
o o
o
o
oooo
o
oo o
o
o
oo
o
o
o
o
o o
oo
oo oo o oo
oo o
o
o
o
o
ooo o
o
oo o
o
o
o
o
o
o o
o
o ooooo
o
o
o
o
o
ooo oo
o
o
o
o
o
o
o
oooo
o o
oo oooo
oo
o oo ooooooo o
oo oo
o oo
o oo
o ooo
ooo oo
oo
oo
o
oo
oo
o
oo
o
oo
o
oo
o
o
o o
o
o
o
o
ooo oo oo oo
o
o
o
o o
o
o
ooo
oooooo
o
ooo
o
o o
o
o
oo
o
o
ooo
ooooo
o
o
o
oooo
o oo
o oo
o
o
oo
o o
ooooooo
o
ooo ooo oo
o
oooo o
oo
oo
o
o
o o
oo
o o
o
o
o oo
o
o
o
o
oo
o
o
oo
o
oo oo
o o
o o
oo
o
o
o o
oo
o o
oo
o
o
o
oo oooo
o o
o
o
o
o
oo o
oo
o o
o
oo
o
oo
oo
o
ooo
o o
oo
oo
oo
oo o
oooo
o
o
o
o oo
o o
o
ooo
oo oo o
o oo
o
oo
ooo
oo
oo
o
o
o
ooo oo
o
o
o
ooo o
o
ooo
o
o
o o o
oo
o o
oo
o
ooo o
o
famhist
o
o
o oo o
o
oo o
o
o
oo
oo
o
ooo
o
oo
oo
o
oo
o
ooo
o
ooo o o
oo o
oo
o
oo
o o
o o
o
oo
o
o oooo
o
o
oo
oo
o o
o
o
ooo o
o
oo o
o
o
oo
o
o
o
o
oo
oo
oo ooo oo
ooo
o
o
o
o
oooo
o
oo o
o
o
o
o
o
oo
o
oooooo
o
o
o
o
o
o oo oo
o
o
o
o
o
o
o
o ooo
o o
oooooo
oo
o ooooooooo o
oo oo
oo o
o oo
o ooo
ooo oo
oo
oo
o
oo
oo
o
o o
o
oo
o
oo
o
o
oo
o
o
o
o
o oo oooo oo
o
o
o
o o
o
o
ooo
oooooo
o
oo o
o
o o
o
o
oo
o
o
ooo
ooo oo
o
o
o
oo oo
oo o
o o o
o
o
oo
oo
oo ooo oo
o
o ooo ooo o
o
oooo o
oo
o o
o
o
oo
o o
oo
o
o
ooo
o
o
o
o
oo
o
o
o o
o
oo oo
oo
oo
oo
o
o
oo
oo
oo
oo
o
o
o
oo oooo
o o
o
o
o
o
ooo
o o
oo
o
oo
o
o o
oo
o
ooo
oo
o o
oo
oo
oo o
oo oo
o
o
o
oo o
o o
o
o oo
ooo oo
o oo
o
oo
ooo
oo
oo
o
o
o
ooooo
o
o
o
ooo o
o
oo o
o
o
oo o
o o
o o
oo
o
ooo o
o o
o
o o oo
o
ooo
o
o
oo
o o
o
o oo
o
oo
oo
o
o o
o
oo o
o
oo ooo
o oo
oo
o
oo
oo
oo
o
oo
o
o oooo
o
o
o o
oo
oo
o
o
ooo o
o
ooo
o
o
oo
o
o
o
o
oo
oo
ooooooo
ooo
o
o
o
o
oo oo
o
ooo
o
o
o
o
o
oo
o
oooooo
o
o
o
o
o
o ooo o
o
o
o
o
o
o
o
o ooo
oo
oooooo
oo
o oo oo oooo oo
oooo
ooo
ooo
oooo
ooo oo
oo
oo
o
oo
oo
o
oo
o
o o
o
oo
o
o
o o
o
o
o
o
ooooooooo
o
o
o
oo
o
o
oo o
ooo ooo
o
oo o
o
oo
o
o
oo
o
o
ooo
o oooo
o
o
o
oo oo
ooo
ooo
o
o
oo
oo
ooo o ooo
o
oooo oooo
o
o ooo o
oo
oo
o
o
oo
o o
oo
o
o
o oo
o
o
o
o
oo
o
o
oo
o
oooo
oo
oo
o o
o
o
oo
o o
oo
oo
o
o
o
ooo oo o
oo
o
o
o
o
ooo
oo
oo
o
o o
o
o o
o o
o
ooo
oo
o o
oo
o o
ooo
oooo
o
o
o
oo o
o o
o
oo o
ooo oo
oo o
o
oo
o oo
oo
o o
o
o
o
ooooo
o
o
o
oooo
o
oo o
o
o
oo o
oo
oo
o o
o
o ooo
o o
o
o ooo
o
oo o
o
o
oo
oo
o
o oo
o
o o
oo
o
o o
o
ooo
o
o ooo o
o oo
oo
o
o o
oo
o o
o
oo
o
ooo oo
o
o
o o
oo
oo
o
o
oo o o
o
o o o
o
o
o o
o
o
o
o
o o
oo
oo oo o o o
o o o
o
o
o
o
oo oo
o
ooo
o
o
o
o
o
o o
o
o oo o oo
o
o
o
o
o
ooo oo
o
o
o
o
o
o
o
o ooo
o o
o ooooo
o o
o oooo oooo o o
oo oo
o o o
ooo
o o oo
o oo oo
oo
oo
o
oo
oo
o
o o
o
oo
o
o o
o
o
o o
o
o
o
o
o oo oooo oo
o
o
o
oo
o
o
oo o
oooo o o
o
oo o
o
o o
o
o
oo
o
o
oo o
oo oo o
o
o
o
o oo o
oo o
o o o
o
o
o o
oo
ooo o o oo
o
oooo ooo o
o
o ooo o
oo
o o
o
o
oo
oo
o o
o
o
o o o
o
o
o
o
oo
o
o
oo
o
o o oo
o o
oo
o o
o
o
o o
oo
o o
o o
o
o
o
oo oooo
o o
o
o
o
o
o oo
oo
o o
o
oo
o
oo
oo
o
o oo
oo
o o
oo
oo
oo o
oooo
o
o
o
ooo
oo
o
o oo
oo ooo
ooo
o
oo
oo o
o o
oo
o
o
o
ooooo
o
o
o
o o oo
o
ooo
o
o
oo o
oo
o o
oo
o
oooo
o
oooo
oo
oooo
ooooooo
ooo
oo ooo
o
o
o
ooo o
oo o
o
oo
ooo
ooo
o
o oo
o
oo o oo o
oooo o oo oo
oo
oo
o
oo o
o
o
oo
ooooo
o
ooo
o
o
oo
o
o
o oo
o
oooo
oo
oooo o
o
o
ooo o
oo
o
oo oo
oo
oo o o
oo
oo
o
oo
oo
ooo oo
o o
ooo
o oo
ooo oooo o oo
oo oo o
ooooo oo
o
ooo
o
ooo
ooo
o
o
oo
oo
oooo o
o
oo
ooo
oooo o
ooo
oooo
oo
o
o oo
o
oooo
o
o
ooo
oo oo oo
ooo ooo ooo
oo o
oo
oo ooo oo oo oo
o
oo
o
ooo
ooooo
ooo
o
o ooo
oo
ooo o
ooo
ooo
oooo
oo
o
oooo
ooo
o
oo
o o
o
oo
oo o
o
o
ooo oo oo oo
o
oo
oo
oo
ooo
o ooooo
oo o
ooo
o
o
o oo oo
oo ooo
o oooo ooo
oo
o
ooooo
oo
ooo o
o
oo
oo
o
ooo oo
o
oo
o
oo
oooo
o
oo
oo
o ooo
o
oo
o
o
o oo
ooo o
o
ooo
oo
oo
oo oooooooo
o
o
ooo
o
o
ooo
oo
oo
oo
ooo
o
o
o
ooo o
oo
ooo
oo
ooo oo o
oo o
ooo
o oo
o
o
oo
oo
ooo
o
oo
oo
o
ooo
o
oo
o
o
oooooo
oo ooooo ooo o
o
o
o
ooo
o
o
oo
oooo
o
o
o ooo
o
ooo
o
ooo
o
ooo o
oooooooo
o
ooo oo
oo
o
ooo
oooo oo
oo
oo
o
o
o
ooooooo
o o
oo
oooo
oo
ooooo o oo
oo oo
oooo
oooo
o
ooo
o
ooo
o
o oo
o
oo
oo
ooooo
o
o
o
ooo
oo
oooo
ooo
o oo
ooo
ooo
o
oooo
o
o
ooo
oo oo
oo
oooo
ooooo
ooo
oo
oooooo
oo oo o
o
o o
o
ooo
oo
ooo
oo
o
o
ooooo
o
oooooo
o
oooooooo
oo
oooo
oo
oo
oo
oo
o
oo
ooo
o
o
oooo
oo ooo
o
oo
o o
oo
oooo oo
oo
ooo
ooo
o o
o
o o ooo
oooo
o
ooo
oo
ooo
oo
o
ooo
o ooo
ooo o
o
oo
oo
o
ooo oo
o
oo
o
oo
ooo o
o
oo
oo
ooo
oo
oo
o
oo o
o
oo
ooo
ooooo
oo
oooooooooo
o
o
ooo
o
o
ooo
oo
oo
oo
oo o
o
o
o
ooo
oo
o
ooo
oo
ooooo o
ooo
oo o
ooo
o
o
ooo o
ooo
o
oo
o oo
ooo
o
o oo
o
o oo ooo
oooooo ooooo
oo
o
ooo
o
o
o
o
oooo o
o
ooo
o
o
oo
o
o
ooo
o
ooo o
o oooooo
o
o
oooo
oo
o
oooo
oooooo
o
o
oo
o
o
o
oo
o oooo
o o
oo
o
ooo
ooooooo ooo
oo ooooooo o oo
o
oo oo
ooo
oooo
o
oo
oo
ooooo
o
o
o
ooo
oo
oo oo
oooo o
o
oo
o
ooo
o
o ooo
o
o
ooo
o ooooooo
ooooo
ooooo
oo
ooo oo ooo oo o
o
o o
o
ooo
oo
o oo
oo
o
o
o oo
o o o
ooooooo
ooo o
oo o
oo
o
oo
oooo
oo
ooo
o
o
oo
ooo
o
o
oo oooooo
o
o
o o
oo
ooo o
oooo o
oooo
oo o
oo
o
oooo
oooo
o
o
oo oooo oo
oo
o
ooo
ooo
ooo
oo
o
o o
ooo
ooooo
o
oo
o
oo
o ooo
o
oo
oo
oooo o
o
o
o
o
o oo
oo
ooo
ooo
oooo
ooooo
oo
ooo
o
o
ooo
o
o
oo
o
ooo
ooo
ooo
o
o
o
oo o
ooo
o ooooooo ooo
ooo
ooo
oo
o
o
o
oooo
ooo
o
oo
ooo
ooo
o
ooo
o
o ooo
oooooo oo oooo
oo
oo
ooo
o
o
o
o
ooo oo
o
ooo
o
o
oo
o
o
oooo
ooooo o
ooo
ooo
o
ooo oo
oo
o
oo ooooooo
o
o
oo
o
o
o
ooo oo oo
oo
ooo
oo o
ooooooo ooo
oooooooooo oo
oo
ooo
ooo
o
ooo
o
oooo
oo ooo
o
o
o
o ooo
ooo ooo oo ooo
oo
o
ooo
o
oooo
o
o
o ooo
oo ooooooooo oooo oo
oo
o ooooo
oo ooo
o
oo
o
ooo
oo
ooo
ooo
o
ooo
oo
o
oooooo
o
oooooooo
oo
oooo
oo
oo
oo
oo
o
oo
oo o
o
o
o oooo oooo
o
o o
oo
oo
oooo ooo
ooo o
ooo
oo
o
oo oo
o
ooo
o
o
oooooooo
ooo
ooo
ooo
oo o
oo
o
oo
oo
o
ooo oo
o
oo
o
oo
o oooo
oo
oooo
ooo
oo
o
oooo
oooo
o
ooo
oo
oo
oooo
ooo
ooo
o
o
ooo
o
o
ooo
oo o
ooo
ooo
o
o
o
obesityo
ooo
oo
ooo
oo
oooooo
ooo
ooo
ooo
o
o
oo
o oooo
o
oo
oo
o
ooo
o
ooo
o
oooo
oo ooooooo ooo oo
oo
ooo
o
o
oo
ooo o
o
o
o oo
o
o
oo
o
o
o oo
o
oooo
oooooo o
o
o
oooooo
o
o
oo oo
ooooo
oo
oo
o
oo
oo
ooooo
oo
oo
oooo
ooooooo ooo
oo oo
oooo
oooo
o
oooo
ooo
oooo
o
oo
oo
oo ooo
o
o
o
ooo
oo
o oooo o
oo oo
oo
o
ooo
o
oooo
o
o
ooo
oo ooo oooo oooo
oooo o
oo
ooooo o
ooooo
o
o o
o
ooo
ooooooo
o
o
oooo
oo
oo o ooo
o
oooo
oooo
oo
ooo
oo
o
oo
oo
oo
o
oo
ooo
o
o
ooooo oo oo
o
oo
oo
oo
oooo o oo
o ooo
ooo
oo
oooo oo
oo o
o
o
oooo
ooo ooo
o
oo o
oo
oo oo
oo
o
oo
oo
o
oo ooo
o
oo
o
oo
oooo
o
oo
oo
o oooo
o
o
o
o
o oo
oo
ooo
ooo
oooo
ooooooo
ooo
o
o
ooo
o
o
ooo
oo ooo
o
oo o
o
o
o 1525
3545
ooo
oo
o
o ooo
oooo ooo
ooo
oo o
ooo
o
o
o ooo
oo o
o
oo
oo
o
ooo
o
oo
o
o
o o ooo o
oo oo oo o oo
oo
oo
o
oo o
o
o
oo
oooo
o
o
ooo
o
o
oo
o
o
ooo
o
oo o o
o oo
ooo oo
o
ooo o
oo
o
o
o oo
oooo oo
oo
oo
o
o
o
oo
o oooo
oo
oo
o
ooo
oo
ooooo o oo
oo oo o
o oo oooo
o
oo o
o
ooo
oo oo
o
oo
oo
oo ooo
o
o
o
ooo
oo
oo oo
ooo
o oooo
o
oo
o
o
oooo
o
o
ooo
oo o oo
ooo
ooo oo
ooooo
oo
oooo
ooo ooo o
o
o o
o
oo o
oo
ooo
oo
o
o
o oo
ooo
oo o o
ooo
oooo
ooo
oo
o
ooo
o oo
oo
oo
oo
o
oo
oo o
o
o
ooooo oo o
o
o
o o
o o
oo
o ooo
o oooo
o oo
o oo o
o
o oooo
ooo
oooo
ooo
oooo
oo
ooo
oo
oo
oo
o o
o
oo
oo
o
ooooo
o
oo
o
oo
o oooo
ooo
ooo
oo o
o
o
o
o
o oo
ooo oo
ooo
o oo
o
oooooooo o o
o
o
ooo
o
o
oo
o
oo o
oo
o
ooo
o
o
o
050
100
o
ooo
o
oooo o
o
oo oo
ooo
o
oo o
ooooooooo
ooo o
oo
ooo
o ooo
oo oo
o
ooo
o
oo
o
ooo o ooo
oo
o
ooooo
o
o
oooooo
o
o ooo
o
o
o ooooooo ooo
ooo
o oooo
o
ooooo oo o
o
ooo
ooooo
o o
o ooo
oo
o
oo
o
ooooo ooo
oo oo
ooo oooo
oo
o
o
oo
o
o
ooooo
oo
o ooo ooooooo o
oo
oo
o oooo ooo oooo
ooo
oo
oo
o
ooo
oo
oo
o oo oooo
oo oo
ooo
ooo o
o
ooo
o
oooo
oo
o
o
oooo ooo
o
o oo
oooo
o o
ooooooo oo oooo oo o o
oooo
o
oo
o
ooooooo o
o
oo
oo
o
ooo oooo
oo
oo
o
o
oo
o
o
oo
oo
o
o
ooo oooo oo
oo
ooo
o
o
o
o
oo
ooo
o
ooo ooo
oo
o
oo
oo
oooo o
oo
ooo oo
o
oo
o
o
o
o
o
oo
o
oo
o
ooo
o oo o
oooo o
o
o
ooo
oooo
o
o
oo ooo
oo
oo
ooo
o
o
o
ooo
oo
oooo oo oooooooo
o
o
o
oooo
o
oo
o
o o
o
o ooo o
o
o
ooo
o
ooooo
o
ooo oo o
o
o
oo
ooo ooo
oooo
o ooo
oooo
ooooo
o ooo
o
ooo
o
oo
o
oooooo
ooo
o
oo
oooo
o
oooooo
o
o oo oo
o
ooooooo oooo
o oo
ooooo
o
ooooo ooo
o
o oo
ooooo o o
ooo
ooo
o
oo
o
ooooo o
oo
oooooo ooooo
oo
o
o
oo
o
o
oooo o
oo oooooo oooo oo
o oo o
o ooo
oooooooo
ooo
o
o
oo
o
oo
oo
o
ooooo o
ooo oooo oo
oo
ooo
o
ooo
o
oooo
ooo
o
o ooo oo o
o
o o o
o ooo
oo
ooo
oooo oo o
ooooo ooooooo
o o
o
ooooo
ooo
o
oooo
o
oo oooooo
o
oo
oo
oo
oo
oo
oo
o
oooo
ooo oooo
o oo
oo
o
o
o
oo
ooo
o
ooo o ooo
o
ooo
oo
ooo
ooo
o
oo oo o
o
oo
o
o
o
o
o
oo
o
oo
o
oo o
o o
oooo
oo o
oo
o oo
oooo
o
o
oo oo oo o
oo
ooo
o
o
o
ooo
oo
ooooooooooo ooo
o
o
o
oooo
o
oo
o
oo
o
ooooo
o
o
ooo
o
oooo o
o
ooooo o
o
o
ooo
ooo oooo oooooo
o oo
ooooo
ooo oo
o
o oo
o
oo
o
ooooo oo
oo
o
oo o
ooo
o
ooo ooo
o
ooooo
o
ooooooo o oo
o
o oo
ooooo
o
oooo ooo o
o
oooo
oooo
oo
ooo
oo
o
o
oo
o
ooooo o
oo
ooo
oooo oooo
oo
o
o
oo
o
o
o ooo o o
o oooooo ooo
ooooo
oo
o ooooooo
ooooo oo
o
o
ooo
ooo
oo
oo
oo o oo oo
oo oooo
oo
ooo
o
ooo
o
oooo
ooo
o
ooooo oo
o
oo o
ooo
oo o
ooo
ooo ooo oooo oo o o oooo
o
oo
o
ooo oo
o ooo
oo
oo
o
oo oo ooo
oo
oo
o
o
oo
oo
oooo
o
o
oooo oooo
oo
oo o
oo
o
o
o
oo
ooo
o
oo oooo
o
o
oo
o
ooooo
ooo
o
oooo o
o
oo
o
o
o
o
o
oo
o
oo
o
oo ooo
o ooooo o
oo
oooo
o ooo
o
oo oo
oo o
oo
o oo
o
o
o
ooo
oo
oooo ooooo ooo oo
o
o
o
o oo o
o
oo
o
oo
o
o ooo oo
o
o oo
o
oo ooo
o
ooo o
ooo
o
oooooo oo
ooo
oo ooo
ooo
oooooo
oo oo
o
o ooo
oo
o
ooo oo oo
oo
o
oo oooo
o
oooo oo
o
oo ooo
o
o ooooooooo
ooo
ooo ooo
o
ooooo oo o
o
ooo
ooooooo
ooooo
o
o
oo
o
oo oo oo
oo
ooo
oo
oooooo
oo
o
o
ooo
oooooo ooooooo ooooooo oo
oo
oooooo ooo
ooo
o oo
oo
ooo
o o
oo
o
oooooo
ooooo oo
ooo
oo
oo
o
ooo
o
oooo
oo
o
o
o oo ooo o
o
oo o
oooo
o o
o ooooooooooo ooo ooooo
oo
oo
o
oooooooo
o
oooo
o
oooo oooo
o
oo
o
o
oo
oo
oo
oo
o
oo
ooo ooooo o
ooooo
o
o
o
oo
ooo
o
oo oo oooo
oo
o
oo
oooooo
o
o ooo o
o
oo
o
o
o
o
o
oo
o
oo
o
ooo
o o
oooooo o
oo
ooo
ooo oo
o
ooooo
oo
oo
ooo
o
o
o
ooo
oo
oooooo oo ooooo o
o
o
o
oo oo
o
oo
o
oo
o
ooooo
o
o
ooo
o
oooo o
o
oooo
ooo
o
ooo
o ooo oo
oooo
ooo
oo
oo
oooo
oooo o
o
oooo
oo
o
ooooooooo
o
oo oooo
o
o oo ooo
o
o oooo
o
o oo oo ooo o
oooo
oo o ooo
o
oooo ooo o
o
ooo
ooo oo
ooooooo
o
o
oo
o
oooo
ooo
oo
ooo oo
ooooo
oo
o
o
oo
o
o
oooo oo
o oooo oo ooo oo ooo
oo
o ooooo oo
ooo o
ooo
oo
ooo
oo
oo
o
oo
ooo oooo oo oo
ooo
oo
oo
o
ooo
o
ooooooo
o
oooooo o
o
ooo
oo oo
o o
o ooo
ooooo o
o oooo oooo oo
o
oo
o
o oooo
oo o
o
oo
oo
o
oo o ooooo
o
oo
o
o
oo
oo
oo
oo
o
oo
oooooo oooo
oo
oo
o
o
o
oo
ooo
o
oo oooo
oo
oo
o
ooo
oooo
oo
ooo oo
o
oo
o
o
o
o
o
oo
o
oo
o
oo o
oo
o oo o
oo o
oo
ooo
oo oo
o
o
oooo
oo o
oo
ooo
o
o
o
ooo
o
o
o ooo oooo oooo oo
o
o
o
o ooo
o
oo
o
oo
o
oooo o
o
alcoholo
ooo
o
oo oo o
o
ooo ooo
o
o
ooo
o ooo oo
o ooo
oo o
o oo
oo
oooo
o o oo
o
o oo
o
oo
o
o oo oo oo
oo
o
oo ooo o
o
o o o ooo
o
o oooo
o
ooo oo oo o o oo
o oo
oo ooo
o
ooooo oo o
o
ooo
oo oo o
oooo
o oo
o
o
oo
o
oooo oo
oo
ooo
oo
oooooo
o
o
o
o
oo
oo
o ooo ooo ooo o
oooooo oo
o oo
o
o ooooo oo
oooo
o oo
oo
o oo
ooooo
ooo oo o
ooo oo o oo oo
o
o
oo
o
ooo
o
o ooo
ooo
o
o oooooo
o
o oo
o oo
ooo
oo oo
ooo oo oooo o o ooooo
oo
oo
o
ooooo
oo o
o
oo
oo
o
ooo oooo
oo
oo
o
o
oo
o
o
oo
oo
o
oooo
o oo o oo
oo oo
oo
o
o
o
oo
oo o
o
o oo oooo
o
o
oo
oo
ooo
o o
oo
o o oo o
o
oo
o
o
o
o
o
oo
o
oo
o
o oo
o o
o ooo
oo o
o
o
ooo
ooooo
o
oo ooo
oo
oo
ooo
o
o
o
ooo
o
o
oooooooooo o ooo
o
o
o
o ooo
o
oo
o
oo
o
ooooo
o
100 160 220
o
o
o
oooo
o
o
oo
o
o o
ooo
ooo
o
oo
oo
oo
ooo
o o
o
oo
oo
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oooo
o
oo
o
oo
oo o
oo
ooo
o
oo
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
oo
o
o
o
o
o
o
oo
o
o
o
oo
oooo
o
o
o
o
oo
o
o o
o
o
o
o oo
oo
ooo
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
ooo
o
oo
o oo
o
oo
o
o
o
oo
oo
o
oooo
o
o
oo
oo
oo
o
o
o ooo
oo
o
o
o
o
oo
o
o
o
o
o
o
oo
o
o
oo
oo
o o
oo o
o
o
ooo
oooo ooo
o
o
o
ooo
o
oo
o
oo
o
o
o
oo
o
o
oo
o
o
o
oo o
o
oo
o
oo
o
o
oooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
oo
o
oo
o
o
o
oo
o
o
o
oo
o
o
ooo
o
o
o
o
o
o
oo
oo
o
oo
oo
o
o o
oo
o
oo
o
o
o
o
ooo
o
o
oo
o
o
o
o
oo
o oo
oo
o
oo
o
o
o
o
o
o
o
ooo
o
o
ooo
o
o
o
o
oo
o
o
o
ooooo
o ooo
o o
o
o
ooo
o
oo
o
oooo
oo
o
ooo
o
oo
oo oooooo
oo
o
o
o
o
ooo
oo
o
oo
oo
o
o
o oo
o
oo
o
o
o
o
ooo
o
o
oo
o
oo
oo o
o
o o
o
ooo
ooo
oo
o
oo
o
oo
oo
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oooo
o
oo
o
oo
oo o
oo
oo o
o
oo
oo
o
o
o
o
ooo
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
o o
o
o
o
o
o
o
oo
o
o
o
oo
ooo
o
o
o
o
o
ooo
o o
o
o
o
ooo
o
o
ooo
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
oo o
o
oo
ooo
o
o
o
o
o
o
oo
ooo
oooo
o
o
oo
oo
oo
o
o
oooo
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
ooo
oo
oo oo
o
o
o
o
oo
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
ooo
o
oo
o
oo
o
o
oooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
o o
o
oo
o
o
o
oo
o
o
o
oo
o
o
ooo
o
o
o
o
o
o
oo
oo
o
oo
o o
o
oo
oo
o
oo
o
o
o
o
o ooo
o
oo
o
o
o
o
oo
ooo
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
oo
o
o
o
o
oo
o
o
o
oo
o oo
oooo
oo
o
o
ooo
o
oo
o
ooo o
oo
o
o
oo
o
oo
oooooooo
oo
o
o
o
o
ooo
oo
o
oo
oo
o
o
oooo
oo
2 6 10 14
o
o
o
o
oo
o
o
o
oo
o
oo
oo o
ooo
o
oo
oo
oo
oo
o
o o
o
oo
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oooo
o
o
o
o
oo
ooo
oo
ooo
o
oo
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
oo
ooo
o
o o
o
o
oo
o
o
o
o
o
o
oo
o
o
o
o
o
ooo
o
o
o
o
o
ooo
o o
o
o
o
ooo
o
o
ooo
oo
o
o
o
o
oo
o
o
oo
o
oo
o
o
oo
o
o
oo o
o
oo
oo oo
oo
o
o
o
oo
oo
o
oooo
o
o
oooo
oo
o
o
ooo o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
ooo
ooooo oo
o
o
o
oo
o
o
oo
o
oo
o
o
o
o o
o
o
o
o
o
o
o
oo o
o
oo
o
oo
o
o
ooo o
o
o o
o
o
oo
oo
ooo
o
oo
o
oo
o
oo
o
o
o
oo
o
o
o
ooo
o
ooo
o
o
o
o
o
o
oo
o o
o
o o
ooo
oo
oo
o
oo
o
o
o
o
ooo
o
o
oo
o
o
o
o
oo
oo
ooo
o
oo
o
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
oo
o
o
o
oo
o oo
o o oo
oo
o
o
ooo
o
oo
o
oooo
oo
o
oo o
o
oo
oo ooooo o
oo
o
o
o
o
ooo
o o
o
oo
oo
o
o
o ooo
oo
o
o
o
ooo
o
o
o
oo
o
oo
oooooo
o
oo
oo
oo
o oo
oo
o
oo
oo
o
o
o
oo
o
o
o
o
o
o
o
o
ooo
o
oo
o
o
o
o
oo
o
o
o
o
oooo
o
o
o
o
oo
o oo
oo
o oo
o
oo
oo
o
o
o
o
ooo
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
oo
o
oo
o
o
o
oo
oo
o
oo
ooo
o
o
o
o
o
o oo
oo
o
o
o
ooo
oo
ooo
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
o oo
o
oo
oooo
oo
o
o
o
oo
ooo
oo oo
o
o
oo
oo
oo
o
o
oo oo
ooo
o
o
o
oo
o
o
o
o
o
o
oo
o
o
ooo
o
oo
o
o o
o
o
o oo
ooo oo
oo
o
o
o
ooo
o
o
o
o
o o
o
o
o
oo
o
o
o
o
o
o
o
ooo
o
oo
o
o
o
o
o
oooo
o
oo
o
o
oo
oo
ooo
o
oo
o
oo
o
o o
o
o
o
ooo
o
o
oo
o
o
o oo
o
o
o
o
o
o
oo
oo
o
oo
oo
o
oo
oo
o
oo
o
o
o
o
oooo
o
o o
o
o
o
o
oo
oo
ooo
o
o
o
o
o
o
o
o
o
o
ooo
o
o
oo
o
o
o
o
o
oo
o
o
o
oo
ooo
oooo
oo
o
o
ooo
o
oo
o
oooo
ooo
oo o
o
oo
oooo oo oo
ooo
o
o
oo oo
oo
o
oo
oo
o
o
oooo
oo
15 25 35 45
o
o
o
oo
oo
o
o
oo
o
oo
ooo
ooo
o
oo
oo
oo
oo
o
oo
o
oo
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooo
o
oo
oo
o
o
o
o
o
o
o
o
oooo
o
o
o
o
oo
ooo
oo
ooo
o
oo
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
ooo
o
o o
o
o
oo
o
o
o
o
o
o
oo
o
o
o
o
o
o ooo
o
o
o
o
ooo
oo
o
o
o
ooo
oo
oo
o
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
oo o
o
oo
ooo
o
oo
o
o
o
oo
o
o
o
ooo o
o
o
ooo o
oo
o
o
oo oo
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
ooo
o
o
ooo
oooo
oo
o
o
o
o
ooo
o
oo
o
o o
o
o
o
oo
o
o
o
o
o
o
o
ooo
o
o o
o
oo
o
o
o ooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
oo
o
o o
o
o
o
oo
o
o
o
ooo
o
o oo
o
o
o
o
o
o
oo
oo
o
oo
oo
o
oo
oo
o
oo
o
o
o
o
oooo
o
oo
o
o
o
o
oo
oo
oo o
o
o
o
o
o
o
o
o
o
o
oo
oo
o
ooo
o
o
o
o
o o
o
o
o
oo
oo o
oo oo
oo
o
o
o oo
o
oo
o
oooo
oo
o
o
o o
o
o o
oo oooo oo
oo
o
o
o
o
ooo
oo
o
oo
o
o
o
o
oooo
oo
o
o
o
oo
oo
o
o
oo
o
oo
ooo
ooo
o
oooooo
ooo
o o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
oo
oo
o
o
o
o
o
o
o
o
oooo
o
oo
o
oo
oo o
oo
oo o
o
oo
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
o o
o
o
o
o
o
o
oo
o
o
o
o
o
oo o o
o
o
o
o
oo
o
oo
o
o
o
ooo
o
o
ooo
oo
o
o
o
o
o o
o
o
ooo
oo
o
o
ooo
o
ooo
o
oo
oooo
oo
o
o
o
oo
oo
o
oooo
o
o
o ooo
oo
o
o
oo oo
ooo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
ooo
o
o o
o
oo
o
o
ooo
oooo
ooo
o
o
o
ooo
o
oo
o
oo
o
o
o
oo
o
o
oo
o
o
o
ooo
o
oo
o
oo
o
o
oooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
oo
o
oo
o
o
o
oo
o
o
o
oo
o
o
ooo
o
o
o
o
o
o
oo
oo
o
oo
o o
o
o o
oo
o
oo
o
o
o
o
o oo o
o
o o
o
o
o
o
oo
ooooo
o
oo
o
o
o
o
o
o
o
oo
oo
o
ooo
o
o
o
o
oo
o
o
o
oo
ooo
ooo
o
o o
o
o
o oo
o
oo
o
oo
o o
oo
o
oo o
o
oo
oooooooo
ooo
o
o
o
ooo
oo
o
oo
oo
o
o
oo oo
oo
20 40 6020
4060
age
Scatterplot ma-trix of the SouthAfrican HeartDisease data. Theresponse is colorcoded — The cases(MI) are red, thecontrols turquoise.famhist is a binaryvariable, with 1indicating familyhistory of MI.
14 / 40
> heartfit <-glm(chd∼.,data=heart ,family=binomial)> summary(heartfit)
Call:
glm(formula = chd ∼ ., family = binomial , data = heart)
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -4.1295997 0.9641558 -4.283 1.84e-05 ***
sbp 0.0057607 0.0056326 1.023 0.30643
tobacco 0.0795256 0.0262150 3.034 0.00242 **
ldl 0.1847793 0.0574115 3.219 0.00129 **
famhistPresent 0.9391855 0.2248691 4.177 2.96e-05 ***
obesity -0.0345434 0.0291053 -1.187 0.23529
alcohol 0.0006065 0.0044550 0.136 0.89171
age 0.0425412 0.0101749 4.181 2.90e-05 ***
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 596.11 on 461 degrees of freedom
Residual deviance: 483.17 on 454 degrees of freedom
AIC: 499.17
15 / 40
Case-control sampling and logistic regression
• In South African data, there are 160 cases, 302 controls —π = 0.35 are cases. Yet the prevalence of MI in this regionis π = 0.05.
• With case-control samples, we can estimate the regressionparameters βj accurately (if our model is correct); theconstant term β0 is incorrect.
• We can correct the estimated intercept by a simpletransformation
β∗0 = β0 + logπ
1− π− log
π
1− π
• Often cases are rare and we take them all; up to five timesthat number of controls is sufficient. See next frame
16 / 40
Diminishing returns in unbalanced binary data
SLDM III c©Hastie & Tibshirani - March 7, 2013 Linear Regression 108
2 4 6 8 10 12 14
0.04
0.05
0.06
0.07
0.08
0.09
Control/Case Ratio
Coe
ffici
ent V
aria
nce
SimulationTheoretical Sampling more
controls than
cases reduces
the variance of
the parameter
estimates. But
after a ratio of
about 5 to 1
the variance re-
duction flattens
out.
Sampling morecontrols thancases reducesthe variance ofthe parameterestimates. Butafter a ratio ofabout 5 to 1the variance re-duction flattensout.
17 / 40
Logistic regression with more than two classes
So far we have discussed logistic regression with two classes.It is easily generalized to more than two classes. One version(used in the R package glmnet) has the symmetric form
Pr(Y = k|X) =eβ0k+β1kX1+...+βpkXp∑K`=1 e
β0`+β1`X1+...+βp`Xp
Here there is a linear function for each class.
(The mathier students will recognize that some cancellation ispossible, and only K − 1 linear functions are needed as in2-class logistic regression.)
Multiclass logistic regression is also referred to as multinomialregression.
18 / 40
Logistic regression with more than two classes
So far we have discussed logistic regression with two classes.It is easily generalized to more than two classes. One version(used in the R package glmnet) has the symmetric form
Pr(Y = k|X) =eβ0k+β1kX1+...+βpkXp∑K`=1 e
β0`+β1`X1+...+βp`Xp
Here there is a linear function for each class.(The mathier students will recognize that some cancellation ispossible, and only K − 1 linear functions are needed as in2-class logistic regression.)
Multiclass logistic regression is also referred to as multinomialregression.
18 / 40
Logistic regression with more than two classes
So far we have discussed logistic regression with two classes.It is easily generalized to more than two classes. One version(used in the R package glmnet) has the symmetric form
Pr(Y = k|X) =eβ0k+β1kX1+...+βpkXp∑K`=1 e
β0`+β1`X1+...+βp`Xp
Here there is a linear function for each class.(The mathier students will recognize that some cancellation ispossible, and only K − 1 linear functions are needed as in2-class logistic regression.)
Multiclass logistic regression is also referred to as multinomialregression.
18 / 40
Discriminant Analysis
Here the approach is to model the distribution of X in each ofthe classes separately, and then use Bayes theorem to flip thingsaround and obtain Pr(Y |X).
When we use normal (Gaussian) distributions for each class,this leads to linear or quadratic discriminant analysis.
However, this approach is quite general, and other distributionscan be used as well. We will focus on normal distributions.
19 / 40
Bayes theorem for classificationThomas Bayes was a famous mathematician whose namerepresents a big subfield of statistical and probablistic modeling.Here we focus on a simple result, known as Bayes theorem:
Pr(Y = k|X = x) =Pr(X = x|Y = k) · Pr(Y = k)
Pr(X = x)
One writes this slightly differently for discriminant analysis:
Pr(Y = k|X = x) =πkfk(x)∑Kl=1 πlfl(x)
, where
• fk(x) = Pr(X = x|Y = k) is the density for X in class k.Here we will use normal densities for these, separately ineach class.
• πk = Pr(Y = k) is the marginal or prior probability forclass k.
20 / 40
Bayes theorem for classificationThomas Bayes was a famous mathematician whose namerepresents a big subfield of statistical and probablistic modeling.Here we focus on a simple result, known as Bayes theorem:
Pr(Y = k|X = x) =Pr(X = x|Y = k) · Pr(Y = k)
Pr(X = x)
One writes this slightly differently for discriminant analysis:
Pr(Y = k|X = x) =πkfk(x)∑Kl=1 πlfl(x)
, where
• fk(x) = Pr(X = x|Y = k) is the density for X in class k.Here we will use normal densities for these, separately ineach class.
• πk = Pr(Y = k) is the marginal or prior probability forclass k.
20 / 40
Classify to the highest density
−4 −2 0 2 4
π1=.5, π2=.5
−4 −2 0 2 4
π1=.3, π2=.7
We classify a new point according to which density is highest.
When the priors are different, we take them into account aswell, and compare πkfk(x). On the right, we favor the pinkclass — the decision boundary has shifted to the left.
21 / 40
Classify to the highest density
−4 −2 0 2 4
π1=.5, π2=.5
−4 −2 0 2 4
π1=.3, π2=.7
We classify a new point according to which density is highest.
When the priors are different, we take them into account aswell, and compare πkfk(x). On the right, we favor the pinkclass — the decision boundary has shifted to the left.
21 / 40
Why discriminant analysis?
• When the classes are well-separated, the parameterestimates for the logistic regression model are surprisinglyunstable. Linear discriminant analysis does not suffer fromthis problem.
• If n is small and the distribution of the predictors X isapproximately normal in each of the classes, the lineardiscriminant model is again more stable than the logisticregression model.
• Linear discriminant analysis is popular when we have morethan two response classes, because it also provideslow-dimensional views of the data.
22 / 40
Linear Discriminant Analysis when p = 1
The Gaussian density has the form
fk(x) =1√
2πσke− 1
2
(x−µkσk
)2
Here µk is the mean, and σ2k the variance (in class k). We willassume that all the σk = σ are the same.
Plugging this into Bayes formula, we get a rather complexexpression for pk(x) = Pr(Y = k|X = x):
pk(x) =πk
1√2πσ
e− 1
2
(x−µkσ
)2
∑Kl=1 πl
1√2πσ
e− 1
2
(x−µlσ
)2
Happily, there are simplifications and cancellations.
23 / 40
Linear Discriminant Analysis when p = 1
The Gaussian density has the form
fk(x) =1√
2πσke− 1
2
(x−µkσk
)2
Here µk is the mean, and σ2k the variance (in class k). We willassume that all the σk = σ are the same.
Plugging this into Bayes formula, we get a rather complexexpression for pk(x) = Pr(Y = k|X = x):
pk(x) =πk
1√2πσ
e− 1
2
(x−µkσ
)2
∑Kl=1 πl
1√2πσ
e− 1
2
(x−µlσ
)2
Happily, there are simplifications and cancellations.
23 / 40
Discriminant functions
To classify at the value X = x, we need to see which of thepk(x) is largest. Taking logs, and discarding terms that do notdepend on k, we see that this is equivalent to assigning x to theclass with the largest discriminant score:
δk(x) = x · µkσ2−
µ2k2σ2
+ log(πk)
Note that δk(x) is a linear function of x.
If there are K = 2 classes and π1 = π2 = 0.5, then one can seethat the decision boundary is at
x =µ1 + µ2
2.
(See if you can show this)
24 / 40
Discriminant functions
To classify at the value X = x, we need to see which of thepk(x) is largest. Taking logs, and discarding terms that do notdepend on k, we see that this is equivalent to assigning x to theclass with the largest discriminant score:
δk(x) = x · µkσ2−
µ2k2σ2
+ log(πk)
Note that δk(x) is a linear function of x.
If there are K = 2 classes and π1 = π2 = 0.5, then one can seethat the decision boundary is at
x =µ1 + µ2
2.
(See if you can show this)
24 / 40
−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4
01
23
45
Example with µ1 = −1.5, µ2 = 1.5, π1 = π2 = 0.5, and σ2 = 1.
Typically we don’t know these parameters; we just have thetraining data. In that case we simply estimate the parametersand plug them into the rule.
25 / 40
−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4
01
23
45
Example with µ1 = −1.5, µ2 = 1.5, π1 = π2 = 0.5, and σ2 = 1.
Typically we don’t know these parameters; we just have thetraining data. In that case we simply estimate the parametersand plug them into the rule.
25 / 40
Estimating the parameters
πk =nkn
µk =1
nk
∑i: yi=k
xi
σ2 =1
n−K
K∑k=1
∑i: yi=k
(xi − µk)2
=
K∑k=1
nk − 1
n−K· σ2k
where σ2k = 1nk−1
∑i: yi=k
(xi − µk)2 is the usual formula for theestimated variance in the kth class.
26 / 40
Linear Discriminant Analysis when p > 1
x1x1
x 2x 2
Density: f(x) =1
(2π)p/2|Σ|1/2e−
12(x−µ)TΣ−1(x−µ)
Discriminant function: δk(x) = xTΣ−1µk −1
2µTkΣ
−1µk + log πk
Despite its complex form,δk(x) = ck0 + ck1x1 + ck2x2 + . . .+ ckpxp — a linear function.
27 / 40
Linear Discriminant Analysis when p > 1
x1x1
x 2x 2
Density: f(x) =1
(2π)p/2|Σ|1/2e−
12(x−µ)TΣ−1(x−µ)
Discriminant function: δk(x) = xTΣ−1µk −1
2µTkΣ
−1µk + log πk
Despite its complex form,δk(x) = ck0 + ck1x1 + ck2x2 + . . .+ ckpxp — a linear function.
27 / 40
Linear Discriminant Analysis when p > 1
x1x1
x 2x 2
Density: f(x) =1
(2π)p/2|Σ|1/2e−
12(x−µ)TΣ−1(x−µ)
Discriminant function: δk(x) = xTΣ−1µk −1
2µTkΣ
−1µk + log πk
Despite its complex form,δk(x) = ck0 + ck1x1 + ck2x2 + . . .+ ckpxp — a linear function.
27 / 40
Illustration: p = 2 and K = 3 classes
−4 −2 0 2 4
−4
−2
02
4
−4 −2 0 2 4
−4
−2
02
4
X1X1X
2
X2
Here π1 = π2 = π3 = 1/3.The dashed lines are known as the Bayes decision boundaries.Were they known, they would yield the fewest misclassificationerrors, among all possible classifiers.
28 / 40
Fisher’s Iris Data
4 variables3 species50 samples/class
• Setosa• Versicolor• Virginica
LDA classifies allbut 3 of the 150training samplescorrectly.
Sepal.Length
2.0 3.0 4.0
●●
●●
●
●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●● ●
●●
●●
●●
●
●●
●
●
●
●●
● ●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●● ●
●
●
●●
●
●
●●
●●
●●
● ●
●
●●●
●●
●
●
●
●
●●●
●
●
●
● ●●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
● ●
●●
●●
●
●
●
●
●
●
●
● ●
●
●●
●
●●●
●
●●
●
●●●
●
●●●
●●
●
●
●●●●
●
●
●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
●
●
●●●●●
●●
●●
●
●●
●
●
●
●●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●● ●
●
●
●●
●
●
●●
●●
●●
●●
●
●●●
●●
●
●
●
●
●● ●
●
●
●
●●●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●●
●●
●●
●
●
●
●
●
●
●
●●
●
●●
●
●●●
●
●●
●
●●
●
●
●●●
●●
●
●
0.5 1.5 2.5
4.5
5.5
6.5
7.5
●●●●
●
●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●● ●●●
●●
●●
●
●●
●
●
●
●●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●● ●
●
●
●●
●
●
●●
●●
●●● ●
●
●●●
●●
●
●
●
●
●●●
●
●
●
●●●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
● ●
●●
●●
●
●
●
●
●
●
●
●●
●
●●
●
●●●
●
●●
●
●●
●
●
● ●●
●●
●
●
2.0
3.0
4.0
●
●
●●
●
●
● ●
●
●
●
●
●●
●
●
●
●
●●
●
●●
●●
●
●●●
●●
●
●●
●●
●●
●
●●
●
●
●
●
●
●
●
●
●●●
●
●
●●
●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●
●
●●
●
●●
●●
●
●
●
●
●
●●
●
●
●
●
●● ●
●
●
●
●
●●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●●
●●
●
●
●
●
●
●
●●
●
●
●
●●
●●●
●
●●
●
●
●
●
●Sepal.Width
●
●
●●
●
●
●●
●
●
●
●
●●
●
●
●
●
●●
●
●●
●●
●
●●●
●●
●
●●
●●
●●
●
●●
●
●
●
●
●
●
●
●
●●●●
●
●●
●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●●●
●
●●
●
●●
● ●
●
●
●
●
●
●●
●
●
●
●
●●●
●
●
●
●
●●● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●●
●●
●
●
●
●
●
●
●●
●
●
●
●●
●●●
●
●●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●
●
●
●●
●
●●
●●
●
●●●
●●
●
●●
●●
●●
●
●●
●
●
●
●
●
●
●
●
●●●
●
●
●●
●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●
●
●●
●
●●
● ●
●
●
●
●
●
●●
●
●
●
●
●●●
●
●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●●
●
●
●
●
●
●
●●
●
●
●
●●
● ●●
●
●●
●
●
●
●
●
●●●● ●
●● ●● ● ●●
●● ●
●●●
●●
●●
●
●●
●●●●●● ●● ●●
● ●●●●
●●●●●
●●
● ●●
●●
●
●
●●●
●
●
●●
●●
●
●
●●●
●
●
●
●
●●
●●●
●
●
●●●
●
●
● ●●
●●●
●●
●
●
●●● ●
●
●
●
●
●●
●
●
●
●
●●
●●
●
●●●●
●●
●
●
●
●
●
●●
●●
●●
●●
●
●
●
●
●●
●
●●
●●
●●
●●
●●
●
●● ●● ●
●●●● ● ●●
●● ●
●●●
●●
●●
●
●●
● ●●●●● ● ●●●● ●●●
●●● ●●
●
●●
● ●●
●●
●
●
●●●
●
●
●●
●●
●
●
●●●
●
●
●
●
●●
●●●
●
●
●●●
●
●
● ●●
●●●
●●
●
●
● ●●●
●
●
●
●
●●
●
●
●
●
●●
●●
●
● ●●
●
●●
●
●
●
●
●
●●
● ●
●●
●●
●
●
●
●
●●
●
●●
●●
●●
●●
●●
●
Petal.Length
12
34
56
7
●●●●●
●●●●●●●●
●●●●●
●●
●●
●
●●● ●●●●● ●●●●●●
●●●
●●●●
●
●●●●●
●●●
●
●●●
●
●
●●
●●
●
●
●●●
●
●
●
●
●●
●●●
●
●
●●●
●
●
●●●
●●●
●●
●
●
●●●●
●
●
●
●
●●
●
●
●
●
●●
●●
●
● ●●
●
●●
●
●
●
●
●
●●
●●
●●
●●
●
●
●
●
●●
●
●●
●●
●●
●●
●●
●
4.5 5.5 6.5 7.5
0.5
1.5
2.5
●●●● ●
●●
●●●
●●●●
●
●●● ●●
●
●
●
●
●●
●
●●●●
●
●●●● ●
●● ●
●●●
●
●●
●● ●●
●● ●
●
●
●
●
●
●●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●●
●
●
●●●
●
●●
●●
●●●●
●
●
●
●●● ●
●
●
●
●
●
●
●●
●●●
●
●●
●●
●●
●
●●
●
●
● ●
●
●
●●●
●
●
●●
●
●●
●●
●●
●
●●
●
●
●
●
●●
●
●
●● ●● ●
●●●●
●●●
●●●
●●● ●●
●
●
●
●
●●
●
●●●●
●
●●●● ●
●● ●
●●●
●
●●
●● ●●
●●●
●
●
●
●
●
●●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●●
●
●
●●●
●
●●
●●
● ●●●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●●●
●
●●
●●
●●
●
●●
●
●
●●
●
●
●● ●
●
●
●●
●
●●
●●
●●
●
●●
●
●
●
●
●●
●
●
1 2 3 4 5 6 7
●●●●●
●●●●●●●●●
●
●●●●●
●
●
●
●
●●
●
●●●●
●
●●●●●●●●●●●
●
●●●●●●
●● ●
●
●
●
●
●
●●
●
●
●
●●
●●
●
●
●
●
●
●
●●● ●
●
●
●●●
●
●●●●
●●●●
●
●
●
●●●●
●
●
●
●
●
●
●●
●●●
●
●●
●●
●●
●
●●
●
●
● ●
●
●
●●●
●
●
●●
●
●●
●●
●●
●
●●
●
●
●
●
●●
●
●
Petal.Width
29 / 40
Fisher’s Discriminant Plot
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●●
●
●
●
●●●
●●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ● ●
● ●●
●
●
●●
●
●
●
●●
●
●●
● ●
●
●
●
●
●
●
●
●
●
●
●
● ●●●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
−10 −5 0 5 10
−2
−1
01
2
Discriminant Variable 1
Dis
crim
inan
t Var
iabl
e 2
●
●
●
When there are K classes, linear discriminant analysis can beviewed exactly in a K − 1 dimensional plot.Why?
Because it essentially classifies to the closest centroid,and they span a K − 1 dimensional plane.Even when K > 3, we can find the “best” 2-dimensional planefor vizualizing the discriminant rule.
30 / 40
Fisher’s Discriminant Plot
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●●
●
●
●
●●●
●●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ● ●
● ●●
●
●
●●
●
●
●
●●
●
●●
● ●
●
●
●
●
●
●
●
●
●
●
●
● ●●●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
−10 −5 0 5 10
−2
−1
01
2
Discriminant Variable 1
Dis
crim
inan
t Var
iabl
e 2
●
●
●
When there are K classes, linear discriminant analysis can beviewed exactly in a K − 1 dimensional plot.Why? Because it essentially classifies to the closest centroid,and they span a K − 1 dimensional plane.
Even when K > 3, we can find the “best” 2-dimensional planefor vizualizing the discriminant rule.
30 / 40
Fisher’s Discriminant Plot
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●●
●
●
●
●●●
●●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ● ●
● ●●
●
●
●●
●
●
●
●●
●
●●
● ●
●
●
●
●
●
●
●
●
●
●
●
● ●●●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
● ●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
−10 −5 0 5 10
−2
−1
01
2
Discriminant Variable 1
Dis
crim
inan
t Var
iabl
e 2
●
●
●
When there are K classes, linear discriminant analysis can beviewed exactly in a K − 1 dimensional plot.Why? Because it essentially classifies to the closest centroid,and they span a K − 1 dimensional plane.Even when K > 3, we can find the “best” 2-dimensional planefor vizualizing the discriminant rule.
30 / 40
From δk(x) to probabilities
Once we have estimates δk(x), we can turn these into estimatesfor class probabilities:
Pr(Y = k|X = x) =eδk(x)∑Kl=1 e
δl(x).
So classifying to the largest δk(x) amounts to classifying to the
class for which Pr(Y = k|X = x) is largest.
When K = 2, we classify to class 2 if Pr(Y = 2|X = x) ≥ 0.5,else to class 1.
31 / 40
From δk(x) to probabilities
Once we have estimates δk(x), we can turn these into estimatesfor class probabilities:
Pr(Y = k|X = x) =eδk(x)∑Kl=1 e
δl(x).
So classifying to the largest δk(x) amounts to classifying to the
class for which Pr(Y = k|X = x) is largest.
When K = 2, we classify to class 2 if Pr(Y = 2|X = x) ≥ 0.5,else to class 1.
31 / 40
LDA on Credit Data
True Default Status
No Yes Total
Predicted No 9644 252 9896Default Status Yes 23 81 104
Total 9667 333 10000
(23 + 252)/10000 errors — a 2.75% misclassification rate!
Some caveats:
• This is training error, and we may be overfitting.
Not a bigconcern here since n = 10000 and p = 4!
• If we classified to the prior — always to class No in thiscase — we would make 333/10000 errors, or only 3.33%.
• Of the true No’s, we make 23/9667 = 0.2% errors; of thetrue Yes’s, we make 252/333 = 75.7% errors!
32 / 40
LDA on Credit Data
True Default Status
No Yes Total
Predicted No 9644 252 9896Default Status Yes 23 81 104
Total 9667 333 10000
(23 + 252)/10000 errors — a 2.75% misclassification rate!
Some caveats:
• This is training error, and we may be overfitting. Not a bigconcern here since n = 10000 and p = 4!
• If we classified to the prior — always to class No in thiscase — we would make 333/10000 errors, or only 3.33%.
• Of the true No’s, we make 23/9667 = 0.2% errors; of thetrue Yes’s, we make 252/333 = 75.7% errors!
32 / 40
LDA on Credit Data
True Default Status
No Yes Total
Predicted No 9644 252 9896Default Status Yes 23 81 104
Total 9667 333 10000
(23 + 252)/10000 errors — a 2.75% misclassification rate!
Some caveats:
• This is training error, and we may be overfitting. Not a bigconcern here since n = 10000 and p = 4!
• If we classified to the prior — always to class No in thiscase — we would make 333/10000 errors, or only 3.33%.
• Of the true No’s, we make 23/9667 = 0.2% errors; of thetrue Yes’s, we make 252/333 = 75.7% errors!
32 / 40
LDA on Credit Data
True Default Status
No Yes Total
Predicted No 9644 252 9896Default Status Yes 23 81 104
Total 9667 333 10000
(23 + 252)/10000 errors — a 2.75% misclassification rate!
Some caveats:
• This is training error, and we may be overfitting. Not a bigconcern here since n = 10000 and p = 4!
• If we classified to the prior — always to class No in thiscase — we would make 333/10000 errors, or only 3.33%.
• Of the true No’s, we make 23/9667 = 0.2% errors; of thetrue Yes’s, we make 252/333 = 75.7% errors!
32 / 40
Types of errors
False positive rate: The fraction of negative examples that areclassified as positive — 0.2% in example.
False negative rate: The fraction of positive examples that areclassified as negative — 75.7% in example.
We produced this table by classifying to class Yes if
Pr(Default = Yes|Balance, Student) ≥ 0.5
We can change the two error rates by changing the thresholdfrom 0.5 to some other value in [0, 1]:
Pr(Default = Yes|Balance, Student) ≥ threshold,
and vary threshold.
33 / 40
Varying the threshold
0.0 0.1 0.2 0.3 0.4 0.5
0.0
0.2
0.4
0.6
Threshold
Err
or R
ate
Overall ErrorFalse PositiveFalse Negative
In order to reduce the false negative rate, we may want toreduce the threshold to 0.1 or less.
34 / 40
ROC Curve
False positive rate
Tru
e p
ositiv
e r
ate
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
The ROC plot displays both simultaneously.
Sometimes we use the AUC or area under the curve tosummarize the overall performance. Higher AUC is good.
35 / 40
ROC Curve
False positive rate
Tru
e p
ositiv
e r
ate
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
The ROC plot displays both simultaneously.
Sometimes we use the AUC or area under the curve tosummarize the overall performance. Higher AUC is good.
35 / 40
Other forms of Discriminant Analysis
Pr(Y = k|X = x) =πkfk(x)∑Kl=1 πlfl(x)
When fk(x) are Gaussian densities, with the same covariancematrix Σ in each class, this leads to linear discriminant analysis.By altering the forms for fk(x), we get different classifiers.
• With Gaussians but different Σk in each class, we getquadratic discriminant analysis.
• With fk(x) =∏pj=1 fjk(xj) (conditional independence
model) in each class we get naive Bayes. For Gaussian thismeans the Σk are diagonal.
• Many other forms, by proposing specific density models forfk(x), including nonparametric approaches.
36 / 40
Other forms of Discriminant Analysis
Pr(Y = k|X = x) =πkfk(x)∑Kl=1 πlfl(x)
When fk(x) are Gaussian densities, with the same covariancematrix Σ in each class, this leads to linear discriminant analysis.By altering the forms for fk(x), we get different classifiers.
• With Gaussians but different Σk in each class, we getquadratic discriminant analysis.
• With fk(x) =∏pj=1 fjk(xj) (conditional independence
model) in each class we get naive Bayes. For Gaussian thismeans the Σk are diagonal.
• Many other forms, by proposing specific density models forfk(x), including nonparametric approaches.
36 / 40
Other forms of Discriminant Analysis
Pr(Y = k|X = x) =πkfk(x)∑Kl=1 πlfl(x)
When fk(x) are Gaussian densities, with the same covariancematrix Σ in each class, this leads to linear discriminant analysis.By altering the forms for fk(x), we get different classifiers.
• With Gaussians but different Σk in each class, we getquadratic discriminant analysis.
• With fk(x) =∏pj=1 fjk(xj) (conditional independence
model) in each class we get naive Bayes. For Gaussian thismeans the Σk are diagonal.
• Many other forms, by proposing specific density models forfk(x), including nonparametric approaches.
36 / 40
Quadratic Discriminant Analysis
−4 −2 0 2 4
−4
−3
−2
−1
01
2
−4 −2 0 2 4
−4
−3
−2
−1
01
2
X1X1X
2
X2
δk(x) = −1
2(x− µk)TΣ−1k (x− µk) + log πk
Because the Σk are different, the quadratic terms matter.
37 / 40
Naive Bayes
Assumes features are independent in each class.Useful when p is large, and so multivariate methods like QDAand even LDA break down.
• Gaussian naive Bayes assumes each Σk is diagonal:
δk(x) ∝ log
πk p∏j=1
fkj(xj)
= −1
2
p∑j=1
(xj − µkj)2
σ2kj+ log πk
• can use for mixed feature vectors (qualitative andquantitative). If Xj is qualitative, replace fkj(xj) withprobability mass function (histogram) over discretecategories.
Despite strong assumptions, naive Bayes often produces goodclassification results.
38 / 40
Logistic Regression versus LDAFor a two-class problem, one can show that for LDA
log
(p1(x)
1− p1(x)
)= log
(p1(x)
p2(x)
)= c0 + c1x1 + . . .+ cpxp
So it has the same form as logistic regression.
The difference is in how the parameters are estimated.
• Logistic regression uses the conditional likelihood based onPr(Y |X) (known as discriminative learning).
• LDA uses the full likelihood based on Pr(X,Y ) (known asgenerative learning).
• Despite these differences, in practice the results are oftenvery similar.
Footnote: logistic regression can also fit quadratic boundarieslike QDA, by explicitly including quadratic terms in the model.
39 / 40
Logistic Regression versus LDAFor a two-class problem, one can show that for LDA
log
(p1(x)
1− p1(x)
)= log
(p1(x)
p2(x)
)= c0 + c1x1 + . . .+ cpxp
So it has the same form as logistic regression.
The difference is in how the parameters are estimated.
• Logistic regression uses the conditional likelihood based onPr(Y |X) (known as discriminative learning).
• LDA uses the full likelihood based on Pr(X,Y ) (known asgenerative learning).
• Despite these differences, in practice the results are oftenvery similar.
Footnote: logistic regression can also fit quadratic boundarieslike QDA, by explicitly including quadratic terms in the model.
39 / 40
Logistic Regression versus LDAFor a two-class problem, one can show that for LDA
log
(p1(x)
1− p1(x)
)= log
(p1(x)
p2(x)
)= c0 + c1x1 + . . .+ cpxp
So it has the same form as logistic regression.
The difference is in how the parameters are estimated.
• Logistic regression uses the conditional likelihood based onPr(Y |X) (known as discriminative learning).
• LDA uses the full likelihood based on Pr(X,Y ) (known asgenerative learning).
• Despite these differences, in practice the results are oftenvery similar.
Footnote: logistic regression can also fit quadratic boundarieslike QDA, by explicitly including quadratic terms in the model.
39 / 40
Logistic Regression versus LDAFor a two-class problem, one can show that for LDA
log
(p1(x)
1− p1(x)
)= log
(p1(x)
p2(x)
)= c0 + c1x1 + . . .+ cpxp
So it has the same form as logistic regression.
The difference is in how the parameters are estimated.
• Logistic regression uses the conditional likelihood based onPr(Y |X) (known as discriminative learning).
• LDA uses the full likelihood based on Pr(X,Y ) (known asgenerative learning).
• Despite these differences, in practice the results are oftenvery similar.
Footnote: logistic regression can also fit quadratic boundarieslike QDA, by explicitly including quadratic terms in the model.
39 / 40
Logistic Regression versus LDAFor a two-class problem, one can show that for LDA
log
(p1(x)
1− p1(x)
)= log
(p1(x)
p2(x)
)= c0 + c1x1 + . . .+ cpxp
So it has the same form as logistic regression.
The difference is in how the parameters are estimated.
• Logistic regression uses the conditional likelihood based onPr(Y |X) (known as discriminative learning).
• LDA uses the full likelihood based on Pr(X,Y ) (known asgenerative learning).
• Despite these differences, in practice the results are oftenvery similar.
Footnote: logistic regression can also fit quadratic boundarieslike QDA, by explicitly including quadratic terms in the model.
39 / 40
Summary
• Logistic regression is very popular for classification,especially when K = 2.
• LDA is useful when n is small, or the classes are wellseparated, and Gaussian assumptions are reasonable. Alsowhen K > 2.
• Naive Bayes is useful when p is very large.
• See Section 4.5 for some comparisons of logistic regression,LDA and KNN.
40 / 40
