Linearna regresija u

praksi

EPI 809/Spring 2008 1

PMF u Nišu 2013 2

Ocenjivanje parametara:

Metod najmanjih kvadrata

PMF u Nišu 2013 3

0

20

40

60

0 20 40 60

X

Y

Dijagram rasturanja

1. Daje nam sliku svih (Xi, Yi) parova

2. Pomaže nam da odaberemo optimalnu

fit-funkciju

PMF u Nišu 2013 4

Kako biste nacrtali pravu liniju kroz date

tačke? Kako biste odabrali onu koja

najbolje „fituje“?

0

20

40

60

0 20 40 60

X

Y

Izazov?

PMF u Nišu 2013 5

0

20

40

60

0 20 40 60

X

Y

Promenjen nagib

Isti odsečak

Izazov?

Kako biste nacrtali pravu liniju kroz date

tačke? Kako biste odabrali onu koja

najbolje „fituje“?

PMF u Nišu 2013 6

0

20

40

60

0 20 40 60

X

Y

Isti nagib

Promenjen odsečak

Izazov?

Kako biste nacrtali pravu liniju kroz date

tačke? Kako biste odabrali onu koja

najbolje „fituje“?

PMF u Nišu 2013 7

0

20

40

60

0 20 40 60

X

Y

Promenjen nagib

Promenjen odsečak

Izazov?

Kako biste nacrtali pravu liniju kroz date

tačke? Kako biste odabrali onu koja

najbolje „fituje“?

PMF u Nišu 2013 8

Najmanji kvadrati

1. „Najbolje fitovanje“ = razlika između

stvarnih i prognoziranih Y vrednosti

najmanja. Ali pozitivne razlike se često

potiru sa negativnim.

PMF u Nišu 2013 9

Najmanji kvadrati

1. „Najbolje fitovanje“ = razlika između

stvarnih i prognoziranih Y vrednosti

najmanja. Ali pozitivne razlike se često

potiru sa negativnim. Zato kvadriraj

greške!

n

i

i

n

i

ii YY1

2

1

2

ˆˆ

PMF u Nišu 2013 10

Najmanji kvadrati

1. „Najbolje fitovanje“ = razlika između

stvarnih i prognoziranih Y vrednosti

najmanja. Ali pozitivne razlike se često

potiru sa negativnim. Zato kvadriraj

greške!

2. LS minimizira Sumu kvadrata (Squared)

razlika (differences/Errors) (SSE)

n

i

i

n

i

ii YY1

2

1

2

ˆˆ

PMF u Nišu 2013 11

Dijagram najmanjih kvadrata

2

Y

X

1

3

4

^^

^^

Y X2 0 1 2 2

Y Xi i 0 1

LS minimizes i

i

n2

1

12

22

32

42

PMF u Nišu 2013 12

Jednačine parametara

Prediction equation

Uzorački nagib

Uzorački Y - odsečak

ii xy 10ˆˆˆ

21ˆ

xx

yyxx

SS

SS

i

ii

xx

xy

xy 10ˆˆ

PMF u Nišu 2013 13

Izvođenje parametara

Najmanji kvadrati (L-S):

Minimiziramo sumu kvadrata grešaka

xy 10

ˆˆ

22

0 1

0 0

0 1

0

2

i i iy x

ny n n x

22

0 1

1 1

n n

i i i

i i

y x

PMF u Nišu 2013 14

Izvođenje parametara

Najmanji kvadrati (L-S):

Minimiziramo sumu kvadrata grešaka

22

0 1

1 1

0 1

1 1

0

2

2

i i i

i i i

i i i

y x

x y x

x y y x x

1

1

1ˆ

i i i i

i i i i

xy

xx

x x x x y y

x x x x x x y y

SS

SS

PMF u Nišu 2013 15

Tablica međurezultata

Xi Yi Xi2

Yi2

XiYi

X1 Y1 X12

Y12

X1Y1

X2 Y2 X22

Y22

X2Y2

: : : : :

Xn Yn Xn2

Yn2

XnYn

Xi Yi Xi2

Yi2

XiYi

PMF u Nišu 2013 16

Primer linearne regresije

Akušerstvo: Koja je veza između nivoa estriola

majke i težine novorođene bebe, primenom sledećih

podataka?

Estriol Težina

(mg/24h) (g/1000)

1 1

2 1

3 2

4 2

5 4

PMF u Nišu 2013 17

0

1

2

3

4

0 1 2 3 4 5 6

Dijagram rasturanja

Težina x Nivo estriola

Težina

Nivo estriola

PMF u Nišu 2013 18

Tablica međurezultata

Xi Yi Xi2

Yi2

XiYi

1 1 1 1 1

2 1 4 1 2

3 2 9 4 6

4 2 16 4 8

5 4 25 16 20

15 10 55 26 37

PMF u Nišu 2013 19

Ocene parametara

10.0370.02ˆˆ

70.0

5

1555

5

101537

ˆ

10

2

1

2

12

11

11

XY

n

X

X

n

YX

YX

n

i

n

i

i

i

n

i

i

n

i

in

i

ii

PMF u Nišu 2013 20

Interpretacija rešenja

PMF u Nišu 2013 21

Interpretacija rešenja

1. Nagib (1)

Očekuje se rast težine novorođenčeta (Y) za

0.7 jedinica za svaki jedinični porast nivoa

Estriola (X).

^

PMF u Nišu 2013 22

Interpretacija rešenja

1. Nagib (1)

Očekuje se rast težine novorođenčeta (Y) za

0.7 jedinica za svaki jedinični porast nivoa

Estriola (X).

2. Odsečak (0)

Prosečna težina (Y) je -0.10 jedinica kada je

nivo Estriola (X) jednak 0.

• Ovo je teško objasniti

• Težina novorođene bebe je uvek pozitivna

^

^

PMF u Nišu 2013 23

SAS kod za fitovanje podataka

prostom linearnom regresijom

Data BW; /*Reading data in SAS*/

input estriol birthw@@;

cards;

1 1 2 1 3 2 4 2 5 4

;

run;

PROC REG data=BW; /*Fitting linear regression models*/

model birthw=estriol;

run;

^

PMF u Nišu 2013 24

Parameter Estimates

Parameter Standard

Variable DF Estimate Error t Value Pr > |t|

Intercept 1 -0.10000 0.63509 -0.16 0.8849

Estriol 1 0.70000 0.19149 3.66 0.0354

SAS izlaz prethodnog

programa

0 ^

1 ^

PMF u Nišu 2013 25

Primer 2

Vi ste okružni veterinar-epidemiolog i dobili

ste sa farmi sledeće podatke :

Hrana (lb.) Prinos mleka (lb.)

4 3.0

6 5.5

10 6.5

12 9.0

Koja je veza izmedju unosa hrane i prinosa

mleka krava?

PMF u Nišu 2013 26

02468

10

0 5 10 15

Dijagram rasturanja

Prinos mleka (lb.)

Unos hrane (lb.)

PMF u Nišu 2013 27

Tablica međurezultata

Xi Yi Xi2

Yi2

XiYi

4 3.0 16 9.00 12

6 5.5 36 30.25 33

10 6.5 100 42.25 65

12 9.0 144 81.00 108

32 24.0 296 162.50 218

PMF u Nišu 2013 28

Ocenjivanje parametara

80.0865.06ˆˆ

65.0

4

32296

4

2432218

ˆ

10

2

1

2

12

11

11

XY

n

X

X

n

YX

YX

n

i

n

i

i

i

n

i

i

n

i

in

i

ii

PMF u Nišu 2013 29

Interpretacija rešenja

PMF u Nišu 2013 30

Interpretacija rešenja

1. Nagib (1)

Očekuje se da se prinos mleka (Y) uvećava

za 0.65 lb, za svaki jedinični porast unosa

hrane (X).

^

PMF u Nišu 2013 31

Interpretacija rešenja

1. Nagib (1)

Očekuje se da se prinos mleka (Y) uvećava

za 0.65 lb, za svaki jedinični porast unosa

hrane (X).

2. Odsečak (0)

Očekivani prosečni prinos mleka (Y) 0.8 lb.

Kada je unos hrane (X) jednak 0.

^

^