Multiple Linear Regression - aeunike.lecture.ub.ac.id · 19/04/2016 1 STATISTIKA INDUSTRI 2 TIN 4004 Pertemuan 10 •Outline: –Multiple Linear Regression and Correlation –Non

19/04/2016

1

STATISTIKA INDUSTRI 2

TIN 4004

Pertemuan 10

• Outline:– Multiple Linear Regression and Correlation– Non Linear Regression

• Referensi:– Montgomery, D.C., Runger, G.C., Applied Statistic

and Probability for Engineers, 5th Ed. John Wiley & Sons, Inc., 2011.

– Walpole, R.E., Myers, R.H., Myers, S.L., Ye, K., Probability & Statistics for Engineers & Scientists , 9th

Ed. Prentice Hall, 2012.

Multiple Linear Regression

• Terdiri atas lebih dari satu independent variable

• Metode yang digunakan untuk estimasi koefisien:– Least square estimation (metode kuadarat

terkecil)

– Normal equation (Persamaan Normal)

– Matrix approach (Sistem Matriks)

Multiple Linear Regression

• Terdiri atas lebih dari satu independent variable

• Metode yang digunakan untuk estimasi koefisien:– Least square estimation (metode kuadarat

terkecil)

– Normal equation (Persamaan Normal)

– Matrix approach (Sistem Matriks)

Multiple Linear RegressionMultiple Linear Regression

Estimator of Variance

• Residual:

– the difference between the observation 𝑦𝑖 dengan nilai 𝑦𝑖

–

19/04/2016

2

Multiple Linear RegressionEstimator of Variance

• Residual:

– Contoh soal:


• Variance Estimator

Error atauResidual Sum of Squares


• Variance Estimator

Contoh soal:

𝜎2 = 𝑠2 =? ? ? ?

Interval Keyakinan Bagi pendugaB1 dan B2

SI 2 - Regresi & Korelasi Berganda

10

Pengujian menggunakan distribusi t dengan derajat bebas (db) = n – m, Dengan contoh soal sebelumnya, dgn ∝ =5%, db = n – m = n – k -1 = 10 – 2 - 1 = 7, maka:

Interval keyakinan bagi penduga B1 adalah

b1 – t(α/2, n-k-1).Sb1< B1 < b1 + t(α/2, n-k-1).Sb1

0,564 – (2,365)(0,303) < B1 < 0,564 + (2,365)(0,303)

-0,153 < B1 < 1,281

Interval keyakinan bagi penduga B2 adalah

b2 – t(α/2, n-k-1).Sb2 < B2 < b2 + t(α/2, n-k-1).Sb2

1,099 – (2,365)(0,313) < B2 < 1,099 – (2,365)(0,313)

0,359 < B2 < 1,839

Pengujian Parameter KoefisienRegresi Berganda


11

Bertujuan untuk menentukan apakah ada sebuah hubungan linear antarvariabel tidak bebas Y dengan variabel bebas X1, X2,… ,Xk.

Ada 2 bentuk pengujian hipotesis bagi koefisien regresi berganda:1. Pengujian hipotesis serentak2. Pengujian hipotesis individual

Pengujian Hipotesis SerentakMerupakan pengujian hipotesis koefisien regresi berganda dengan B1 danB2 serentak atau secara bersama-sama mempengaruhi Y.

Pengujian Hipotesis individualMerupakan pengujian hipotesis koefisien regresi bergandadengan hanya satu B (B1 atau B2 ) yang mempengaruhi Y.

Pengujian Hipotesis Serentak

Langkah-langkah pengujian:1. Menentukan formulasi hipotesis

» H0 : B1 = B2 = 0 (X1 dan X2 tidak mempengaruhi Y)

» H1 : B1 B2 0 (X1 dan X2 mempengaruhi Y ataupaling tidak ada X yang mempengaruhi Y

2. Menentukan taraf nyata () dan nilai F tabel

» Taraf () dan nilai F tabel ditentukan dengan derajat bebas1 = k dan 2 = n - k -1


12

F(1)(2) = …….

19/04/2016

3

Pengujian Hipotesis Serentak - lanjutan

Langkah-langkah pengujian:

3. Menentukan kriteria pengujian

H0 diterima jika F0 ≤ F(1)(2)

H0 ditolak jika F0 > F(1)(2)

4. Menentukan nilai uji statistik dengan tabel ANOVA


13

Sumber

Variasi

Jumlah

Kuadrat

Derajat

Bebas

Rata-rata

Kuadrat

F0

Regresi

(X1, X2)

Error

JKR

JKE

k

n – k - 1

JKRk

JKEn - k -1

RKR

RKE

Total JKT n - 1



14

∑ -=∑=222 YnYyJKT yxbyxbJKR 2211

( ) ( )∑ ∑-+∑ -= YXnYXbYXnYXbJKR 222111

JKE = JKT - JKR

Selain menggunakan tabel ANOVA di atas, nilai Fo dapat pula ditentukan denganmenggunakan rumus:

)3(

12

0

n

KPB

KPB

F

Dimana:KPB = (R2) = koefisien penentu atau koefisien determinasi bergandan = jumlah sampel

atau


KPB = (R2) = koefisien penentu atau koefisiendeterminasi berganda

5. Membuat kesimpulanMenyimpulkan apakah H0 diterima atau ditolak


15

𝑅2 =𝑏1 𝑥1𝑦 + 𝑏2 𝑥2𝑦

𝑦2

Pengujian Hipotesis Individual

Langkah-langkah pengujian:1. Menentukan formulasi hipotesis

H0 : Bi = 0 (tidak ada pengaruh Xi terhadap Y)

H1 : Bi > 0 (ada pengaruh positif Xi terhadap Y)

Bi < 0 (ada pengaruh negatif Xi terhadap Y)

Bi ≠ 0 (ada pengaruh Xi terhadap Y)

2. Menentukan taraf nyata () dan nilai t tabel

db = n – k – 1


16

Pengujian Hipotesis Individual - lanjutan

Langkah-langkah pengujian:3. Menentukan kriteria pengujian

H0 diterima jika t0 ≥ t (n-m)

H0 ditolak jika t0 < t (n-m)

4. Menentukan nilai uji statistik

5. Membuat kesimpulan


17

Latihan

• Coba uji secara 2 arah parameter B1 dan B2 dengan menggunakan taraf nyata sebesar = 0,05 dari soal di atas secara individual maupunserentak!


18

19/04/2016

4

Jawab (pengujian individual)

1. Menentukan formulasi hipotesis

H0 : B1 = 0 (tidak ada pengaruh X1 terhadap Y)

H1 : B1 ≠ 0 (ada pengaruh X1 terhadap Y)

Dan

H0 : B2 = 0 (tidak ada pengaruh X2 terhadap Y)

H1 : B2 ≠ 0 (ada pengaruh X2 terhadap Y)

2. Menentukan taraf nyata () dan nilai t tabel

∝ = 0,05

derajat bebas = 10 – 3 =7

t (0,025;7) = 2,365


19

Jawab (pengujian individual)- lanjutan

3. Menentukan kriteria pengujianH0 diterima jika ti < t (0,025;7) = 2,365 dan ti > t (0,025;7) = - 2,365

H0 ditolak jika ti > t (0,025;7) = 2,365 dan ti < t (0,025;7) = - 2,365

4. Menentukan nilai uji statistik

Untuk uji B1 Untuk uji B2


20

Jawab (pengujian individual)- lanjutan

5. Kesimpulan

Karena t1

1,859 < 2,365

Maka terima hipotesis H0 : B1 = 0

Karena t2

3,511 > 2,365

Maka tolak Ho : B2 = 0

Berarti:

tidak ada hubungan linier antara variabel X1 dgn Y

ada hubungan linier antara variabel X2 dgn Y


21

Multiple Linear RegressionCorrelation

Multiple Linear RegressionCorrelation

• Coefficient of multiple determination 𝑅2

• Adjoint 𝑅2

Multiple Linear RegressionMulticollinearity

• strong dependencies among regressor variables 𝑥𝑗– The estimates of the regression coefficients are

very imprecise and affects the stability of the regression coefficients.

– To detect: • Variance inflation factors > 1

• Significant F-test of significance of regression, but tests on the individual regression coefficients are not significant

19/04/2016

5

Multiple Linear RegressionUji Hipotesa

• Uji Koefisien Subset

– Test the siginificance of a set of variables. Test contribution of new variables.

– Menggunakan uji F

Partial F-test

– Area Penolakan: 𝒇 > 𝒇𝜶(𝒗𝟏=𝒓,𝒗𝟐=𝒏−𝒑)

𝒇 =𝑺𝑺𝑹(𝜷𝒋|𝜷𝟎, 𝜷𝟏, … , 𝜷𝒋−𝟏, 𝜷𝒋+𝟏, … , 𝜷𝒌)/𝒓

𝑺𝑺𝑬/(𝒏 − 𝒑)

=(𝑺𝑺𝑹 𝜷𝟏, 𝜷𝟐, … , 𝜷𝒌 𝜷𝟎 −𝑺𝑺𝑹 𝜷𝒋 𝜷𝟎 )/𝒓

𝒔𝟐

Multiple Linear RegressionUji Hipotesa

• Uji Koefisien Subset

– Contoh: Kasus Wire Bond Strength

𝒇 =𝟑𝟑. 𝟐/𝟐

𝟒. 𝟏= 𝟒. 𝟎𝟓

NOTE: partial F-test to a single variable = t-test

General Linear Model (GLM)

• GLM is the mathematical framework used in many common statistical analysis, including multiple regression and ANOVA

– ANOVA is typically prsented as distinct from multiple regression but it IS a multiple regression

Characteristics of GLM

• Linear, pairs of variables are assumed to have linear relations

• Additive, if one set of variables predict another variable, the effect are thought to be additive

• BUT! This does not preclude testing non-linear or non additive effects (by doing some transformations)

Analysis of Variance (ANOVA)

• Appropriate when the predictors (independent variables) are all categorical and the outcome (dependent variable) is continous– Most common application is to analyze data from

randomized experiments

• More specifically, randomized experiments that generate more than 2 means– If only 2 means thes use:

• Independent t-test

• Dependent (paired) t-test

19/04/2016

6

NONLINEAR REGRESSION

Nonlinear Regression

Beberapa Jenis Nonlinear Regression:

• Polynomial Regression Models

– Bersifat curvilinear

• Logistic Regression

– For non normal distribution data, binary responses

TUGAS KELOMPOK

• Cari kasus permasalahan yang diselesaikan dengan:– Multiple Linear Regression

– Non Linear Regression

• Selesaikan dengan menggunakan software statistik

• Interpretasikan hasil output software tersebut

• Catatan:– Kasus yang digunakan tidak boleh sama antar

kelompok

Documents

Multiple Linear Regression - aeunike.lecture.ub.ac.id · 19/04/2016 1 STATISTIKA INDUSTRI 2 TIN 4004 Pertemuan 10 •Outline: –Multiple Linear Regression and Correlation –Non