Pemilihan Prediktor Untuk Model Proses Pemilihan Maju Dan Mundur

Pertemuan 19

Matakuliah : I0174 – Analisis RegresiTahun : Ganjil 2007/2008

Bina Nusantara

Learning Outcomes

Pada akhir pertemuan ini, diharapkan mahasiswa akan mampu :• Memilih Prodiktor untuk Model Proses Pemilihan Maju dan

Mundur.

Bina Nusantara

Outline Materi• all possible regression • best subset regression • backward elimination • step-wise regression

Bina Nusantara

Prosedur• (1) semua kemungkinan regresi (all possible

regression) • (2) regresi himpunan bagian terbaik (best subset

regression) • (3) eliminasi langkah mundur (backward

elimination), • (4) regresi bertatar (step-wise regression)

Bina Nusantara

Prosedur semua kemungkinan regresi• Pertama-tama prosedur ini menentukan semua

kemungkinan persamaan regresi• Setiap persamaan regresi harus dievaluisi

menurut kriterium tertentu; tiga kriteria yang akan kita bahas adalah

• 1. nilai R2 yang dicapai,• 2. nilai s2, jumlah kuadrat sisa, dan• 3. statistik Cp.

Bina Nusantara

• Jika ada 4 perubah peramal (X1, X2, X3 dan X4)• Kelompokkan persamaan-persamaan regresi itu ke

dalam lima kelompok:• Kelompok A : terdiri atas satu persamaan regresi dengan hanya

nilai tengah model Y=βo• Kelompok B terdiri atas empat persamaan regresi

dengan 1-peubah peramal model Y = βo + β1 Xi• Kelompok C terdiri atas enam persamaan regresi

dengan 2-peubah peramal model Y = βo + β1 Xi + β1 Xj

Bina Nusantara

• Kelompok B terdiri atas empat persamaan yaitu Y = βo + β1 X1 Y = βo + β2 X2 Y = βo + β3 X3 Y = βo + β4 X4

Bina Nusantara

• Kelompok C terdiri atas enam persamaan regresi yaitu

model Y = βo + β1 X1 + β2 X2 Y = βo + β1 X1 + β3 X3 Y = βo + β1 X1 + β4 X4 Y = βo + β2 X2 + β3 X3 Y = βo + β2 X2 + β4 X4 Y = βo + β3 X3 + β4 X4

Bina Nusantara

Penggunaan R2

• Kelompok D terdiri atas empat persamaan regresi dengan 3-peubah peramal

model Y = βo + β1 X1 + β2 X2 + β3 X3 Y = βo + β1 X1 + β3 X2 + β4 X3 Y = βo + β2 X2 + β3 X3 + β4 X4 Y = βo + β1 X1 + β2 X2 + β4 X4

Bina Nusantara

• Kelompok E terdiri atas satu persamaan regresi dengan 4-peubah peramal

model Y= βo + β1 X1 + β1 X2 + β1 X3 + β1 X4

Bina Nusantara

Pemilihan model• Pertimbangkan nilai R2 yang diperoleh• Pertimbangannya: nilainya besar

• Nilai R2 : min -1 hingga maks +1

• Regresi yang memilki R2 terbesar yang dipilih

Bina Nusantara

Penggunaan Kuadrat tengah Sisa (S2)• Bila jumlah amatannya cukup besar, evaluasi

terhadap rata-rata kuadrat tengah sisa untuk setiap kelompok seringkali dapat menunjukkan titik pemisah yang terbaik bagi banyaknya peubah yang sebaiknya disertakan dalam regresi.

Bina Nusantara

Penggunaan Cp Mallow• Model "terbaik" ditentukan setelah memeriksa

tebaran Cp. Yang dicari adalah persamaan regresi dengan nilai Cp rendah yang kira-kira sama dengan p (banyaknya parameter dalam model termasuk βo) .

• Cp = JKSp/s2 – (n-p)

Bina Nusantara

Regresi "Himpunan Bagian Terbaik" ("Best Subset" Regression)

• Tiga kriteria dapat digunakan untuk menentukan himpunan bagian "K terbaik", yaitu:

• 1. Nilai R2 maksimum,• 2. Nilai R2 terkoreksi maksimum • 3. Statistik Cp Mallows. R2 terkoreksi = 1- (1-R2){(n-1)/n-p)}

Bina Nusantara

Pemilihan regresi terbaik

• Pemilihan berdasarkan nilai R2 tertinggi• Nilai Cp terendah

Bina Nusantara

• Pemilihan regresi terbaik dapat dimulai dari:• Semua kemungkinan dengan satu, dua atau lebih

variabel• Sub-set variabel yang diperkirakan harus

berpengaruh