RELIABILITASProf. dr. S. Aswin, PhD

RELIABILITAS (RELIABILITY)The ability of an instrument to measure consistently the phenomenon it is designed to measure (Seltitz dkk.)

DEPENDIBILITY/STABILITY/RELIABILITYCONSISTANCY/PREDICTABILITY/ ACCURACY/PRECISION

UJI RELIABILITAS: untuk mengetahui sejauh mana instrumen memp. tingkat konsistensi (keajegan) relatif tetap jika dilakukan pengukuran ulang terhadap subjek yang sama

DEFINISI RELIABILITAS3 PENDEKATAN3 PENDEKATANJika kita mengukur himpunan objek yang sama berulang-ulang dengan instrumen yang sama/serupa/mirip didapatkan hasil yang sama (STABILITAS/DEPENDIBILITAS/ PREDIKTABILITAS/dependibility)Apakah ukuran yang diperoleh dari suatu instrumen adalah ukuran yang sebenarnya untuk ciri2 yang diukur (AKURASI/accuracy)Seberapa besar error pengukuran yang terdapat dalam instrumen (PRESISI/precision)

ANALISIS RELIABILITASMenganalisis derajat kemampuan instrumenPROSEDUR KONSISTENSI EKSTERNACARAINDEKS HUBUNGAN (r)PROSEDUR KONSISTENSI INTERNAINDEKS HUBUNGAN (r)r: koefisien korelasi

PROSEDUR KONSISTENSI EKSTERNADERAJAT RELIABILITASHasil kumulatif pengukuranTEST- RETESTSyarat: kondisi pengukuran stabilt1t2Jika Xt1 = XtXt1- Xt2= 0 (derajat rel.: sempurna)Xt1Xt2Praktis tidak pernah dicapaiAda variance error(Fluktuasi random dari satu ke pengukuran lain) TRUE VARIANCECOEFF. STABILITY = OBSERVED VARIANCESx2 - Se2 St2rXX:= (rXX : 0.0 - +1 atau -1)Sx2 Sx2t1, t2: saat pengukuranXt1, Xt2: hasil pengukuran(variance: SD2)

KELEBIHAN & KELEMAHAN TEST-RETEST* Mudah* Self-comparable* Kesinambungan instrumen - Subjek* Var. luar lebih terkendali- Instrumen

* Replikasi memori * Over/under estimate*Maturasi(Jarak waktu t1 t2:* Intervening var. - Singkat: r overestimate - Panjang: r underestimate)

Kelemahan test-retest diatasi dengan test paralelKELEBIHANKELEMAHAN

TEST PARALEL(ALTERNATE - FORM METHOD)

(paralel*)

VARIABEL/ FENOMENA

SKOR I rXX SKOR II (Coeff. equivalence)*Paralel: - Items berbeda - Mengukur var./fenomena yang sama

INSTR IINSTRSKOR IINSTR IISKOR II

KELEBIHAN & KELEMAHAN TEST PARALELKELEBIHANDapat mengatasi kelemahan metode test-retestKELEMAHAN- Sulit membuat 2 instrumen paralel - Sulit menentukan ekivalensi(Dapat terjadi: 2 instr./test berkorelasi,tetapi mengukur 2 fenomena berbeda)

PROSEDUR KONSISTENSI INTERNA(Disebut juga: ONE-SHOT/SINGLE TRIAL)ITEMS DIANALISIS POLA HUBUNGAN: KONSISTEN?

SPLIT-HALF RELIABILITY: instrumen dibelah menjadi 2

INSTR (ITEMS)*SEPARUH ISEPARUH IIINSTRINSTR

SKOR I (rXX) SKOR II 2 rXX rXX =rXX: derajat reliabilitas seluruh instrumen 1 + rXX rXX: derajat reliabilitas antarbelahan* Instr (items) diterapkan dulu pada respondenINSTR (ITEMS)*SEPARUH IINSTRSKOR ISKOR IISEPARUH IIINSTR

PROSEDUR KONSIST. INT. (lanj.)ASUMSI:Person with particular trait will respond predictably to items affected by those traits SESEORANG MEMP. KUALITAS SOSIAL/PSIKOLOGIS TERTENTUMERESPON INSTR. SECARA KONSISTEN(Syarat: items instr. ditarik dari universum yang sama)

SPLIT-HALF RELIABILITY GANJIL/GENAP CARA RANDOMEKIVALENSISTATISTIK: Gutmann Kuder- Richardson ITEM ANALYSIS: pairing (Dasar: - Derajat kesulitan - Diskriminasi - Isi (contents)

KELEBIHAN: - Practice effect: (-) - Memory: (-) - Rangsangan item: (-) (Perubahan gejala/fenomena) - Kondisi pengukuran: terkendali maksimal

Single trial yang banyak dipakaiTEKNIK SPEARMAN-BROWN(Teknik belah dua)SYARAT1. Belahan sebanding dalam:Mean/variabilitas/SAMAdistribusi statistik (sulit dipenuhi)2. Jumlah items genap3. Sifat instr.: homogen

II. ITEM DISCRIMINATION ANALYSIS (IDA)A. VISUALIDA B. ANGKA DISCRIMINATING POWERC. UJI KEMAKNAANA. VISUAL RespondenItem1 2 3 4 5 6 7 8 9 10 11 126 1 3 2 5 1 6 4 1 4 1 65 1 2 1 5 1 6 4 1 4 1 66 2 2 1 5 2 6 4 1 5 2 56 1 3 1 4 2 6 4 1 4 2 62 5 6 4 2 4 2 2 5 2 4 36 2 1 1 5 2 6 4 1 3 2 56 1 2 2 6 2 5 4 2 5 1 65 1 3 3 5 2 5 4 3 5 2 45 1 3 1 5 2 6 4 1 6 2 56 1 2 1 5 1 6 4 3 6 2 4IDA

IDA (lanj.)B. DISCRIMINATING POWER-Dianalisis item demi item-Dibandingkan kuartil teratas dan terbawahRespon kuartil teratas dan terbawah untuk item 1 N1: 10 N2: 10BANDINGKAN RERATA KUARTILTERATAS - (Kw. teratas) (Kw. terbawah)KUARTIL TERBAWAH UNTUK SEMUA ITEM 6 1CARI SELISIHNYA 5 3 4 2Item Kuartil teratas Kuartil terbawah Selisih 5 3(Rerata) (Rerata) 4 41 5,1 2,4 +2,7 5 32 4,6 4,5 +0,1 6 43 3,3 3,3 0 6 14 5,5 3,1 +2,4 5 25 4,8 1,8 +3,0 5 16 3,9 4,1 -0,2Juml. 51 247 5,0 4,0 +1Mean1 : 5,1 Mean2 : 2,48 4,8 2,5 +2,39 4,9 2,8 +2,110 1,3 5,4 - 4,1

PENILAIAN RELIABILITASPENGUKURANVAR. NUMERIK

a. STANDARD DEVIASI (SD)

COEFF. OF VARIANCE (CV)=SD/MEANCVRELIABILITAS Contoh: Instr. A: Mean = 134,7 SD=1,76CV=1,76/134,7 = 0,013 Instr. B: Mean= 134,7 SD=2,71CV=2,71/134,7=0,020INSTR. A/B LEBIH RELIABEL?

b. CONFIDENCE INTERVAL (CI)

CIRELIABILITAS

PENILAIAN RELIABILITAS PENGUKURAN (lanj.)2. VAR. NOMINALNILAI KAPPA (K)DERAJAT KESESUAIAN

NOMINAL DIKOTOMIS(Pria/wanita, ya/tidak, sakit/sehat, normal/abnormal)

Contoh: 2 dokter (P dan Q) menilai USG 30 pend. perdarahan intrakranialInterpretasi: N (normal)/A (abnormal) ?Tabel 2 x 2PNAN9716QA41014131730

NILAI KAPPA (lanj.)Kesesuaian nyata: (9+10)/30=63,3%Kesesuaian karena peluang:(16x13)/30+(14x17)/30=14,9%Kesesuaian bukan karena peluang:kesesuaian nyata - kesesuaian karena peluang: 63,3% - 14,9%=48,4%Potensi kesesuaian bukan karena peluang: 100% - 14,9% = 85,1%K = 48,4/85,1 = 0,57(Kappa: rasio antara kesesuaian bukan karena faktor peluang dengan kemungkinan terbesar (potensi) kesesuaian bukan karena peluang) 1 (ideal, tidak pernah tercapai)NILAI K0,8 (sangat ideal) 0,6 -

RELIABILITAS INSTRUMEN1. TEST- RETEST(Teknik ulangan/single test double trial)- Cukup waktu untuk melakukan 2x test- Rumus korelasi Pearson (Pearson Product Moment/PPM)

NEXY (EX) (EY)rXY = V (NEX2 (EX)2 (NEY2 (EY)2

2. TEST PARALEL 3. SPLIT- HALF- Cukup waktu - Butir2 genap- Kecakapan menyusun - Tidak punya cukup waktu 2 perangkat instrumen - Rumus Spearman-Brown

RUMUS2 RELIABILITAS1. RUMUS FLANAGAN V1 + V2r11: Reliab. instrumenr11 = 2 (1- )V : Varian (variance) VtV1: varian skor belahan IV2: varian skor belahan IIVt : varian skor total

2. RUMUS RULON Vdr11: Reliabilitas instr.r11 = 1 Vd : Varian beda (difference) VtVt : Varian total

RELIABILITAS ?VALIDITASBukan all-or-none(R V; Tidak R tidak V)R atau V: merupakan gradasiSangat baik/Baik/Cukup/ Kurang/Buruk2 hal terpisah (kurang R tetapi cukup V; sangat R tetapi kurang V)

VARIANCE (varian)VARIANCE: salah satu bentuk measure of dispersion Dispersion = Variation S2 = (Xi X)2 =Scatter i=1 Range, variance, CVVariabilitasnya tidak samaCV=6,9CV=12,5n

VARIANCE (lanj.)MACAM VARIANVSYSTEMATICA(Cenderung ke satu arah:R semua tinggi/rendah;semua pos./neg.)IERROR A(Konstan, mengandung bias)NRANDOM Random error C (Bersifat menebus,mengimbangi Ediri sendiri:kadang2 cenderung ke satu arah, pada kesempatan lain cenderung ke arah lain)

RANDOM ERRORHimpunan akibat pengaruh berbagai sumber

Unsur random/kebetulan yang biasa dijumpaiKeletihan/fatigue sementaraKondisi2 serba kebetulan pada saat2 tertentu mempengaruhi objek pengukuranFluktuasi daya ingat orangFaktor2 lain

(BERSIFAT SEMENTARA DAN TERUS-MENERUS BERUBAH)

STRATEGI RELIABILITAS PENGUKURANCARA RANDOM SUMBER RANDOM ERRORERROR PENGUKURAN

Standardisasi cara Pengukur/PengamatpengukuranPelatihan PengamatPenyempurnaan instr. Instr./PengamatOtomatisasi instr. Pengamat/SubjekMengulangi pengukuran Pengamat/Subjek/Instr.