Instrumen Penelitian, Validitas dan Reliabilitas

Trisasi Lestari - 2015

Merancang INSTRUMEN PENELITIAN

instrument construction

An instrument is a mechanism for measuring phenomena, which is used

to gather and record information for

assessment, decision making, and ultimately

understanding.

Komponen Instrumen

Memilih instrumen

Faktor-faktor yg dipertimbangkan:

Karakteristik populasi Literacy, physical/mental abilities, motivasi

Informasi ttg populasi yg akan diteliti No telp, alamat

Akses ke responden Lokasi, waktu, infrastructure yang ada (telephone, internet)

Tujuan survey Kompleksitas pertanyaan, sensitifitas topik,

Bentuk kuesioner yang akan diberikan Open-ended, close-ended

Perkiraan response rate

Metode pengumpulan data Self-administered

Individual, Surat Group Pooling Email/internet

Observation Penilaian siswa untuk dosen Checklist

Kombinasi format dan pendekatan Perilaku + Emosi Checklist+ fill the blank+rating scales

Questionnaire A self-contained and a self-administered instrument

for asking questions.

Lack the personal touch

Extremely efficient

Most popular

Good questionnaire ‘stands on its own’

Risks

Question Rules and bad examples

Menulis pertanyaan Full script, ditulis lengkap

Bermakna sama untuk semua responden

Respondent bisa memahami jawabannya

Disusun dengan baik

Menghindari kata-kata sulit

Menghindari kalimat negative

Menanyakan dua atau lebih pertanyaan pada saat yang sama

Menghindari kalimat panjang dan kompleks

Menghindari kalimat yang mengandung asumsi

Menghindari pertanyaan hipothetical

Hindari pertanyaan yang responden tidak tahu jawabannya

Hindari pertanyaan tentang causality (sebab-akibat)

Jika menyebutkan harus jelas dan eksplisit

Jika diperlukan bisa menjelaskan istilah yang digunakan, tetapi tidak di pertanyaan

Dll (handout mp)

Contoh standar questionnaires Generic instruments

COOP/WONCA charts: measure six core aspects of functional status: physical fitness, feelings, daily activities, social activities, change in health and overall health.

Sickness Impact Profile (SIP)/Functional Limitations Profile (FLP)

RAND SF 36

Duke Health Profile (DUKE)

EuroQol

MOS 20

Nottingham Health Profile

RAND General Health Perception Questionnaire (GHPQ)

Dimension specific instruments Barthel Index Index of Independence in Activities of Daily Living Frenchay Activities Index General Health Questionnaire (GHQ) RAND Mental Health Inventory (MHI) McGill Pain Questionnaire (MPQ)

Disease/condition specific instruments State-Trait Anxiety Inventory (STAI) Center for Epidemiologic Studies Depression Scale (CES-D) Arthritis Impact Measurement Scale (AIMS) Living with Asthma (AQ) Chronic Respiratory Disease Questionnaire (CRDQ) Asthma Quality of Life Questionnaire (AQLQ) Diabetes Health Profile IDDM (DHP 1) and NIDDM (DHP2) Diabetes Quality-of-Life measure (DQOL) EORTC Quality of Life Questionnaire

Membuat isi kuesioner Melakukan literature review

Gunakan sarana/kuesioner yang sudah ada

Brainstorming Nominal Group Technique

Grup 5-6 orang Fasilitator menjelaskan ide/masalah/tujuan Setiap peserta memberikan ide tertulis dan dishare Anggota grup lainnya tidak mengkritik, tapi bisa minta klarifikasi Mengulang proses brainstorming sampai seluruh ide

terkumpulkan Setiap peserta mereview alternatif yang muncul Membuat rangking prioritas

Membuat isi kuesioner Snowballing / Pyramiding

2 2+2 4+4 dst

Delphi technique Mengumpulkan input content dan methodologi dari

expert melalui email/surat. Draft dibuat oleh peneliti dan dikirimkan kepada

ahli. Ahli memberikan komentar secara independen

Membuat isi kuesioner Questions Pool and Q-sort

60-90 pertanyaan Print pertanyaan di kartu Acak kartu Buat kriteria rangking:

most definitely include this item, include this item, possibly include this item, and definitely do not include this item.

Membuat isi kuesioner Concept Mapping

Preparation. Generation.

brainstorming, nominal group technique, to generate statements describing activities related to the project.

Structuring. sort the statements: Q-sort or other ranking process.

Representation. create visual maps that reflect the relationship

between the sorted items. Interpretation. Utilization.

Operationalizing Constructs

Pengukuran

Pengukuran adalah suatu proses yang sistematik dan berulang untuk menghitung atau mengklasifikasikan objek atau kejadian dengan menggunakan dimensi tertentu.

Biasanya dicapai dengan penggunaan angka (numerik values)

Tingkat pengukuran

Likert Scale

Rensis Likert1903 – 1981

Analisis Skala Likert Likert Scale: is the sum of responses on several Likert

items

Ordinal or Interval

Deskriptif Median, Mode, Percentiles/quartiles, Display

Distribution (bar chart)

Non-parametric test Chi-squared, Mann Whitney test, Wilcoxon signed-rank

test, Kruskal-Wallis test

Modified binomial Likert Scale Chi-squared, Cochran-Q, McNemar test

Observation Checklist

Pretesting Initial Pretesting

Individual Interviews and Focus Groups Review by Content Area Experts Continue to Obtain Feedback and Revise the Project If

Necessary

Pretesting during development Read and Reread the Items and Read the Items Aloud Review by Content Area Experts Review by Instrument Construction Experts Review by Individuals with Expertise in Writing Review by Potential Users

Pilot testing Questions for experts

Was each set of directions clear (that is, the general directions at the beginning of the questionnaire and any subsequent directions provided in the body of the instrument)?

Were there any spelling or grammatical problems? Were any items difficult to read due to sentence length, choice of words, or special terminology?

How did the reviewer interpret each item? What did each question mean to them?

Did the reviewer experience problems with the item format(s), or does the reviewer have suggestions for alternative formats?

Were the response alternatives appropriate to each item?

Pilot testing What problems did the reviewer encounter as a result of the organization of

the instrument, such as how items fl owed? On average, how long did it take to complete? What was the longest time

and what was the shortest time it took to complete the instrument? For Web-based instruments, did the respondent encounter any problems

accessing the instrument from a computer or navigating the instrument once it was accessed?

Did any of the reviewers express concern about the length of the instrument, or did they report problems with fatigue due to the time it took to complete?

What was the reviewer’s overall reaction to the questionnaire? Did they have any concerns about confi dentiality or how the questionnaire

would be used? Did they have any other concerns? What suggestions do they have for making the questionnaire or individual

items easier to understand and complete?

Pilot testing Obtain evidence of reliability.

Establish evidence of face validity

Obtain evidence of content validity

Obtain evidence of criterion validity

Obtain evidence of construct validity

Validity and reliability

Contoh penelitian: mengukur tinggi badan rata-rata anak SD di DIY

Yang diukur harus tinggi badan, BUKAN berat badan Valid

Alat ukurnya akan memberikan hasil yang sama meskipun seseorang diukur tinggi badannya berulang-ulang Reliable

Hasil dari pengukuran tinggi anak SD di DIY ini diharapkan bisa menggambarkan tinggi rata-rata anak SD di Jawa Generalisir

Validity Apakah kita mengukur apa yang ingin kita ukur?

Konsep seringkali sulit diukur Misalnya:

Konsep : Pengetahuan. Latent & Manifest Variable

Tipe Validity

Face Validity Face validity is the degree to which an instrument appears to

be an appropriate measure for obtaining the desired information, particularly from the perspective of a potential respondent.

Responden diminta untuk menilai apakah instrumen penelitian (misal kuesioner) valid menurut mereka

Apakah responden bisa menangkap maksud pertanyaan sesuai yang dimaksud peneliti Orang biasa Expert

Contoh: kuesioner tentang gaya hidup sehat, pertanyaan: seberapa sering Anda olahraga? Face validity: Valid

Construct Validity Memastikan peneliti dgn responden memahami konstruk yang

sama Safety, intelligence, leadership, cleanness

Internal structure

Related to the theoretical of knowledge

Operationalization

Terdiri dari : Convergent validity : + contoh: depresi dan perasaan tidak berguna Discriminant validity: - contoh: depresi dan perasaan bahagia Harus dilaporkan keduanya

Convergent Validity

to show that measures that should be related are in reality related

Discriminant Validity

to show that measures that should not be related are in reality not related

Content/internal validity the degree to which an instrument is representative of the

topic and process being investigated.

Misalnya: Konsep: mengukur sikap murid terhadap guru

Alat ukur sikap dg skala Likert Saya mendengarkan semua kata orang tua Guru saya selalu berusaha membantu saya Saya selalu mengucapkan salam setiap bertemu guru

Literatur review : meningkatkan kemampuan peneliti untuk mencapai content validity

Apakah konten valid atau tidak dipengaruhi oleh: pengetahuan peneliti terhadap definisi konsep, teori tentang konsep yang ada, dan bagaimana konsep itu bekerja. Sample selection bias Information bias Statistical confounding

Criterion Validity making a comparison between a measure and an external

standard.

Stroke recovery vs level of assistance required Score test individual Observasi aktifitas harian: mengikat tali sepatu, memakai baju,

menggosok gigi, merapikan tempat tidur, dll.

Harus ditunjukkan pada instrumen untuk mengukur performa atau kinerja

Dibutuhkan: Pemahaman yang baik mengenai teori konsep yang diteliti

sehingga bisa ditentukan variable-variable lain berhubungan atau diprediksi akan berhubungan dengan faktor

Predictive validity

Apakah alat ukur yang dibuat bisa memprediksi outcomes.

Misal: apakah nilai tes TPA bisa memprediksi keberhasilan

siswa dalam mengikuti proses perkuliahan Apakah nilai TPA bisa memprediksi IPK akhir

mahasiswa Apakah tes psikologis untuk pegawai baru bisa

memprediksi seberapa loyal pegawai terhadap perusahaan

Multicultural validity an instrument measures what it purports to

measure as understood by an audience of a particular culture

Caranya: Menggunakan bahasa yang dimengerti Memperhatikan nilai/norma/kebiasaan masyarakat

lokal

Mengukur validitas dengan pendekatan qualitative

Evaluative

Literature review topik penelitian: memberikan bukti bahwa instrumen akan mengukur konstruk dan bukan lainnya.

Expert reviews

Table spesifikasi: identifikasi variabel topik/faktor Induktif/deduktif

Mengukur validitas dengan pendekatan quantitative

Mengukur kekuatan hubungan antara salah satu pertanyaan dengan pertanyaan lain dalam konstruk yang sama

Item analysis

Factor analysis

Pengukuran Validitas Item analysis

To demonstrate a relationship between individual items

Internal consistency reliability 1-2, 1-3, 1-4, 1-5, dst 2-3, 2-4, 2-5, 2-6, dst Dst

Further reading: The basics of item response theory (Baker, 2001)

Difficulty & Discrimination index

Tetapkan 10 subjek dg nilai terbaik dan 10 subject dg nilai terburuk Jika subject ke-10 ada beberapa….pilih secara

random

Hitung berapa banyak subject di kelompok nilai terbaik dan nilai terburuk yang menjawab pertanyaan 1 dg benar, pertanyaan 2 dg benar, dst

Difficulty index: (RU+RL)/20

Discrimination index: (RU-RL)/10

Name Item 1

1 1 Difficulty Index: (8+4)/20 = 0.6

2 1 Discrimination index (8-4)/10= 0.4

3 1 Compare to the maximum discriminating index

4 0 Near maximum: very discriminating

5 1 Half the maximum: moderately discriminating

6 1 A quarter the maximum: weak item

7 0 Near zero : non-discriminating

8 1 Negative: bad item

9 1

10 1 RU=8

…….

31 0

32 0

33 1

34 1

35 1

36 0

37 0

38 1

39 0

40 0 RL=4

Reliability

True Score: yang ingin diukurSystematic error: kesalahan yang selalu terjadi, misal alat ukur tidak dikalibrasi, sehingga bukannya mengukur mulai dari 0 tapi mulai dari 2 Random error: unpredictable error yang bisa terjadi karena kebetulan atau memang benar-benar ada perubahan, misalnya mood subject saat mengikuti ujian.

Sumber random error Subject reliability: respondent lelah, mood

Observer reliability: kemampuan observer/interviewer, background

Situasional: kondisi saat pengukuran dilakukan (interview dilakukan dirumah dan dikantor saat sedang sibuk akan memberikan hasil yang berbeda)

Instrument: wording yang kurang baik

Data processing: salah koding, salah entry

Cara pengukuran Reliability Eyeballing : informal method,

administer the instrument twice to the same group of people in a relatively short period of time to see if their responses remain the same

Repeated measurement1. Test-retest method When?

Carry-over effects Too early: over-reliability Too late: under-reliability

How? Mengukur seberapa kuat hubungan score yang diukur pada 2

waktu yang berbeda dengan correlation coefficient Reliable if coefficient correlation >0.7

2. Proportion agreement

Inter-rater and Intra-rater Reliability

Inter –rater: >1 rater

Intra-rater :1 rater

Calculate with Cohen’s Kappa

-1 <K<1

Kappa Statistic (Cohen, Kappa Statistic (Cohen, 1960)1960)

OA: Kesepakatan yang terjadiEA: Kesepakatan yg tidak disengaja

Observer 1Ramai Normal Total

Observer 2Ramai 140 52 192Normal 69 725 794Total 209 777 986

Kesepakatan antara observer 1 dan 2 untuk menilai apakah pasar-pasar di jogja ramai atau tidak

chance agreement between ramai-ramai=

chance agreement between normal-normal=

total expected change agreement=

Kappa=Observed agreement=

Test-Retest reliability pretest the questionnaire with

the same group on two separate occasions, expecting only minor variations in responses.

Coefficient of variation

Mirip Eyeballing methods

Internal Consistency Reliability To compare results across and among items within a single

instrument and to do so with only one administration.

Untuk instrumen yang punya lebih dari 1 item

Seberapa homogen item-item pertanyaan dalam 1 tes

Seberapa baik item-item pertanyaan itu mengukur satu construct

Cara menghitung: Average inter-item and average item-total correlation split half reliability coefficient alpha Kuder Richardson

Average inter-item and average item total correlation

Internal Consistency Reliability Split-half reliability

1. pertanyaan dibagi dua secara random2. Konstruk di kedua bagian harus sama3. Hitung skor respondent untuk setiap bagian 4. Hitung coefficient correlations antara skor bagian 1 dan bagian 25. Reliable jika coefficient correlation >0.8

Kuder-Richardson (KR) Membandingkan korelasi semua kemungkinan splif half Hanya cocok utk mengukur instrumen untuk satu konstruk Hanya dapat digunakan untuk instrumen yang jawabannya dikotomi,

ya-tidak, betul-salah

Coefficient alpha/ Cronbach’s alpha Seperti KR, datanya scaled/ranked

randomly split the items into two sets compute the correlation between these sets Put all the items back randomly split them into two sets again repeat for all possible split half correlations calculate the average of all the correlations. Internally consistent jika coefficient alpha >0.7

Cronbach’s alpha Paling sering dipakai untuk mengukur internal consistency

Diadaptasi oleh Cronbach (1951) dari Kuder&Richardson (1937)

VtestVi

nn 11

n = jumlah pertanyaanVi = variance score pada setiap pertanyaanVtest = total variance dari skor total (not %’s) on the entire test

– Large Vtest Small Ratio ΣVi/Vtest high alpha

How alpha works– Vi = pi * (1-pi)

» pi = percentage of class who answers correctly» This formula can be derived from the standard

definition of variance.

– Vi varies from 0 to 0.25pi 1-pi Vi

0 1 00.25 0.75 0.18750.5 0.5 0.25

Bagaimana jika instrumen tidak reliable?

Perhatikan jika ada salah satu item instrumen yang ‘salah’

Perhatikan seberapa kuat hubungan antara masing-masing item pertanyaan dengan skor

Item yang berkorelasi rendah dengan total skor akan menurunkan reliabilitas dan sebaiknya dihilangkan

Pada metode test-retest, perhatikan pertanyaan yang skor awal dan akhirnya berbeda jauh.

Bagaimana meningkatkan reliabilitas?

Pertanyaan tidak ambigu/jelas

Pertanyaan spesifik

Buat beberapa item pertanyaan untuk mengukur satu variable

Tetapi jangan terlalu banyak

Generalisability

From sample to population

Sample: true exist or just a coincidence

Hypothesis Hasil penelitian Kenyataan di populasi

Interpretasi

Null hypothesis (H0): Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Ada hubungan antara perilaku

hidup bersih sehat dengan kegiatan

UKS

Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Null hypothesis ditolak

Alternative hypothesis (H1)Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Type 1 error

Implikasi: Kegiatan UKS diperbanyak

Hypothesis Hasil penelitian Kenyataan di populasi

Interpretasi

Null hypothesis (H0): Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Tidak ada hubungan antara

perilaku hidup bersih sehat

dengan kegiatan UKS

Tidak ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Null hypothesis diterima

Alternative hypothesis (H1)Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Ada hubungan antara perilaku hidup bersih sehat dengan kegiatan UKS

Type 2 error

Implikasi: menghapuskan kegiatan uks

?

Berapa besar kemungkinan type 1 error?

Diukur dengan level of significance / p-values /coefficient alpha

Semakin kecil coefficient alpha, semakin kecil kemungkinannya terjadi type 1 error

Cut-off point yg sering dipakai p<0.05 significant

Dipengaruhi oleh: sample size Besarnya perbedaan dalam sample

Interpretasi Bagaimana jika p=0.052 atau p=0.049?

Pertanyaan Kalau satu hubungan antar variable menunjukkan

p<0.05 apakah berarti hasil itu penting?

Jika effect size hubungan antar variable besar, apakah berarti hubungan itu penting?

Apakah internal consistency reliability dan construct validity itu hal yang sama?

Jika pengukuran statistics menunjukkan hasil yang signifikan apakah itu berarti fenomenanya bisa ditemukan di populasi umum?

Instrument Qualitative: Interview Guide

Instruksi Beginning : information, informed consent Concluding

Questions Open-ended Key themes Factual questions before opinion questions Use probes or request to elaborate

Validitas dan Reliabilitas dalam penelitian kualitatif

Trustworthiness

Meningkatkan trustworthiness Thick description

mengumpulkan data secara rinci dan komprehensif, yang menggambarkan secara keseluruhan apa yang sedang terjadi

Negative/defiant case analysis

Triangulation (data, subject,methods)

Member checking

trisasilestari@gmail.com