CHAPTER 7
EVALUATION OF
INTERACTIVE SYSTEMS
Kelompok 4
1. Ardian Webi Krida (sir201005)
2. Indri Ismayrini (sir201012)
3. Ririn Rianasari (sir201016)
4. Tangguh Tri S (sir201020)
SUMMARY
1. EVALUATION AND DESIGN PROCEDURES2. EXPERIMENTAL METHODS3. EXPERIMENTAL METHODOLOGY4. EXPERIMENTAL DESIGN5. STATISTICAL TREATMENT OF THE DATA
Evaluasi sistem interaktif dapat terjadi di stages yang beragam pada proses disain dan dapat mengakses aspek disain yang berbeda.
Aspek disain tersebut yang menjadi perhatian dari prespectiv manusia adalah usability, learnability, efficiency dan acceptability Keempat aspek disain tersebut didifinisikan dalam istilah umum
Masalah yg dihadapi disigner adalah mengetahui aspek disain apa yang mempengaruhi outcom dari ke empat aspek tersebut (usability, learnability, efficiency dan acceptability). Untuk menjawab masalah tersebut membu tuhkan operationlized dari keempat aspek tsb dapat dinilai. Salah satu pemecahan adalah menyediakan metrics (ukuran ?) sebagai bagian dari design specification, yang dapat digunakan untuk menilai hasil dari disain
Metode evaluasi beragam dalam kerumitannya dan penggunaanya. Pendekatan yang paling kurang rumit membutuhkan sedikit persiapan dan paling sedikit memakan waktu tetapi juga yan paling sedikit kemampuan diagnostiknya terhadap masalah disain yang timbul. Metode yang lebih rumit membutuhkan lebih banyak waktu dan membuthkan pengetahuan teknik mengenai metode eksperimental, tetapi metode ini lebih diagnostik untuk masalah disain
Eksperiment untuk mengevaluasi suatu disain harus secara hati-hati dibangun dan dengan sendirinya juga merupakan suatu bentuk disain. Eksperimenter harus mengidentifikasi variabel dependent, independent, control dan kondisi eksperimental, subject, metode eksperiment serta bentuk data analysis.
Tujuan evaluasi
Untuk supaya calon evaluator menyadari keguanaan, dan kompleksitas serta metode evaluasi dalam suatu disain sistem
Keinginan untuk mengevaluasi adalah mengidentifikas kekurangan dalam disain dan penyediakan kepada tim disain pengertian yang cukup mengenai kekurangan tersebut, sehingga dapat memperbaik disain.
Evaluasi harus dipandang sebagai bagian dari proses disain, merupakan bagian yang mendasar, yaitu pada bagian menulisa program (code).
The role of the evaluation in the design process is to help develop a system that has been designed rather than one that has been thrown together.
EVALUATION AND
DESIGN PROCEDURES
• There is no one design procedure• There are many different views about
what is the best or right way to design a software system, all of which are more or less equally wrong.
• Suatu metode cocok untuk tim dan project tertentu.
• Disain yang berbeda mempunyai konse kuensi untuk ketepatan metode evaluasi tertentu pula.
Meskipun demikian untuk tingkat yang umum proses disain dapat dibedakan menjadi dua stages.
1. Design-specification-stage 2. Implementation stage
EVALUATION AT THE DESIGN-
SPECIFICATION STAGE
• Masih menjadi bahan spekulasi dan penelitian.
• Menarik karena evaluasi di stage speci-fication memungkinkan mengevaluasi sebelum penulisan program.
• Belum dihasilkan metode yang baik untuk mengevaluasi disain dari suatu specifikasi.
Teknik pemodelan pada chapter 9 dan 10 dapat digunakan untuk menaksir useabilitydan learnability suatu disain.
MisalTask Action Language (TAL)- untuk mengevaluasi consistency dan learnability
Task Action Grammars (TAG)-memungkinkan consistensi command language dievaluasi.
Performanc evaluation from specifications are provided by GOMS (Goals Operations Methods Selection rules)
GOMS -> CCT (Cognitive Complexity Theory)
CCT- uses production rules to predict the learnability and complexity of user interface (Chapter 10)
GOMS dan CCT predict performance
CCT, TAL and TAG predict performance in its reliance on counting rules
While there are a growing number of approaches to evaluation of designs at the specification stage, non of the above-mentioned techniques have been applied with sufficient success to be able to make any recommendations at this stage.
Focus -- use --> CCT
One common fuature of all approaches to evaluation is that they require models of the user, the task and the design.Must be concidered the domain and the organization
EVALUATION AT THE
IMPLEMENTATION STAGE
• Pendekatan konvensional evaluasi adalah mengevaluasi disain yang memiliki program yang dapat dieksekusi. Dikenal sujumlah pendekatan yang berbeda untuk mengevaluasi disain yang diimplementasikan.
• Pendekatan tersebut berbeda dalam jumlah informasi dan waktu yang dibutuhkan untuk mengevaluasi.
• Evaluasi juga berbeda dalam kemam puan diagnostiknya
Bentuk evaluasi yang mudah dan paling lemah diagnostiknya adalah ‘expert walk-through’. Dalam pendekatan ini pakar disain interface diminta untuk mengamati sistem yang didisain dan mengiden tifikasi butir yang merupakan masalah untuk user.Pendekatan demikian sangat tergantung pada penilain pakar. Dapat diperkuat oleh pakar independet yang melakasanakan ‘walk-through’ pada sistem.
Pendekatan memungkinkan melakukan secara cepat dan mudah serta memungkinkan perbaikan disain
Tenik lain untuk menilai suatu implementasi adalah menggunakan kuesioner untuk mengidentifikasi karaktersik apa yang dianggap user sukar untuk menggunakannya atau untuk menilai sikap user terhadap disain baru.
Kritik terhadap kuesioner; bagus untuk mengidentifikasi tingkat penerimaan terhadap sistem baru tetapi tidak baik untuk tingkat penggunaan sistem tersebut.
Teknik lain adalah menggunakan pendekatan observasional, disainer mengamati tanpa mengkaitkan dengan usaha user menggunakan sistem.
Analisis yang lebih rinci atau evaluasi lebih lanjut dibutuhkan untuk mendiagnosa secara benar masalah user yang sebenarnya dengan menggunakan metode eks perimental.
EXPERIMENTAL METHODS
• Eksperimen sering digunakan dalam HCI untuk mengevaluasi disain yang diimplementasikan.
• Kekuatan eksperimen adalah me mungkinkan eksperimenter me ngontrol dan memanipulasi variabel tertentu di dalam lingkungan.
DEFINISI ISTILAH DALAM
EXPERIMENTAL METHODS
Dependentvariable
Independentvariable
Experimentalcontrol
Experimentalfactor
Sesuatu yang diukur (waktu untuk menyelesaikan tugas)
Karakteristik yang dimanipulasi (style of icon atau order of items on a menu)
Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running
Dimensi yang digunakan untuk memani pulasi variabel (interface style might be one factor and level of expertise of users might be another factor
DEFINISI ISTILAH DALAM
EXPERIMENTAL METHODS
Dependentvariable
Sesuatu yang diukur (waktu untuk menyelesaikan tugas)
DEFINISI ISTILAH DALAM
EXPERIMENTAL METHODSIn
de
pe
nd
en
tv
ari
ab
leKarakteristik yang dimanipulasi (style of icon atau order of items on a menu)
DEFINISI ISTILAH DALAM
EXPERIMENTAL METHODS
Ex
pe
rim
en
tal
co
ntr
ol
Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running)
DEFINISI ISTILAH DALAM
EXPERIMENTAL METHODS
Exp
eri
men
tal
facto
rDimensi yang digunakan untuk memanipulasi variabel (interface style might be one factor and level of expertise of users might be another factor)
Level within a factor
Between group design
Within group design
Mixed-group design
Longitudinal studyCross-sectional study
Manipulasi khusus dalam sustu dimensi(interface style might have two leves--icon and menus, while leve of expertise have three levels-nivice, partial expert, experet)
Kelompok berbeda digunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)
Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)
Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhk kelompok yang berbeda
Kelompok yang sama digunakan untuk sepanjang waktu
Kelompok berbeda diukur pada fase yang berbeda
Level within a factor
Manipulasi khusus dalam suatu dimensi(interface style might have two leves--icon and menus, while leve of expertise have three levels-nuvice, partial expert, expert)
Between group design
Kelompok berbedadigunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)
Within group design
Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)
Mixed-group design
Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhkankelompok yang berbeda
Lo
ng
itu
din
al stu
dy
Kelompok yang sama digunakan untuk sepanjang waktu
Cross-sectional study
Kelompok berbeda diukur pada fase yang berbeda
EXPERIMENTAL METHODOLOGY
What is an experiment ?
Normally, experiments are designed to test some predictions arising from an explicit hypothesis that arises out of an underlying theory.
ContohTeori mengenai working memory dihipote-siskan bahwa ada batasan kemampuan mempertahankan infor masi dalam keadaan aktif tanpa menyebabkan informasi tersebut hilang
Suatu eksperiment harus memenuhi syarat (3)
1. Eksperiment harus secara sistematik memanipulasi satu atau lebih variabel independen pada wilayah yang diamati.
2. Manipulasi tersebut harus dilakukan di bawah kondisi terkontrol, misal untuk semua variabel yang dapatmempengaruhi hasil harus dikontrol.
3. Eksperimenter harus mengukur beberapa karakteristik yang tidak dimanipulasi (variable dependen) atau diasumsikan berubah, sebagai fungsidari variabel indepent
Eksperimen berkepentingan dengan manupulasi sistematik dari satu atau lebih variabelindependen di bawah kondisi yang terkontrol, dan melibat kan rencana yang teliti mengenai pengukuran efek variabeltersebut terhadap variabel dependen.
Variabel harus memenuhi dua kondisi
1. There must be property orcharacteristic that can be manipulated.
2. The value of that property orcharacteristic must be measured.It is normal to specify the waythat the variable can bemeasured.
INDEPENDENT VARIABLES
Independen variabel adalah faktor yang secara sistematik diubah oleh eksperimenter.
Pada kasus tertentu variabel independen juga disebut sebagai experimental treatment ataumanipulation
CONTOH If an experimenter wishes to determine whether different rates of learning existfor three different type of interface (direct manupalition, form based and command based) then each of these types of interface would be a level of the idependet variable ‘type of interface’.
It also sad that in this case there were three levels of independent variable:a level is a particular value that the independent variable can take in the experiment
Learning
rate
Type of interface ( 3 levels)- direct manipulation- form based- command based
Help (2 levels)- provided- not provided
A two factor ortwo-treatment experiment(two different independentsvariables)
Perbedaan antara factor dan level adalah apabila dua atau lebih variabel dependen terdiri dari tipe yang berbeda maka dikatakan different factors, sedang level berarti sama tipe variabelnya tetapi dengan nilai yang terkait berbeda.
INDEPENDENT VARIABLES
Merupakan dimensi khusus yang diukursebagai akibat efek dari variabel independen.
ContohWe might decide to measure the rate at which people learned to use one of the three types of interface described above (direct manupalition, form based, and command based) in term of the number of trials they had on some preset tasks,before the finally managed to prform the tasks three times in succesion without makin errors.
SYARAT YG HARUS DIPENUHI
OLEH VARIABEL DEPENDENT
1. They must be readily observable2. They must be stable and reliable so
that they do vary under constant experimental conditions
3. They must be sensitive to the effects of the independent variables
4. They must be readily related to some
scale of measurement
Tujuan melakukan experimen adalah untuk memperoleh ilmu pengetahuan atau menguji beberapa penaksiran mengenai factor (variabel) yang diteliti (menarik perhatian).
Umumnya percobaan dilakukan untu menguji penaksiran dari beberap hipote-sis yang didasarkan teori tertentu.
Dapat juga percobaan dilakukan karena untuk memperoleh informasi tentang ruang lingkup masalah dan mengiden-tifikasi factor yang perlu dipertimbang-kan dalam pengembangan teori.
Dalam penelitian HCI, peneliti sering berusaha memperoleh informasi tentang user atau disain komputer dengan ongkos yang minimal berdasar waktu dan upaya proses pengembangan sistem.
Contoh Sebelum mengembangkan suatu interface, disainer mungkin ingin meneliti apakah icon dengan label lebih baik dibanding icon tanpa label, atau hanya label.
Percobaan juga memudahkan untuk menguji ide baru
Tujuan melakukan experimen dapat juga dianggap sebagai sarana untuk mengidentifikasi hubungan fungsional antara variabel independen dan dependen.
Berarti bahwa ada hubungan antar nilai variabel independen dan dependen.
Berdasar hubungan tersebut kemu dian dapat disimpulkan hubungan sebab-akibat antara variabel dependen dan idenpenden.
CONTOH variabel dependen yang sering digunakan dalam HCI
• Jumlah kesalahan yang dibuat• Tempat kesalahan dibuat (at what
point in the task)• Waktu yang dibutuhkan untuk
menyelesaikan pekerjaan yangdiberikan
• Waktu yang dibutuhkan untukkembali dari kondisi salah
CONTOH variabel dependen yang sering digunakan dalam HCI
• Kualitas hasil
• Rating preferensi
• Skor atitute
• Selang waktu sebelum mengawali respon
• Event times (inter-key time)
Variabel tersebut berbeda dalam skala pengukurannya, dapat kualitatif atau kuantitatif.
Banyak percobaan menggunakan lebih dari satu variabel dependen dan tipe variabel dependen yang berbeda.
CONTOHBiasa dilkukan untuk mengukur waktu dan jumlah kesalahan yang dilakukan dalam menyelesaiakan suatu tugas.
KLASIFIKASI DEPENDEN VARIABEL
DILALUKAN BERDASAR SKALA
MENGUKURAN
SKALA PENGUKURAN
1. Skala Nominal
2. Skala Ordinal
3. Skala Interval dan
4. Skala Ratio
SKALA PENGUKURAN
1. Skala Nominal
(nama /klasifikasi)2. Skala Ordinal
(nilai yg berbeda untuk obyek yg berbeda,
how much more tidak dapat ditunjukkan,tetapi hanya menyatakan lebih atau kurangdari)
3. Skala Interval
(jarak antara titik tetap, contoh skalasuhu)
4. Skala Ratio
(mempunyai nilai 0, dan real)
EXPERIMENTAL DESIGN
Experimental design bertalian dengan rencana umum untuk melaksanakan percobaan.
Suatu percobaan adalah suatu sarana untuk mengembangkan hubungan sebab-akibat antara event tertentu dalam suatu lingkungan dan kejadian dari suatu bentuk perilaku khusus.
Experimen dilakukan untuk
1. Menyediakan dukungan emperis(berdasar fakta)/bukti untuk suatu teori
2. Menguji hipotesis yang berdasarsuatu teori.
3. Validasi hasil pengalaman daneksperimen yang lebih dahulu
Suatu ilustrasi
Dua atau lebih kelompok diperla-kukan persis sama kecuali terhadap treatment percobaan.
Maka perbedaan yang dapat diamati pada kelompok tersebut disebabkan karena perlakuan tersebut.
Hypotheses
The research hypotheses is a succinct (compressed into few words) statement of the purpose of the experiment.
The experiment is set up to manipulate independent variableand observe their effect(s) on the dependent variable(s) which will either confirm or reject the experimental hypotheses
CONTOH
Users learn quicker with a structured rather than an unstructured interface.
Indedependent variable =type of interface
dependent variable =the number of errors made the; length of time to complete the task and users’ preference rating for the two interface
Differences in experimental
designs
Perbedaan didasarkan atas
1. Tipe dan jumlah subject yangterlibat di dalam experimen
2. Jumlah independen variabel, danjumlah level pada variabel tsb.
3. Metode meletakkan treatmentpada subject, within, betweenatau mix.
Yang perlu dipertimbangkan
dalam pemilihan subject
1. Pengalaman yg dimiliki subject
2. Tingkat ketrampilan subject
3. Jumlah subject yg diperlukan
Faktor lain yang dimiliki subject yang harus diperhatikan berhubungan dengan kontrol adalah;
umur, pengalaman (komputer dan tugas), kecakapan, seks, handeness, motivasi dan anxiety.
Desgning experiment
Designing HCI experiment involves at least the following1. Formulating the hypotheses2. Developing predictions from the hyp/3. Choosing a means to test the
predictions4. Identifying all variables that might
affect the results of the experiment5. Deciding which are the independent
variables (and levels of theindependent variable), dependentvariable and which variables needto be controlled by some means
Desgning experiment
Designing HCI experiment involves atleast the following
6. Designing the experiment task andmethod.
7. Subject selection.8. Deciding the experiment design, data
collection method and controllingconfounding variables
9. Deciding on the appropriate statisticalor other analysis.
10.Carrying out a pilot study(I.e prototype the experiment design)
Confounding
The strength of the experimental method depends on the experimenter’s ability to guarantee that only the manipulated variables are permitted to vary systematically from condition to condition.
When a second or other variables is unwittingly permitted to vary along with the itended one, we say the the variable are confounded.
Confounding
dapat cokontrol dengan cara
1. Diberikan secara sama kesemuatreatment
2. Diacak dari subject ke subject
STATISTICAL TREATMENT OF
THE DATA
1. Differences between meansof groups
2. Testing nul hypothese
3. Significance levels
Parametric and non parametric
statistics
The proper use of parametric statistics includes not only measurements but also a variety of assumptios regarding certain characteristics of both the collected data and the population from which the sample has been drawn.
Parametric and non parametric
statistics
Assumption of parametric test
Three general assumptions
1. The selection of subjects from the population was random and independent, I.e every subject in the sample has an equal chance of being chosen from the populatin and the selection of one subject in no way influenced the sampling of any other subject.
2. The observations were drawn from noramally distributed populations. The experimental data, when plotted in terms of their frequency of occurrence, shoud have the shape of a normal distribution, that is, the score would be normally distributed within the population.
3. The value of each set of scores or group of scores must be comparable; this is known as homogeneity of varince
Parametric test tend to be used for hard dependent variable
Parametric and non parametric
statistics
Assumption of non-parametric test
1. The selection of subjects from the population was random and independent.
2. If the scale of measurement is ordinal or higher then homogeneity of variance must also be assumed.
The data are more subjective or soft
CONCLUSION
Evaluasi pada HCI didiskusikan secara luas tetapi jarang dikerjakan. Waktu yang dibutuhkan untuk evaluasi sering dianggap terlalu lama. Ide evaluasi dijadikan bagian dari daur disain harus termasuk juga beberapa bentuk iterasi dari disain. Output dari suatu evaluasi harus menyediakan satu set rekomendasi untuk redisain sistem dan beberapa indikator kinerja yang mengusulkan cara desain seharusnya berkinerja dalam penggunaan hariannya. Rekomendasi disain dan redisain dapat memberi masukan pada daur hidup disain/development
Banyak solusi untuk masalah disain,
dan seharusny menjadi rekomendasi
yang muncul dari hasil, bersama-sama
dengan beberapa pertimbangan biaya
dalam mengimplementasikan atau tidak
mengimple mentasikan setiap opsi.
Kemampuan untuk menjeneralisasikan
hasil dari evaluasi untuk penggunaan
harian disain tersebut merupa kan
masalah yang sulit.
Evaluasi mungkin dilakukan pada kelompok kecil pengguna dan pada pembatas yang disiapkan di dalam laboratorium.
Lebih aman kalau menganggap bahwa evaluasi gagal mengidentifikasi semua masalah dengan disain tersebut dibandingkan dengan mengindentifikasi masalah yang sesungguhnya.