Evaluasi User Experience pada Sistem Informasi Pasar Kerja

Menggunakan User Experience Questionnare (UEQ)

Kharis, Paulus Insap Santosa, Wing Wahyu Winarno

Departemen Teknik Elektro dan Teknologi Informasi Fakultas Teknik UGM

Jl. Grafika No 2 Kampus UGM Yogyakarta, 55281, Indonesia

kharis@mail.ugm.ac.id

Abstract—The purpose of E-government implementation is to

improve public service quality. One of implementation forms

is the Labor Market Information System for the job seeker, it

is managed by Indonesian Ministry of Manpower. However,

according to the job seeker society’s opinion as the main user,

the service quality of the system isn’t known yet. User

experience is one of the benchmarks of product quality,

service or information system. The purpose of the research is

to measure user experience in information system of Indone-

sian labor market department. The measurenment is conduct-

ed by using user experience questionnaire (UEQ). The evalua-

tion result of user experience shows that perspicuity, effi-

ciency, stimulation and novelty aspects on Labor Market

Information System gets under average score. While attrac-

tiveness and dependability aspects gets bad score.

Keywords- e-government; user experience; User Experience

Questionnaire (UEQ);

Intisari—Penerapan e-government bertujuan untuk mening-

katkan kualitas pelayanan publik. Salah satu bentuk

penerapan e-government adalah Sistem Informasi Pasar

Kerja bagi para pencari kerja yang dikelola Kementerian

Tenaga Kerja RI. Akan tetapi, sistem ini belum diketahui

kualitas layanannya menurut masyarakat pencari kerja se-

bagai pengguna utamanya. User experience merupakan sa-

lah satu tolok ukur kualitas suatu produk, layanan atau

sistem informasi. Penelitian ini bertujuan untuk melakukan

pengujian user experience pada Sistem Informasi Pasar

Kerja Kemnaker RI. Pengujian dilakukan menggunakan

tool berupa User Experience Questionnaire (UEQ). Hasil

evaluasi user experience menggunakan UEQ menunjukkan

bahwa aspek perspicuity, efficiency, stimulation dan novelty

pada Sistem Informasi Pasar Kerja mendapatkan skor

below average. Sedangkan aspek attractiveness dan depend-

ability mendapatkan skor bad.

Kata kunci- e-government; user experience; User

Experience Questionnaire (UEQ);

I. PENDAHULUAN

Masalah ketenagakerjaan merupakan masalah yang dihadapi oleh sebagian besar negara, terutama bagi negara berkembang, tak terkecuali di Indonesia. Masalah ketena-gakerjaan, jika tidak ditangani secara serius, dapat me-ningkatkan angka pengangguran [1]. Masalah pengang-guran, jika tidak ditangani secara serius pula, akan meng-akibatkan peningkatan kemiskinan. Bahkan Swaramarinda [2] menyebutkan bahwa pengangguran merupakan penye-bab terbesar dari kemiskinan. Pemerintah berupaya untuk menangani masalah ketenagakerjaan tersebut melalui ke-bijakan-kebijakan yang dikeluarkan. Kebijakan-kebijakan tersebut berupa kebijakan yang langsung bersinggungan

dengan masalah ketenagakerjaan, maupun kebijakan pen-dukung berupa kebijakan pelayanan publik dan kebijakan tentang peningkatan kualitas pelayanan publik. Undang-Undang Nomor 13 Tahun 2003 menjadi payung hukum layanan ketenagakerjaan di Indonesia. Undang-undang tersebut mengatur masalah pelayanan terhadap pencari kerja meliputi pelatihan kerja, penempatan kerja, perluas-an kerja, hubungan kerja, dan beberapa masalah ketenaga-kerjaan lainnya [3]. Dalam undang-undang tersebut juga mensyaratkan adanya keterpaduan lintas sektoral pusat dan daerah, serta keterpaduan antara unsur-unsur penem-patan kerja yang meliputi: pencari kerja, lowongan pe-kerjaan, informasi pasar kerja, mekanisme antar kerja dan kelembagaan penempatan kerja. Pemerintah juga menge-luarkan kebijakan yang bertujuan meningkatkan kualitas layanan publik, termasuk diantaranya layanan ketenaga-kerjaan, berupa Instruksi Presiden Republik Indonesia Nomor. 03 Tahun 2003. Dengan Inpres ini pemerintah berupaya untuk meningkatkan kualitas pelayanan publik secara efektif dan efisien dengan mengoptimasikan pe-manfaatan teknologi informasi [4].

Kementerian Tenaga Kerja Republik Indonesia (se-lanjutnya disebut Kemnaker) pada pemerintah pusat dan Dinas Tenaga Kerja (selanjutnya disebut Disnaker) pada masing-masing Pemerintah Daerah merupakan instansi yang bertugas melaksanakan pembangunan ketenaga-kerjaan berdasarkan Undang-Undang Nomor 13 Tahun 2003 tersebut. Kemnaker dan Disnaker memberikan ber-bagai layanan ketenagakerjaan baik yang langsung me-nyentuh kebutuhan masyarakat pencari kerja maupun yang tidak secara langsung. Layanan penempatan kerja yang meliputi layanan kartu pencari kerja atau kartu kuning (AK1), pemberian lowongan kerja serta perluasan kerja dilaksanakan oleh Seksi Penempatan Kerja di bawah Kepala Bagian Penempatan Kerja dan Perluasan Kerja pada Disnaker di masing-masing daerah.

Dalam memberikan pelayanan-pelayan tersebut, ins-tansi Kemnaker dan/atau Disnaker sudah banyak me-manfaatkan teknologi informasi sebagai implementasi dari Inpres nomor 3 Tahun 2003 tentang Kebijakan dan Stra-tegi Nasional Pengembangan E-Government. Salah satu-nya adalah pemberian informasi lowongan pekerjaan bagi pencari kerja menggunakan sistem informasi berbasis web yaitu Sistem Informasi Pasar Kerja Kemnaker RI. Akan tetapi, sistem ini belum diketahui kualitas layanannya menurut masyarakat pencari kerja sebagai pengguna utamanya. User experience merupakan salah satu tolok ukur kualitas suatu produk, layanan atau sistem informasi.

Penelitian ini bertujuan untuk mengevaluasi kualitas Sistem Informasi Pasar Kerja Kemnaker RI tersebut dari

CITEE 2019 Yogyakarta, 24-25 Juli 2019 ISSN: 2085-6350

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 237

sisi pengalaman pengguna (User Experience/UX) ber-dasarkan tanggapan dari pengguna sistem menggunakan User Experience Questionnare (UEQ).

II. TINJAUAN PUSTAKA

A. Sistem Informasi Pasar Kerja

Sistem Informasi Pasar Kerja merupakan aplikasi berbasis web yang digunakan di Direktorat Pengembang-an Pasar Kerja Kementerian Tenaga Kerja RI. Sistem ini dikembangkan dengan tujuan untuk membantu pencari kerja dalam menemukan pekerjaan, dan membantu per-usahaan yang sedang mencari calon pekerja. Pencari kerja dapat langsung mencari lowongan pekerjaan yang ter-cantum dalam website tersebut. Salah satu tampilan dari Sistem Informasi Pasar Kerja ini seperti disajikan pada Gambar 1. Sistem ini juga digunakan di Dinas Tenaga Kerja di Pemerintah Daerah Kabupaten/Kota, termasuk Dinas Perindustrian dan Tenaga Kerja Kab. Magelang (Disperinnaker Kab. Magelang). Disperinnaker Kab. Magelang menggunakan sistem ini dalam memberikan layanan ketenagakerjaan pada Seksi Penempatan Kerja. Sistem ini digunakan untuk melayani masyarakat yang memohon kartu pencari kerja (AK1). Pemohon AK1 kemudian mendapatkan akun pada Sistem Informasi Pasar Kerja tersebut. Melalui sistem tersebut, pencari kerja (yang sudah mendapatkan kartu AK1) dapat mencari in-formasi lowongan pekerjaan dari perusahaan-perusahaan dari seluruh Indonesia. Gambar 1 menyajikan tampilan halaman pencarian lowongan pekerjaan.

Gambar 1. Tampilan Sistem Informasi Pasar Kerja

Pada pencarian tersebut, pencari kerja diminta untuk memfilter informasi lowongan pekerjaan apa saja yang ingin ditampilkan. Filter pencarian lowongan pekerjaan berdasarkan kata kunci, kategori pekerjaan serta lokasi perusahaan seperti disajikan pada Gambar 1. Aplikasi akan menampilkan informasi lowongan pekerjaan yang sesuai dengan kriteria pencarian yang ada. Jika filter dikosongkan, maka aplikasi akan menampilkan semua lowongan yang tersedia saat itu. Pencarian juga dapat dilakukan dengan cara masuk ke dalam akun sebagai pencari kerja. Pencari kerja yang sudah menjadi member akan mengisikan biodata yang terdiri dari data akun, data diri, pendidikan dan kriteria pekerjaan yang diharapkan. Pencarian informasi lowongan pekerjaan bagi pencari kerja yang sudah terdaftar menjadi pengguna Sistem Informasi Pasar Kerja dapat dilakukan dengan pencarian semua lowongan maupun melalui rekomendasi yang diberikan oleh sistem.

B. User Experience

User Experience (UX) merupakan faktor yang penting dalam menentukan penerimaan pengguna terhadap sebuah produk/layanan [5]. UX mencakup aspek persepsi peng-guna, perilaku, bahkan hal yang melibatkan emosi peng-guna. Tujuan umum dari pengembangan UX adalah untuk meningkatkan interaksi antara sistem dengan pengguna [6]. Dalam konteks e-Government, UX perlu diperhatikan dalam pengembangan dan desain sistem sebagai acuan dalam peningkatan pelayanan publik. Beberapa penelitian tentang evaluasi UX terhadap sistem e-Government pernah dilakukan. Antara lain oleh Sukmasetya dkk [6] yang meneliti implementasi e-Government Indonesia ber-dasarkan perspektif UX. Peneliti lain, Adha dkk [7] meng-ukur kualitas UX dari sistem penyetaraan ijazah lulusan perguruan tinggi luar negeri Kemristekdikti, meng-gunakan metode PULSE dan HEART yang dikombi-nasikan dengan WEBQUAL. Penelitian lain dilakukan oleh Sivaji dkk [8] yang mengukur UX dari website Electronic Labor Exchange (ELX) milik pemerintah Malaysia.

C. User Experience Questionnaire (UEQ)

Terdapat berbagai tool yang dapat digunakan untuk mengukur faktor UX. Salah satunya adalah User Experience Questionnaire (UEQ). UEQ merupakan suatu instrumen yang digunakan untuk melakukan pengolahan data survei terkait pengalaman pengguna yang mudah un-tuk dipraktikkan, dapat dipercaya, berdasar, dan diman-faatkan untuk melakukan penilaian kualitas subjektif [9]. Penilaian UX dari produk interaktif apa pun dapat dilaku-kan dengan cepat menggunakan UEQ.

Skala kuesioner UEQ dirancang untuk mencakup ke-san/persepsi tentang pengalaman pengguna secara me-nyeluruh [10]. Kuesioner UEQ terdiri dari 26 item per-tanyaan. Kuesioner ini mencakup enam skala, yaitu:

• Attractiveness (daya tarik): Impresi umum peng-guna atas produk, suka atau tidak suka [11].

• Perspicuity (Kejelasan): Seberapa besar kejelasan dari sebuah produk. Misal: mudah dipahami atau sulit dipahami.

• Efficiency (Efisiensi): Seberapa besar pengguna dapat menyelesaikan tugasnya tanpa usaha yang besar atau efisien. Misal: cepat atau lambat, prak-tis atau tidak praktis.

• Dependability (Ketepatan): apakah pengguna me-rasa dapat mengontrol interaksi? Misal: dapat di-prediksi atau tidak dapat diprediksi, mendukung atau menghalangi [12].

• Stimulation (Stimulasi): Seberapa besar motivasi untuk menggunakan produk. Misal: bermanfaat atau kurang bermanfaat, menarik atau tidak me-narik.

• Novelty (Kebaruan): Seberapa besar kebaruan dari produk. Misal: kreatif atau tidak kreatif, konser-vatif atau inovatif [13].

Keenam skala tersebut dikelompokkan menjadi tiga kelompok yaitu attractiveness, pragmatic quality dan hedonic quality seperti tersaji pada Gambar 2. Aspek at-tractiveness merupakan bagian utama dari UEQ, yaitu berkaitan persepsi pengguna akan daya tarik sistem.

ISSN: 2085-6350 Yogyakarta, 24-25 Juli 2019 CITEE 2019

238 Departemen Teknik Elektro dan Teknologi Informasi, FT UGM

Gambar 2. Struktur pengelompokan skala pada UEQ [15]

Aspek pragmatic quality berkaitan dengan persepsi pengguna atas aspek teknis dalam mencapai tujuan (me-laksanakan tugas) menggunakan sistem atau layanan yang tersedia. Aspek hedonic quality berkaitan merupakan as-pek non-teknis yang berkaitan dengan emosi pengguna saat menggunakan sistem atau layanan [14]. Pengelom-pokan item-item pertanyaan UEQ secara lengkap ditun-jukkan pada Gambar 2.

Kelengkapan aspek, yaitu attractiveness, pragmatic quality dan hedonic quality menjadi keunggulan UEQ dibanding tool yang lain. Selain itu, ketersediaan template berupa Data Analysist Tool dalam format excell dalam mengukur UX memudahkan penggunaan alat ukur UEQ.

III. METODOLOGI

Metodologi yang digunakan dalam penelitian tersaji dalam Gambar 3.

Gambar 3. Langkah penelitian

Pada Gambar 3, langkah yang dilakukan dalam pene-litian diawali dengan Mulai, dilanjutkan Persiapan Instru-men Penelitian, Pemilihan Responden, Pengumpulan Da-ta, Analisis Hasil, Mendefinisikan Hasil dan diakhiri de-ngan Selesai.

A. Persiapan Instrumen Penelitian

Instrumen penelitian disini meliputi kuesioner untuk mengevaluasi sistem. Instrumen kuesioner dibuat meng-gunakan Google Form untuk memudahkan penyebaran

kuesioner. Kuesioner yang disiapkan untuk mengukur UX dari Sistem Informasi Pasar kerja terdiri dari 26 item pertanyaan dengan tujuh poin skala likert sesuai dengan kuesioner baku yang digunakan yaitu UEQ.

B. Pemilihan Responden

Calon responden yang dipilih dalam penelitian ini adalah pengguna (user) dari Sistem Informasi Pasar Kerja. Pengguna yang dijadikan sebagai responden adalah peng-guna yang masuk kategori pencari kerja. hal ini dikarena-kan pengguna pencari kerja merupakan pengguna yang langsung merasakan manfaat dari Sistem Informasi Pasar Kerja. Data calon responden ini diperoleh dengan memin-ta bantuan administrator sistem baik yang di Direktorat Pengembangan Pasar Kerja Kemnaker RI maupun di Di-nas Tenaga Kerja di Pemda Kabupaten/Kota. Data peng-guna Sistem Informasi Pasar Kerja yang dibutuhkan me-liputi; nama, alamat, nomor hp dan alamat email (jika ada).

C. Pengumpulan Data

Instrumen penelitian (kuesioner) yang telah disusun dalam format Google Form disebarkan melalui alamat email atau nomor hp calon responden. Data respon yang diperoleh dapat diunduh kemudian diubah ke dalam bentuk lembar sebar (spreedsheet) untuk keperluan peng-olahan data.

D. Analisis Hasil

Untuk menghitung hasil kuesioner UEQ, terdapat tool khusus yang digunakan untuk menganalisis data respon kuesioner UEQ. Data analysis tool tersebut berupa file excell yang dapat diunduh dari website resmi UEQ. untuk menggunakaan kita tinggal memasukkan data dari res-ponden pada Tab “Data”.

E. Mendefinisikan Hasil Hasil analisis data yang berupa evaluasi UX Sistem

Informasi Pasar Kerja diterjemahkan dan disimpulkan.

CITEE 2019 Yogyakarta, 24-25 Juli 2019 ISSN: 2085-6350

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 239

IV. HASIL DAN PEMBAHASAN

A. Persiapan Instrumen Penelitian

Instrumen pengujian yang disiapkan adalah kuesioner untuk mengukur UX dari Sistem Informasi Pasar Kerja. Kuesioner tersebut seperti tersaji pada Gambar 4.

Gambar 4. Kuesioner UEQ

Gambar 4 menyajikan daftar pertanyaan yang diguna-kan sesuai dengan kuesioner baku dari UEQ berupa 26 kuesioner dengan tujuh poin isian skala Likert.

B. Pemilihan Responden

Instrumen (kuesioner) penelitian yang telah disusun dalam format Google Form disebarkan kepada calon res-ponden yang sudah disiapkan. Data calon responden berasal dari Data Pemohon Kartu AK1 di Dinas Perindus-trian dan Tenaga Kerja Kab. Magelang. Jumlah calon res-ponden yang akan digunakan dalam penelitian ini berkisar antara 300 orang. Jumlah yang besar ini untuk meng-antisipasi minimnya partisipasi calon responden dalam mengisikan kuesioner. Calon responden ini merupakan user dari Sistem Informasi Pasar Kerja yang masuk dalam ketegori pencari kerja.

C. Pengumpulan Data

Dari 300 calon responden yang disiapkan, terdapat 20 responden yang memberikan tanggapan terhadap kues-ioner yang diberikan. Jumlah tersebut sudah mencukupi untuk mengukur usability. Menurut [16] tidak ada kepasti-an jumlah responden yang digunakan untuk mendapatkan hasil evaluasi usability. Akan tetapi aturan 16 ± 4 (artinya jumlah pengguna antara 16–4 sampai dengan 16+4) menghasilkan hasil uji dengan tingkat validitas yang tinggi.

Karakteristik responden berdasarkan pendidikan terakhir dan usia tersaji pada Gambar 5 dan Gambar 6. Gambar 5 menyajikan data deskriptif responden berdasar-kan latar belakang pendidikan. Berdasarkan Gambar 5 dapat terlihat bahwa latar belakang pendidikan responden paling banyak adalah lulusan Stara 1 (S1) dengan jumlah 8 responden. Sedangkan lulusan Sekolah Menengah Ke-juruan (SMK)/Madrasah Aliyah Kejuruan (MAK) dan lu-lusan Diploma masing-masing berjumlah 7 responden.

0

5

10

PENDIDIKAN

Gambar 5. Data demografi pendidikan responden

15%

65%

20%0%0%

USIA

<20 Tahun

20 s/d 25Tahun

25 s/d 30Tahun

30 s/d 35Tahun

Gambar 6. Data demografi kelompok usia responden

Sisanya, 1 responden yang mempunyai latar belakang pendidikan Strata 2 (S2). Sementara lulusan SMP/Mts, SMA/MA dan lain-lain tidak ada. Dengan sebaran responden yang mempunyai latar belakang pendidikan seperti tersebut di atas, diharapkan responden sudah cukup familiar dengan internet dan penggunaan sistem yang berbasis web.

Gambar 6 menyajikan data deskriptif responden berdasarkan kelompok umur. Dari sajian tersebut terlihat bahwa responden didominasi oleh kelompok usia 20 s/d 25 tahun dengan prosentase 65 %. Prosentase kelompok usia 25 s/d 30 tahun sebesar 20 % dan prosentase kelom-pok usia di bawah 20 tahun sebesar 15 %. Sedangkan kelompok usia lain tidak ada. Sebaran data tersebut me-nunjukkan bahwa responden sedang dalam masa produktif sebagai angkatan kerja yang potensial.

Proses pengumpulan data dilakukan dengan cara me-minta responden untuk mengunjungi halaman website Sistem Informasi Pasar Kerja Kemnaker RI untuk mencari lowongan pekerjaan yang sesuai dengan profil responden. Setelah itu, responden diberi tautan kuesioner dalam format Google Form dan diminta untuk memberi penilai-an terhadap Sistem Informasi Pasar Kerja dengan mengisi kuesioner yang tersedia.

D. Analisis Hasil

Data respon dari responden dimasukkan ke dalam Data Analysis Tool, yaitu pada Tab “Data”. Tool ini akan menghitung UX dengan perhitungan statistika UEQ. Sebelum melihat hasil perhitungan UEQ, perlu dilakukan analisis terhadap data yang masuk. Analisis yang dilaku-kan adalah analisis terhadap skala inkonsistensi, seperti tersaji pada Gambar 7, dan analisis terhadap reliabilitas data. Uji reliabilitas data tersaji pada TABEL 1.

ISSN: 2085-6350 Yogyakarta, 24-25 Juli 2019 CITEE 2019

240 Departemen Teknik Elektro dan Teknologi Informasi, FT UGM

Gambar 7. Skala inkonsistensi jawaban responden

Inkonsistensi data adalah pengecekan terhadap data yang dimasukkan oleh responden secara acak, pengisian kuesioner secara tidak serius atau kurang/tidak pahamnya responden dengan item pengujian [15]. Hal ini dapat terjadi terutama jika kuesioner UEQ dilakukan secara daring. Untuk menguji jawaban acak ini, digunakan meto-de heuristik sederhana. Dalam suatu skala, semua item yang mengukur aspek UX yang serupa harus mempunyai jawaban yang serupa pula.

Jika terdapat perbedaan mencolok (lebih dari 3) antara evaluasi UX yang serupa, hal ini menunjukkan terdapat masalah dalam pengisian jawaban. Dan jika masalah ter-sebut, maka akan lebih baik jika jawaban dari responden tersebut diabaikan (dihapus). Gambar 7 menyajikan hasil skala inkonsistensi data jawaban dari responden pada Ku-esioner UEQ yang disebarkan. Dalam skala inkonsistensi data yang dihasilkan tidak ada nilai yang lebih besar dari angka 2.

Selain itu, perlu juga dilakukan konfirmasi terhadap reliabilitas data dengan mengecek koefisien Cronbach Alpha. Koefisien Cronbach Alpha mendeskripsikan kon-sistensi untuk semua item pada semua skala. Suatu data evaluasi menggunakan UEQ dapat dikatakan memiliki konsistensi yang tinggi jika nilai dari koefisien Cronbach Alpha lebih besar atau sama dengan 0,7 [10]. TABEL 1 menyajikan koefisien reliabilitas Cronbach Alpha pada tiap skala. Pada data tersebut menunjukkan bahwa semua skala mendapatkan nilai koefisien Cronbach Alpha yang lebih besar dari 0,7 dengan rincian attractiveness (0,95), perspicuity (0,88), efficiency (0,93), deppendability (0,88), stimulation (0,92), dan novelty (0,79).

Setelah melakukan konfirmasi terhadap skala inkon-sistensi jawaban, kemudian dilakukan perhitungan mean, variance dan simpangan baku pada data jawaban res-ponden. Hasil perhitungan Mean dan variance tersaji pada Gambar 8 Gambar 9. Mean merupakan hasil per-hitungan rata-rata dari semua tanggapan responden yang dikelom-pokkan pada masing-masing skala. Sedangkan variance menunjukkan variasi sebaran data.

TABEL 1. Koefisien reliabilitas conbach alpha

Scale Cronbach Alpha

Attractiveness 0,95

Perspicuity 0,88

Efficiency 0,93

Dependability 0,88

Stimulation 0,92

Novelty 0,79

Gambar 8. Skala UEQ (Mean dan Variance) dalam format tabel

Gambar 9. Skala UEQ (Mean dan Variance) format grafik

Nilai rata-rata impresi dari user dengan rentang nilai antara -0,8 dan 0,8 merupakan nilai evaluasi normal, nilai > 0,8 merupakan evaluasi positif dan nilai-nilai <-0,8 merupakan evaluasi negatif [8][11].

Gambar 8 menyajikan hasil perhitungan Mean dan Variance untuk masing-masing skala yakni attractiveness, perspicuity, efficiency, dependabilty, stimulation, dan no-velty. Dari keenam skala yang dihitung, semua menghasil-kan evaluasi normal (dengan penanda panah ke samping warna kuning), kecuali skala Stimulation yang menghasil-kan evaluasi positif (dengan penanda panah ke atas warna hijau) dengan nilai 0,8. Gambar 9 menampilkan hasil per-hitungan mean dan variance yang sudah dikonversi dalam bentuk grafik sehingga memudahkan dalam membaca hasil evaluasi. Terlihat bahwa semua skala, yang diwakili dengan bar kotak, berada pada area normal (warna krem) kecuali skala Stimulation yang berada pada batas bawah area positif. Selain bar yang mewakili setiap skala, ter-dapat pula bar berupa garis yang berada pada tengah bar kotak. Bar garis tersebut mewakili nilai confidence inter-val pada setiap skala.

Hasil perhitungan dapat pula disajikan berdasarkan tiga kelompok yaitu attractiveness, pragmatic quality ser-ta hedonic quality. Seperti disajikan pada TABEL 2 dan Gambar 10. Pada TABEL 2 dan Gambar 10, hasil evaluasi UEQ untuk tiap kelompok yaitu attractiveness, pragmatic quality serta hedonic quality. Ketiga kelompok mendapatkan evaluasi normal dengan nilai 0,67 untuk attractiveness, 0,68 untuk pragmatic quality serta 0,60 untuk hedonic quality.

TABEL 2. Hasil mean dan variance pada setiap kelompok UEQ

Pragmatic and Hedonic Quality

Attractiveness 0,67

Pragmatic Quality 0,68

Hedonic Quality 0,60

CITEE 2019 Yogyakarta, 24-25 Juli 2019 ISSN: 2085-6350

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 241

Gambar 10. Hasil perhitungan UEQ untuk setiap kelompok

Menurut [12] pengelompokan hasil evaluasi means dan variance berdasarkan evaluasi negatif, normal atau positif terkadang belum dapat memberikan pengertian yang aktual bagi para praktisi untuk menginterpretasikan hasil evaluasi terhadap sebuah produk apakah produk tersebut baik atau tidak? Terlebih lagi jika produk yang dievaluasi merupakan produk baru yang belum pernah dilakukan evaluasi UX sehingga belum mempunyai pem-banding terhadap nilai yang dihasilkan, ataupun produk lama yang baru sekali dilakukan evaluasi UX. Untuk itu Schrepp dkk [12] membuat sebuah pembanding dengan mengumpulkan hasil pengujian UX yang pernah dilaku-kan terhadap suatu produk menggunakan UEQ dan kemu-dian menjadikannya sebagai patokan/pembanding dalam menjustifikasi apakah suatu produk tersebut baik atau tidak. Hasil pembandingan antara evaluasi UX pada Sis-tem Informasi Pasar Kerja dengan benchmark dataset tersaji pada TABEL 3 dan Gambar 11.

TABEL 3. UEQ Benchmark

Scale Mean Comparisson to

benchmark

Interpretation

Attractiveness 0,67 Bad In the range of the 25% worst results

Perspicuity 0,73 Below Average 50% of results better, 25%

of results worse

Efficiency 0,71 Below Average 25% of results better, 50% of results worse

Dependability 0,59 Bad In the range of the 25%

worst results

Stimulation 0,80 Below Average 50% of results better, 25%

of results worse

Novelty 0,40 Below Average 50% of results better, 25%

of results worse

Gambar 11. UEQ Benchmark

Interpretasi terhadap skor yang diperoleh dapat disaji-kan dalam bentuk benchmark [9]. TABEL 3 dan Gambar 11 menunjukkan bahwa dari enam skala UEQ yaitu attractiveness, perspicuity, efficiency, dependability, sti-mulation, dan novelty terdapat empat skala (perspicuity, efficiency, stimulation dan novelty) dengan hasil below average dan dua skala lainnya (attractiveness dan depend-ability) mendapatkan hasil bad.

E. Pembahasan

Gambar 7 menunjukkan bahwa dalam perhitungan in-konsistensi jawaban dari responden tidak terdapat skala inkonsistensi yang lebih besar dari 3 (nilai paling besar adalah 2). Hal ini menunjukkan bahwa semua data dapat digunakan untuk dalam proses pengujian UX. Selanjutnya TABEL 1 menunjukkan bahwa koefisien reliabilitias Cronbach Alpha yang diperoleh cukup tinggi yaitu di atas 0,7 untuk semua skala. Hal ini berarti bahwa data tang-gapan dari responden yang digunakan dalam evaluasi ini reliabel.

Gambar 8 dan Gambar 9 menyajikan hasil evaluasi terhadap Sistem Informasi Pasar Kerja Kemnaker RI ber-ada pada level normal, kecuali aspek Stimmulation yang mendapatkan nilai positif. Gambar 9 juga menampilkan error bar yang cukup tinggi. Ini berarti, jika dilakukan repetisi (pengulangan) penelitian dengan kondisi yang yang sama, maka kemungkinan hasil yang diperoleh akan berbeda, dengan hasil berkisar pada rentang error yang ada [15]. Hal ini dimungkinkan dipengaruhi oleh jumlah responden yang digunakan ataupun juga sebaran dari jawaban responden. Hasil evaluasi UX berdasarkan tiga kelompok besar yaitu Attractivness, Pragmatic Quality dan Hedonic Quality seperti yang ditunjukkan pada TABEL 2 dan Gambar 10 mengindikasikan bahwa hasil evaluasi menjukkan bahwa Sistem Informasi Pasar Kerja Kemnaker RI berada pada level normal. Hasil evaluasi ditunjukkan secara lebih jelas pada UEQ benchmark. TABEL 3 dan Gambar 11 menunjukkan bahwa hasil eva-luasi UX berdasarkan tanggapan dari pengguna terhadap Sistem Informasi Pasar Kerja Kemnaker RI berkisar antara Bad dan Below Average. UEQ benchmark yang di-hasilkan menunjukkan bahwa dari enam skala UEQ yaitu attractiveness, perspicuity, efficiency, dependability, sti-mulation, dan novelty terdapat empat skala (perspicuity, efficiency, stimulation dan novelty) dengan hasil below average dan dua skala lainnya (attractiveness dan depend-ability) mendapatkan hasil bad. Hal ini menandakan bah-wa kualitas Sistem Informasi Pasar Kerja Kemnaker RI masih buruk. Belum ada satupun skala UEQ yang me-nunjukkan hasil Good apalagi Excelent. Bahkan skala yang menghasilkan nilai Above Average pun belum ada.

V. KESIMPULAN DAN SARAN

Evaluasi UX terhadap Sistem Informasi Pasar Kerja Kemnaker RI menggunakan UEQ menunjukkan bahwa pengguna dari Sistem Informasi Pasar Kerja Kemnaker RI belum cukup mendapatkan apa yang mereka inginkan baik dari segi daya tarik, fungsionalitas sistem maupun dari segi tampilan yang membuat pengguna nyaman. Hasil evaluasi UX menggunakan UEQ seperti tersaji pada Gambar 8 menunjukkan bahwa dua aspek yang paling harus diperhatikan adalah aspek dependability yang mendapatkan skor 0,588 dan aspek novelty yang men-

ISSN: 2085-6350 Yogyakarta, 24-25 Juli 2019 CITEE 2019

242 Departemen Teknik Elektro dan Teknologi Informasi, FT UGM

dapatkan skor 0,400. Hal ini menunjukkan bahwa peng-guna merasa belum dapat mengontrol interaksinya dengan sistem [17]. Atau dapat pula bahwa pengguna belum merasa aman saat menggunakan sistem. Selain itu, peng-guna belum menemukan kebaruan dalam sistem yang di-tawarkan. UEQ benchmark yang dihasilkan juga menun-jukkan bahwa dari enam skala UEQ yaitu attractiveness, perspicuity, efficiency, dependability, stimulation, dan novelty terdapat empat skala (perspicuity, efficiency, stimulation dan novelty) dengan hasil below average dan dua skala lainnya (attractiveness dan dependability) mendapatkan hasil bad. Hal ini dapat dikarenakan peng-guna dari sistem belum merasa bahwa kebutuhan mereka, baik dari sisi fungsionalitas maupun kemudahan dalam pemaikan, terpenuhi oleh sistem. Untuk itu diperlukan ke-terlibatan pengguna dalam pengembangan sistem selanjut-nya, sehingga kebutuhan pengguna sistem dapat lebih terakomodir.

Penelitan yang dilakukan masih terdapat keterbatasan. Antara lain hasil evaluasi menunjukkan error bar yang cukup tinggi. Yang menandakan bahwa jika dilakukan repetisi (pengulangan) terhadap penelitian ini, maka ke-mungkinan hasilnya akan berbeda dengan kisaran hasil berada di antara confidence interval yang ada [15]. Untuk itu, disarankan bagi peneliti lain untuk melakukan pe-nelitian dengan jumlah responden yang lebih banyak. Error bar yang tinggi juga dapat disebabkan oleh bera-gamnya pengetahuan pengguna terhadap sistem yang ada. Selain itu, pengambilan data dengan dengan cara me-nyebarkan kuesioner melalui email atau nomor hp menyebabkan peneliti tidak dapat melihat secara langsung bagaimana responden menggunakan sistem yang dievalu-asi. Begitu juga, peneliti tidak dapat mengukur task success rate ketika responden menggunakan sistem yang dievaluasi. Untuk itu, perlu dilakukan penelitian meng-gunakan metode pengumpulan data yang berbeda yang memungkinkan adanya pemantuan dan perhitungan task success rate.

REFERENCES

[1] Muhdar HM, “Potret Ketenagakerjaan, Pengangguran, dan

Kemiskinan di Indonesia: Masalah Dan Solusi,” Al-Buhuts,

vol. 11, no. 2, hal. 42–66, 2015. [2] D. R. Swaramarinda, “Analisis Dampak Pengangguran

Terhadap Kemiskinan Di Dki Jakarta,” Jurnal Pendidikan

Ekonomi dan Bisnis (JPEB), vol. 2, no. 2, hal. 63, 2017. [3] R. Indonesia, “Undang-Undang No.13 Th 2003 Tentang

Ketenagakerjaan,” no. 1, 2003.

[4] Inpres, “Inpres No. 3 Th. 2003,” Igarss 2014, vol. 2004, no. 1, hal. 1–5, 2003.

[5] H. B. Santoso, R. Y. K. Isal, T. Basaruddin, L. Sadira, dan M.

Schrepp, “Research-in-progress: User experience evaluation

of Student Centered E-Learning Environment for computer

science program,” Proceedings - 2014 3rd International

Conference on User Science and Engineering: Experience. Engineer. Engage, i-USEr 2014, hal. 52–55, 2015.

[6] P. Sukmasetya, H. B. Santoso, dan D. I. Sensuse, “Current E-

Government Public Service on User Experience Perspective in Indonesia,” 2018 International Conference on Information

Technology Systems and Innovation, ICITSI 2018 -

Proceedings, hal. 159–164, 2019. [7] Y. Adha, W. Winarno, dan P. Santosa, “Pengalaman

Pengguna Laman Pelayanan Publik,” vol. 40, no. 1, hal. 48–

55, 2017. [8] S. S. T. Ashok Sivaji, Norfarhana Abdollah, “Measuring

Public Value UX based on ISO / IEC 25010 Quality

Attributes,” User Science and Engineering (i-USEr), 2014 3rd International Conference, hal. 56–61, 2014.

[9] B. Laugwitz, T. Held, dan M. Schrepp, “Construction and

evaluation of a user experience questionnaire,” Lecture Notes in Computer Science (including subseries Lecture Notes in

Artificial Intelligence and Lecture Notes in Bioinformatics),

vol. 5298 LNCS, hal. 63–76, 2008.

[10] M. Rauschenberger, M. Schrepp, J. Thomaschewski, S.

Olschner, dan M. Perez-Cota, “Efficient Measurement of the

User Experience of Interactive Products. How to use the User Experience Questionnaire (UEQ).Example: Spanish

Language Version,” International Journal of Interactive

Multimedia and Artificial Intelligence, vol. 2, no. 1, hal. 39, 2013.

[11] A. Sularsa dan A. S. Prihatmanto, “Evaluasi User Experiences

Produk iDigital Museum dengan Menggunakan UEQ,” Jurnal Teknologi Informasi, vol. 2, no. 2, hal. 56–62, 2015.

[12] M. Schrepp, A. Hinderks, dan J. Thomaschewski,

“Construction of a Benchmark for the User Experience Questionnaire (UEQ),” International Journal of Interactive

Multimedia and Artificial Intelligence, vol. 4, no. 4, hal. 40,

2017. [13] M. Audi, R. I. Rokhmawati, dan H. M. Az-zahra, “Analisis

Aspek Usability dan User Experience Website dan Aplikasi

Mobile Radio Streaming ( Studi Pada Website dan Aplikasi Mobile Radio Prambors ),” Jurnal Pengembangan Teknologi

Informasi dan Ilmu Komputer (J-PTIIK) Universitas

Brawijaya, vol. 2, no. 12, hal. 6391–6400, 2018. [14] V. Intanny, I. Widiyastuti, M. Dolorosa, dan K. Perdani,

“Pengukuran Kebergunaan dan Pengalaman Pengguna

Marketplace Jogjaplaza . id dengan Metode UEQ dan USE Questionnaire Measuring Usability and User Experience of

The Marketplace of Jogjaplaza . id Using UEQ and USE

Questionnaire,” vol. 3, no. 2, hal. 117–126, 2018. [15] M. Schrepp, M. P. Cota, J. Thomaschewski, dan R.

Gonçalves, User Experience Questionnaire Handbook. 2019.

[16] R. Alroobaea dan P. J. Mayhew, “How many participants are really enough for usability studies?,” Proceedings of 2014

Science and Information Conference, SAI 2014, no. August, hal. 48–56, 2014.

[17] S. V. Izabal, I. Aknuranda, dan H. M. Az-zahra, “Evaluasi

dan Perbaikan User Experience Menggunakan User Experience Questionnaire ( UEQ ) dan Focus Group

Discussion ( FGD ) pada Situs Web FILKOM Apps

Mahasiswa Fakultas Ilmu Komputer Universitas Brawijaya,” vol. 2, no. 9, hal. 3224–3232, 2018.

CITEE 2019 Yogyakarta, 24-25 Juli 2019 ISSN: 2085-6350

Departemen Teknik Elektro dan Teknologi Informasi, FT UGM 243