UNIVERSITAS INDONESIA

3. Fostering Intended Use by Intended Users: The Personal Factor

Tugas Kelompok Teori Evaluasi Program Pembangunan Sosial

Review Buku “Utilization-Focused Evaluation”

By Michael Quinn Patton

Lucia Resty Wijayanti (1506702971)

Mira Azzasyofia (1506702984)

Mohammad Soko Marhendi (1506702990)

Prita Lasaliesanti (1506703002)

Qorihani (1506703015)

Renny Nurlita (1506703021)

FAKULTAS ILMU SOSIAL DAN ILMU POLITIK

PROGRAM STUDI ILMU KESEJAHTERAAN SOSIAL

DEPOK

DESEMBER, 2015

Membantu Perkembangan Penggunaan Oleh Pengguna Yang Diharapkan: Faktor

Personal

Terdapat observasi yang ditindak lanjuti dengan diskusi dari berbagai sudut pandang

yang diungkapkan berdasarkan pengalaman yang sama dan spekulasi terhadap apa yang akan

digunakan untuk membentuk lebih banyak fokus terhadap kumpulan observasi dan evaluasi.

Pendapat tersebut termasuk menetapkan tujuan yang jelas; menentukan kriteria evaluasi;

mencari tahu apa yang seharusnya diobservasi sebelumnya, sehingga setiap orang dapat

mengobservasinya; memberikan arahan yang jelas tentang apa yang akan dilakukan; memulai

dengan tujuan evaluasi; dan melatih observer evaluasi jadi mereka dapat mencatat hal yang

sama.

Sebelum sebuah evaluasi selesai, ada sebuah langkah yang terlebih dahulu dibutuhkan

yaitu menentukan siapa pengguna utama yang diharapkan untuk menggunakan evaluasi.

Tugas ini merupakan langkah awal pada UFE.

Langkah Awal dalam UFE

Banyak keputusan yang harus dibuat dalam sebuah evaluasi. Tujuan dari evaluasi

harus ditentukan. Kriteria evaluasi yang konkrit untuk menilai keberhasilan program yang

biasanya harus dibentuk. Metode yang akan digunakan dan jadwal yang telah disepakati.

Semuanya merupakan isu penting dalam evaluasi. Dalam UFE menjawab orang yang harus

memutuskan isu penting dalam evaluasi adalah pengguna utama yang diharapkan

memanfaatkan evaluasi.

Secara jelas dan eksplisit mengidentifikasi orang yang mendapat manfaat dari

evaluasi sangatlah penting bahwa evaluator mengadopsi istilah khusus untuk pengguna

evaluasi yang berpotensi yaitu stakeholder. Stakeholder evaluasi adalah orang yang

mempertaruhkan kepentingannya dalam temuan evaluasi. Untuk sebuah evaluasi

memungkinkan terdapat berbagai stakeholder: penyandang dana program, staf, administrasi,

dan klien atau partisipan program. Pihak-pihak lain yang memiliki kepentingan baik secara

langsung maupun tidak dengan efektifitas program mungkin dipertimbangkan sebagai

stakeholder, termasuk jurnalis, anggota publik umum, atau lebih spesifik pembayar pajak,

apabila dalam kasus program publik. Stakeholder meliputi siapa saja yang membuat

keputusan atau yang menginginkan informasi mengenai program. Bagaimanapun tipikal

stakeholder bermacam-macam dan sering memiliki konflik kepentingan. Tidak ada evaluasi

yang mampu menjawab semua potensi pertanyaan dengan sama baiknya. Ini berarti beberapa

1

proses diperlukan untuk menyempitkan kemungkinan pertanyaan untuk memfokuskan

evaluasi. Dalam UFE proses dimulai dari menyempitkan daftar potensial stakeholder menjadi

lebih sedikit, lebih spesifik terhadap kelompok utama pengguna yang diharapkan.

Beyond Audience

Wacana sebelumnya tidak ditujukan untuk hanya membuat kesimpulan bahwa orang

yang berbeda melihat hal-hal yang berbeda dan memiliki berbagai kepentingan dan

kebutuhan. Intinya adalah bahwa pernyataan yang secara nyata benar ini secara teratur dan

konsisten diabaikan dalam desain studi evaluasi. Untuk menargetkan evaluasi pada

kebutuhan informasi dari orang tertentu atau kelompok yang diidentifikasi dan berinteraksi

secara personal sangat berbeda dari apa yang telah secara tradisional direkomendasikan

sebagai "mengidentifikasi penonton" untuk evaluasi. Audience tidak berbentuk dan

merupakan entitas anonim. Juga tidak cukup untuk mengidentifikasi suatu badan atau

organisasi sebagai penerima laporan evaluasi. Organisasi adalah kumpulan impersonal pada

suatu posisi hirarkis. Orang, bukanlah organisasi, yang menggunakan informasi evaluasi.

Studying Use: Identification of the Personal Factor

Ada dua faktor yang muncul secara konsisten menjelaskan pentingnya pemanfaatan:

(a) politik dan (b) faktor personal, merupakan munculnya individu yang diidentifikasi atau

sekelompok orang yang secara pribadi peduli tentang evaluasi dan temuan yang dihasilkan.

Dimana orang atau kelompok tersebut saat ini, menggunakan evaluasi yang ada; dimana

faktor personal hilang, sejalan ditandai dengan hilangnya dampak evaluasi.

Faktor personal meliputi kepemimpinan, kepentingan, antusiasme, determinasi,

komitmen, ketegasan dan kepedulian yang spesifik, terdapat orang yang aktif mencari

informasi untuk membuat keputusan dan mengurangi keputusan yang tidak pasti. Mereka

ingin meningkatkan kemampuan mereka untuk memprediksi hasil dari sebuah aktivitas

program dan dengan demikian meningkatkan keleluasaan mereka sebagai pengambil

keputusan, pembuat kebijakan, consumer, partisipan program, dan penyandang dana, atau

apapun peran yang mereka mainkan. Ini merupakan pengguna utama dari evaluasi.

Data on the Importance of the Personal Factor

Dalam sebuah penelitian yang menanyakan responden mengenai pentingnya 11 faktor

penggunaan yang telah ditentukan. Responden diminta untuk mengidentifikasi satu faktor

yang menjelaskan hal yang paling penting dalam menjelaskan dampak atau kurangnya

2

dampak terhadap suatu penelitian. Dari waktu ke waktu, faktor yang diidentifikasi tidak ada

pada daftar faktor yang disediakan, tetapi responden menjawab berdasarkan dengan

keuntungan terhadap orang secara individu. Faktor personal muncul secara dramatis dalam

interview dengan responden. Sementara pernyataan yang meperhatikan pentingnya individu

yang tertarik dan berkomitmen dalam penelitian yang benar-benar digunakan, penelitian yang

tidak digunakan biasanya diakibatkan oleh sering hilangnya faktor personal.

Evaluator lain yang sangat berpengalaman bersikeras dan mengartikulasikan pada

teori bahwa faktor utama yang mempengaruhi penggunaan adalah energi personal, minat atau

kepentingan, kemampuan, dan kontak dari individu-individu tertentu. Ketika diminta untuk

mengidentifikasi salah satu faktor yang paling penting dalam apakah sebuah penelitian akan

digunakan, ia menyatakan dengan sudut pandang sebagai berikut:

“Saya pikir seluruh proses jauh lebih tergantung pada keterampilan orang-orang

yang menggunakannya daripada pada yang berada disekelilingnya seperti isu politik,

sumber daya,..”

Pandangannya telah muncul di awal wawancara ketika ia menggambarkan bagaimana

evaluasi yang digunakan di U.S Office of Economic Opportunity (OEO). Tema yang sama

muncul dalam pernyataannya tentang setiap kemungkinan faktor-faktor yang ada. Ketika

ditanya tentang efek pada penggunaan kualitas metodologi, temuan positif atau negatif, dan

sejauh mana temuan diharapkan, dia selalu kembali kepada pentingnya kepentingan

manajerial, kompetensi, dan kepercayaan. Orang lah yang membuat perbedaan.

Suatu penelitian dilakukan terhadap evaluasi program percontohan yang melibatkan

empat proyek-proyek besar dilakukan atas dorongan administrator program. Dengan upaya

khusus untuk memastikan bahwa pertanyaannya (mengenai, apakah proyek percontohan

mampu diperpanjang dan digeneralisasi?) dijawab. Administrator telah diuntungkan program

pada prinsipnya, harapannya bahwa program ini akan terbukti efektif. Temuan evaluasi, pada

kenyataannya, negatif. Program ini kemudian berakhir, dengan evaluasi berdampak "cukup

berat" dalam keputusan tersebut. Akhirnya dia membuat pernyataan sebagai berikut:

“Kepala instansi dan saya sendiri memiliki tanggung jawab yang luas untuk ini, kami

menginginkan hasil studi evaluasi, dan kami mengharapkan untuk dapat

menggunakannya. Oleh karena itu, mereka digunakan. Itu kesimpulan saya”

Terdapat sebuah kasus di mana pembuat keputusan menggunakan evaluasi untuk mengetahui

informasi apa yang dibutuhkan; evaluator melakukannya untuk menjawab pertanyaan

pembuat keputusan; dan pembuat keputusan berkomitmen untuk menggunakan temuan dari

evaluator. Hasilnya digunakan dalam membuat keputusan tingkat tinggi tetapi bertentangan

3

dengan harapan awal secara pribadi dari direktur. Evaluator menjelaskan, faktor utama yang

menjelaskan penggunaan adalah bahwa "orang yang akan membuat keputusan sadar dan

tertarik pada temuan penelitian dan memiliki kemampuan untuk membingkai pertanyaan

yang harus dijawab, merupakan hal yang sangat penting."

Faktor Pribadi yang Mendukung Penelitian

James Burry (1984) dari UCLA pusat kajian evaluasi melakukan evaluasi menyeluruh

dan produktif pada evaluasi pemanfaatan. Tinjauan tersebut menjadi dasar bagi sebuah

rumusan yang mempengaruhi penggunaan evaluasi (Alkin et al.1985). Sintesis bertumbuh

dari penelitian empiris pada evaluasi pemanfaatan (Alkin, Daillak and White 1979) dan

mengkategorisasi berbagai macam faktor menjadi tiga kategori, yaitu faktor manusia, faktor

konteks, dan faktor evaluasi.

Faktor manusia mencerminkan karakteristik evaluator dan user dengan pengaruh kuat

terhadap kegunaan. Termasuk faktor arah sikap seseorang dan ketertarikan pada program dan

evaluasi, latar belakang mereka dan posisi pada organisasi, dan tingkat pengalaman

profesional. Faktor konteks terdiri dari persyaratan dan keterbatasan keuangan yang dihadapi

oleh evaluasi, dan hubungan antara program yang dievaluasi dengan segmen-segmen lain

yang lebih luas serta organisasi masyarakat sekitar.

Faktor evaluasi mengacu pada pelaksanaan evaluasi sebenarnya, penggunaan

prosedur dalam pelaksanaan evaluasi, dan kualitas informasi (Burry 1984:1). Lester and

Wilds (1990) melakukan review komprehensif pada penggunaan analisis kebijakan publik.

Berdasarkan review tersebut, mereka mengembangkan kerangka konseptual untuk

memprediksi kegunaan. Di antara hipotesis mereka menemukan dukungan berikut:

Semakin besar perhatian pada subjek oleh pengambil keputusan, semakin besar pula

kemungkinan pemanfaatan.

Semakin besar partisipasi pengambil keputusan pada subjek dan ruang lingkup dari

analisis kebijakan, semakin besar pula kemungkinan pemanfaatan. (hal 317)

Marvin Alkin (1985), pendiri dan mantan direktur dari Center for the Study of

Evaluation pada University of California, Los Angeles, membuat faktor personal untuk

Guide for Evaluation Decision-Makers. Jean King menyimpulkan dari tinjauan penelitian

(1988) dan studi kasus (1995) bahwa melibatkan orang yang benar sangat penting untuk

evaluasi kegunaan. Dalam sebuah analisa besar dari “the Feasibility and Likely Usefulness of

Evaluation,” Joseph Wholey (1994) memperlihatkan bahwa melibatkan pengguna yang

diinginkan sangat penting agar pengguna yang dimaksud sepakat atas hasil evaluasi

4

bagaimana mereka akan menggunakan informasi tersebut. Dan Carol Weiss (1990) salah satu

di antara para ilmuwan dari pengetahuan kegunaan, menyimpulkan catatan kunci pada

American Evaluation Association:

Pertama, tampaknya ada sebagian peserta dalam membuat kebijakan yang cenderung

menjadi “pengguna” evaluasi. Faktor personal, interest seseorang, komitmen,

antusisme, memainkan bagian dalam menentukan berapa banyak pengaruh dari

penelitian yang akan didapatkan. (hal 177)

Wargo (1995) menganalisis tiga kesuksesan luar biasa evaluasi federal dalam

pencarian “karakteristik dalam kesuksesan program evaluasi”; ia menemukan bahwa

keterlibatan aktif dari para stakeholders sangatlah penting pada setiap tahapan: selama

perencanaan, ketika melakukan evaluasi, dan penyebaran temuan (hal 77).

Kerangka kerja lain yang mendukung kepentingan dari faktor personal adalah

pendekatan “Decisoin-Oriented Educational Research” dari Cooley dan Biickel (1985).

Meskipun label dari pendekatan ini mengindikasikan fokus lebih kepada keputusan

dibandingkan orang, faktanya keputusan dibangun pada “orientasi klien” yang kuat. Orientasi

klien di sini adalah bahwa umumnya pengguna dari orientasi kebijakan penelitian pendidikan

yang dengan jelas diidentifikasi dan terlibat dalam semua tahap pekerjaan melalui

berlangsungnya dialog antara peneliti dan klien. Cooley dan Bickel menyajikan bukti kasus

untuk dokumen pentingnya menjadi berorientasi pada klien.

Dalam peninjauan utama dari penggunaan evaluasi pada organisasi nonprofit, sektor

independen menyimpulkan bahwa mengikuti dari “the human side of evaluation” membuat

segala perbedaan. “Sektor independen belajar bahwa evaluasi berarti tugas, proses, dan

orang-orang. Ini adalah sisi seseorang sumber daya manusia dalam organisasi, yang

menjadikan tugas “formal” dan proses bekerja dan akan membuat hasil kerja menjadi baik”

(Moe 1993:19).

Dukungan untuk pentingnya faktor personal juga muncul dari Standford Evaluation

Consortium, salah satu dari tempat terkemuka dan reformasi pada evaluasi sekitar akhir tahun

1970 dan awal tahun 1980. Cronbach dan asosiasi pada Consortium mengidentifikasi

diperlukannya reformasi utama dalam evaluasi dengan mempublikasikan set provokatif dari

95 tesis, mengikuti pelajaran dari Martin Luther. Di antara tesis mereka teradapat observasi

pada faktor personal berikut: “tidak ada yang membuat perbedaan besar dalam penggunaan

evaluasi dari faktor personal, kepentingan pejabat dalam belajar evaluasi dan keinginan dari

evaluator untuk mendapatkan perhatian untuk apa yang ia ketahui” (Cronbach et al. 1980:6;

emphasis added).

5

Evaluation’s Premier Lesson

Faktor personal sangat penting dalam menjelaskan dan memprediksi penggunaan

hasil evaluasi yang menekankan pada UFE yang terjadi pada intended user untuk tujuan yang

spesifik. Faktor personal yang dimaksudkan adalah bagaimana dapat menghadirkan orang-

orang yang memahami, nilai, dan peduli tentang evaluasi dan selanjutnya dapat mengarahkan

kita untuk melihat kepentingan mereka.

Dari hasil survey yang dilakukan oleh Cousins dkk (1995) terhadap anggota asosiasi

evaluator professional di Amerika Serikat dan Kanada di dapatkan hasil bahwa “Evaluator

harus merumuskan rekomendasi dari penelitian." Kemudian dicapai sebuah kesepakatan

"Fungsi utama evaluator adalah untuk memaksimalkan intended uses oleh intended user

terhadap data evaluasi". Ada beberapa implikasi dari kesepakatan-kesepakata tersebut.

Implikasi praktis dari Faktor Pribadi

Pertama, proses evaluasi harus muncul orang-orang yang memiliki rasa ingin tahu

terhadap sesuatu, hal ini berarti harus mencari orang-orang yang mampu dan mau

menggunakan informasi yang dihasilkan dari evaluasi. Keterwakilan dari setiap pihak atau

stakeholder sangat penting seperti staf program, klien, penyandang dana, administrator,

anggota dewan, perwakilan masyarakat, dan pejabat pembuat kebijakan. Menurut Cousins

dkk. (1995) keterwakilan dari enam stakeholders sebagai jumlah rata-rata yang biasanya

terlibat dalam proyek. Sudut pandang tiap stakeholder berbeda-beda terhadap beberapa isu,

harus dapat ditemukan orang-orang yang benar-benar tertarik pada dan mau berbagi

informasi, dan dengan niat yang tulus mau meluangkan waktu untuk bekerja lebih untuk

mendapatkan informasi yang mereka butuhkan. Tantangan pertama yang dihadapi dalam

evaluasi adalah menjawab pertanyaan Marvin Alkin (1975a): "Evaluasi: Siapa yang

membutuhkan evaluasi? Siapa yang peduli?" Menjawab pertanyaan ini, bukan hal yang

mudah.

Kedua, posisi formal dan kewenangan hanya panduan parsial dalam mengidentifikasi

pengguna utama. Evaluator harus menemukan orang-orang yang strategis dan antusias,

berkomitmen, kompeten, memiliki ketertarikan, dan tegas. Biasanya orang yang memiliki

posisi lebih tinggi kurang tertarik terlibat dalam evaluasi dibandingkan dengan yang lower

level yang biasanya memiliki karakteristik yang sudah disebutkan sebelumnya.

Ketiga, kuantitas, kualitas, dan waktu berinteraksi dengan intended user sangat

penting. Interaksi antara evaluator dan user dengan ketidakjelasan substansinya akan menjadi

6

bumerang dan menurunkan minat pemangku kepentingan. Evaluator harus strategis dan

sensitif dalam meminta waktu dan keterlibatan dari orang-orang sibuk, dan mereka harus

yakin mereka berinteraksi dengan orang yang tepat dengan isu-isu yang relevan. Intensitas

berinteraksi atau kontak dengan sendirinya akan membantu proses relasi ini. Pemilihan orang

yang tepat untuk terlibat mungkin akan mengurangi jumlah kontak langsung yang harus

dilakukan karena interaksi yang terjadi memiliki kualitas tinggi. Keputusan yang harus dibuat

dalam evaluasi harus kembali mengacu pada masalah kuantitas, kualitas, dan waktu interaksi

dengan pengguna dimaksudkan.

Keempat, evaluator harus membangun dan mempertahankan minat terkait

penggunaan evaluasi. Mengidentifikasi intended user merupakan bagian seleksi dan bagian

pendampingan. User yang memiliki minat yang rendah tidak akan memberikan kontribusi

yang banyak dalam evaluasi.

Kelima, evaluator perlu keterampilan dalam membangun relasi, memfasilitasi

kelompok, mengelola konflik, memahami politik, dan komunikasi interpersonal yang efektif

untuk memanfaatkan pentingnya faktor personal. Keterampilan teknis dan pengetahuan ilmu

sosial tidaklah cukup. Dalam organisasi modern pengambilan keputusan yang diambil

berkaitan dengan dinamika pribadi dan politik sehingga perlu menjadi perhatian evaluator

supaya pekerjaan evaluator tidak sia-sia.

Keenam, evaluasi tertentu melibatkan beberapa tingkatan stakeholder. Misalnya,

penyandang dana, kepala eksekutif, dan pejabat senior mungkin merupakan pengguna utama

untuk hasil yang efektif, sementara staf-tingkat yang lebih rendah dan kelompok pemangku

kepentingan mungkin terlibat dalam menggunakan implementasi dan monitoring data untuk

perbaikan program. Perbedaan tingkatan akan memiliki perbedaan tujuan. Contohnya ada

pada table berikut:

Stakeholder group Evaluation Focus Nature of Involvement

Donor Review Board

(Executives and Program

Officers dari contributing

Foundations dan School

Superintendent)

Efektifitas : implikasi

kebijakan, keberlajutan

Pertemuan 2 kali setahun

untuk mereview design dan

hasil evaluasi interim

District Level Evaluation

Group (Representatives from

participating schools, social

Monitoring pelaksanaan di

awal tahun; hasil tingkat

kabupaten di tahun

berikutnya

Full-day retret diawal dengan

40 orang dari beragam

kelompok; retret tahunan

untuk update, memfokuskan

7

service agencies, community

organizations, and project

staff)

kembali, dan menafsirkan

temuan interim

Partnership Level Evaluation

Teams (Teachers, community

representatives, and

evaluation staff liaisons)

Mendokumentasikan

kegiatan dan outcome di

tingkat kemitraan lokal: satu

sekolah, satu komunitas

Rencana evaluasi tahunan;

menyelesaikan dokumen

evaluasi untuk setiap

kegiatan; review kuartalan

untuk melihat progress

kemajuan dalam penggunaan

temuan untuk perbaikanTabel Struktur dan Proses Multilevel Stakeholder (Patton, hal. 53)

Diversions Away From Intended Users

Ada beberapa godaan evaluator dalam melakukan evaluasi.

Pertama, dan yang paling umum, evaluator tergoda untuk menjadi pembuat keputusan utama

dalam evaluasi. Hal ini dapat terjadi secara default (karena tidak ada orang lain yang bersedia

untuk melakukannya), adanya intimidasi (jelas, evaluator adalah ahli), atau tidak memikirkan

atau mencari intended user (mengapa membuat hidup sulit?). Evaluator telah menjadi

primary intended user yang menjawab pertanyaan mereka sendiri untuk menjawab kebutuhan

mereka sendiri. Evaluasi seperti ini disebut evaluasi dari evaluator, oleh evaluator, untuk

evaluator.

Menu 3.1.

Implikasi Faktor Personal dalam Perencanaan

Menemukan dan mendorong minat mereka yang mau belajar.

Posisi dan kewenangan formal adalah hanya panduan parsial dalam mengidentifikasi

pengguna utama. Cari orang strategis yang antusias, berkomitmen, kompeten, dan

tertarik.

Kuantitas, kualitas, dan waktu interaksi dengan pengguna adalah penting.

Evaluator biasanya akan harus bekerja untuk membangun dan mempertahankan minat

dalam penggunaan evaluasi. Membangun hubungan yang efektif dengan pengguna

dimaksudkan adalah bagian seleksi, bagian pemeliharaan, dan bagian pelatihan.

8

Evaluator perlu orang terampil dalam cara membangun hubungan, memfasilitasi

kelompok, mengelola konflik, berjalan tightropes politik, dan berkomunikasi secara

efektif.

Evaluasi tertentu mungkin memiliki beberapa tingkat pemangku kepentingan dan oleh

karena itu membutuhkan beberapa tingkat keterlibatan stakeholder. (Lihat tabel

Struktur dan Proses Multilevel Stakeholder, hal.8)

Godaan kedua yang mengalihkan evaluator dari tujuan spesifik pengguna adalah

pendekatan identifikasi audiences. Audiences beralih menjadi kelompok yang relatif pasif

menghadapi kelompok yang besar: federal, pegawai negeri, legislatif, pemberi dana, klien,

staf program, masyarakat luas, dan seterusnya. Jika individu tertentu tidak teridentifikasi dari

audiences tersebut dan diatur dalam keterlibatannya dalam proses evaluasi kemudian

menyebabkan kegagalan, evaluator menjadi pengambil keputusan yang sesungguhnya dan

mengemban kepemilikan dari stakeholder, dengan ancaman korespondensi kepada

pemanfaatannnya.

Evaluasi yang responsive adalah mengelola permasalahan audiences (Guba dan

Lincoln 1981:23); menekankan originalitas). Evaluator menginterview dan mengobservasi

stakeholder kemudian mendesain evaluasi yang responsif pada masalah yang dimiliki oleh

stakeholder. Stakeholder, bagaimanapun tidak lebih dari sumber data dan seorang audiences

untuk kepentingan evaluasi, bukan mitra yang riil pada proses evaluasi.

Revisi pada tahun 1994 dari Joint Committee Standards untuk evaluasi beralih untuk

membahasakan intended users dan stakeholders dari istilah yang awalnya mereferensi kepada

audiences. Kemudian, dalam versi baru, Utility Standards (Standar Penggunaan)

dimaksudkan untuk menyakinkan bahwa akan menyajikan informasi yang dibutuhkan

intended users, kebalikannya kepada given audiences pada versi asli 1981 (Joint Committee

1994, 1981; penekanan ditambahkan). Standard awal diubah menjadi “Stakeholder

identification” dari yang asli yaitu “Audiences Identification”. Perubahan istilah ini tidak

sekedarnya. Hal ini mengindikasikan bahwa dasar pengetahuan yang mendasari profesi telah

berkembang. Bahasa yang kita gunakan membentuk cara berpikir. Nuansa dan konotasi

terefleksi dalam bahasa-bahasa ini berubah dari fundamental kepada filosopi evaluasi yang

berfokus pada pemanfaatan.

Pengalihan/penyimpangan yang ketiga dari intended user terjadi ketika evaluator

menargetkan organisasi dibanding spesifik individu. Ini terlihat jadi lebih spesifik daripada

menargetkan audiences yang general, padahal tidak. Organisasi sebagai target evaluasi jadi

9

aneh tanpa adanya orang yang riil. Fokus akan beralih pada posisi dan peran dan kewenangan

yang melekat pada jabatan. Max Weber (1947) menyampaikan bahwa birokrasi melahirkan

studi kelembagaan, sosiologi yang melihat kemampuan saling mengubah orang-orang dalam

organisasi sebagaimana penanda dari institusional yang rasional dalam masyarakat modern.

Pada norma ideal birokrasi yang rasionalitas, tidak peduli siapa yang dalam posisi,

menggunakan kriteria universal. Weber berpendapat birokrasi yang dapat memaksimalkan

efisiensi karena organisasi menetapkan aturan yang spesifik pada hirarki posisi dan status

yang jelas serta tindakan dihitung dan rasional tanpa mempertimbangkan pribadi atau kriteria

partikularistik. Sepertinya mengabaikan faktor personal. Hal tersebut hanya pandangan

umum yang sepertinya meresap dalam pikiran evaluator ketika mereka mengatakan bahwa

evaluasi untuk pemerintahan federal, negara, agensi, atau entitas organisasi lainnya. Akan

tetapi organisasi tidak mengambil/menelan informasi; orang-orang yang mengambil

informasinya- sifatnya individual, istimewa, peduli, tidak pasti, mencari orang. Siapa pihak

yang dalam posisi membuat semua perbedaan untuk penggunaan evaluasi. Mengabaikan

faktor personal adalah untuk melemahkan potensi pemanfaatan di awal. Untuk menentukan

target evaluasi pada organisasi adalah tidak menargetkan personal secara partikular.

Pengalihan/penyimpangan keempat, intended users memfokuskan pada keputusan

dibandingkan pengambil keputusan. Pendekatan ini dicontohkan oleh Mark Thompson

(1975) yang mendefinisikan evaluasi sebagai penyusunan informasi untuk tujuan

memperbaiki keputusan (hal. 26) dan membuat “langkah awal dalam evaluasi “identifikasi

dari keputusan atau memutuskan informasi apa yang dibutuhkan" (hal. 38). Pertanyaan siapa

yang akan membuat keputusan harus implisit. Pendekatan berorientasi pada keputusan

berasal dari model ilmu pengetahuan sosial yang rasional pada bagaimana membuat

keputusan berlaku: Keputusan diharapkan harus jelas;

1. Informasi akan mengarahkan/menjadi petunjuk dalam membuat keputusan.

2. Kajian menyediakan informasi yang dibutuhkan.

3. Keputusan dibuat sesuai dengan temuan.

Fokus pada bagian ini adalah pada data dan keputusan-keputusan daripada orang.

Bagi orang yang membuat keputusan, ternyata, kebanyakan keputusan dibuat secara

akumulatif dan bertahap (berlarut-larut) daripada dibuat konkret dan diwaktu yang ditentukan

(Weiss 1990, 1977; Allison 1971; Lindblom 1965, 1959). Sangat membantu, bahkan penting

sekali untuk mengarahkan evaluasi pada keputusan di masa mendatang, dan dampak

keputusan, terbaik dalam rangkaian dengan intended users datang bersama-sama untuk

10

memutuskan apa data yang akan diperlukan untuk tujuan apa, termasuk, namun tidak terbatas

pada keputusan.

Ernest House (1980) menulis buku penting yang mengkategorikan berbagai macam

pendekatan dalam mengevaluasi, dia memasukan utilization-focused evaluation kedalam

"decision-making models". Karakter utama dalam decision-making model yaitu "evaluasi

dibentuk oleh keputusan aktual yang dibuat" (hal. 28). Proses evaluasi penting untuk

mengarahkan dan memfokuskan tentang bagaimana orang berpikir tentang keputusan-

keputusan mendasar dalam sebuah program, pada yang disebut penggunaan konsep; evaluasi

dapat membantu implementasi secara tepat; proses desain evaluasi akan lebih jelas, spesifik,

dan mengarah pada tujuan, yang berarti evaluasi dapat menyediakan informasi sesuai

kebutuhan dan aset klien; yang dapat membantu menginformasikan diskusi yang sifatnya

umum tentang kebijakan publik.

Tujuh kategori dalam UFE (Utilization-Focused Evaluation) menurut House:

1. Analisis sistem, secara kuantitatif menekankan input dan outcome untuk melihat

efektivitas dan efisiensi;

2. Pendekatan kepemilikan yang objektif, penekankan pada kejelasan, tujuan yang

spesifik;

3. Evaluasi goal-free, yang meneliti perluasan kebutuhan aktual klien yang terkait

dengan program;

4. Pendekatan seni kritis, yang membuat keahlian evaluator diturunkan dalam standar

yang baik berhadapkan pada program yang ditetapkan/diputuskan;

5. Model akreditasi, tim akreditasi eksternal menentukan tingkat program dikaitkan

dengan standart profesi untuk menentukan tipe program;

6. Pendekatan lawan, dimana dua tim bersaing setelah pertanyaan sumatif apakah

program akan dilanjutkan;

7. Model transaksi, yang kocus pada proses program.

Yang hilang dari skema klasifikasi House adalah pendekatan evaluasi difokuskan

pada dan disesuaikan dengan kebutuhan informasi dari orang yang khusus akan

menggunakan proses dan temuan evaluasi. Hal ini yang menjadi fokus dari Marvin Alkin

(1995), yaitu berorientasi pada user. Evaluasi yang berfokus pada orientasi user/pengguna

menjelaskan proses evaluasi untuk membuat keputusan tentang isi sebuah evaluasi –tetapi

isinya tidak spesifik.

Godaan kelima adalah mengasumsikan bahwa pemberi dana evaluasi adalah

pengguna utama yang paling punya kepentingan. Pemberi dana yang paling tertarik dalam

11

menggunakan evaluasi. Mereka yang mengontrol evaluasi mungkin tidak punya pertanyaan

evaluasi yang spesifik. Seringkali mereka menyakini bahwa evaluasi adalah cara yang baik

untuk membuat orang tetap berjalan di ‘kaki’ nya. Mereka memandatkan proses namun tidak

substansi. Dalam situasi tertentu (situasi tidak biasa/khusus) ada pertimbangan untuk

mengidentifikasi kesempatan dan bekerja dengan stakeholder tambahan/lain untuk

memformulasikan pertanyaan evaluasi yang relevan dan terkait desain program.

Godaan keenam adalah menunda dan merencanakan untuk menggunakan yang awal.

Godaan ini untuk menunggu sampai temuan-temuan ada, intinya tidak merencakan untuk

menggunakan dengan menunggu apa yang terjadi. Eleanor Chelimsky (1983) berpendapat

bahwa yang paling penting dalam akuntabilitas evaluasi adalah penggunaan yang datang dari

"melihat proses pendesainan dan menindaklanjuti penggunaan yang telah ditentukan bagi

pengguna yang telah ditentukan"(hal. 160). Dia menyebutnya proses feedback dengan

lingkaran tertutup (close-looped feedback).

Godaan ketujuh, adalah untuk menyakinkan seseorang yang tidak yakin dan

mengambil resiko untuk terlibat dalam proses. Ada pendapat evaluator yang berasal dari

akademisi memaksa demi mempertanggujawabkan dengan meyakinkan kualitas data dan

desain yang kaku. Sikap akademisi yang menjustifikasi evaluator berada diantara kegaduhan

orang dan politik lebih sering untuk menghasilkan karya ilmiah daripada perbaikan program.

Menjaga dengan terlibat dalam membangun relasi dan memilah urusan politik program.

Dalam hal ini, evaluator terjerat dalam dinamika perubahan kekuasaan, terlibat dalam relasi

yang semakin buruk bahkan cenderung bias.

Dengan kata lain dapat disimpulkan dalam buku ini, tujuh godaan yang menjauhkan

Fokus-Pengguna, yaitu:

1. Evaluator menjadikan diri mereka sebagai pengambil kebijakan yang utama dan

pengguna utama;

2. Mengidetifikasi audiences yang tidak jelas, pasif sebagai pengguna, dibandingkan

orang riil;

3. Menargetkan organisasi sebagai pengguna daripada orang yang spesifik;

4. Fokus pada keputusan daripada pengambil keputusan;

5. Berasumsi bahwa pemberi dana evaluator otomatis adalah stakeholder utama;

6. Menunggu sampai ada temuan untuk mengidetifikasi intended users (pengguna yang

dimaksud) dan intended uses (kegunaan yang dimaksud);

7. Berada diatas kegaduhan orang dan politik.

12

Evaluasi pengguna-Fokus dalam Praktek

Menurut Profesor Lawrence Lynn Jr., professor kebijakan publik di Kennedy School

of Government, Harvard University, telah memberikan bukti tentang pentingnya cara-

pengguna terfokus dalam analisis dan evaluasi kebijakan. Lynn diwawancarai oleh Michael

Kirst mengenai evaluasi pendidikan dan analisis kebijakan. Dia bertanya, "Apa yang akan

menjadi ujian dari 'analisis kebijakan yang baik'?"

“Salah satu kondisi dari analisis kebijakan yang baik adalah membantu untuk

pembuat keputusan. Pembuat keputusan melihat hal itu dan dia mengerti masalah

lebih dalam, memahami pilihan yang lebih baik, atau memahami implikasi dari

pilihan yang lebih baik. Pengambil keputusan dapat mengatakan bahwa analisis ini

membantu saya.” (Lynn1980a: 85)

Dapat dilihat bahwa penekanannya adalah pada menginformasikan pembuat

keputusan, bukan hasilnya. Lynn berpendapat (dalam buku teks-nya pada analisis kebijakan

(Lynn, 1980b)) bahwa keterampilan utama yang dibutuhkan oleh kebijakan dan evaluasi

analis adalah kemampuan untuk memahami dan membuat akomodasi spesifik dalam bentuk

kognitif pengambil keputusan dan karakteristik personal lainnya. Contoh yang diberikan

Lynn adalah lembaran dari pendekatan user-focused. Ia mencontohkan Elliot Richardson dan

MacNamara yang merupakan individu yang sangat mampu memahami masalah yang paling

kompleks dan menyerap kompleksitas sepenuhnya dalam pikiran mereka sendiri. Kecerdasan

mereka tidak terbatas dalam hal apa yang bisa mereka tangani. Namun, mereka tidak benar-

benar ingin mendekati masalah intelektual dalam pengambilan keputusan, mereka dapat

mendekati masalah dengan berbagai prasangka, mereka mungkin tidak suka membaca,

mereka mungkin tidak seperti data, mereka mungkin tidak menyukai penampilan rasionalitas,

mereka mungkin ingin melihat hal-hal ditulis dalam pemerintah yang lebih jelas. Dan analis

juga telah dapat memperhitungkannya. Analis harus mencari tahu bagaimana ia berguna bisa

mendidik seseorang yang memiliki metode pendidikan yang berbeda.

Lynn juga menggunakan contoh Jerry Brown, mantan Gubernur California. Brown

menyukai analisis kebijakan yang dibingkai sebagai debat-tesis, antitesi karena ia telah dilatih

dengan gaya agumen bermuka dua. Tantangan untuk analisis kebijakan atau evaluator

berubah menjadi kearah yang lebih kognitif dan logis. Presiden Ronald Reagan, contohnya,

menyukai gaya bercerita Reader’s Digest dan menggunakan anekdot. Dalam perspektifnya,

Lynn mengatakan seorang analis harus mencari cara untuk berkomunikasi masalah kebijakan

dengan Reagan melalui cerita. Seorang analis dan evaluator harus memiliki “Intellectual

13

effort” agar outcome yang mereka hasilkan atau simpulkan bisa didengar, dihargai, dan

dipahami.

Lynn mencontohkan pentingnya faktor personal di tingkat tertinggi pemerintahan.

Alkin dkk. (1979), telah menunjukkan bagaimana faktor personal digunakan dalam evaluasi

di tingkat negara bagian dan lokal. Berfokus pada faktor personal yang memberikan arahan

tentang apa yang harus dicari dan bagaimana untuk menggunakannya dalam perencanaan.

Beyond Just Beginning

Sebagai pertimbangan penting dalam meningkatkan penggunaan evaluasi, faktor

personal menjelaskan mengapa evaluator dalam UFE memulai dengan mengidentifikasi dan

mengorganisir primary intended users dalam evaluasi. Mereka kemudian berinteraksi dengan

primary intended users mulai dari evaluasi sampai selesai dan mempertahankan komitmen

untuk menggunakan hasil evaluasi. Untuk itu, ada delapan godaan dalam evaluasi.

Tambahannya adalah mengidentifikasi primary intended users pada awal penelitian,

selanjutnya tidak melibatkan mereka sampai laporan akhir selesai.

Kehadiran primary intended users bukan hanya latihan akademis yang dilakukan

untuk kepentingan diri sendiri. Melibatkan orang-orang tertentu yang dapat dan akan

menggunakan informasi memungkinkan mereka untuk menetapkan arah, komitmen, dan

kepemilikan terhadap evaluasi dalam setiap langkah di sepanjang jalan, dari inisiasi

penelitian melalui tahapan pembacaan desain dan data sampai ke laporan akhir dan proses

diseminasi. Jika pembuat keputusan hanya menunjukkan sedikit minat dalam penelitian di

tahap awal, maka evaluasi tidak akan cukup siap untuk digunakan.

14