Comprehensive Program Evaluation

Evaluasi Program Evaluasi Program Yang KomprehensifYang Komprehensif

Dosen: Azhar KasimDosen: Azhar Kasim

Evaluasi Program yang Evaluasi Program yang KomprehensifKomprehensif

Meliputi analisis terhadap konseptualisasi Meliputi analisis terhadap konseptualisasi dan disain program, monitoring terhadap dan disain program, monitoring terhadap implementasi, dan penilaian terhadap implementasi, dan penilaian terhadap kegunaan program.kegunaan program.

Analisis Terhadap Konseptualisasi Analisis Terhadap Konseptualisasi dan Disain Program (1)dan Disain Program (1)

Permasalahan Permasalahan Sasaran (definsi operasional)Sasaran (definsi operasional) Kesesuaian intervensi (program)Kesesuaian intervensi (program) Analysis biaya dan manfaatAnalysis biaya dan manfaat

Analisis Terhadap Konseptualisasi Analisis Terhadap Konseptualisasi dan Disain Program (2)dan Disain Program (2)

Tahap konseptualisasi program ini sangat Tahap konseptualisasi program ini sangat penting. Apabila terjadi banyak perubahan penting. Apabila terjadi banyak perubahan maka maka you can’t solve today’s problem with you can’t solve today’s problem with yesterday solution.yesterday solution.

In today’s increasing complex business In today’s increasing complex business world, leaders must be innovative, world, leaders must be innovative, entrepreneurial, and global, in both thought entrepreneurial, and global, in both thought and action …and action …

Monitoring Terhadap Monitoring Terhadap Implementasi ProgramImplementasi Program

Penilaian tentang apakah program: Penilaian tentang apakah program: – 1. Dilakukan sesuai dengan rencana1. Dilakukan sesuai dengan rencana– 2. Mencapai sasaran program2. Mencapai sasaran program

Penilaian Terhadap Kegunaan Penilaian Terhadap Kegunaan ProgramProgram

Apakah program cukup efektif dalam Apakah program cukup efektif dalam mencapai tujuanmencapai tujuan

Dapatkah hasil program dijelaskan dengan Dapatkah hasil program dijelaskan dengan alternatif lainalternatif lain

Opportunity costOpportunity cost Cost-benefit analysis (individual)Cost-benefit analysis (individual)

Evaluasi ProgramEvaluasi Program

Adalah aplikasi daripada metode penelitian Adalah aplikasi daripada metode penelitian secara sistematis untuk keperluan penilaian secara sistematis untuk keperluan penilaian disain program, implementasi dan disain program, implementasi dan efektivitasnya.efektivitasnya.

Untuk mendapatkan informasi tentang Untuk mendapatkan informasi tentang kemajuan pelaksanaan program dan kemajuan pelaksanaan program dan dampaknya terhadap masyarakat umum dampaknya terhadap masyarakat umum dan terhadap individu.dan terhadap individu.

Evaluasi ProgramEvaluasi Program

Pada tahap:Pada tahap:1.1. Policy Formulation:Policy Formulation:

• Penilaian dan justifikasi terhadap kebutuhan program Penilaian dan justifikasi terhadap kebutuhan program barubaru

2.2. Policy ExecutionPolicy Execution• Untuk mengetahui apakah program dilaksanakan Untuk mengetahui apakah program dilaksanakan

dengan cara yang paling dengan cara yang paling cost-effectivecost-effective

3.3. Accountability Accountability • Untuk mengetahui apakah operasi pelaksanaan Untuk mengetahui apakah operasi pelaksanaan

program cukup efektif dan apakah perlu program program cukup efektif dan apakah perlu program tersebut dilanjutkan, dimodifikasi atau dihentikan.tersebut dilanjutkan, dimodifikasi atau dihentikan.

Evaluasi untuk Formulasi Evaluasi untuk Formulasi KebijakanKebijakan

Informasi tentang masalah programInformasi tentang masalah program– Seberapa besarSeberapa besar– Arah dan frekuensiArah dan frekuensi– Bagaimana perubahannyaBagaimana perubahannya

Informasi tentang hasil program yang lain dan Informasi tentang hasil program yang lain dan usaha untuk mengatasi masalah yang dihadapiusaha untuk mengatasi masalah yang dihadapi– Kelayakan programKelayakan program– KesulitanKesulitan

Info tentang tiap alternatif programInfo tentang tiap alternatif program– Perbandingan biaya dan manfaatPerbandingan biaya dan manfaat– Prospek masa depanProspek masa depan

Evaluasi untuk Keperluan Evaluasi untuk Keperluan Pelaksanaan ProgramPelaksanaan Program::

Informasi tentang implementasi programInformasi tentang implementasi program– Derajat keberhasilanDerajat keberhasilan– Perbandingan program diberbagai lokasiPerbandingan program diberbagai lokasi– Kesesuian dengan kebijakanKesesuian dengan kebijakan– Penilaian “stakeholder”Penilaian “stakeholder”– Penyalah gunaanPenyalah gunaan

Informasi tentang manajemen programInformasi tentang manajemen program– Kontrol pengeluaranKontrol pengeluaran– Kualifikasi personaliaKualifikasi personalia– Alokasi sumber dayaAlokasi sumber daya

Informasi tentang keadaan masalah saat iniInformasi tentang keadaan masalah saat ini– Apakah bertambah besarApakah bertambah besar– Apakah berkurangApakah berkurang– Apakah program masih diperlukanApakah program masih diperlukan

Evaluasi untuk Evaluasi untuk Pertanggung-JawabanPertanggung-Jawaban

Informasi tentang Informasi tentang “Program Outcome”“Program Outcome”– Hasil daripada implementasi programHasil daripada implementasi program

Informasi tentang derajat keberhasilan Informasi tentang derajat keberhasilan programprogram– Dampak langsung terhadap masalahDampak langsung terhadap masalah

Informasi tentang dampak yang ditimbulkan Informasi tentang dampak yang ditimbulkan oleh programoleh program– Dampak terhadap Dampak terhadap “target population”“target population”

Pertanyaan yang Harus Diajukan Pertanyaan yang Harus Diajukan Oleh Seorang Evaluator Adalah:Oleh Seorang Evaluator Adalah:

Apabila faktor lain keadaannya sama dan Apabila faktor lain keadaannya sama dan tidak ada program lain yang ikut tidak ada program lain yang ikut mempengaruhi, apa yang nyata terjadi mempengaruhi, apa yang nyata terjadi dibanding dengan apa yang direncanakan dibanding dengan apa yang direncanakan akan terjadi? akan terjadi?

5 Teknik Evaluasi5 Teknik Evaluasi

1.1. Perbandingan kondisi sebelum dengan kondisi sesudah Perbandingan kondisi sebelum dengan kondisi sesudah adanya programadanya program

2.2. Perbandingan trend proyeksi sebelum program dengan Perbandingan trend proyeksi sebelum program dengan data sesudah adanya programdata sesudah adanya program

3.3. Perbandingan populasi sasaran dengan populasi yang Perbandingan populasi sasaran dengan populasi yang tidak menjadi sasaran programtidak menjadi sasaran program

4.4. Eksperimen yang terkontrol dimana ada dua kelompok Eksperimen yang terkontrol dimana ada dua kelompok yang mempunyai ciri-ciri yang serupa. Kelompok yang yang mempunyai ciri-ciri yang serupa. Kelompok yang satu dilayani oleh program sedangkan kelompok yang satu dilayani oleh program sedangkan kelompok yang lain tidak dilayanilain tidak dilayani

5.5. Perbandingan antara hasil menurut rencana dengan Perbandingan antara hasil menurut rencana dengan hasil yang sesungguhnya dicapai hasil yang sesungguhnya dicapai

Stakeholder Groups (Kelompok Stakeholder Groups (Kelompok yang Berkepentingan) Terhadap yang Berkepentingan) Terhadap

Evaluasi ProgramEvaluasi Program1.1. Pembuat kebijakan Pembuat kebijakan 2.2. Sponsor programSponsor program3.3. Sponsor evaluasiSponsor evaluasi4.4. Individu/kelompok sasaranIndividu/kelompok sasaran5.5. Pengelola programPengelola program6.6. Program staffProgram staff7.7. Evaluator Evaluator 8.8. PesaingPesaing9.9. Conceptual stakeholderConceptual stakeholder10.10. Evaluation communityEvaluation community

Alasan-alasan untuk Alasan-alasan untuk Mengevaluasi ProgramMengevaluasi Program

1.1. Memenuhi persyaratanMemenuhi persyaratan

2.2. Pertanggung jawaban pemakaian danaPertanggung jawaban pemakaian dana

3.3. Menjawab informasi yang dimintaMenjawab informasi yang diminta

4.4. Membuat keputusan administrasiMembuat keputusan administrasi

5.5. Umpan balik bagi pengembangan programUmpan balik bagi pengembangan program

6.6. Mempelajari dampak sampingan yang Mempelajari dampak sampingan yang tidak dikehendakitidak dikehendaki

Effectiveness or Effectiveness or Impact EvaluationImpact Evaluation

Bersifat retrospektif untuk mengetahui Bersifat retrospektif untuk mengetahui tingkat keberhasilan suatu program yang tingkat keberhasilan suatu program yang sedang berjalansedang berjalan

Membandingkan hasil (keadaan) setelah Membandingkan hasil (keadaan) setelah ada program dengan keadaan bila tidak ada ada program dengan keadaan bila tidak ada programprogram

Dapat dipakai untuk pertanggung jawaban Dapat dipakai untuk pertanggung jawaban programprogram

Process EvaluationProcess Evaluation

Bersifat retrospektif untuk menganalisis Bersifat retrospektif untuk menganalisis proses kegiatan implementasi program proses kegiatan implementasi program yang sudah terlaksana (yang sudah terlaksana (strategy mgtstrategy mgt, biaya , biaya operasional )operasional )

Sering dilakukan dengan kombinasi dengan Sering dilakukan dengan kombinasi dengan teknik lain seperti teknik lain seperti effectiveness evaluationeffectiveness evaluation untuk membantu menjelaskan pertanggung-untuk membantu menjelaskan pertanggung-jawabanjawaban

Evaluability AssessmentEvaluability Assessment

Menilai validitas asumsi-asumsi yang Menilai validitas asumsi-asumsi yang dijadikan landasan konsep bagi dijadikan landasan konsep bagi penyusunan programpenyusunan program

Menilai kemungkinan berhasilnya suatu Menilai kemungkinan berhasilnya suatu program (prospektif)program (prospektif)

Menilai implementasi program dengan Menilai implementasi program dengan membandingkan sasaran program dengan membandingkan sasaran program dengan kegiatan program sekarang (retrospektif)kegiatan program sekarang (retrospektif)

Front-end AnalysisFront-end Analysis

Evaluasi terhadap usulan program baruEvaluasi terhadap usulan program baru Berorientasi prospektif untuk memperoleh Berorientasi prospektif untuk memperoleh

informasi untuk mengatisipasi masa depan informasi untuk mengatisipasi masa depan program (mirip perencanaan)program (mirip perencanaan)

Mengetahui kelayakan dan Mengetahui kelayakan dan effects effects dari dari program tersebutprogram tersebut

Program or Problem Program or Problem MonitoringMonitoring

BersifatBersifat continuous continuous untuk mendapatkan untuk mendapatkan informasi tentang karakteristik informasi tentang karakteristik permasalahan dan mengikuti permasalahan dan mengikuti perkembangan programperkembangan program

Membantu Membantu policy formulationpolicy formulation atau atau policy policy executionexecution

Dapat juga membantu pertanggung-Dapat juga membantu pertanggung-jawabanjawaban

Meta-Evaluation or Meta-Evaluation or Evaluation SynthesisEvaluation Synthesis

Menganalisis kembali hasil studi-studi yang Menganalisis kembali hasil studi-studi yang sudah adasudah ada

Memerinci apa yang sudah diketahui dan Memerinci apa yang sudah diketahui dan apa belum diketahui tentang implementasi apa belum diketahui tentang implementasi programprogram

Dipakai untuk Dipakai untuk accountability and policy accountability and policy formulationformulation serta serta policy executionpolicy execution

Table 4-1. Comparison of Cost and Benefits of a Table 4-1. Comparison of Cost and Benefits of a Development RoadDevelopment Road

(millions of rupees)(millions of rupees)

YearYear

Cost Cost BenefitsBenefits

Road Road (1)(1)

EquipEquipment ment (2)(2)

Road Road MaintenMainten

ance ance (3)(3)

OperatOperating ing

Costs Costs (4)(4)

Total Total Costs Costs

(5)(5)

Avoided inland waterway costsAvoided inland waterway costs

Capital Capital expansion expansion

(6)(6)

ReplacReplacement ement

(7)(7)

Operating Operating (8)(8)

11 36.0036.00 00 00 00 36.0036.00 00 00 00

22 45.0045.00 00 00 00 45.0045.00 00 00 00

33 29.4029.40 21.7821.78 00 00 51.1851.18 48.0048.00 00 00

44 00 00 0.330.33 5.155.15 5.485.48 00 00 7.807.80

55 00 00 0.360.36 5.155.15 5.515.51 00 00 7.807.80

66 00 00 0.390.39 5.155.15 5.545.54 00 00 7.807.80

77 00 00 0.420.42 5.155.15 5.575.57 00 00 7.807.80

88 00 1.081.08 0.450.45 5.155.15 6.686.68 00 00 7.807.80

99 00 00 0.480.48 5.155.15 5.635.63 00 00 7.807.80

1010 00 00 0.510.51 5.155.15 5.665.66 00 33.6033.60 7.807.80

1111 00 00 0.540.54 5.155.15 5.695.69 00 00 7.507.50

Table 4-1. Comparison of Cost and Benefits of a Table 4-1. Comparison of Cost and Benefits of a Development RoadDevelopment Road

(millions of rupees)(millions of rupees)

YearYear

Cost Cost BenefitsBenefits

Road Road (1)(1)

EquipEquipment ment (2)(2)

Road Road MaintenMainten

ance ance (3)(3)

OperatOperating ing

Costs Costs (4)(4)

Total Total Costs Costs

(5)(5)

Avoided inland waterway costsAvoided inland waterway costs

Capital Capital expansion expansion

(6)(6)

ReplacReplacement ement

(7)(7)

Operating Operating (8)(8)

1212 00 00 0.570.57 5.155.15 5.725.72 00 00 7.507.50

1313 00 10.3810.38 0.600.60 5.155.15 16.1316.13 26.1026.10 00 7.507.50

1414 00 00 0.630.63 5.155.15 5.785.78 00 00 7.507.50

1515 00 00 0.660.66 5.155.15 5.815.81 00 00 7.507.50

1616 00 00 0.690.69 5.155.15 5.845.84 00 00 7.507.50

1717 00 00 0.720.72 5.155.15 5.875.87 00 00 7.507.50

1818 00 11.8811.88 0.750.75 5.155.15 17.7817.78 21.0021.00 00 7.507.50

1919 00 00 0.780.78 5.155.15 5.935.93 00 00 7.507.50

2020 00 00 0.810.81 5.155.15 5.965.96 00 18.6018.60 7.507.50

2121 00 00 0.840.84 5.155.15 5.995.99 00 00 7.507.50

2222 00 00 0.870.87 5.155.15 6.026.02 00 00 7.507.50

Table 4-1. Comparison of Cost and Benefits of a Table 4-1. Comparison of Cost and Benefits of a Development RoadDevelopment Road

(millions of rupees)(millions of rupees)

YearYear

Cost Cost BenefitsBenefits

Road Road (1)(1)

EquipEquipment ment (2)(2)

Road Road MaintenMainten

ance ance (3)(3)

OperatOperating ing

Costs Costs (4)(4)

Total Total Costs Costs

(5)(5)

Avoided inland waterway costsAvoided inland waterway costs

Capital Capital expansion expansion

(6)(6)

ReplacReplacement ement

(7)(7)

Operating Operating (8)(8)

2323 00 00 0.900.90 5.155.15 6.056.05 00 00 7.507.50

2424 00 -5.40-5.40 00 00 -5.40-5.40 -10.50-10.50 -9.30-9.30 00

Note: Net present worth equals – Rp. 13.91 million; this is the difference between columns Note: Net present worth equals – Rp. 13.91 million; this is the difference between columns 13 and 1413 and 14

BenefitsBenefits Present worth Present worth (discounted at 12 (discounted at 12

%)%)

Internal rate of Internal rate of return (discounted return (discounted

10%)10%)Agriculture benefitsAgriculture benefits Fishing Fishing

Benefits Benefits (11)(11)

Total Total Benefits Benefits

(12)(12)

Paddy Paddy (9)(9)

Fruits Fruits (10)(10)

Cost Cost (13)(13)

Benefits Benefits (14)(14)

Cost Cost (15)(15)

Benefits Benefits (16)(16)

00 00 00 00 36.0036.00 00 36.0036.00 00

00 00 00 00 40.1940.19 00 40.9140.91 00

00 00 00 48.0048.00 40.7940.79 38.2638.26 42.2742.27 39.6539.65

2.402.40 0.300.30 0.390.39 10.8910.89 3.903.90 7.757.75 4.124.12 8.188.18

3.303.30 0.600.60 0.420.42 12.1212.12 3.503.50 7.717.71 3.763.76 8.288.28

4.004.00 0.960.96 0.450.45 13.1113.11 3.143.14 7.437.43 3.443.44 8.148.14

4.024.02 0.990.99 0.480.48 13.2913.29 2.822.82 6.746.74 3.143.14 7.507.50

4.144.14 1.021.02 0.510.51 13.4713.47 3.023.02 6.096.09 3.433.43 6.916.91

4.264.26 1.051.05 0.540.54 13.6513.65 2.272.27 5.515.51 2.632.63 6.376.37

4.384.38 1.081.08 0.570.57 47.4347.43 2.042.04 17.1217.12 2.402.40 20.1120.11

4.534.53 1.111.11 0.600.60 13.7413.74 1.831.83 4.424.42 2.202.20 5.305.30

4.684.68 1.141.14 0.630.63 13.9513.95 1.641.64 4.004.00 2.002.00 4.884.88

BenefitsBenefits Present worth Present worth (discounted at 12 (discounted at 12

%)%)

Internal rate of Internal rate of return (discounted return (discounted

10%)10%)Agriculture benefitsAgriculture benefits Fishing Fishing

Benefits Benefits (11)(11)

Total Total Benefits Benefits

(12)(12)

Paddy Paddy (9)(9)

Fruits Fruits (10)(10)

Cost Cost (13)(13)

Benefits Benefits (14)(14)

Cost Cost (15)(15)

Benefits Benefits (16)(16)

4.834.83 1.171.17 0.660.66 40.2640.26 4.154.15 10.3510.35 5.155.15 12.8412.84

4.984.98 1.201.20 0.690.69 14.3714.37 1.321.32 3.293.29 1.681.68 4.174.17

5.165.16 1.231.23 0.720.72 14.6114.61 1.191.19 3.003.00 1.531.53 3.843.84

5.345.34 1.261.26 0.750.75 14.8514.85 1.071.07 2.722.72 1.401.40 3.553.55

5.525.52 1.291.29 0.780.78 15.0915.09 0.960.96 2.462.46 1.281.28 3.293.29

5.705.70 1.321.32 0.810.81 36.3336.33 2.602.60 5.305.30 3.523.52 7.197.19

5.885.88 1.351.35 0.840.84 15.5715.57 0.770.77 2.022.02 1.071.07 2.802.80

6.066.06 1.381.38 0.870.87 34.4134.41 0.690.69 3.993.99 0.980.98 5.645.64

6.276.27 1.411.41 0.900.90 16.0816.08 0.620.62 1.671.67 0.890.89 2.402.40

6.486.48 1.441.44 0.930.93 16.3516.35 0.560.56 1.521.52 0.810.81 2.212.21

6.696.69 1.471.47 0.960.96 16.6216.62 0.500.50 1.381.38 0.740.74 2.042.04

00 00 00 -19.80-19.80 -0.40-0.40 -1.47-1.47 -0.60-0.60 -2.22-2.22

155.17155.17 141.26141.26 164.75164.75 163.07163.07