Rekayasa Kebutuhan dan Desain Sistem

Review Paper

A systematic literature review on agile requirements engineering practices and challenges

DISUSUN OLEH :

1. CHANDRA WILY SAPUTRA

91142053022. EKA PRAMUDITA PURNOMO

91142053113. HIANTO NANGOY

91142053144. JUNAEDI WIDJOJO

9114205315

PROGRAM MAGISTER MANAJEMEN TEKNOLOGI

BIDANG KEAHLIAN MANAJEMEN TEKNOLOGI INFORMASI

INSTITUT TEKNOLOGI SEPULUH NOPEMBER

SURABAYA

2015

1. Perkenalan

Dalam Agile Manifesto (Manifesto Tangkas) prioritas utama dalam sebuah proyek seharusnya adalah individu dan interaksi dibandingkan alat dan proses, software yang berjalan dibandingkan dokumentasi yang menyeluruh, kolaborasi dengan pelanggan dibandingkan negosiasi kontrak, dan respon terhadap perubahan dibandingkan hanya sekedar mengikuti rencana yang ada (Beck,2001). Disini penulis ingin mengungkapkan bahwa adanya agile requirement engineering bisa memberikan hasil yang lebih baik dari standard/traditional requirement engineering. Adapun dari hasil penelitian sebelumnya, beberapa artikel jurnal menyatakan bahwa dengan agile RE tingkat produktivitas menjadi lebih tinggi dari sebelumnya (Eberlein & Julio Cesar, 2002) berkurangnya pengerjaan ulang (Bin, Xiaohu, Zhijun, & Maddineni, 2004), meningkatkan tingkat perbaikan barang yang cacat (Lagerberg, Skude, 2013) dan sebagai tambahan, metode Agile RE ini bisa mengurangi resiko dalam Global Software Development, sekaligus mengurangi tingkat kebutuhan dalam berkoordinasi, yang berakibat meningkatnya produktivitas (Hossain, Babar, & Verner, 2009).

Beberapa praktik yang telah dilakukan dalam RE menyediakan esensi dari agile RE itu sendiri, namun dalam kenyataannya komunitas para pengembang program masih sedikit yang mengetahui peran RE yang dapat dilakukan secara fleksibel dan dinamis tersebut, yang mungkin bisa menyelesaikan masalah masalah tertentu dalam RE yang tradisional. Meskipun agile RE dikatakan lebih menguntungkan, penggunaan metode agile RE ini bisa menimbulkan permasalahan dan tantangan yang baru ketika direalisasikan. Maka dari itu dalam tujuan dari paper ini adalah untuk mempelajari apakah dengan metode agile RE ini bisa menyelesaikan masalah masalah traditional RE

2. Studi Terkait

Paper ini mengambil beberapa contoh literature mengenai metode metode agile software development, meskipun demikian, dari literature literature yang ada, masih sangat sedikit yang membahas mengenai agile RE, seperti apa metodenya, bagaimana prosesnya, dan apa saja tantangan yang muncul dalam menerapkan agile RE.

Metode Penelitian

Dalam penelitian ini, peneliti menggunakan pedoman yang disarankan oleh Kitchenham dan Charters, dan jurnal ini membaginya dalam 3 tahap, yaitu perencanaan, pelaksanaan, dan pelaporan.

3. Tahap perencanaan

Pada tahap ini, peneliti menyusun pertanyaan - pertanyaan yang relevan terhadap objek yang akan diteliti.

4. Review objectives and research questions

Dengan meningkatnya penggunaan metode agile dalam software development, maka dari itu sangatlah penting untuk mempelajari peran dari RE dalam agile methods. Walaupun telah ada beberapa kontribusi dalam penerapan traditional RE terhadap agile methods, namun pemahaman terhadap cara tersebut masih termasuk kurang. Karena itu, tujuan utama dari paper ini adalah untuk mengembangkan pemahaman lebih lanjut terhadap praktik RE dalam agile methods, dan tantangan apa saja yang dihadapi ketika melakukan RE dengan agile methods. Selain itu juga, peneliti bertujuan untuk mencari praktik agile RE yang dapat menyelesaikan tantangan dari penggunaan traditional RE. Maka dari itu muncul 3 buah pertanyaan yaitu

1. Praktik Agile RE seperti apa yang diadopsi menurut hasil studi empiris yang dipublikasikan?

2. Apa tantangan Traditional RE yang bisa di permudah dengan menggunakan Agile RE ?

3. Apa tantangan tersendiri dari Agile RE?

5. Strategi pencarian

Setelah menentukan tujuan dan pertanyaan, penulis memformulasikan strategy pencarian untuk menganalisa semua material empiris yang secara spesifik sesuai dengan objektif dari review yang akan dilakukan. Kriteria yang digunakan terbagi 2 yaitu C1 dan C2 dengan penjelasan sebagai berikut :

C1 string yang dibuat yang terdiri dari kata kunci yang terkait dengan agile software development method seperti agility, agile, scrum, xp, fdd, tdd, lean, kanban

C2 adalah string dengan kata kunci yang terkait dengan requirement engineering Kriteria yang dimasukkan dan dikeluarkan

Beberapa kriteria yang menentukan apakah suatu studi akan ikut disertakan dalam paper ini, adalah sebagai berikut :

1. Studi diambil berdasarkan publikasi peer-review;2. Penelitian dalam bahasa Inggris; 3. Relevan dengan kriteria pencarian C1 dan C2

4. Merupakan makalah penelitian empiris5. Penelitian diterbitkan antara Januari 2002 dan Juni 2013

Sedangkan kriteria untuk studi yang tidak memenuhi syarat diikutsertakan suatu studi dalam paper ini adalah sebagai berikut ;

1. Studi yang tidak fokus secara eksplisit pada Agile Methods, tetapi hanya mengacu pada agile software development sebagai topic sampingan

2. Studi yang tidak membahas RE dalam Agile Methods; 3. Penelitian yang tidak memenuhi 5 kriteria inklusi diatas; 4. Pendapat, sudut pandang, keynote, diskusi, editorial, komentar, tutorial, prefaces, dan kertas anekdot dan presentasi dalam format presentasi tanpa paper atau studi terkait.6. Proses Pelaksanaan Review

Dengan mengikuti strategi pencarian diatas, penulis mendapatkan sebanyak 543 dari portal portal jurnal yang menggunakan peer reviewed papers. Menggunakan syarat dan kriteria seperti yang dijelaskan sebelumnya, penulis mengeluarkan 522 paper, karena tidak sesuai dengan kriteria yang diinginkan, dan menggunakan total 21 paper/studi dalam penelitian ini. Berikutnya menggunakan metode dari Kitchenham dan Charters(2007), penulis membuat proses penggalian data untuk mengidentifikasi informasi yang relevan dari 21 paper tersebut. Setelah penggalian data selesai, penulis menganalisa konten yang ada untuk mengkarakteristikan focus dari tiap study yang ada (Elo & Kyngs, 2007; Hsieh & Shannon, 2005). Peneliti menilai hasil ekstraksi data dengan menggunakan kesepakatan inter agreement antara peneliti (Fleiss, Levin, & Paik, 2003). Untuk menemukan kesepakatan inter agreement antara tiga peneliti tersebut, digunakan Koefisien Kappa yang merupakan perhitungan statistic. Nilai koefisien Kappa dihitung sebesar 0,67, dimana nilai tersebut menunjukkan kesepakatan yang bagus atau memiliki pengaruh yang cukup besar.

7. Penilaian kualitas metodologi

Tinjauan sistematis ini menggunakan kriteria yang diusulkan oleh Guyatt, Rennie, Meade, dan Masak (2008) untuk menilai kualitas metodologis sebuah studi. Kriteria kualitas ini terdiri dari pertanyaan-pertanyaan yang mengukur sejauh mana sebuah studi memuaskan dan memberikan kontribusi terhadap lingkup penyelidikan. Kriteria tersebut meliputi ketelitian, kepercayaan, dan pentingnya studi tersebut. Peneliti memilih kriteria ini karena dapat digunakan untuk menyelidiki kegunaan hasil sintesis temuan serta menginterpretasikan hasilnya, dan juga karena penggunaan kriteria tersebut telah digunakan untuk beberapa ulasan sistematis terbaru.

Tabel 1 Kriteria penilaian kualitas sumber

Untuk pemilihan penelitian harus dilakukan beberapa penilaian terhadap kriteria yang harus dipenuhi yaitu:

1. Apakah tujuan penelitain secara jelas dideskripsikan ?2. Apakah konteks penelitian sudah diarahkan secara benar ?3. Apakah hasil dari penelitian sudah dinyatakan secara jelas ?4. Seberapa berartinya penelitain yang dilakukan ?8. Sumber-Sumber Terkait Dan Penerapan Agile REDalam bagian ini dijelaskan mengenai sumber-sumber dan penerapan yang digunakan.8.1 Overview of studiesSeperti disebutkan sebelumnya, pada penelinitian ini diidentifikasi 21 studi. Dari 21 studi, sekitar 57% (12 dari mereka) diterbitkan dalam konferensi, 19% (4 dari mereka) dalam jurnal, 19% (4 dari mereka) dalam workshop, dan 5% (1 saja) di majalah.

Tabel 2 Sebaran sumber penelitian

Berdasarkan topik yang dibahas pada 21 penelitian, diidentifikasi bahwa 29% adalah penerapan Agile Requirement Engineering, 28% adalah usulan mengenai metode-metode baru. Namun hanya terdapat 5% yang secara spesifik membandingkan antara traditional RE dengan agile RE, dan 38% sisanya membahas mengenai agile RE secara umum.

Gambar 1 Rasio Topik Yang Dibahas

Gambar 2 Rasio Penilaian Kualitas PenelitianKemudian didapat rasio perbandingan kualitas terhadap referensi penelitian yang digunakan dimana 20% poor, 20%-45% fair, 46%-65% good, 66%-85% Very Good, >86% Excellent.

Gambar 3 Grafik Tahun Terbit Sumber PenelitianSumber penelitian kebanyakan berasal dari tahun 2010 sampai dengan 2013 dan sedikit yang berasal dari tahun 2000 sampai dengan 2009.

Gambar 4 Sebaran Negara Asal Sumber PenelitianDapat dilihat bahwa sebagian besar sumber penelitian berasal dari Amerika Utara dan Eropa dan ada relatif sedikit penelitian tentang RE dari negara-negara Asia dan tidak ada satu pun dari negara-negara Amerika Selatan atau Afrika.9. Adopsi Penerapan Agile RETerdapat 17 penerapan RE yang dapat diadaptasi dari agile software developmentTabel 3 Penerapan Agile Re Dan Frekuensinya Pada Sumber Penelitian.

1. Face to Face Communication

Merupakan representasi utama antara tim dengan kustomer untuk membentuk dokumentasi secara minimal yang kemudian dikembangkan ke dalam dokumentasi yang lebih detail dan kompleks. Frekuensi face to face communication tergantung terhadap ketersediaan dan keinginan tim dan kustomer.

2. Customer involvement and interaction

Merupakan faktor utama kegagalan atau kesuksesan suatu proyek, dimana pada tahap ini tim dapat menganalisa lebih dalam terhadap representasi proyek tersebut dengan mempertimbangkan beberapa sudut pandang dan variasi kendala yang muncul.3. User stories

Penjelasan user mampu memberikan pemahaman yang lebih baik antar stakeholders dan mengurangi perubahan yang terjadi secara terus menerus.

4. Iterative requirements

Berguna untuk memberikan kejelasan yang lebih terhadap RE.5. Requirement prioritisation

Merupakan bagian dari setiap iterasi metode agile. Pada Traditional RE pemberian prioritas hanya dilakukan sekali sebelum pengembangan berlangsung, namun dalam agile methods pemberian prioritas dilakukan secara terus menerus pada setiap development cycle oleh kustomer yang fokus pada penilaian atau resiko bisnis. Namun pemberian prioritas yang secara terus-menerus berubah juga memberikan resiko terhadap proses development.

6. Change Management

Merupakan tantangan yang signifikan pada pendekatan tradisional yang terjadi selama ini. Perubahan yang seringkali terjadi adalah penambahan dan pengurangan fitur.

7. Cross Functional Team

Pada metode agile developers, testers, designers, dan managers bekerja secara bersama. Konsep ini membantu dalam mengurangi beberapa masalah seperti overscooping requirements dan communication gaps. Setiap personil dalam tim saling berbagi pengetahuan, yang menyebabkan meningkatnya tingkat kepercayaan dan memberikan komunikasi yang lebih baik.

8. Prototyping

Sangat berguna untuk memberikan gambaran umum terhadap klien untuk mereview spesifikasi kebutuhan dan mendapatkan timbal balik dari klien.

9. Testing before coding

Merupakan kombinasi antara metode agile dan metode tradisional. Dimana tim mampu meninjau kembali requirements yang ada sebelum dilakukan proses developing.

10. Requirements modelling

Teknik yang digunakan di agile adalah goal-skectching. Yaitu dibentuknya suatu grafik dan skema terhadap kebutuhan-kebutuhan yang ada.

11. Requirements management

Yaitu peninjauan kembali terhadap requirements yang ada dengan menggunakan list dan index cards.

12. Review meetings and acceptance tests

Dilakukan guna memberikan validasi terhadap requirement yang sudah diidentifikasi oleh tim. Acceptance test mirip dengan unit test dimana hasilnya merupakan suatu biner antara pass atau fail.

13. Code refactoring

Merevisi dan memodifikasi struktur kode . Code refractoring adalah salah satu fitur yang fleksibel pada agile untuk mengatasi perubahan secara dinamis terhadap requirements. Namun di sisi lain juga memiliki kelemahan yaitu meningkatkan biaya

14. Shared conceptualisations

Merupakan konsep pendukung untuk melakukan kegiatan yang berhubungan dengan pengumpulan, klarifikasi, dan pengembangan RE.

15. Pairing for requirements analysis

Pairing for requirement analysis merupakan salah satu cara yang baik untuk mengurangi communication gaps antara tim.

16. Retrospectives

Merupakan pertemuan setelah tuntasnya suatu iterasi. Kebanyakan yang dibahas di pertemuan ini adalah review mengenai pekerjaan yang sudah dituntaskan dan langkah berikutnya yang akan diambil.

17. Continuous planning

Tim berusaha beradaptasi terhadap perubahan-perubahan yang datang dari kustomer pada proses proyek dengan melakukan continous planning.

10. (RQ2) Apakah tantangan di tradisional RE yang bisa diselesaikan oleh Agile RE?

Agile RE memberikan solusi baru dalam metode requirements engineering. Dengan melihat sifat-sifat dari Agile RE yang lebih lincah dan dinamis, Agile RE dapat menjawab tantangan-tantangan yang belum bisa diselesaikan oleh tradisional RE. Berikut adalah tabel ringkasan tantangan-tantangan yang bisa diselesaikan oleh Agile RE terhadap masalah yang tidak bisa diselesaikan oleh tradisional RE.

Tabel 4 Tantangan Di Tradisional RE Yang Bisa Diselesaikan Oleh Agile RENoTantanganPraktisDeskripsi

1Permasalahan KomunikasiSering melakukan pertemuan tatap mukaInteraksi rutin dengan pelanggan dan antar tim

Penempatan timMengajukan penempatan tim untuk komunikasi dan kolaborasi yang lebih baik

Customer di tempatCustomer dan tim developer ditempatkan di lokasi yang sama

Perwakilan customer alternatifMenyiapkan perwakilan customer untuk menjaga ketersediaan customer

Tim tangkas lintas fungsiBantuan tim tangkas lintas fungsional dalam melakukan klarifikasi dan memahami persyaratan

Proses RE yang terintegrasiMenempatkan proses RE berdekatan dengan proses pengembangan

2OverscopingScope yang diperbaharui terus-menerusDeveloper menerima daftar fitur yang terus diprioritaskan pelanggan

Rincian bertahapMelakukan perincian secara bertahap

Tim lintas fungsiTim dapat lebih fokus pada fitur penting ketika berbagi tanggung jawab

3Validasi kebutuhanPenentuan prioritasCustomer melakukan validasi dengan persyaratan prioritas dalam setiap iterasi

PrototypingPrototyping membantu dalam menyediakan blueprint produk kepada Customer

4Dokumentasi kebutuhanCerita penggunaCerita pengguna yang tepat dan memberikan penjelasan to-the-point tentang kebutuhan pengguna

Komunikasi tatap mukaSering melakukan komunikasi tatap muka untuk mencegah ambiguitas

5Keterlibatan customerPrioritas kebutuhan berdasarkan customerPrioritas kebutuhan menjamin bahwa sebagian besar kebutuhan customer dapat dipenuhi

11. (RQ3) Apakah tantangan praktis yang ada pada Agile RE?

Menurut penelitian, Agile RE dapat menjawab permasalahan yang belum bisa diselesaikan oleh tradisional RE. Walaupun demikian, Agile RE masih memiliki batasan-batasan untuk mengatur keseimbangan antara kelincahan dan stabilitas. Berikut merupakan tabel ringkasan untuk tantangan-tantangan yang ada pada Agile RE.

NoTantanganDeskripsiDampakSolusi

1Dokumentasi minimalisCerita pengguna dan produk lama adalah satu-satunya

dokumen dalam metode tangkasMasalah penelusuran

2Ketersediaan CustomerKetersediaan pelanggan untuk kebutuhan negosiasi, klarifikasi dan tanggapanPekerjaan ulangPerwakilan pelanggan

3Arsitektur yang tidak pantasInfrastruktur yang tidak memadai dapat menyebabkan masalah untuk tahap proyek berikutnyaPeningkatan biayaRefactoring kode

4Estimasi anggaran dan waktuPerkiraan awal waktu dan biaya yang berubah karena perubahan dalam persyaratan saat tahap berikutnyaKeterlambatan proyekKomunikasi yang sering

Kelebihan anggaranMemodelkan cerita pengguna dengan akurat

5Mengabaikan kebutuhan non-fungsionalCerita pengguna hanya menjawab fitur sistem/produkSistem keamanan, kegunaan, kinerja sistem/produkPendekatan model NRF. Tool NORMATIC

6Ketidakmampuan pelanggan dan kesepakatanDomain pengetahuan yang tidak lengkap dan konsensus antara kelompok pelangganPekerjaan ulangPembuatan cerita pengantar untuk melengkapi cerita pengguna

Peningkatan biayaKomunikasi yang sering. RE iteratif

7Keterbatasan kontrakHarga tetap pada kontrak tidak memperbolehkan perubahanPeningkatan biaya

8Perubahan kebutuhan dan evaluasiMencari konsekuensi perubahan persyaratanKeterlambatan pengerjaanFramework RE-KOMBINE

12. Pembahasan dari hasil1. Distribusi / keragaman studi berdasarkan wilayah geografis pembuat, masih kurang merata (1/3 dari studi yang diamati berasal dari Amerika Utara dan sebagian besar sisanya dari Eropa, lalu bagian paling kecil dari Asia). Faktor- faktor seperti budaya organisasi, budaya negara, norma-norma sosial tentunya berbeda-beda untuk setiap wilayahnya. Hal ini menyebabkan hasil dari pengamatan ini masih belum bisa digeneralisasi untuk dapat diambil kesimpulan secara umum.

2. Penulis menyatakan bahwa dapat disimpulkan bahwa banyak organisasi di Asia adalah masih dalam tahap pembelajaran dan pendewasaan dari metode Agile. (Diperlukan studi lebih lanjut terhadap organisasi-organisasi di Asia agar temuan dengan budaya yang berbeda dapat memberikan pemahaman yang lebih baik terhadap dampak atau kesulitan dari penerapan metode Agile)

3. Penulis cukup terkejut dengan tidak ditemukannya studi terkait dari negara pada bagian Amerika Selatan dan negara-negara di Afrika. (Penulis berpendapat bahwa hal ini mungkin berkaitan dengan permasalahan publikasi yang ditulis dalam bahasa lokal sehingga studi terkait tidak dapat dijadikan bahan analisa atau memang tidak ada peneliti yang mengamati Agile RE)

4. Penulis menemukan bahwa banyak dari studi yang diamati menggunakan pendekatan penelitian berbasis studi kasus. Studi dari kasus-kasus dunia nyata dapat meningkatkan tingkat generalisasi dari hasil studi.

5. Penulis juga menemukan bahwa dari 21 studi yang diamati terdapat 5 studi yang menawarkan metode atau ide baru dalam penanganan Agile RE. Namun masih diperlukan studi kasus dunia nyata agar mendapatkan bukti bahwa ide/metode baru tersebut memang memberi peningkatan pada Agile RE.6. Penulis telah mengidentifikasi apa saja praktek-praktek dari Agile RE yang meningkatkan efektifitas dalam penanganan kebutuhan. Namun, penulis kesulitan dalam mencari tahu konteks dari proyek terkait apakah keefektifan ini berlaku untuk proyek-proyek kecil atau besar atau bahkan sangat besar, dan apakah keefektifannya berlaku juga untuk proyek-proyek pada industri khusus seperti pemerintahan, layanan kesehatan. Masih diperlukan studi lebih lanjut terhadap studi yang mempelajari implementasi praktek-praktek dari Agile RE agar dapat memberikan pemahaman lebih mendalam.

7. Penulis telah mengidentifikasi tantangan apa saja dari Traditional RE yang berhasil diatasi dengan Agile RE. Traditional RE memiliki beberapa tantangan seperti communication gaps, overscoping , requirements validation, documentation dan jarangnya partisipasi pelanggan. Namun ketika mencocokkan dari daftar 17 praktek Agile RE dengan tantangan-tantangan Traditional RE terdapat beberapa ketidakcocokan atau tidak relevannya dengan beberapa tantangan. Contoh belum ada studi yang membuktikan bahwa manajemen perubahan pada Agile RE terbukti menyelesaikan tantangan atau masalah dari traditional RE. Secara umum, memang dapat dikatakan bahwa Agile RE telah mengatasi bermacam-macam tantangan dari traditional RE. Namun memang masih diperlukan studi lebih lanjut agar mendapatkan pemahaman yang lebih mendalam terkait relevansi dari praktek-praktek Agile RE terhadap tantangan Traditional RE.8. Penulis juga telah mengidentifikasi 7 tantangan dari praktek-praktek Agile RE dan bagaimana untuk mengatasinya. Tantangan-tantangannya seperti minimnya dokumentasi, sulitnya ketersediaan pelanggan, estimasi bujet dan jadwal, arsitektur yang tidak tepat, pengabaian kebutuhan non fungsional, waste management, dan isu kontrak kerja sama. Penelitian lebih lanjut dibutuhkan untuk mendapatkan bukti dari kasus-kasus dunia nyata agar dapat mengukur tingkat kegunaan dari praktek-praktek terkait.

13. Kesimpulan

1. Dari 543 paper yang terkumpul, hanya 21 paper yang relevan yang diolah lebih lanjut.

2. Penulis menetapkan bahwa ada kebutuhan untuk penelitian lebih lanjut mengenai dampak langsung pada dunia nyata dan penerapannya.

3. Fitur-fitur dari Agile RE seperti sedikitnya dokumentasi, respon balik yang cepat, dan prototyping dapat memberi manfaat untuk organisasi dalam sebuah industri.

4. Dari studi ini penulis menyatakan bahwa bidang Agile RE ini masih belum matang. Banyak studi yang membahas mengenai manajemen secara menyeluruh dari pengembangan perangkat lunak dengan metode Agile, namun masih sangat sedikit yang berfokus pada RE berbasis Agile

5. Studi review juga menunjukkan bahwa praktek-praktek Agile RE dapat mengatasi keterbatasan dari metode traditional RE. Maka dari itu dapat disimpulkan bahwa metode pada traditional RE dapat dikombinasikan dengan Agile RE untuk dapat memberikan hasil yang lebih baik.

6. Level kedetailan pembahasan berbeda-beda dari 21 paper yang diteliti, hal ini dapat menyebabkan kemungkinan ekstraksi data yang berujung kurang akurat.

7. Penyebab dari tantangan-tantangan yang muncul dari Agile RE atau Traditional RE kurang begitu dibahas secara detail pada paper-paper yang diamati

14. Review

1. Penulis ditemukan beberapa kali ceroboh dalam penulisan terhadap singkatan dari non functional requirement (terkadang ditulis NRF, terkadang ditulis NFR)

2. Agar hasil dari studi semacam ini dapat lebih digeneralisasi, maka keragaman paper atau data studi dari berbagai negara dengan budaya yang berbeda harus jauh diperbanyak.

3. Kesimpulan-kesimpulan yang ditetapkan oleh penulis seringkali jadi kurang kuat dikarenakan banyaknya alasan bahwa data atau bukti yang dibutuhkan belum ada sehingga memerlukan penelitian-penelitian lebih lanjut. Hal ini menimbulkan pertanyaan, apakah tidak ada standar awal ketika melakukan penelitian mengenai target berapa banyak paper / keragaman dari paper itu sendiri agar dapat memberikan kesimpulan yang setidaknya cukup kuat.

4. Pada bagian pembahasan hasil, penulis menuliskan adanya 7 tantangan pada Agile RE, namun pada bagian pembahasan detail terdapat 8 tantangan. Selain itu juga terdapat ketidakcocokan dari hasil pembahasan dengan pembahasan detail dimana tidak ditemukan adanya tantangan waste management pada pembahasan detail.