KOMPUTASI CERDAS BACKPROPAGATION
KELOMPOK 3 :1. Dita Kevinamarta(12050874235)2. Syahmi
Nanzain(12050874247)3. I Made Barata Danajaya(12050874248)4. Ilda
Nurida(12050874255)Dosen :Dr. Lilik Anifah, S.T.,M.TS1 SISTEM
TENAGA LISTRIK 2012PRODI SI TEKNIK ELEKTROJURUSAN TEKNIK
ELEKTROFAKULTAS TEKNIKUNIVERSITAS NEGERI SURABAYA2015KATA
PENGANTAR
Puji dan syukur kami panjatkan ke Hadirat Tuhan Yang Maha Esa,
karena berkat limpahan rahmat dan karunia-nya sehingga kami dapat
menyusun makalah ini dengan baik dan tepat pada waktunya. Dalam
makalah ini kami membahas mengenai BackpropagationMakalah ini
dibuat dengan beberapa bantuan dari berbagai pihak untuk membantu
menyelesaikan tantangan dan hambatan selama mengerjakan makalah ini
ini. Oleh karena itu, penulis mengucapkan terima kasih yang
sebesar-besarnya kepada semua pihak yang telah membantu dalam
penyusunan makalah ini yang merupakan salah satu tugas dari mata
kuliah Komputasi Cerdas. Kami menyadari bahwa masih banyak
kekurangan yang mendasar pada makalah ini. Oleh karena itu, penulis
berharap pembaca untuk memberikan saran serta yang dapat memberi
semangat lebih bagi kami. Kritik konstruktif dari pembaca sangat
kami harapkan untuk penyempurnaan makalah selanjutnya.Akhir kata
semoga makalah ini dapat memberi manfaat bagi semua orang.
Surabaya, 20 Mei 2015
Penulis
DAFTAR ISI
Kata Pengantar 2Daftar Isi3BAB I PENDAHULUAN 51.1 Latar
Belakang51.2 Tujuan 51.3 Rumusan Masalah61.4 Manfaat 6BAB II
JARINGAN SYARAF TIRUAN72.1 Definisi Jaringan Syaraf Tiruan72.2
Konsep Dasar Jaringan Syaraf Tiruan .72.3 Istilah-Istilah Jaringan
Syaraf Tiruan .8BAB III DASAR TEORI 102.1 Definisi
Backpropagation102.2 Arsitektur Backpropagation112.3 Fungsi
Aktivasi122.4 Pelatihan Standar
Backpropagation............................................................
142.5 Optimalisasi Arsitektur Backpropagation 172.6 Variasi
Backpropagation .182.7 Aplikasi Backpropagation dalam Sistem
Kendali .20BAB III SIMULASI MATLAB .24BAB IV PENUTUP264.1
Kesimpulan26Daftar Pustaka 27
BAB I PENDAHULUAN 1.1 Latar BelakangIlmu pengetahuan dan
teknologi selalu berkembang dan mengalami kemajuan, sesuai dengan
perkembangan zaman dan perkembangan cara berpikir manusia. Bangsa
Indonesia sebagai salah satu negara berkembang tidak akan bisa maju
selama belum memperbaiki kualitas sumber daya manusia bangsa kita.
Kualitas hidup bangsa dapat meningkat jika ditunjang dengan sistem
pendidikan yang mapan. Dengan sistem pendidikan yang mapan,
memungkinkan kita berpikir kritis, kreatif, dan produktif.
Kurangnya pengetahuan tentang Komputasi Cerdas menjadi salah satu
sebab penulis membuat makalah yang berjudul Backpropagation. Dalam
makalah penulis menjelaskan dan memaparkan mengenai definisi
backpropagation,macam-macam backpropagation,fungsi back propagation
dan lain-lain yang menyangkut back propagation. Dengan adanya
makalah ini, diharapkan bermanfaat untuk Mahasiswa Teknik Elektro
agar mengetahui dan memahami tentang Backpropagation. Dan juga
semoga bermanfaat untuk kelanjutan pelatihan selanjutnya mengenai
Komputasi Cerdas. Hal itulah semua yang menjadi latar belakang dan
motivasi penulis dalam menyelesaikan makalah ini. 1.2 TujuanAdapun
tujuan-tujuan yang ingin dicapai dalam pembuatan makalah ini adalah
sebagai berikut. 1. Memenuhi tugas yang diberikan pada mata kuliah
Komputasi Cerdas Universitas Negeri Surabaya. 2. Sebagai bentuk
perhatian Mahasiswa terhadap masalah pendidikan tentang teknologi
yang dihadapi Indonesia. 3. Mengetahui dan menguasai tentang
Backpropagation.
1.3 Rumusan MasalahAdapun rumusan masalah yang menjadi acuan
dalam pembuatan makalah ini adalah sebagai berikut.1. Jelaskan
tentang definisi Backpropagation !2. Bagaimana arsitektur
Backpropagation ? 3. Bagaimana langkah pelatihan algoritma yang
digunakan pada Backpropagation ?4. Jelaskan tentang pengaplikasian
Backpropagation dalam sistem kendali !5. Berikan contoh algoritma
yang menggunakan software simulasi MATLAB serta jelaskan hasil dari
simulasi tersebut !
1.4 ManfaatAdapun rumusan masalah yang menjadi acuan dalam
pembuatan makalah ini adalah sebagai berikut.1. Mahasiswa dapat
mengetahui definisi Backpropagation. 2. Mahasiswa dapat mengetahui
arsitektur Backpropagation.3. Mahasiswa dapat memahami langkah
pelatihan Algoritma yang digunakan pada Backpropagation.4.
Mahasiswa dapat mengaplikasikan Backpropagation dalam sistem
kendali. 5. Mahasiswa dapat memahami serta pengaplikasian
Backpropagation serta menjelaskan cara kerja dalam software
simulasi MATLAB.
BAB IIJARINGAN SYARAF TIRUAN
2.1 Definisi Jaringan SyarafTiruanOtak manusia terdiri atas
jutaan neuron yang saling terhubung yang dikenal sebagai syaraf
biologi. Setiap neuron terdiri atas sebuah sel yang memiliki
sejumlah dendrit (input) dan sebuah akson (output). Akson
berhubungan dengan neuron yang lain melalui jalur penghubung yang
disebut sinapsis. Sinapsis akan menghasilkan reaksi kimia saat
merespon input yang masuk. Otak merupakan jaringan syaraf sensorik
dan motorik yang sangat kompleks yang memungkinkan manusia
menyimpan informasi, berpikir, dan berjalan. Jaringan syaraf tiruan
merupakan tiruan jaringan syaraf bilogi. Salah satu contoh
pengambilan ide dari jaringan syaraf biologis adalah adanya
elemen-elemen pemrosesan pada jaringan syaraf tiruan yang saling
terhubung dan beroperasi secara paralel.Cara kerja dari
elemen-elemen pemrosesan jaringan syaraf tiruan juga sama seperti
cara meng-encode informasi yang diterimanya.Jaringan syaraf tiruan
diperkenalkan oleh McCulloh dan Pitts pada tahun 1943, Hebb pada
tahun 1949 memperkenalkan sebuah teknik pelatihan jaringan syaraf
tiruan yang dinamakan Hebbian rule. Pada tahun 1961 Rosenbaltt
memperkenalkan jaringan syaraf satu lapis yang diberi nama
perseptron dan digunakan pada pola pengenalan optis. 2.2 Konsep
Dasar Jaringan Syaraf Tiruan Pembagian arsitektur jaringan syaraf
tiruan berdasarkan dari kerangka kerja dan skema interkoneksi.
Kerangka kerja jaringan syaraf tiruan dapat dilihat dari jumlah
lapisan (layer) dan jumlah node pada setiap lapisan.
Lapisan-lapisan penyusun jaringan syaraf tiruan dapat dibagi
menjadi tiga, yaitu : 1. Lapisan InputNode-node didalam lapisan
input disebut unit-unit input. Unit-unit input menerima input dari
dunia luar. Input yang dimasukkan merupakan penggambaran dari suatu
masalah.2. Lapisan Tersembunyi Node-node di dalam lapisan
tersembunyi disebut input-input tersembunyi. Output dari lapisan
ini tidak secara langsung dapat diamati. 3. Lapisan OutputNode-node
pada lapisan output disebut unit-unit output. Keluaran atau output
dari lapisan ini merupakan output jaringan syaraf tiruan terhadap
suatu permasalahan.
2.3 Istilah-istilah Jaringan Syaraf TiruanBerikut ini beberapa
istilah dari jaringan syaraf tiruan yang sering ditemui : Neuron
atau Node (Unit) Sel saraf tiruan yang merupakan elemen pengolahan
jaringan syaraf tiruan. Setiap neuron yang menerima data input,
memproses input tersebut (melakukan sejumlah perkalian dengan
melibatkan summation function dan fungsi aktivasi), dan mengirimkan
hasilnya berupa output. Jaringan Kumpulan neuron yang saling
terhubung dan membentuk lapisan. Input atau Masukkan Berkorespon
dengan sebuah atribut tunggal dari sebuah pola atau data lain dari
dunia luar. Sinyal-sinyal input ini kemudian diteruskan ke lapisan
selanjutnya. Output atau KeluaranSolusi atau hasil pemahaman
jaringan terhadap data input. Tujuan pembangunan jaringan syaraf
tiruan sendiri adalah mengetahui nilai output.
Lapisan Tersembunyi (hidden layer)Lapisan yang tidak secara
langsung berinteraksi dengan dunia luar. Lapisan ini memperluas
kemampuan jaringan syaraf tiruan dalam menghadapi masalah-masalah
yang kompleks. Bobot Bobot dalam jaringan syaraf tiruan merupakan
nilai matematis dari koneksi, yang mentransfer data dari suatu
lapisan ke lapisan lainnya. Bobot ini digunakan untuk mengatur
jaringan sehingga jaringan syaraf tiruan bisa menghasilkan output
yang diinginkan sekaligus bertujuan membuat jaringan tersebut
belajar. Summation Function Fungsi yang digunakan untuk mencari
rata-rata bobot dari semua elemen input. Yang sederhana adalah
dengan mengalihkan setiap nilai input (Xj) dengan bobotnya (Wij)
dan menjumlahkannya (disebut penjumlahan berbobot, atau Si). Fungsi
aktivasi atau Fungsi Transfer Fungsi yang menggambarkan hubungan
antara tingkat aktivasi internal (summation function) yang mungkin
berbentuk linear atau nonlinear. Beberapa fungsi aktivasi jaringan
syaraf tiruan diantaranya : hard limit, purelin, dan sigmoid. Yang
sering digunakan adalah fungsi sigmoid yang memiliki beberapa
varian : sigmoid algortima, sigmoid biner, dan sigmoid bipolar, dan
sigmoid tangen.
BAB IIIBACKPROPAGATION
3.1Definisi BackpropagationJaringan Syaraf Tiruan
Backpropagation merupakan salah satu model jaringan yang populer
pada jaringan syaraf tiruan. Model jaringan ini banyak digunakan
untuk diaplikasikan pada penyelesaian suatu masalah berkaitan
dengan identifikasi, prediksi, pengenalan pola dan sebagainya. Pada
latihan yang berulangulang, algoritma ini akan menghasilkan unjuk
kerja yang lebih baik. Hal ini berarti bahwa bobot interkoneksi
Jaringan Syaraf Tiruan (JST) semakin mendekati bobot yang
seharusnya (Penelitian Jaringan Syaraf Tiruan,1993). Kelebihan lain
yang dimiliki Backpropagation adalah kemampuannya untuk belajar
(bersifat adaptif) dan kebal terhadap adanya kesalahan (Fault
Tolerance) dengan kelebihan tersebut Backpropagation dapat
mewujudkan sistem yang tahan akan kerusakan (robust) dan konsisten
bekerja dengan baik.Metode Backpropagation ini pertama kali
diperkenalkan oleh Paul Werbos pada tahun1974, kemudian dikemukakan
kembali oleh David Parker di tahun 1982 dan kemudian dipopulerkan
oleh Rumelhart dan McCelland pada tahun 1986. Pada Algoritma
Back-Propagationini, arsitektur jaringan menggunakan jaringan
banyak lapis. Secara garis besar proses pelatihanpada jaringan
syaraf tiruan dikenal beberapa tipe pelatihan, yaitu Supervised
Training, Unsupervised Training, Fixed-Weight Nets.
2.2Arsitektur BackpropagationBackpropagation memiliki beberapa
unit yang ada dalam satu layar tersembunyi.
Gambar 2.1 Arsitektur BackpropagationDidalam jaringan
Backpropagation, setiap unit yang berada di lapisan input terhubung
dengan setiap unit yang ada dilapisan tersembunyi. Hal serupa
berlaku pula pada lapisan tersembunyi. Setiap unit yang ada di
lapisan tersembunyi terhubung dengan setiap unit yang ada di
lapisan output. Terlihat pada Gambar diatas merupakan arsitektur
backpropagation dengan n buah (input) ditambah sebuah bias, sebuah
layar tersembunyi yang terdiri dari p unit (ditambah sebuah bias),
serta m buah unit (output).Jaringan syaraf tiruan backpropagation
terdiri dari banyak lapisan (multilayer neural networks) :1.
Lapisan input (1 buah). Lapisan input terdiri dari neuron-neuron
atau unit-unit, mulai dari unit input 1 sampai input n.2. Lapisan
tersembunyi (minimal 1). Lapisan tersembunyi terdiri dari unit-unit
tersembunyi mulai dari unit tersembunyi 1 sampai unit tersembunyi
p.3. Lapisan output (1 buah). Lapisan output terdiri dari unit-unit
output yang mulau dari unit output 1 sampai unit output m, n, p, m
masing-masing adalah bilangan integer sembarang yang menurut
arsitektur jaringan syaraf tiruan yang dirancang. voj dan w0k
masing-masing adalah bias untuk unit tersembunyi ke-j dan untuk
unit output ke-k. Biasvoj dan w0kberperilaku seperti bobot, dimana
output bias ini selalu sama dengan 1. vijadalah bobot koneksi
antara unit ke-I lapisan input dengan unit ke-j lapisan
tersembunyi, sedangkan wjkadalah bobot koneksi antara unit ke-I
lapisan tersembunyi dengan unit ke-j lapisan output. Keterangan :x=
Masukan (input).vij= Bobot pada lapisan tersembunyi.wij = Bobot
pada lapisan keluaran.v0j = Bias pada lapisan tersembunyiwoj = Bias
pada lapisan tersembunyi dan lapisan keluaran.j = 1,2,3,..,n.n =
Jumlah unit pengolah pada lapisan tersembunyi.k = Jumlah unit
pengolah pada lapisan keluaran. y = Keluaran hasil.
2.3 Fungsi Aktivasi Pada Backpropagation, fungsi aktivasi yang
digunakan harus memenuhi syarat yaitu : kontinu, terdiferensial
dengan mudah dan merupakan fungsi yang tidak turun. Fungsi yang
memenuhi ketiga syarat tersebut, yaitu : Fungsi sigmoid biner yang
memiliki range (0,1), dengan rumus sebagai berikut :
Gambar fungsi tampak pada gambar 2.2
Gambar 2.2 Grafik fungsi sigmoid biner Fungsi sigmoid bipolar
yang memiliki range (-1,1), dengan rumus sebagai berikut :
Gambar fungsi tampak pada gambar 2.3
Gambar 2.3 Grafik fungsi sigmoid bipolarFungsi sigmoid memiliki
nilai maksimum = 1. Maka untuk pola yang tergetnya > 1, pola
masukkan dan keluaran harus terlebih dahulu ditransformasikan
sehingga polanya memiliki range yang sama seperti fungsi sigmoid
yang digunakan. Alternatif lain adalah menggunakan fungsi aktivasi
sigmoid hanya pada layar bukan layar keluaran. Pada layar keluaran,
fungsi aktivasi yang digunakan adalah fungsi identitas : f(x)
2.4Pelatihan Standar BackpropagationMetode pelatihan jaringan
syaraf rambat balik (Backpropagation Neural Network)menggunakan ide
perambatan balik nilai error atau dikenal sebagai Generalize Delta
Rule (GDR). Delta rule ini merupakan metode gradient descent untuk
meminimalkan jumlah kuadrat error pada keluaran yang dihasilkan
oleh jaringan. Ide dasarnya dapat dideskripsikan dengan pola
hubungan yang sederhana yaitu : jika output memberikan hasil yang
tidak sesuai dengan target yang tidak diinginkan, maka pembobot
akan dikoreksi agarerrornya dapat diperkecil dan selanjutnya respon
jaringan diharapkan akan lebih mendekati harga yang sesuai.Pada
metode ini terdapat tiga tahapan dalam proses pelatihan, yaitu fase
pertama adalah fase maju. Pola masukan dihitung maju mulai dari
layar masukan hingga layar keluaran menggunakan fungsi aktivasi
yang ditentukan. Fase kedua adalah fase mundur. Selisih antara
keluaran jaringan dengan target yang diinginkan merupakan kesalahan
yang terjadi. Kesalahan tersebut dipropagasikan mundur, dimulai
dari garis yang berhubungan langsung dengan unit-unit di layar
keluaran. Faseketiga adalah modifikasi bobot untuk menurunkan
kesalahan yangterjadi. Fase I : Propagasi maju Selama propagasi
maju, sinyal masukkan (= xi) di propagasikan ke layar tersembunyi
menggunakan aktivasi yang ditentukan. Keluaran dari setiap unit
layar tersembunyi (= zi) tersebut selanjutnya di propagasikan maju
lagi ke layar tersembunyi diatasnya menggunakan fungsi aktivasi
yang ditentukan. Demikian seterusnya hingga menghasilkan keluaran
jaringan (= yk).Berikutnya, keluaran jaringan (= yk) dibandingkan
dengan target yang harus dicapai (= tk). Selisih tk-yk adalah
kesalahan yang terjadi. Jika kesalahan ini lebih kecil dari batas
toleransi yang ditentukan, maka iterasi dihentikan. Akan tetapi
apabila kesalahan lebih besar dari batas toleransinya, maka bobot
setiap garis dalam jaringan akan dimodifikasi untuk mengurangi
kesalahan yang terjadi. Fase II : Propagasi mundur Berdasarkan
kesalahan dihitung faktor k (k = I,2, ..., m) yang dipakai untk
mendistribusikan kesalahan di unit yk ke semua unit tersembunyi
yang berhubung langsung dengan yk. k juga dipakai untuk mengubah
bobot garis yang berhubungan langsung dengan unit keluaran. Dengan
cara dihitung yang sama, dihitung faktor j di setiap unit di layar
tersembunyi sebagai dasar perubahan bobot semua garis yang berasal
dari unti tersembunyi di layar bawahnya. Demikian seterusnya hingga
semua faktor di unit tersembunyi yang berhubungan langsung dengan
unit masukkan dihitung. Fase III : Perubahan bobot Setelah semua
faktor dihitung, bobot semua garis dimodifikasi bersamaan.
Perubahan bobot suatu garis didasarkan atas faktor neuron di layar
atasnya. Sebagai contoh, peubahan bobot garis yang menuju ke layar
keluaran didasarkan atas k yang ada di unit keluaran. Ketiga fase
tersebut diulang-ulang terus hingga kondisi penghentian dipenuhi.
Umumnya kondisi penghentian yang sering diapaki adalah jumlah
iterasi atau kesalahan. Iterasi akan dihentikan jika jumlah iterasi
yang dilakukan sudah melebihi jumlah maksimum iterasi yang
ditetapkan, atau jika kesalahan yang terjadi sudah lebih kecil dari
batas toleransi yang diijinkan .Algoritma pelatihan untuk jaringan
dengan satu layar yang tersembunyi (dengan fungsi aktivasi sigmoid
biner) adalah sebagai berikut:Langkah 0: Inisialisasi semua bobot
dengan bilangan acak terkecil.Langkah 1: Jika kondisi penghentian
belum terpenuhi, lakukan langkah 2-9.Langkah 2: Untuk setiap pasang
data pelatihan, lakukan langkah 3-8 FASE I : PROPAGASI MAJULangkah
3: Tiap unit masukan menerima sinyal dan meneruskannya ke unit
tersembunyi di atasnya. Langkah 4: Hitung semua keluaran di unit
tersembunyi zj (j=1,2,,p).
Langkah 5: Hitung semua keluaran jaringan di unit yk (k =
1,2,,m).
FASE II : PROPAGASI MUNDUR Langkah 6: Hitung faktor unit
keluaran bedasarkan kesalahan di setiap unit keluaran yk (k = 1,2,,
m).
k merupakan unit kesalahan yang akan dipakai dalam perubahan
bobot layardibawahnya (langkah 7).Hitung suku perubahan bobot wkj
(yang akan dipakai nanti untuk merubah bobot wkj) dengan laju
percepatan a.
Langkah 7: Hitung faktor unit tersembunyi berdasarkan kesalahan
di setiap unit Tersembunyi zj (j = 1,2,,p).Faktor unit tersembunyi
:
Hitung suku perubahan bobot vji (yang akan dipakai nanti untuk
merubah Bobot vji)
FASE III : PERUBAHAN BOBOT Langkah 8: Hitung semua perubahan
bobot Perubahan bobot garis yang menuju unit keluaran :
Perubahan bobot garis yang menuju ke unit tersembunyi :
Setelah pelatihan selesai dilakukan, jaringan dapat dipakai
untuk pengenalan pola. Dalam hal ini, hanya propagasi maju (langkah
4 dan 5) saja yang dipakai untuk menentukan keluaran jaringan.
Apabila fungsi aktivasi yang dipakai bukan sigmoid biner, maka
langakh 4 dan 5 harus disesuaikan. Demikian juga turunannya pada
langkah 6 dan 7. 2.5 Optimalitas Arsitektur Backpropagation1.
Pemilihan Bobot dan Bias Awal Bobot awal mempengaruhi apakah
jaringan mencapai titik minimum local atau global, dan seberapa
cepat kenvergensinya.Bobot yang menghasilkan nilai turunan aktivasi
yang kecil sedaoat mungkin dihindari karena akan menyebabkan
perubahan bobotnya menjadi sangat kecil. Demikian pula nilai bobot
awal tidak boleh terlalu besar karena nilai turunan fungsi
aktivasinya menjadi sangat kecil juga. Oleh karena itu dalam
standar Backpropagation, bobot dan bias diisi dengan bilangan acak
kecil.
Nguyen dan Widrow (1990) mengusulkan cara membuat inisialisasi
bobot dan bias ke unit tersembunyi sehingga menghasilkan ietrasi
lebih cepat. Dimana, n= jumlah unit masukkan p = jumlah unit
tersembunyi = faktor skala = 0.7Algoritma inisialisasi Nguyen
Widrow adalah sebagai berikut : a. Inisialisasi semua bobot (vji
(lama)) dengan bilangan acak dalam interval [-0.5, 0.5]b. Hitung ||
vj || =+ c. Bobot yang dipakai sebagai inisialisasi = vji =
d. Bias yang dipakai sebagai inisialisasi = vj0= bilangan acak
antara - dan .2. Jumlah Unit Tersembunyi Hasil teoritis yang
didapat menunjukkan bahwa jaringan dengan sebuah layar tersembunyi
sudah cukup bagi Backpropagation untuk mengenalai sembarang
perkawanan antara masukan dan target dengan tingkat ketelitian yang
ditentukan. Akan tetapi penambahan jumlah layar tersembunyi
kadangkala membuat pelatihan lebih mudah.
Jika jaringan memiliki lebih dari satu layar tersembunyi, maka
algoritma pelatihan yang dijabarkan sebelumnya perlu direvisi.
Dalam propagasi maju, keluaran harus dihitung untuk tiap layar,
dimulai dari layar tersembunyi paling bawah (terdekat dengan
masukkan). Sebaliknya, dalam propagasi mundur, faktor perlu
dihitung untuk tiap layar tersembunyi, dimulai dari layar
keluaran.
3. Jumlah Pola PelatihanTidak ada kepastian tentang berapa
banyak pola yang dperlukan agar jaringan dapat dilatih dengan
sempurna. Jumlah pola yang dibutuhkan dipengaruhi oleh banyaknya
bobot dalam jaringan serta tingkat akurasi yang diharapkan. Aturan
kisarannya dapat ditentukan dengan berdasarkan rumusan sebagai
berikut :
Jumlah pola = Jumlah bobot / tingkat akurasi
Untuk jaringan dengan 80 bobot dan tingkat akurasi 0,1 maka 800
pola masukkan diharapkan akan mampu mengenali dengan benar 90% pola
diantaranya.
4. Lama Iterasi Tujuan utama penggunaan Backpropagation adalah
mendapatkan keseimbangan antara pengenalan pola pelatihan secara
benar dan respon yang baik untuk pola lain yang sejenis (disebut
data pengujian). Jaringan dapat dilatih terus menerus hingga semua
pola pelatihan dikenali dengan benar. Akan tetapi, hal itu tidak
menjamin jaringan akan mampu mengenali pola pengujian dengan tepat.
Jadi tidaklah bermanfaat untuk meneruskan iterasi hingga semua
kesalahan pola pelatihan = 0.
Umumnya data dibagi menjadi 2 bagian saling asing, yaitu : pola
data yang dipakai sebagai pelatihan dan data yang diapai unutk
pengujian. Perubahan bobot dilakukan berdasarkan pola pembelajara.
Akan tetapi selama pelatihan (missal setiap 10 epoch), kesalahan
yang terjadi dihitung berdasarkan semua data (pelatihan dan
pengujian). Selama kesalahan ini menurun, pelatihan akan terus
dijalankan. Akan tetapi jika kesalahannya sudah meningkat,
pelatihan tidak ada gunanya untuk diteruskan lagi. Jaringan sudah
mulai mengambil sifat yang dimiliki secara spesifik oleh data
pelatihan (tapi tidak dimiliki oleh data pengujian) dan sudah mulai
kehilangan kemampuan untuk melakukan generalisasi.
2.6 Variasi Backpropagation Variasi model Bacpropagation yang
digunakan untuk keperluan khusus, atau teknik modifikasi bobot
untuk mempercepat pelatihan dalam kasus tertentu. Beberapa variasi
diantaranya .1. Momentum Pada standar Backpropagation, perubahan
bobot didasarkan atas gradient yang terjadi untuk pola yang
dimasukkan saat itu. Modifikasi yang dapat dilakukan adalah
melakukan perubahan bobot yang didasarkan atas arah gradient pola
terakhir dan pola sebelumnya yang dimasukkan disebut momentum. Jadi
tidak hanya pola masukkan terakhir saja yang diperhitungkan.
Penambahan momentum bertujuan untuk menghindari perubahan bobot
yang mencolok akibat adanya data yang sangan berbeda dengan yang
lain. Apabila beberapa data terakhir yang diberikan ke jaringan
memiliki pola yang serupa maka perubahan bobot dilakukan secara
cepat. Namun apabila data terakhir yang dimasukkan memiliki pola
yang berbeda dengan pola sebelumnya, maka perubahan dilakukan
secara lambat.
Dengan penambahan momentum, bobot baru pada waktu ke (t+1)
didasarkan atas bobot pada waktu t dan (t-1). Disini diperlukan
penambahan 2 variabel baru yang mencatat besarnya momentum untuk 2
iterasi terakhir. Jika adalah konstanta (0
