هایعصبی شبکهمصنوعی

Author : Saeed Shiry

With little change by: keyvanrad

Fall 1392

مقدمه

یادگیری شبکه برای عملی روشی مصنوعی عصبیبا توابع نظیر گوناگون حقیقی توابع توابع ، مقادیر

برداری مقادیر با توابع و گسسته مقادیر .با میباشد های داده خطاهای برابر در عصبی شبکه یادگیری

با ها شبکه اینگونه و بوده مصون آموزشیگفتار، شناسائی نظیر مسائلی به موفقیت

روبات یادگیری و تصاویر، تعبیر و شناسائی. است شده اعمال

Input 0 Input 1 Input n...

Output 0 Output 1 Output o...

O0 O1 Oo

H0 H1 Hm...

...

Hidden Layer

چیست؟ شبکه عصبی

محاسبه روشی برایاتصال پایه بر که است

چندین پیوسته هم بهپردازشی واحد

. میشود ساخته تعداد از شبکه

گره یا سلول دلخواهیتشکیل نرون یا واحد یا

مجموعه که میشودخروجی به را ورودی

. میدهند ربط

قابلیتهائی شبکه چه عصبیدارد؟

معلوم محاسبه تابع یک ناشناخته تابع یک تقریب الگو شناسائی سیگنال پردازشیادگیری

آموزشی های داده در .خطا باشد داشته وجود حاصل مثل نویز دارای آموزشی های داده که مسائلی

ها میکروفن و دوربین نظیر سنسورها دادهای ازهستند.

زیادی مقادیر توسط ها نمونه که -مواردی ویژگی زوج. مقدار یک از حاصل های داده نظیر باشند شده داده نشان

. ویدئوئی دوربین دارای هدف پیوسته تابع باشد.مقادیر کافی . زمان در روش این باشد داشته وجود یادگیری برای

زمان به نیاز تصمیم درخت نظیر دیگر روشهای با مقایسه. دارد یادگیری برای بیشتری

به هدف نیازی تابع . تعبیر میتوان سختی به زیرا نباشد. نمود تعبیر را شبکه توسط شده یادگرفته وزنهای

یادگیری مسائل برای مناسبعصبی های شبکه

طبیعت الهام از

از مطالعه ملهم زیادی حد تا مصنوعی عصبی های شبکهمجموعه یک آنها در که است طبیعی یادگیر های سیستم

دخیل یادگیری کار در متصل هم به نرونهای از پیچیدههستند.

تعداد از انسان مغز که میرود تشکیل 11 10گمان نرونتقریبا با نرون هر که باشد ارتباط 104شده در دیگر نرون

است. حدود در نرونها سوئیچنگ در 3-10سرعت که است ثانیه

کامپیوترها با . 10- 10مقایسه با ( ) مینماید ناچیز بسیار ثانیهدر است قادر آدمی وجود انسان 0.1این یک تصویر ثانیه

. از باید العاده فوق قدرت این نماید بازشناسائی راشده توزیع موازی نرونها پردازش از زیادی تعدادی در

. باشد شده حاصل

x1

x2

xn

{1 or –1}

X0=1

w0

w1

w2

wn

Σ

نام نوعی به محاسباتی واحد یک برمبنای عصبی شبکه از. پرسپترون یک میشود از پرسپترون ساخته برداری

از خطی ترکیب یک و گرفته را حقیقی مقادیر با ورودیهای . مقدار یک از حاصل اگر میکند محاسبه را ورودیها این

خروجی بود بیشتر با پرسپترون آستانه غیر 1برابر در ومعادل - .1اینصورت بود خواهد

Perceptron

پرسپترون خروجی : میشود مشخص زیر رابطه توسط

: داد نشان زیر بصورت میتوان آنرا سادگی برای که

پرسپترون یک یادگیری

O(x1,x2,…,xn) = 1 if w0 + w1x1 + w2x2 + … + wnxn > 0-1 otherwise

O(X) = sgn(WX) where

Sgn(y) = 1 if y > 0-1 otherwise

: پرسپترون یادگیری از است عبارتبرای مقادیردرستی کردن Wپیدا

فرضیه فضای یادگیری Hبنابراین تمام پرسپترون در ازمجموعه است عبارت. وزن بردارهای برای ممکن حقیقی مقادیر

تصمیم پریسپترون سطح یک بصورت میتوان راhyperplane فضای . nدر گرفت نظر در ها نمونه بعدی

مقدار پرسپترون صفحه طرف یک های نمونه و 1برایمقدار - دیگر طرف مقادیر .1برای میاورد بوجود

پرسپترون توانائی

+

++

-

--

Decision boundary (WX = 0)

که پرسپترون یک بگیرد یاد را مثالهائی است قادر فقط . مواردی مثالها اینگونه باشند جداپذیر خطی بصورت

یک توسط کامل بطور که جدا hyperplaneهستند قابل. میباشند سازی

به پرسپترون که توابعی قادرمیباشد آنها یادگیری

+

++

--

-

+

+

+-

-

-

Linearly separable Non-linearly separable

را پرسپترون یک بولی توابع از بسیاری میتواندنظیر دهد AND, OR, NAND, NORنمایش

نمیتواند .XORاما دهد نمایش را

ای شبکه با میتوان را بولی تابع هر واقع دراز .پرسپترونها دوسطحی داد نشان

و توابع پرسپترون بولی

AND: x1

x2X0=1

W0 = -0.8

W1=0.5

W2=0.5Σ

بایاس کردن اضافه

موجب بایاس افزودنشبکه از استفاده تا میشود

سهولت با پرسپترون. شود انجام بیشتری

یادگیری برای اینکه برایاز استفاده به نیازی بایاس

باشیم نداشته دیگری قانونیک بصورت را بایاسثابت مقدار با در 1ورودی

وزن و گرفته به W0نظر را. میدهیم اختصاص آن

21 wwb

ii

iwxby ˆ

211 xxi

iiwxwy

1

0ˆ

یک چگونه بگیریم پرسپترون وزنهای یاد را واحدکه نحوی آموزشی پرسپترون به مثالهای برای

نماید؟ ایجاد را صحیح مقادیر: مختلف راه دو

پرسپترون قانون دلتا قانون

پرسپترون آموزش

پرسپترون یادگیری الگوریتممیدهیم 1. نسبت وزنها به تصادفی مقادیریاعمال 2. آموزشی مثالهای تک تک به را پرسپترون

مقادیر. شود ارزیابی غلط مثال اگر میکنیم.پرسپترون وزنهای میکنیم تصحیح را

ارزیابی 3. درست آموزشی مثالهای تمامی آیامیشوند:

بله الگوریتم پایانخیر مرحله برمیگردیم 2به

پرسپترون آموزش

آموزشی برای مثال در )X = )x1, x2, …, xnیکپرسپتون قانون اساس بر وزنها مرحله هر

: میکند تغییر زیر بصورت wi = wi + Δwi

آن در که

پرسپترون قانون

Δwi = η ( t – o ) xit: target outputo: output generated by the perceptronη: constant called the learning rate (e.g., 0.1)Example: if xi = .8, η = 0.1, t = 1, and o = - 1,Δwi = η ( t – o ) xi = O.1(1 - (-1))0.8 = 0.16

این اثبات جداپذیرخطی مثال مجموعه یک برای که است شدهو شده همگرا مثالها پرسپترون روش صحیح سازی جدا به قادر

. شد خواهد

نباشند وقتی جداپذیر خطی بصورت مثالها که. پرسپترون قانون بر غلبه برای شد نخواهد همگرا

. میشود استفاده دلتا قانون از مشکل این از استفاده قانون این اصلی gradientایده

descent وزنهای فرضیه فضای در جستجو برای . روش پایه قانون این میباشد Backممکن

propagation با شبکه آموزش برای که است. میرود بکار متصل هم به نرون چندین

الگوریتمهای انواع برای ای پایه روش این همچنینشامل ای فرضیه فضای باید که است یادگیری

. کنند جستجو را پیوسته مختلف های فرضیه

Delta Ruleدلتا قانون

Delta Ruleدلتا قانون

یک برای به آنرا روش این بهتر پرسپترون درک . است الزم اینجا در میکنیم اعمال آستانه حد فاقد . یک شود ارائه آموزش ی خطا برای تعریفی ابتدا

: است چنین این متداول تعریفE = ½ Σi )ti – oi( 2

انجام آموزشی مثالهای تمام برای مجموع این کهمیشود.

gradient descent الگوریتمتعریف با نحوه به یک Eتوجه بصورت خطا سطح

. که هستیم وزنهائی بدنبال ما بود خواهد سهمیالگوریتم . باشند داشته را خطا gradientحداقل

descent که میگردد برداری بدنبال وزنها فضای در . دلخواه مقدار یک از الگوریتم این کند حداقل را خطارا وزنها مرحله هر در و کرده شروع وزن بردار برای

کاهشی شیب جهت در که میدهد تغییر طوری. شود داده کاهش خطا فوق منحنی

w1

w2

E(W)

قانون بدست gradientآوردنdescent

ایده : افزایش جهت در همواره گرادیان اصلی.Eشیب میکند عمل

گرادیانE وزن بردار به زیر wنسبت بصورت: میشود تعریف

E )W( = [ E’/w0, E’/w1, …, E’/wn] آن در بردارو )E )Wکه جزئی’ Eیک مشتق

. میباشد وزن هر به نسبت

Δ

Δ

Delta Ruleدلتا قانون

آموزشی برای مثال در )X = )x1, x2, …, xnیکزیر بصورت دلتا قانون اساس بر وزنها مرحله هر

: میکند تغییرwi = wi + Δwi

Where Δwi = -η E’)W(/wi

η: learning rate )e.g., 0.1(

کاهش جهت در حرکت نشاندهنده منفی عالمت. است شیب

گرادیان محاسبه

میتوان با خطا رابطه از جزئی گیری مشتق: نمود محاسبه را گرادیان بسادگی

E’)W(/ wi = Σd )td – Od( )-xid(. نمود خواهند تغییر زیر رابطه طبق وزنها لذا

Δwi = η Σd )td – Od( xid

گرادیان محاسبه

دلتا خالصه قانون یادگیری

بصورت الگوریتم دلتا قانون از استفاده با یادگیری. میباشد زیر

دهید 1. نسبت تصادفی مقدار وزنها به

ادامه 2. را زیر مراحل توقف شرایط به رسیدن تادهید

وزن .wiهر کنید اولیه دهی عدد صفر مقدار با را : وزن مثال هر :wiبرای دهید تغییر زیر بصورت را

wi = wi + η )t – o( xi

دهید wiمقدار تغییر زیر بصورت :راwi = wi + wi

شود کوچک بسیار خطا تا

Δ

Δ

Δ Δ Δ

Delta rule is similar to the perceptron training rule!

gradientروش مشکالتdescent

مینیمم ممکن1. مقدار یک به شدن همگرا است. باشد داشته الزم زیادی زمان

وجود 2. محلی مینیمم چندین خطا سطح در اگرالگوریتم که ندارد وجود تضمینی باشد داشته

. بکند پیدا را مطلق مینیمم

: که است استفاده قابل وقتی روش این ضمن در پارامتریک های فرضیه دارای فرضیه فضای

. باشد پیوسته. باشد گیری مشتق قابل خطا رابطه

gradientافزایشی تقریبdescent

همه میتوان مشاهده از پس وزنها تغییر بجای . داد تغییر شده مشاهده مثال هر بازا را آنها مثالها،

افزایشی بصورت وزنها حالت این incrementalدر . را روش این میکنند stochastic gradientتغییر

descent. نیزمینامند wi = η )t-o( xi

بروز از میتواند وزنها افزایشی تغییر موارد بعضی در . به نیاز استاندارد روش کند جلوگیری محلی مینیمم

طول میتواند درعوض دارد بیشتری محاسباتstep. باشد داشته هم بزرگتری

Δ

و آموزشیکجا مقایسهافزایشی

( یکجا Batchآموزشlearning)

( افزایشی Onlineآموزشlearning)

w1

w2

w1

w2

برای پرسپترونها خالف بر میتوانند الیه چند های شبکهتصمیم با مسائلی همچنین و خطی غیر مسائل یادگیری

. روند بکار متعدد های گیری

Input nodes

Internal nodes

Output nodes

الیه شبکه چند های

28

Multilayer Networks of Sigmoid Units

Distinguishing among 10 possible vowels

x1

x2

مثال

واحد یک سلول

غیر برای بصورت را گیری تصمیم فضای بتوانیم اینکهرا واحد سلول هر تا است الزم بکنیم، جدا هم از خطی

. چنین از مثالی نمائیم تعریف خطی غیر تابع یک بصورت: باشد سیگموئید واحد یک میتواند سلولی

Multiple layers of cascaded linear units still produce only linear functions

O(x1,x2,…,xn) = σ ( WX )

where: σ ( WX ) = 1 / 1 + e -WX

d σ(y) / dy = σ(y) (1 – σ(y))

. σ تابع تابع این میشود نامیده لجستیک یا سیگموئید تابع: است زیر خاصیت دارای

سیگموئید تابع

بیان خروجی میتوان زیر بصورت را واحد سلول ایننمود:

- =

- =

- =

- =

Error Gradient for a Sigmoid Unit

Back propagation الگوریتم

روش برای از الیه چند شبکه یک های وزن یادگیری Back Propagation . روش این در میشود استفاده

از استفاده تا gradient descentبا میشود سعیهدف تابع و شبکه های خروجی بین خطای مربع

. شود مینیمم: میشود تعریف زیر بصورت خطا 2

2

1

Dd outputskkdkd otWE

و outputsاز مراد خروجی الیه های واحد مجموعه و tkdخروجیهایokd با متناظر خروجی و هدف و kمقدار خروجی واحد امین

آموزشی .dمثال است

Back propagation الگوریتم

عبارت فضای روش این در جستجو مورد فرضیهمقادیر همه توسط که بزرگی فضای از است

. روش میشود تعریف وزنها برای gradientممکنdescent به خطا کردن مینیمم با تا میکند سعی

. برای تضمینی اما کند پیدا دست مناسبی فرضیهوجود برسد مطلق مینیمم به الگوریتم این اینکه

ندارد.

BP الگوریتم

با شبکه1. ورودی، ninای و nhiddenگره مخفی، گرهnout. کنید ایجاد خروجی گره

عدد 2. کوچک تصادفی مقدار یک با را وزنها همه. کنید دهی

شدن ( 3. کوچک پایانی شرط به رسیدن تا: دهید) انجام را زیر مراحل خطا

هر :xبرای آموزشی مثالهای به متعلقدهید Xمثال انتشار شبکه در جلو سمت به را

.Eخطای دهید انتشار شبکه در عقب سمت به را زوج )هر یک بصورت آموزشی بردار( x,tمثال که میشود و xارائه ورودی مقادیر.tبردار میکنند تعیین را شبکه خروجی برای هدف مقادیر

جلو انتشار سمت به

مثال برای را Xهر واحد هر خروجی مقدار. برسید خروجی های گره به تا کنید محاسبه

Input nodes

Internal nodes

Output nodes

Example X

Compute sigmoid function

سمتعقب انتشار به

بصورت برای1. را خطا جمله خروجی واحد هر: کنید محاسبه )δk = Ok )1-Ok()tk – Okزیر

زیر 2. بصورت را خطا جمله مخفی واحد هر برای: کنید δh = Oh )1-Oh( Σk Wkh δk محاسبه

.3: دهید تغییر زیر بصورت را وزن مقدارهر Wji = Wji + ΔWji

آن : در کهΔWji = η δj Xji

η یادگیری نرخ از است عبارت

خاتمه شرط

با BPالگوریتم معموال بار هزاران خاتمه از پیشمیگردد تکرار آموزشی های داده همان استفادهالگوریتم خاتمه برای میتوان را مختلفی شروط

: برد بکار معین دفعات به تکرار از بعد توقف شود کمتر شده تعیین مقدار یک از خطا که وقتی توقف قاعده از تائید مجموعه مثالهای در خطا که وقتی توقف

نماید پیروی خاصی

اگر و داشت خواهیم خطا باشد کم تکرار دفعات اگرمسئله باشد .Overfittingزیاد داد خواهد رخ

یادگیری محنی

BPالگوریتم مرور

جستجوی این یک در gradient descentالگوریتم. میدهد انجام وزنها فضای

. بیافتد گیر محلی مینیمم یک در است ممکن. است بوده موثر بسیار عمل در

وجود مختلفی روشهای محلی مینیمم از پرهیز برایدارد:

ممنتم افزودن از stochastic gradient descentاستفاده برای متفاوتی مقادیر با مختلف های ازشبکه استفاده

اولیه وزنهای

ممنتم افزودن

ممنتم افزودن

گرفت میتوان نظر در طوری را وزنها تغییر قانونتکرار در وزن تغییر اندازه nکه به حدی تا ام

. باشد داشته بستگی قبلی تکرار در تغییروزنΔWji )n( = η δj Xji + αΔWji )n-1(

مقدارممنتم آن در α <= 1 >= 0بصورت αکهمیباشد.

مسیر در حرکت با تا میشود باعث ممنتم افزودن: خطا سطح در قبلی

شود پرهیز محلی مینیم در افتادن گیر از شود پرهیز صاف سطوح در قرارگرفتن از جستجو سرعت تغییرات، پله مقدار تدریجی افزایش با

. یابد افزایش

وزن قانون تغییر ممنتم عبارت

نمایشتوابع قدرت

شبکه گرچه یک توسط به توابع نمایش قدرتfeedforward این با دارد، شبکه گستردگی و عمق به بسته

بیان کلی قوانین صورت به میتوان را زیر موارد وجودنمود:

بولی الیه: توابع دو شبکه یک توسط میتوان را بولی تابع هر ( . مخفی واحدهای تعداد است ممکن البته نمود سازی پیاده

) شود زیاد نمایی پیوسته یک: توابع توسط میتوان را محدود پیوسته تابع هر

. شبکه مورد در مربوطه تئوری زد تقریب الیه دو شبکهدر خطی الیه و پنهان الیه در سیگموئید تابع از که هائی

. است صادق میکنند استفاده خروجی شبکه: دلخواه الیه توابع سه شبکه یک با میتوان را دلخواه تابع هر

. زد تفریب قبولی قابل حد تا

روش با توسط شده جستجو فرضیه فضای که داشت درنظر باید وجود اینgradient deescent وزنها ممکن مقادیر تمام برگیرنده در است ممکن

نباشد.

بایاساستقرا فضای و فرضیه

یک فضای بصورت میتوان را جستجو مورد فرضیهاقلیدسی فرضیه شبکه nفضای وزنهای از بعدی

که ( گرفت نظر ) nدر وزنهاست تعداد درخت فرضیه فضای خالف بر فرضیه فضای این

. است پیوسته فضای یک تصمیم زیر بصورت میتوان را روش این استقرا بایاس

: کرد بیان“smooth interpolation between data points”

الگوریتم که معنا این را BPبه نقاطی تا میکند سعیقرار بندی دسته یک در هستند نزدیکتر هم به که

دهد.

x1

x2

Smooth regions

مثال

پنهان قدرت نمایشالیه

خواص یکی الیه BPاز در میتواند که است اینداده از آشکاری نا ویژگیهای شبکه پنهان های

. دهد نشان ورودی

ورودی خروجی

شبکه برای طوری 8x3x8مثال زیرکه میشود داده آموزش

در عینا را ورودی مقدارهرمثالتابع ( آورد د بوجو را f)x(=xخروجی

( شبکه این خاص ساختار بگیرد یادالیه های واحد تا میشود باعث

را ورودی مقادیر های ویژگی وسطالیه که کنند بندی کد نحوی به

نمایش برای آنان از بتواند خروحی . نماید استفاده ها داده مجدد

پنهان قدرت نمایشالیه

1000000001000000001000000001000000001000000001000000001000000001

1000000001000000001000000001000000001000000001000000001000000001

Hidden nodes

تعداد در به که آزمایش از 5000این شده تکرار 8باربا شبکه و شده استفاده ورودی عنوان به مختلف داده

الگوریتم از را BPاستفاده هدف تابع تا شده موفقبیاموزد.

بردار با که میشود مشخص میانی الیه های واحد خروجی مشاهدهاست بوده ورودی ههای داده استاندارد انکدینگ معادل حاصل

(000,001,...,,111)

Number of weight updates

Err

or

Validation set error

Training set error

و قدرت overfittingتعمیم

الگوریتم شرط چیست؟ BPپاین ادامه آنقدر را الگوریتم که است این انتخاب یک

. امر این شود کمتر معینی مقدار از خطا تا دهیمبه منجر .overfittingمیتواند شود

دادن دالیل overfittingرخ

overfitting نظر در برای وزنها تنظیم از ناشیبا است ممکن که است نادری مثالهای گرفتن

. تعداد باشند نداشته مطابقت ها داده کلی توزیعتا میشود باعث عصبی شبکه یک وزنهای زیاد

مثالها این با انطباق برای زیادی آزادی درجه شبکه. باشد داشته

فرضیه فضای پیچیدگی تکرار، تعداد افزایش بابیشتر و بیشتر الگوریتم توسط شده یادگرفته

موجود نادر مثالهای و نویز بتواند شبکه تا میشود. نماید ارزیابی بدرستی را آموزش مجموعه در

حل راه

تائید استفاده مجموعه یک توقف Vallidationاز واندازه به مجموعه این در خطا که هنگامی یادگیری

. میشود کوچک کافی : یک تر ساده فرضیه فضاهای برای شبکه کردن بایاس

از استفاده میتواند آن weight decayراه در که باشدکاهش کمی خیلی باندازه بارتکرار هر در وزنها مقدار

. میشود دادهk-fold cross validation مثالهای تعداد که وقتی

میتوان باشد کم به mآموزشی را آموزشی Kدادهتعداد به را آزمایش و نموده بندی تقسیم دفعه kدسته . بعنوان ها دسته از یکی دفعه هر در نمود تکرارآموزشی مجموعه بعنوان بقیه و تست مجموعه

. میانگین اساس بر گیری تصمیم شد خواهند استفاده. میشود انجام نتایج

دیگر روشهای

وجود راه جدید های شبکه ایجاد برای متنوعی بسیار های: جمله از دارد

خطا تابع برای دیگری تعاریف از استفاده حین در خطا کاهش برای دیگری روشهای از استفاده

یادگیریHybrid Global LearningSimulated AnnealingGenetic Algorithms

واحدها در دیگری توابع از استفادهRadial Basis Functions

شبکه برای دیگری های ساختار از استفادهRecurrent Network

تشخیصارقام: مثال

استفاده با بخواهیم کنید فرضارقام الیه دو شبکه یک از

. دهیم تشخیص را دستنویس شدت اول الیه نرونهای

تقریب را پیکسلها روشنائیشکل آخر الیه ونرونهای میزنند

. میکنند تعیین را ارقام

0 1 2 3 4 5 6 7 8 9

گرفته یاد وزنها که روشیمیشوند:

بتدریج فعال پیکسلهای وزنهای و شده ارائه شبکه به تصویر . کاهش بتدریج نیز موثر غیر پیکسلهای وزن میشوند اضافه

میابد.

ورودی تصویر

1 2 3 4 5 6 7 8 9 0

: وزنها گیری شکل

1 2 3 4 5 6 7 8 9 0

ورودی تصویر

1 2 3 4 5 6 7 8 9 0

ورودی تصویر

1 2 3 4 5 6 7 8 9 0

ورودی تصویر

1 2 3 4 5 6 7 8 9 0

ورودی تصویر

1 2 3 4 5 6 7 8 9 0

ورودی تصویر

The learned weights 1 2 3 4 5 6 7 8 9 0

ورودی تصویر

میگیرد؟ یاد را چیزی چه شبکه

یک از استفاده با معادل الیه دو با شبکه یک مثال این درکه templateسری را قالبی شبکه که است قالب یا

! میگزیند بر باشد داشته را ورودی با تطبیق بهترین بسیار ورودی شکلهای دستنویس ارقام مسئله برای اما

سازگار ورودیها همه با که ساده قالب یک لذا هستند متنوع . راه نمیتواند هم ای شبکه چنین نتیجه در ندارد وجود باشد

! باشد کلی حالت در مسئله حل نمود حل کلی حالت در را مسئله بتوان اینکه برای

تبدیل ها ویژگی از ای مجموعه به ورودی های بایدشکل. داد آموزش ها ویژگی اساس بر را شبکه و شده

دستنویس ارقام تنوع از مثالی

شبکه اتصاالت انواعFeedforward networks

Recurrent networks به بیشتر ها شبکه این

بیولوژیکی های سیستم. هستند تر شبیه

دارای بک فید داشتن بعلت. هستند تری پیچیده دینامیک

hidden units

output units

input units