Doğrusal Olmayan Fonksiyonların Parçacık Sürü Optimizasyon Tabanlı Parçalı Doğrusal Yaklaşımı

Particle Swarm Optimization based Piecewise Linear Approximation of Nonlinear Functions

O. Tolga Altınöz1, Hamit Erdem2

1. Elektronik Teknolojisi Programı Hacettepe Üniversitesi Bala Meslek Yüksekokulu

taltinoz@hacettepe.edu.tr

2. Elektrik ve Elektronik Mühendisliği Başkent Üniversitesi

herdem@baskent.edu.tr

Özetçe Doğrusal olmayan fonksiyonlar, Parçalı Doğrusal Yaklaşım (Piecewise Linear Approximation) algoritması (PDY) kullanarak doğrusallaştırılır. Doğrusal parçaların sayısı ve parçaların konumları belirlenmesinde farklı optimizasyon algoritmaları kullanılır. Bu çalışmada bu parametrelerin belirlenmesinde, Parçacık Sürü Optimizasyonu (PSO) kullanılması hedeflenmiştir. PDY yöntemi YSA’nın donanımsal uygulamalarında sıkça kullanıldığından bu çalışmada, aktivasyon fonksiyonu olan “tanjant sigmoid”ın doğrusallaştırılması ele alınmıştır. Bu yöntem, PDY ile ifade edilen parçalı doğrusal aktivasyon fonksiyonunun, düşük maliyetli mikrodenetleyicilerde uygulanmasına olanak sağlar.

Abstract Piecewise Linear Approximation (PLA) method is widely used for linearization of nonlinear functions. Various optimization algorithms can be used to find out the number of linear segments and their breakpoints. This study proposes to provide these parameters by using Particle Swarm Optimization (PSO). PLA is widely used for implementation of nonlinear activation function of Artificial Neural Networks (ANN). Thus, linearization of the tangent sigmoid function which is used in neural networks is proposed. After Linearization, Linearized activation function can be implemented on low cost processors.

1. Giriş PDY, doğrusal olmayan fonksiyonların doğrusallaştırmasında eski fakat yaygın bir yöntemdir. Bu yöntem duyarga doğrusallaştırması, sistem modelleme, devre sentezi ve fonksiyon tahmini uygulamalarında kullanılmaktadır. PDT yönteminin en yaygın kullanım alanı Yapay Sinir Ağlarının (YSA) donanımsal uygulamasıdır. YSA oluşturan parçalar gerçek hayat uygulamalarında iki farklı yöntemle devre haline dönüştürülür [1]. Bunlardan ilki analog uygulamadır. Burada sigmoid fonksiyonu opamp veya

benzer bir devre ile gerçekleştirilir. Bu yöntem basit ve pratik olmasına rağmen analog cihazlar gürültüden kolaylıkla etkilendikleri için doğru sonuçlar alınamamaktadır [1]. İkinci yöntem ise sayısal uygulamadır. Burada tasarlanan sigmoid fonksiyonu gürültüden etkilenmez fakat sigmoid fonksiyonunun uygulaması analog devreler kadar pratik değildir. Doğrusal olmayan fonksiyonların, doğrusallaştırılması ve sayısal uygulaması için genelde aşağıdaki yöntemler kullanılır:

� Parçalı Doğrusal Yaklaşım Algoritması (PDY) � Parçalı Doğrusal Olmayan Yaklaşım Algoritması

(PDoY) � Tablolama (LUT) � Polinom Yakınsama Algoritması (PY) � Taylor Seri Açılımı (TSA) � Fonksiyonun doğrudan uygulanması

Fonksiyonların doğrudan uygulanabilmesi için, kullanılan işlemci hızının ve hafıza kapasitesinin yüksek olması gerekir. Bu nedenlerle bu yöntem tercih edilmez. Diğer yöntem, TSA üstel ifadelerin gösteriminde kullanılmaktadır. Yapılan çalışmalarda bir sigmoid fonksiyonu için 4 veya 5inci terime kadar seri açılım kullanılmaktadır [1]. Seri açılımda her terimde üstel ifadeli işlemler kullanıldığı ve bu işlemlerin mikrodenetleyicide gerçekleştirilmesi zaman aldığı için tercih edilmemektedir. PY algoritması belirlenen aralıklarda polinom tanımlanması ve bu aralıklardaki fonksiyon değerine en yakın grafiğin elde edilmesi prensibine dayanır. Bu yöntemde kullanılan çarpma ve kare alma işlemi sayısı Taylor serisinde olduğu kadar çok olmamasına rağmen, tercih edilmemektedir [2]. LUT en basit yöntemdir [3-4]. Burada fonksiyon sınırlı sayıdaki noktalar ile temsil edilir. Fonksiyonun giriş verisine karşılık istenen değeri elde edebilmek için seçilen noktaların eşit dağıldığı farz edilir. Bu yöntem çok hızı olmasına rağmen hafızada çok yer tutuğu için tercih edilmemektedir. PDY, YSA sigmoid fonksiyonun uygulaması için kullanılan en yaygın yöntemdir. Burada fonksiyon belirli sayıda doğrusal parçalara ayrılır. Parça sayısı arttırıldıkça fonksiyon ifadesindeki doğruluk artar. PDoY ise PDY algoritmasına benzemektedir. PDY algoritmasından farklı olarak fonksiyon doğrusal olmayan parçalara ayrılmaktadır.

784

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

978-1-4244-9671-6/10/$26.00 ©2010 IEEE

Bu yöntem en kesin sonucu vermesine rağmen donanımsal uygulamada yavaş çalışmaktadır.

Doğrusal olmayan fonksiyonun; PDY ile ifade edilmesinde, doğrusal parçaların sayısı ve kesişim noktalarının belirlenmesi için farklı algoritmalar kullanılabilir [5-6]. Bu çalışmada, doğrusal olamayan fonksiyonların PDY yöntemiyle doğrusallaştırılmasında, doğrusal parça sayısının ve kesişme noktalarının belirlenmesinde, PSO algoritması kullanılmıştır. PSO algoritması, diğer optimizasyon algoritmaların yaptığı gibi, herhangi bir fonksiyonun optimum noktasını bulmakta kullanılır. PSO diğer yöntemlere göre kolay uygulanabilir olması, kararlı yakınsaması ve kısa hesaplama süresi nedenleri ile tercih edilmektedir. Bu nedenle PSO birçok doğrusal olmayan ve karmaşık problemlere uygulanmaktadır. Hedeflenen yöntemin uygulaması için, YSA’da kullanılan ve doğrusal olmayan aktivasyon fonksiyon doğrusallaştırılması örnek olarak verilecektir. Aktivasyon fonksiyonu olarak tanjant sigmoid seçilmiştir. Doğrusal olmayan aktivasyon fonksiyonun, doğrusal parçalarla ifade edilmesi, YSA’nın, sıradan işlemciler üzerinde gerçekleştirilmesine kolaylık sağlar. Bölüm 2 problem tanımı ve formülasyonu tartışılmaktadır. Bölüm 3 parçacık sürü optimizasyonunu ve önerilen yöntemi açıklar. Bölüm 4 ve 5 sırası ile benzetim çalışmaları ve sonuçlar verilmiştir.

2. Problem Tanımı ve Formülasyon PDT yönteminin amacı, herhangi doğrusal olmayan fonksiyonun doğrusal parçalar bütünü olarak ifade edilmektir.

)(xf , örnek olarak [0,1) aralığında tanımlı herhangi bir doğrusal olmayan fonksiyon olsun ve )(ˆ xf ’de [0,1) aralığında tanımlanan doğrusal parçalı fonksiyon olsun. )(ˆ xf ’in h kadar doğrusal parçadan oluştuğunu kabul edelim

maxmin hhh �� ve

maxmin0 hh �� olan doğal sayılar olsun. Her doğrusal parça başında ve sonunda olmak üzere iki nokta arasında tanımlanmıştır. Bu bilinmeyen noktalar � �,),(),,( 2211 yxyx � �,),(),,( 3322 yxyx ..., � �),(),,( 11 �� hhhh yxyx biçiminde tanımlanır. Her bir parçanın denklemi eşitlik 1’de verilmiştir.

� �ii xxmyy (1)

)(xgy i

ii

ii

xxyym

�

�

1

1 ve hi ,..,2,1

Doğrusal parçalı )(ˆ xf fonksiyonu denklem 2 ile tanımlanır.

���

��

�

��

��

�1

211

)(..

.

.)(

)(ˆ

hhh xxxxg

xxxxg

xf (2)

Bu çalışmada )(ˆ xf doğrusal olmayan fonksiyonu denklem 3’de tanımlanan hata fonksiyonu ile en uygun biçime dönüştürülür.

� dxxeJ )( (3)

ve )(ˆ)()( xfxfxe

Şekil 1: Doğrusal parçalı sistem modeli. Denklem 1 ve 2 ile verilen eşitlikte )(xf doğrusal olmayan fonksiyonu, )(xg eşdeğer doğrusal parça fonksiyonunu ve i ise bu fonksiyonun indeksini göstermektedir. Bu eşitliği görsel olarak sunmak için şekil 1 verilmiştir. Burada üstel bir fonksiyon üç doğrusal parça ile gösterilmiştir. Doğrusal olmayan fonksiyon ile eşdeğer fonksiyon arasında hata meydana gelmektedir. Bu hatayı azaltmak için doğrusal parça sayısı arttırılabilir. Fakat bu yaklaşım yapay sinir ağı uygulamasında eşdeğer sigmoid fonksiyonun hafızada daha fazla yer kaplamasına neden olacaktır. Bu çalışmada tanjant sigmoid fonksiyonunun mümkün olan en az sayıdaki doğrusal parça ile ifade edilmesi amaçlanmıştır. Parça sayılarında olduğu gibi parça uzunluklarında da değişkenlik söz konusudur. Bir başka değişle optimum parça sayısı parçaların kesim noktaları olarak adlandırılan ve parçanın başlangıç ve bitiş konumlarına bağlıdır. Bu nedenle her farklı parça seçeneği için en iyi noktaların bulunması önermeyi kuvvetlendirecektir. Örnek olarak, 5 doğrusal parça seçildiğinde bu parçaların sistem üzerinde en uygun noktalara yerleştirilmesi gerekir. Böylelikle farklı parça boyutları arasında karşılaştırma yapılabilir.

3. Parçacık Sürü Optimizasyonu Parçacık sürü optimizasyonu 1995 yılında Eberhart ve

Kennedy tarafından ortaya atılmıştır [7]. Bu metot hayvan sürülerinin sosyal davranışı gözlemlenerek geliştirilmiştir. Kuş sürüleri yiyecek ve barınak bulmak için belirli bir alanı tararlar. Bu davranış PSO algoritmasının temelini oluşturur. PSO algoritması sürünün bilişsel, sosyal ve keşifsel davranışından oluşur. Bilişsel davranış, sürüdeki her bir parçacığın geçmiş hatıraları içerisinden en iyi konuma gitme davranışıdır. Sosyal davranış, sürü içindeki optimuma en yakın parçacığı takip etme hareketidir. Keşifsel davranış ise parçacığın geniş alan taramasını sağlayan geçmiş hız değeridir. Bu davranışlar PSO algoritmasının temelini oluşturur.

785

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

PSO algoritmasında her bir parçacık ilk olarak problem uzayında rastgele konumlara yerleştirilir. Her bir parçacığın hızı denklem 4 ve konumu denklem 5 ile güncellenir.

� � � �idgdidididid xpxpvv �� 21 �� (4)

()randcii �

tvxx ididid �� . (5) 1�t

Sürü içindeki herhangi bir bireyin kendi hatıralarındaki en

iyi konumu pi değişkenine kaydedilir. Ayrıca sürü içindeki bireylerden optimuma en yakın olanın konumu pg değişkeninde saklanır.

Bu denklemi geliştirmek için eski hız değerini kontrol eden ve bu değere çarpan olarak eklenen bir değişken ile daha hızlı yakınsama elde edilmiştir (denklem 6 ve 7). Bu yeni formülasyon “atalet değerli” PSO olarak adlandırılır. Denklem 7’de verilen “wmax” and “wmin” 0.9 ve 0.4 değerlerini alır ve w katsayısı bu iki değer arasında doğrusal olarak azalır [8-10].

� � � � � �xidpgdxidpidvidwvid �� 21 �� (6)

iter

iterwwww

maxminmaxmax

(7)

Denklem 8 ve 9 ile verilen ve atalet değerli PSO

formülasyonu özelliklerini taşıyan eşitlik bu çalışmada PSO algoritmasında kullanılacaktır. Denklem 9’da verilen k değişkeni c parametresine bağlıdır. ( 421 �� ccc ). Yapılan çalışmalarda bu değişken değerlerinin c1=c2=2.05 seçilmesi önerilmiştir [8].

� � � �� �xidpgdxidpidvidkvid �� 21 ��

(8)

ccck

42

22

(9)

3.1. PSO Tabanlı PDY Algoritması

PSO algoritması PDY algoritmasında farklı parçalar için en uygun parça başlangıç ve bitim konumlarının bulunmasında kullanılmıştır. Amaç elde edilen yaklaşık fonksiyon ile gerçek fonksiyon arasındaki hatanın giderilmesidir. Bu amaçla denklem 10’da verilen eşitlik kullanılmaktadır.

� dtteJ )( (10)

Denklem 10 ile verilen maliyet fonksiyonun azaltılması amaçlanmıştır ve bu işlem sonucunda elde edilen değerler doğrusal parçaların optimum başlangıç ve bitim konumlarıdır. � �,),(),,( 2211 yxyx � �,),(),,( 3322 yxyx ..., � �),(),,( 11 �� hhhh yxyx Fakat yapılan çalışmada parça sayılarının da optimize edilmesi gerekir. Parçalı fonksiyonun h kadar doğrusal parçadan oluştuğunu kabul edildiği taktirde ( maxmin hhh �� ) h katsayısının optimum değeri bulunmalıdır. Bu amaçla 5min h ve 15max h seçilerek maliyet değerleri karşılaştırılmıştır.

4. Benzetim Sonuçları Bu çalışmada, yapay sinir ağlarında çok sık kullanılması nedeni ile denklem 11’da verilen tanjant sigmoid fonksiyonu örnek olarak kullanılmıştır.

11

2)( 2 �

nenf (11)

Denklem 11 ile verilen doğrusal olmayan fonksiyona farklı parçacık sayıları için optimizasyon algoritması uygulanarak hata değerleri elde edilmiştir. Tablo 1 parçacık sayılarına karşılık gelen hata değerlerini verir. Parçacık sayısının artması hata değerini azaltmaktadır. Hata değerinin az olması durumunda, parçacık sayısı artacak ve mikrodenetleyici hafızasında fazladan yer kaplamasına neden olacaktır. Şekil 2, 8 parça sayısı için denklem 10 ile verilen hata fonksiyonunun iterasyona göre değişimini vermektedir. Şekilden görüldüğü gibi yakınsama onuncu iterasyonda meydana gelmektedir. Bu durum PSO yönteminin hızlı yakınsadığını göstermektedir.

Tablo 1: Bir tablo örneği

Parça Sayısı Hata Değeri (Denklem 3)

15 0.0037 14 0.0038 13 0.0042 12 0.005 11 0.0062 10 0.0064 9 0.0076 8 0.0102 7 0.0121 6 0.0159 5 0.0194

Tablo 1’de verilen değerler grafiksel olarak şekil 3’de görülmektedir. YSA mikrodenetleyici uygulaması için mikrodenetleyici program hafızası ve hızına göre tablodan istenilen parçacık sayısı seçilebilir. Bu çalışmada 8 parçanın istenilen YSA uygulaması için yeterli olabileceği önerilmektedir. Şekil 4’de 8 parçalı fonksiyon ile tanjant sigmoid fonksiyonu verilmiştir.

0 10 20 30 40 500.01

0.011

0.012

0.013

0.014

0.015

0.016

0.017

0.018

iterasyon

Hata

Fonk

siyon

u

Şekil 2: Hata fonksiyonunun iterasyona göre değişimi

786

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

Şekil 3: Parçacık sayılarına göre elde edilen hata değerleri

-4 -3 -2 -1 0 1 2 3 4-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

18 Points

Şekil 4: Önerilen 8 parçalı eşdeğer fonksiyon.

5. Sonuçlar Bu çalışmada doğrusal olmayan fonksiyonların, PDY ile doğrusallaştırılması incelendi. PDY yöntemin uygulamasında, doğrusal parça sayısı ve kesişim noktalarının belirlenmesinde PSO algoritması kullanıldı. Yapılan benzetim çalışmaların sonucuna göre, PSO yönteminin PDY uygulamasında çok hızlı olduğu ve seçilen fonksiyonun PDY ile ifadesini kabul edilebilir hata ile geçekleştirdiği görülmüştür. Önerilen algoritma YSA uygulamalarında kullanılan diğer aktivasyon fonksiyonların doğrusallaştırılmasında kolaylıkla kullanılabilir.

6. Kaynakça [1] Mishra A., Zaheeruddin and Raj K., ''Implementation of a

Digital Neuron with Nonlinear Activation Function using Piecewise Linear Approximation Techniques'', IEEE International Conference on Microelectronics, p 69-72, 2007.

[2] Faiedh H., Gafsi Z. And Besbes K., “Digital Hardware Implementation of Sigmoid Function and its Derivative for Artificial Neural Networks”, International Conference on Microelectronics, p 189-192, 2001.

[3] Amin H., Curtis K.M., and Hayes-Gill B.R., “Piecewise Linear Approximation Applied to Nonlinear Function of a Neural Network”, IEE Proc. Circuit Devices Syst., Vol. 144, No. 6, 1997.

[4] Namin, A.H., Leboeuf, K., Muscedere, R., Huapeng Wu and Ahmadi, M., “Efficient Hardware Implementation of the Hyperbolic Tangent Sigmoid Function”, IEEE International Symposium on Circuits ans Systems, p 2117-2120, 2009.

[5] Pittmman J., and Murthy C.A., “Fitting Optimal Piecewise Linear Functions Using Genetic Algorithms”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 7, 2000.

[6] Kolesnikov A., “Constrained Piecewise Linear Approximation of Digital Curves”, International Conference on Pattern Recognition, p 1-4, 2008.

[7] Kennedy J., and Eberhart R., “Particle swarm optimization”, Proc. IEEE Int. Conf. on Neural Network, Vol. 4, 1995, p 1942 – 1948, 1995.

[8] Clerc M. and Kennedy J., “The particle swarm-explosion, stability, and convergence in a multidimensional complex space,” IEEE Trans. Evolutionary Computation, Vol. 6, p 58 –73, 2002.

[9] Shi Y. and Eberhart R., “A modified particle swarm optimizer”, Proc. 1998 Int. Conf. on Evolutionary Computation, The IEEE World Congress on Computational Intelligence, Anchorage, p 69 – 73, May 1998.

[10] Shi Y. and Eberhart R., “Empirical Study of Particle Swarm Optimization”, Proceedings of the Congress of Evolutionary Computation, pp. 1945-1950, 1999.

787

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir