SİSTEM TANIMLAMADA SEYREK, FONKSİYON KONTROLLÜ DEĞİŞKEN ADIM BOYUTLU BİR LMS ALGORİTMASI

A SPARSE FUNCTION CONTROLLED VARIABLE STEP-SIZE LMS ALGORITHM FOR SYSTEM IDENTIFICATION

Cemil Turan and Mohammad Shukri Salman Mevlana University,

Electrical and Electronic Engineering, Konya-Turkey.

{cturan,mssalman}@mevlana.edu.tr

Özetçe—Son zamanlarda önerilen fonksiyon kontrollü değişken adım-boyutlu en küçük ortalamalar karesi (FCVSSLMS) algoritması yüksek bir performans sergilemişti. Eğer sistem seyrekse, bu algoritmanın performansı daha da geliştirilebilir. Bu çalışmada, bizler FCVSSLMS algoritmasına dayanan yeni bir algoritma önerdik. Bu önerilen algoritma FCVSSLMS algoritmasının maliyet fonksiyonunda yaklaşık bir 0 -l norm penaltı değerini eklemektedir. Önerilen algoritmanın performansı değişken adım-boyutlu LMS (VSSLMS) ve FCVSSLMS algoritmalarıyla katkılı beyaz Gaussian gürültülü (AWGN) bir sistem tanımlama modelinde karşılaştırılmışlardır. Yapılan bu karşılaştırmada yakınsama hızı ve ortalama kare sapmada (MSD) önerilen algoritmanın diğerlerinden çok daha yüksek performans sergilediği ortaya çıkmıştır.

Anahtar Kelimeler — VSSLMS algoritması; Penaltı terimi; Seyrek sistemler.

Abstract—The recently proposed function

controlled variable step-size least-mean-square (FCVSSLMS) algorithm has shown high performance. The performance of the algorithm can be improved further if the system is sparse. In this paper, we propose a new algorithm based on algorithm. The proposed algorithm imposes an approximate 0 -l norm penalty in the cost function of the FCVSSLMS algorithm. The performance of the proposed algorithm is compared to those of the variable step-size LMS (VSSLMS) algorithm and FCVSSLMS algorithm in a system identification setting with an additive white Gaussian noise (AWGN). The proposed algorithm has shown high performance compared to the others in terms of convergence rate and mean-square-deviation (MSD).

Keywords — VSSLMS algorithm; Penalty term; Sparse systems.

I. GİRİŞ

Adaptif filtre teknikleri sayısal sinyal işlemede özellikle de istatistik özellikleri kararsız olan veya bilinmeyen telekomünikasyon alanında uzun yıllar başarılı bir şekilde kullanılmıştır [1,2].

Adaptif sinyal işlemede en popüler algoritmalardan birisi basitliğinden dolayı literatürde LMS olarak ta bilinen en küçük ortalamalar karesidir [3]. Bu algoritmanın temel karakteristiği, sabit bir adım-boyut değeri kullanarak katsayı ağırlıklarının stokastik gradyan iniş metoduyla elde edilmesidir. Burada büyük adım-boyutu genellikle yüksek seviyede kararlı hal hatasına, küçük adımlar ise düşük yakınsama hızına sebep olur. Bu etkileşim, yüksek seviye ölçüm gürültülerinde veya giriş sinyali yüksek bir korelasyona sahip olduğunda daha belirgindir [4]. Bunun üstesinden gelmek için son yıllarda çok çeşitli adım-boyut güncellemeli adaptif algoritmalar geliştirilmiştir [3-7,9,10].

[3]’te değişken adım-boyutlu bir LMS (VSSLMS) algoritması önerilmiştir. Bu algoritma, adım boyutunu ayarlayarak mümkün olduğu kadar küçük bir kararlı hal hatası elde etmek için adaptif filtrenin değişiklikleri takip etmesine imkân verir. [4]’te ise fonksiyon kontrollü değişken adım-boyutlu bir LMS (FCVSSLMS) algoritması önerilmiştir. Bu algoritma, adım-boyutunu kontrol edecek uygun bir fonksiyonun seçimine dayanmaktadır. FCVSSLMS algoritması, VSSLMS algoritmasının geliştirilmiş bir versiyonudur ve çoğu zaman daha hızlı bir yakınsamayı garanti eder.

Yukarıda zikredilen algoritmaların tümü sistem tanımlamada (SI) başarılı bir şekilde kullanılmıştır. Ancak birçok senaryoda (sayısal TV iletim kanallarında ve yankı gideriminde olduğu gibi), bilinmeyen sistemlerin dürtü yanıtları çok az sayıda sıfır olmayan katsayıları içeren seyrek sistemler olarak farzedilebilir. Bu seyrek önbilgiler kullanılarak filtreleme performansı iyileştirilebilir [11].

Salman ve arkadaşları [12]’de bir seyrek adaptif filtreleme algoritması önermişlerdir. Bu algoritma, çok seyrek sistemlerde yüksek bir performans ortaya

978-1-4799-4874-1/14/$31.00 ©2014 IEEE

329

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

koymuştur. Ancak bu algoritma, göreceli olarak düşük seyreklik durumlarında zayıf bir performansa sahiptir. Bu yazıda bizler, sistem seyrekliği göreceli olarak düşük olsa dahi yüksek performans gösteren yeni bir algoritma sunduk. Bu önerilen algoritma, FCVSSLMS algoritmasının maliyet fonksiyonuna yaklaşık bir

0-norml penaltı eklemektedir.

Bu bildiri şu şekilde organize edilmiştir: Bölüm II’de VSSLMS ve FCVSSLMS algoritmalarının kısa tekrarı yapılmış ve önerilen algoritma çıkarılmıştır. Bölüm III’te önerilen algoritmanın performansı ile diğerlerininkinin karşılaştırılmasıyla simülasyon sonuçları elde edilmiş ve tartışılmıştır. Bölüm IV’te sonuçlar ve tavsiyeler ele alınmaktadır.

II. ÖNERİLEN ALGORİTMA

Önerilen algoritmaya geçmeden önce VSSLMS algoritmasına bir gözatalım.

VSSLMS algoritmasının maliyet fonksiyonu aşağıdaki gibidir:

21( ( )) ( ) ,2

J k e k=w (1)

burada ( )kw k anındaki filtre-kademe vektörü ve ( )e kise aşağıda verilen anlık hatadır:

( ) ( ) ( ) ( ),Te k d k k k= − w x (2)

burada ( )d k istenen filtre çıkışı, ( )kx giriş-kademe

vektörü ve (.)T ise transpozisyon operasyonudur.

VSSLMS algoritmasının güncelleme denklemi [3]’teki gibi ifade edilebilir:

( ( ))( 1) ( ) ( )( )

( ) ( ) ( ) ( ).

J kk k kk

k k e k k

μ

μ

∂+ = −∂

= +

ww ww

w x (3)

burada ( )kμ değişken adım-boyut parametresidir ve [4]’ te verilmektedir:

2

2ms

( )( 1) ( ) ( ) ,

ˆ ( )se k

k k f ke k

μ αμ γ+ = + (4)

burada s0 1, 0α γ< < > sabitleri bazı pozitif

parametrelerdir. 2msˆ ( )e k ise ortalama-kare-hata

(MSD)’dır ve şu şekilde tanımlanır:

( ) 22 2ˆ ˆ( ) ( 1) 1 ( ) .ms mse k e k e kβ β= − + − (5)

burada β , 0 1β < şeklinde verilen ağırlık faktörüdür ve ( )f k ise [4]’te verilen bir kontrol faktörüdür:

1 , ( )

1 , .

k Lkf k

k LL

⎧ <⎪⎪= ⎨⎪ ≥⎪⎩

(6)

burada L göreceli büyük bir sayıdır ( 200L > ).

Ancak sistem seyrek bir yapıya sahipse, sistem tanımlama modelinde performansı daha da iyileştirilebilir. Bu iyileştirmeye eşitlik (1)’deki maliyet fonksiyonu aşağıdaki gibi modifiye edilerek ulaşılabilir:

20

1( ( )) ( ) ( ) ,2newJ k e k kξ= +w w (7)

burada 0. ağırlık vektörüne 0 -norml ve ξ ise küçük pozitif bir sabittir. Eşitlik (7)’de verilen maliyet fonksiyonunun en önemli zorluğu 0 -norml ’un ( )kw ’ye göre türevinin çıkarılmasıdır. Bu yüzden iyi bilinen aşağıdaki 0 -norml yaklaşımını kullanabiliriz:

( )1

( )0

0

( ) 1 .N

k

k

k e λ−

−

=

−∑ ww (8)

burada N filtrenin uzunluğu ve λ pozitif bir parametredir.

Eşitlik (7)’nin ( )kw ’ya göre türevini alıp eşitlik (3)’te yerine koyarsak,

[ ] ( )

( 1) ( ) ( ) ( ) ( )

sgn ( ) ,k

k k k e k k

k e λ

μ

ρ −

+ = +

− w

w w x

w (9)

burada ρ μξλ= ve sgn[.] aşağıdaki şekilde tanımlanan signum fonksiyonudur:

, 0sgn( )

0, 0.

x xxx

x

⎧ ≠⎪= ⎨⎪ =⎩

(10)

Eşitlik (9)’daki [ ] ( )sgn ( )

kk e

λρ

− ww terimi küçük

katsayıların sıfıra çekimini sağlar (sıfıra veya sıfıra yakın katsayılara). Özellikle filtre ağırlık katsayısı pozitifse azalır negatifse artar.

Eşitlik (9)’da hesap karmaşıklığını düşürmek için üstel fonksiyonların ikinci derece Taylor serisi açılımını kullanabiliriz.

330

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

III. SİMÜLASYON SONUÇLARI

Bu bölümde, seyrek ve seyrek olmayan sistem tanımlama modelinde, önerilen algoritmanın performansı diğer algoritmalarla karşılaştırılmaktadır. Bütün deneyler 200 bağımsız tekrarla gerçekleştirilmiştir.

Birinci deneyde ilk 5000 iterasyonda filtrenin katsayılarından rasgele bir tanesi 1 olan, ikinci 5000 iterasyonda rasgele dört tane 1 içeren ve üçüncü 5000 iterasyonda rasgele on dört tane 1 içeren 50 katsayılı üç farklı filtre kullanılmaktadır. 20 dB bir sinyal-gürültü (SNR) oranında giriş sinyali ve gözlenen gürültünün her ikisinin de beyaz Gauss rasgele dizisi olduğu varsayılmıştır. Performans kriteri

2(k)MSD E= ⎡ − ⎤⎣ ⎦h w olarak tanımlanan ortalama kare

sapma ifadesidir. Simülasyonlar şu parametre değerleriyle gerçekleştirilmiştir: VSSLMS için:

0.0012minμ = , 0.002maxμ = , 0.0005γ = ve

0.97α = . FCVSSLMS için: 0.993α = , 0.99β = ,0.002γ = , L=200. Önerilen algoritma için: 0.993α = , 0.99β = , 0.0029γ = , 45.5 10ρ −= × , 8λ = , L=200.

Şekil 1 her üç algoritma için iterasyon artışına karşı MSD davranışını göstermektedir. Şekil göstermektedir ki sistem yüksek bir seyrekliğe sahipken önerilen algoritma diğerlerinden daha hızlı yakınsamakta ve VSSLMS ve FCVSSLMS algoritmalarından sırasıyla 9 ve 8 dB daha düşük bir MSD elde etmektedir. Seyreklik azaldığı durumda dahi önerilen algoritmanın hala iyi bir yakınsama hızı ve MSD’ye sahip olduğu görülmektedir.

Şekil 1. Beyaz giriş sinyali tarafından sürülen 50 kademeli adaptif filtreye ait izleme ve kararlı hal davranışı.

İkinci deneyde seyrekliği % 20’de sabitleyip diğer parametreleri değiştirmeden farklı SNR seviyelerinde algoritmaların MSD’leri ölçülmüş ve birbirleriyle karşılaştırılmıştır. Şekil 2’de görüldüğü gibi en iyi performans yine önerilen algoritma ile elde edilmiştir.

Şekil 2. %20 seyreklikte MSD ve SNR karşılaştırması.

Üçüncü deneyde SNR 20 dB’de sabitlenip diğer parametreler değiştirilmeden farklı seyreklik seviyelerinde algoritmaların MSD’leri ölçülmüş ve Şekil 3’te görüldüğü gibi birbirleriyle karşılaştırılmıştır. Burada da bizim önerdiğimiz algoritmanın lehinde en iyi sonuçlar elde edilmiştir.

Şekil 3. SNR 20 iken MSD ve seyreklik karşılaştırması.

Dördüncü deneyde 128 kademeli bir filtrede 30 tane [0,1] arası rasgele katsayı kullanarak (yaklaşık % 23 seyreklik) ve SNR 20 dB’de sabitlenerek algoritmaların MSD davranışları karşılaştırılmıştır. Önceki deneylerdeki sabitler aynı kalıp 55.5 10ρ −= × olarak değiştirilmiştir. Şekil 4’te önerilen algoritma VSSLMS ve FCVSSLMS algoritmalarından sırasıyla 400 ve 700 iterasyon daha hızlı yakınsamaya; 1.7 ve 1.2 dB daha düşük bir MSD’ye sahiptir.

IV. SONUÇLAR

Bu yazıda FCVSSLMS algoritmasına dayalı yeni bir algoritma önerilmiştir. Önerilen algoritma FCVSSLMS algoritmasının maliyet fonksiyonunda yaklaşık bir

0 -l norm penaltı değerini eklemektedir. Bir sistem tanımlama modelinde, önerilen algoritmanın FCVSSLMS ve VSSLMS algoritmalarıyla

0 5000 10000 15000-35

-30

-25

-20

-15

-10

-5

0

5

10

Iterasyon

MS

D (d

B)

Önerilen VSSLMS FCVSSLMS

0 5 10 15 20 25 30-35

-30

-25

-20

-15

-10

-5

0

5

SNR (dB)

MS

D (d

B)

VSSLMS

FCVSSLMS

Önerilen

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-30

-28

-26

-24

-22

-20

-18

-16

-14

-12

Seyreklik

MS

D (d

B)

VSSLMS

FCVSSLMS Önerilen

331

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

karşılaştırıldığında yaklaşık aynı hesap karmaşıklığına sahip olmasına rağmen yakınsama hızı ve MSD yönünden çok daha iyi bir performansa sahip olduğu görülmüştür.

Şekil 4. Seyreklik 30/128 ve SNR 20 iken 128 kademeli 30 tane [0,1] arası rasgele katsayılı filtre için MSD karşılaştırmaları.

KAYNAKÇA

[1] Diniz, P. S. R.: Adaptive Filtering: Algorithms and Implementations, Springer, Brazil, 2008.

[2] Bellanger, M. G.: Adaptive Digital Filters and Signal Analysis, Marcel Dekker Inc., USA, 2001.

[3] Kwong, R. H.: “A Variable Step-Size LMS Algorithm,” IEEE Transaction on Signal Processing, 40(7): 1633-1641, 1992.

[4] Li, M., Li, L. and Tai, H-M.: “Variable Step Size LMS Algorithm Based on Function Control,” Springer, Circuits, Systems and Signal processing, 32(6): 3121-3130, 2013.

[5] Ang, W. P. and Farhang-Boroujeny, B.: “A new class of gradient adaptive step-size LMS algorithms,” IEEE Transaction on Signal Processing, 49: 805–810, 2001.

[6] Choi, Y. S., Shin, H. C. and Song, W. J.: “Robust regularization for normalized LMS algorithms,” IEEE Transaction on Circuits Syst. II, Express Briefs 53: 627–631, 2006.

[7] Horowitz, L. L. and Senne, K. D.: “Performance advantage of complex LMS for controlling narrow-band adaptive arrays,” IEEE Transactions on Acoustic Speech Signal Processing, 29: 722–736, 1981.

[8] Hwang, J. K. and Li, Y. P.: “Variable step-size LMS algorithm with a gradient-based weighted average”, IEEE Signal Processing Letters, 16: 1043–1046, 2009.

[9] Liu, Y., Ranganathan, R., Hunter, M. T. and Mikhael, W. B.: “Complex adaptive LMS algorithm employing the conjugate gradient principle for channel estimation and equalization,” Springer, Circuits, Systems and Signal Processing, 31: 1067–1087, 2012.

[10] Widrow, B., McCool, J. M., Larimore, M. and Johnson, C. R.: “Stationary and nonstationary learning characteristics of the LMS adaptive filter,” Proceedings of the IEEE, 64(8): 1151–1162, 1976.

[11] Chen, Y., Gu, Y. and Hero, A. O.: “Sparse LMS For System Identification,” IEEE International Conference Acoustics, Speech and Signal Processing, 3125-3128, 2009.

[12] Salman, M. S., M. Jahromi, N. S., Hocanin, A. and Kukrer, O.: “A Zero Attracting Variable Step-Size LMS Algorithm for Sparse System Identification,” IEEE IX International Symposium on Telecommunications, October 25-27, Sarajevo, 2012.

0 500 1000 1500 2000 2500 3000-25

-20

-15

-10

-5

0

5

10

Iterasyon

MS

D (d

B)

ÖnerilenVSSLMS FCVSSLMS

332

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)