Constrained Approximation and Mixed Criteria

7/29/2019 Constrained Approximation and Mixed Criteria

1/26

C o n n e x i o n s m o d u l e : m 1 6 9 2 3 1

C o n s t r a i n e d A p p r o x i m a t i o n a n d

M i x e d C r i t e r i a

C . S i d n e y B u r r u s

T h i s w o r k i s p r o d u c e d b y T h e C o n n e x i o n s P r o j e c t a n d l i c e n s e d u n d e r t h e

C r e a t i v e C o m m o n s A t t r i b u t i o n L i c e n s e

1 T r a d e - o o f E r r o r M e a s u r e s a n d D e s i g n S p e c i c a t i o n s

I n m a n y l t e r d e s i g n p r o b l e m s , m o r e t h a n o n e c r i t e r i o n i s i m p o r t a n t . F o r e x a m p l e , b o t h

L2 a n d L m a y b e o f i n t e r e s t i n o n e l t e r . O f t e n o n e i s p o s e d a s a c o n s t r a i n t a n d t h e o t h e r a s a n o p t i m i z e d v a r i a b l e . I n d e e d ,

b e c a u s e L2 a p p r o x i m a t i o n m i n i m i z e s t h e e r r o r e n e r g y a n d b e c a u s e P a r s e v a l ' s t h e o r e m s t a t e s t h a t a n o p t i m a l L2 f r e q u e n c y d o m a i n a p p r o x i m a t i o n i s a l s o a n o p t i m a l L2 t i m e d o m a i n a p p r o x i m a t i o n , a n L c o n s t r a i n e d m i n i m u m L2 e r r o r a p p r o x i m a t i o n s e e m s a g o o d p r a c t i c a l a p p r o a c h . T o s e e h o w t h i s m i g h t h a v e a d v a n t a g e s ,i t i s i n f o r m a t i v e t o e x a m i n e t h e r e l a t i o n s h i p o f t h e L2 e r r o r t o t h e L e r r o r a s t h e c o n s t r a i n t i s v a r i e d f r o m t i g h t t o l o o s e [ 6 5 ] , [ 2 ] i n F i g u r e 1 . F r o m t h i s o n e c a n s e e j u s t h o w s e n s i t i v e o n e e r r o r i s t o t h e o t h e r a n d h o w

t h e t r a d i t i o n a l d e s i g n s a r e e x t r e m e s o n t h i s d i a g r a m .

V e r s i o n 1 . 3 : N o v 1 7 , 2 0 1 2 6 : 0 0 p m - 0 6 0 0

h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 3 . 0 /

h t t p : / / c n x . o r g / c o n t e n t / m 1 6 9 2 3 / 1 . 3 /


2/26


0.4 0.6 0.8 1 1.2 1.4 1.6

0.6

0.8

1

1.2

1.4

1.6

1.8

2

2.2Error Tradeoff for Constrained Least Squared Error Filter Design

Chebyshev Error

Squared

Error

Chebyshev Design

Least Squared Error Design

Constrained LS Error Design

F i g u r e 1 : T h e S q u a r e d E r r o r v s . t h e C h e b y s h e v E r r o r f o r t h e C o n s t r a i n e d L e a s t S q u a r e d E r r o r F I R

F i l t e r

A n o t h e r t r a d e - o i s t h e e r r o r i n a C h e b y s h e v d e s i g n a s a f u n c t i o n o f t h e t r a n s i t i o n b a n d l o c a t i o n . T h e r e

a r e c e r t a i n l o c a t i o n s o f t r a n s i t i o n b a n d o r b a n d e d g e s t h a t g i v e m u c h l o w e r r i p p l e s i z e t h a n o t h e r s . R a b i n e r

h a s e x a m i n e d t h a t r e l a t i o n [ 5 6 ] , [ 4 7 ] .

2 C o n s t r a i n e d L e a s t S q u a r e s D e s i g n

T h e r e a r e p r o b l e m s w h e r e t h e p e a k e r r o r o r C h e b y s h e v e r r o r i s i m p o r t a n t . T h i s c a n b e m i n i m i z e d d i r e c t l y

u s i n g t h e R e m e z e x c h a n g e a l g o r i t h m b u t , i n m a n y c a s e s , i s b e t t e r c o n t r o l l e d b y u s e o f a p e a k e r r o r c o n s t r a i n t

o n t h e b a s i c l e a s t s q u a r e d e r r o r f o r m u l a t i o n o f t h e p r o b l e m [ 2 ] , [ 1 ] , [ 6 5 ] , [ 5 ] . A n e c i e n t a l g o r i t h m f o r

m i n i m i z i n g t h e c o n s t r a i n e d l e a s t s q u a r e d e r r o r u s e s L a g r a n g e m u l t i p l i e r s [ 4 2 ] , [ 4 1 ] a n d t h e K u h n - T u c k e r

c o n d i t i o n s [ 6 5 ] , [ 6 4 ] .

S i m i l a r t o t h e C h e b y s h e v d e s i g n p r o b l e m , t h e r e a r e t w o f o r m u l a t i o n s o f t h e p r o b l e m : o n e w h e r e t h e r e i s a

w e l l d e n e d t r a n s i t i o n b a n d s e p a r a t i n g t h e d e s i r e d s i g n a l s p e c t r u m ( p a s s b a n d ) f r o m t h e n o i s e o r i n t e r f e r i n g

s i g n a l s p e c t r u m ( s t o p b a n d ) a n d t h e s e c o n d w h e r e t h e r e i s a w e l l d e n e d f r e q u e n c y t h a t s e p a r a t e s t h e p a s s

a n d s t o p b a n d b u t n o w e l l d e n e d t r a n s i t i o n b a n d .

T h e r s t c a s e w o u l d i n c l u d e s i t u a t i o n s w i t h s i g n a l s r e s i d i n g i n s p e c i e d b a n d s s e p a r a t e d b y g u a r d b a n d s "



3/26


s u c h a s c o m m e r c i a l r a d i o a n d T V t r a n s m i s s i o n s . I t a l s o i n c l u d e s c a s e s w h e r e d u e t o m u l t i r a t e s a m p l i n g ,

c e r t a i n w e l l d e n e d b a n d s a r e a l i a s e d i n t o o t h e r w e l l d e n e d b a n d s . T h e P a r k s - M c C l e l l a n a n d S h p a k -

A n t o n i o u C h e b y s h e v d e s i g n s a d d r e s s t h i s c a s e f o r t h e C h e b y s h e v e r r o r . A d a m s ' m e t h o d [ 2 ] , [ 3 ] , [ 4 ] , [ 1 ] , [ 7 0 ] ,

[ 5 ] d e s c r i b e d b e l o w a p p l i e s t o t h e c o n s t r a i n e d l e a s t s q u a r e s d e s i g n w i t h a s p e c i e d t r a n s i t i o n b a n d .

T h e s e c o n d c a s e w o u l d i n c l u d e s i g n a l s w i t h k n o w n s p e c t r a l s u p p o r t w i t h a d d i t i v e w h i t e o r b r o a d - b a n d

n o i s e . I n t h e s e c a s e s t h e r e i s n o o b v i o u s t r a n s i t i o n b a n d o r d o n ' t c a r e " b a n d . T h e H o s t e t t e r - O p p e n h e i m -

S i e g e l a n d t h e m e t h o d o f t h e s e c t i o n C h e b y s h e v A p p r o x i m a t i o n s u s i n g t h e E x c h a n g e A l g o r i t h m s

1

a d d r e s s

t h i s c a s e f o r a C h e b y s h e v d e s i g n . T h e m e t h o d i n s e c t i o n b e l o w a p p l i e s t o t h e c o n s t r a i n e d l e a s t s q u a r e s

d e s i g n [ 6 5 ] w i t h o u t a s p e c i e d t r a n s i t i o n b a n d .

2 . 1 T h e L a g r a n g i a n

T o p o s e t h e c o n s t r a i n e d l e a s t s q u a r e d e r r o r o p t i m i z a t i o n p r o b l e m , w e u s e a L a g r a n g e m u l t i p l i e r f o r m u l a t i o n .

F i r s t d e n e t h e L a g r a n g i a n a s

L= P

0

(A ()

Ad ())

2 d +i

i (A (i)

[Ad (i)

T (i)]) ( 1 )

w h e r e t h e i a r e t h e n e c e s s a r y n u m b e r o f L a n g r a n g e m u l t i p l i e r s a n d P i s a s c a l e f a c t o r t h a t c a n b e c h o s e n f o r s i m p l i c i t y l a t e r . T h e r s t t e r m i n ( 1 ) i s t h e i n t e g r a l s q u a r e d e r r o r o f t h e f r e q u e n c y r e s p o n s e t o b e m i n i m i z e d

a n d t h e s e c o n d t e r m w i l l b e z e r o w h e n t h e e q u a l i t y c o n s t r a i n t s a r e s a t i s e d a t t h e f r e q u e n c i e s ,

i . T h e f u n c t i o n

T() i s t h e c o n s t r a i n t f u n c t i o n i n t h a t A () m u s t s a t i s f y

Ad () + T() A () Ad () T() . ( 2 )N e c e s s a r y c o n d i t i o n s f o r t h e m i n i m i z a t i o n o f t h e i n t e g r a l s q u a r e d e r r o r a r e t h a t t h e d e r i v a t i v e o f t h e

L a g r a n g i a n w i t h r e s p e c t t o t h e l t e r p a r a m e t e r s

a (n) d e n e d i n E q u a t i o n 4 9 f r o m F I R D i g i t a l F i l t e r s 2 a n dt o t h e L a g r a n g e m u l t i p l i e r s

i b e z e r o [ 6 9 ] .T h e d e r i v a t i v e s o f t h e L a g r a n g i a n w i t h r e s p e c t t o a (n) a r e

dLd a (n) = P0

2 (A () Ad ()) dAda d +i

i dAdai

( 3 )

w h e r e f r o m E q u a t i o n 4 9 f r o m F I R d i g i t a l F i l t e r s

3

w e h a v e f o r

n = 1, 2, , Md A ()

d a (n)= cos (n) ( 4 )

a n d f o r n = 0

d A ()

d a (0)= K. ( 5 )

F o r n = 1, 2, , M t h i s g i v e s dLd a (n) = 2 PA () cos (n) d Ad () cos (n) d +

ii cos (in)

( 6 )

a n d f o r

n = 0 g i v e s

dLd a (0)

= 2 P K

A () d

Ad () d

+i

i K. ( 7 )

1

" C h e b y s h e v o r E q u a l R i p p l e E r r o r A p p r o x i m a t i o n F i l t e r s " : S e c t i o n C h e b y s h e v A p p r o x i m a t i o n s u s i n g t h e E x c h a n g e

A l g o r i t h m s < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 9 5 / l a t e s t / # u i d 1 6 >

2

" F I R D i g i t a l F i l t e r s " , ( 4 9 ) < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 8 9 / l a t e s t / # u i d 4 7 >

3




4/26


U s i n g E q u a t i o n 5 0 f r o m F I R D i g i t a l F i l t e r s

4

f o r n = 1, 2, , M, w e h a v e dL

d a (n)

= P [a (n)

ad (n)] +

i

i cos (in) = 0 ( 8 )

a n d f o r

n = 0

dLd a (0)

= 2 P K2 [a (0) ad (0)] + Ki

i = 0. ( 9 )

C h o o s i n g P = 1/ g i v e s

a (n) = ad (n)i

i cos (in) ( 1 0 )

a n d

a (0) = ad (0)

1

2Ki

i ( 1 1 )

W r i t i n g ( 1 0 ) a n d ( 1 1 ) i n m a t r i x f o r m g i v e s

a = ad H . ( 1 2 ) w h e r e H i s a m a t r i x w i t h e l e m e n t s

h (n, i) = cos (in) ( 1 3 )

e x c e p t f o r t h e r s t r o w w h i c h i s

h (0, i) =1

2K( 1 4 )

b e c a u s e o f t h e n o r m a l i z a t i o n o f t h e a (0) t e r m . T h e ad (n) a r e t h e c o s i n e c o e c i e n t s f o r t h e u n c o n s t r a i n e d a p p r o x i m a t i o n t o t h e i d e a l l t e r w h i c h r e s u l t f r o m t r u n c a t i n g t h e i n v e r s e D T F T o f

Ad ().T h e d e r i v a t i v e o f t h e L a g r a n g i a n i n ( 1 ) w i t h r e s p e c t t o t h e L a g r a n g e m u l t i p l i e r s

i , w h e n s e t t o z e r o ,g i v e s

A (i) = Ad (i) T(i) = Ac (i) ( 1 5 ) w h i c h i s s i m p l y a s t a t e m e n t o f t h e e q u a l i t y c o n s t r a i n t s .

I n t e r m s o f t h e l t e r ' s c o s i n e c o e c i e n t s a (n) , f r o m E q u a t i o n 4 9 f r o m F I R D i g i t a l F i l t e r s 5 , t h i s c a n b e w r i t t e n "

Ac (i) =n

a (n) cos (in) + K a (0) ( 1 6 )

a n d a s m a t r i c e s

Ac = G a ( 1 7 )

w h e r e Ac i s t h e v e c t o r o f f r e q u e n c y r e s p o n s e v a l u e s w h i c h a r e t h e d e s i r e d r e s p o n s e p l u s o r m i n u s t h e

c o n s t r a i n t s e v a l u a t e d a t t h e f r e q u e n c i e s i n t h e c o n s t r a i n t s e t . T h e f r e q u e n c y r e s p o n s e m u s t i n t e r p o l a t e t h e s e

v a l u e s . T h e m a t r i x G i s

g (i, n) = cos (in) ( 1 8 )

4


5




5/26


e x c e p t f o r t h e r s t c o l u m n w h i c h i s

g (i, 0) = K. ( 1 9 )

N o t i c e t h a t i f

K = 1/2 , t h e r s t r o w s a n d c o l u m n s a r e s u c h t h a t w e h a v e GT = H.T h e t w o e q u a t i o n s ( 1 2 ) a n d ( 1 7 ) t h a t m u s t b e s a t i s e d c a n b e w r i t t e n a s a s i n g l e m a t r i x e q u a t i o n o f t h e

f o r m I H

G 0

a

=

ad

Ac

( 2 0 )

o r , i f

K = 1/

2 , a s

I GT

G 0

a

=

ad

Ac

( 2 1 )

w h i c h h a v e a s s o l u t i o n s

= (GH)1

(G ad Ac)a = ad H

( 2 2 )

T h e l t e r c o r r e s p o n d i n g t o t h e c o s i n e c o e c i e n t s a (n) m i n i m i z e t h e L2 e r r o r n o r m s u b j e c t t h e e q u a l i t y c o n d i t i o n s i n ( 1 7 ) .

N o t i c e t h a t t h e t e r m i n ( 2 2 ) o f t h e f o r m G ad i s t h e f r e q u e n c y r e s p o n s e o f t h e o p t i m a l u n c o n s t r a i n e d

l t e r e v a l u a t e d a t t h e c o n s t r a i n t s e t f r e q u e n c i e s . E q u a t i o n ( 2 2 ) c o u l d , t h e r e f o r e , b e w r i t t e n

= (G H)1 (Au Ac) ( 2 3 )

2 . 2 T h e C o n s t r a i n e d W e i g h t e d L e a s t S q u a r e s D e s i g n o f F I R F i l t e r s

C o m b i n i n g t h e w e i g h t e d l e a s t s q u a r e d e r r o r f o r m u l a t i o n w i t h t h e c o n s t r a i n e d l e a s t s q u a r e d e r r o r g i v e s t h e

g e n e r a l f o r m u l a t i o n o f t h i s c l a s s o f p r o b l e m s .

W e n o w m o d i f y t h e L a g r a n g i a n i n ( 1 ) t o a l l o w a w e i g h t e d s q u a r e d e r r o r g i v i n g

L = 1

0

W() (A () Ad ())2 d +i

i (A (i) Ad (i) T (i)) ( 2 4 )

w i t h a c o r r e s p o n d i n g d e r i v a t i v e o f

dLd a (n)

=2

W() (A () Ad ())

dA

da

d + i

idA

dai

( 2 5 )

T h e i n t e g r a l c a n n o t b e c a r r i e d o u t a n a l y t i c a l l y f o r a g e n e r a l w e i g h t i n g f u n c t i o n , b u t i f t h e w e i g h t f u n c t i o n

i s c o n s t a n t o v e r e a c h s u b b a n d , E q u a t i o n 4 7 f r o m L e a s t S q u a r e d E r r o r D e s i g n o f F I R F i l t e r s

6

c a n b e w r i t t e n

dLd a (n)

=2

k

k+1k

Wk

Mm=1

a (m) cos (m) + K a (0) Ad ()

cos (n) d +i

idA

da

i

( 2 6 )

6

" L e a s t S q u a r e d E r r o r D e s i g n o f F I R F i l t e r s " , ( 4 7 ) < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 9 2 / l a t e s t / # u i d 7 2 >



6/26


w h i c h a f t e r r e a r r a n g i n g i s

=M

m=1

2k

Wkk+1k

(cos (m) cos (n)) d a (m) ( 2 7 ) 2

k

Wk

k+1k

Ad () cos (n) d +i

icos (in) = 0 ( 2 8 )

w h e r e t h e i n t e g r a l i n t h e r s t t e r m c a n n o w b e d o n e a n a l y t i c a l l y . I n m a t r i x n o t a t i o n E q u a t i o n 4 9 f r o m

L e a s t S q u a r e d E r r o r D e s i g n o f F I R F i l t e r s

7

i s

R a adw + H = 0 ( 2 9 ) T h i s i s a s i m i l a r f o r m t o t h a t i n t h e m u l t i b a n d p a p e r w h e r e t h e m a t r i x R g i v e s t h e e e c t s o f w e i g h t i n g w i t h

e l e m e n t s

r (n, m) =2

k

Wk k+1

k

(cos (m) cos (n)) d ( 3 0 )

e x c e p t f o r t h e r s t r o w w h i c h s h o u l d b e d i v i d e d b y 2 K b e c a u s e o f t h e n o r m a l i z i n g o f t h e a (0) t e r m i n E q u a t i o n 4 9 f r o m F I R D i g i t a l F i l t e r s

8

a n d ( 1 4 ) a n d t h e r s t c o l u m n w h i c h s h o u l d b e m u l t i p l i e d b y K b e c a u s e o f E q u a t i o n 5 1 f r o m F I R D i g i t a l F i l t e r s

9

a n d ( 1 9 ) . T h e m a t r i x R i s a s u m o f a T o e p l i t z m a t r i x a n d a H a n k e l

m a t r i x a n d t h i s f a c t m i g h t b e u s e d t o a d v a n t a g e a n d adw i s t h e v e c t o r o f m o d i e d l t e r p a r a m e t e r s w i t h

e l e m e n t s

adw (n) =2

Wk

k+1k

Ad () cos (n) d ( 3 1 )

a n d t h e m a t r i x H i s t h e s a m e a s u s e d i n ( 1 2 ) a n d d e n e d i n ( 1 3 ) . E q u a t i o n s E q u a t i o n 5 0 f r o m L e a s t

S q u a r e d E r r o r D e s i g n o f F I R F i l t e r s

1 0

a n d ( 1 7 ) c a n b e w r i t t e n t o g e t h e r a s a m a t r i x e q u a t i o n

R HG 0

a

= adwAc

( 3 2 )

T h e s o l u t i o n s t o E q u a t i o n 5 0 f r o m L e a s t S q u a r e d E r r o r D e s i g n o f F I R F i l t e r s

1 1

a n d ( 1 7 ) o r t o ( 3 2 ) a r e

=

GR1

H1

GR1

adw Ac

( 3 3 )

a = R1 (adw H ) ( 3 4 ) w h i c h a r e i d e a l l y s u i t e d t o a l a n g u a g e l i k e M a t l a b a n d a r e i m p l e m e n t e d i n t h e p r o g r a m s a t t h e e n d o f t h i s

b o o k .

S i n c e t h e s o l u t i o n o f R au = adw i s t h e o p t i m a l u n c o n s t r a i n e d w e i g h t e d l e a s t s q u a r e s l t e r , w e c a n w r i t e ( 3 3 ) a n d ( 3 4 ) i n t h e f o r m

=

GR1

H1

(G au Ac) =

GR1

H1

(Au Ac) ( 3 5 )

a = au R1H ( 3 6 )

7


8


9


1 0


1 1




7/26


2 . 3 T h e E x c h a n g e A l g o r i t h m s

T h i s L a g r a n g e m u l t i p l i e r f o r m u l a t i o n t o g e t h e r w i t h a p p l y i n g t h e K u h n - T u c k e r c o n d i t i o n s a r e u s e d i n a n

i t e r a t i v e m u l t i p l e e x c h a n g e a l g o r i t h m s i m i l a r t o t h e R e m e z e x c h a n g e a l g o r i t h m t o g i v e t h e c o m p l e t e d e s i g n

m e t h o d .

O n e v e r s i o n o f t h i s e x c h a n g e a l g o r i t h m a p p l i e s t o t h e p r o b l e m p o s e d b y A d a m s w i t h s p e c i e d p a s s a n d

s t o p b a n d e d g e s a n d w i t h z e r o e r r o r w e i g h t i n g i n t h e t r a n s i t i o n b a n d . T h i s p r o b l e m h a s t h e s t r u c t u r e o f a

q u a d r a t i c p r o g r a m m i n g p r o b l e m a n d c o u l d b e s o l v e d u s i n g g e n e r a l Q P m e t h o d s b u t t h e m u l t i p l e e x c h a n g e

a l g o r i t h m s u g g e s t e d h e r e i s p r o b a b l y f a s t e r .

T h e s e c o n d v e r s i o n o f t h i s e x c h a n g e a l g o r i t h m a p p l i e s t o t h e p r o b l e m w h e r e t h e r e i s n o e x p l i c i t l y s p e c i e d

t r a n s i t i o n b a n d . T h i s p r o b l e m i s n o t s t r i c t l y a q u a d r a t i c p r o g r a m m i n g p r o b l e m a n d o u r e x c h a n g e a l g o r i t h m

h a s n o p r o o f o f c o n v e r g e n c e ( t h e H O S a l g o r i t h m a l s o h a s n o p r o o f o f c o n v e r g e n c e ) . H o w e v e r , i n p r a c t i c e ,

t h i s p r o g r a m h a s p r o v e n t o b e r o b u s t a n d c o n v e r g e s f o r a w i d e v a r i e t y o f l e n g t h s , c o n s t r a i n t s , w e i g h t s , a n d

b a n d e d g e s . T h e p e r f o r m a n c e i s c o m p l e t e l y i n d e p e n d e n t o f t h e n o r m a l i z i n g p a r a m e t e r K. N o t i c e t h a t t h e i n v e r s i o n o f t h e R m a t r i x i s d o n e o n c e a n d d o e s n o t h a v e t o b e d o n e e a c h i t e r a t i o n . T h e d e t a i l s o f t h e

p r o g r a m a r e i n c l u d e d i n t h e l t e r d e s i g n p a p e r a n d i n t h e M a t l a b p r o g r a m a t t h e e n d o f t h i s b o o k .

A s m e n t i o n e d e a r l i e r , t h i s d e s i g n p r o b l e m m i g h t b e a d d r e s s e d b y g e n e r a l c o n s t r a i n e d q u a d r a t i c p r o g r a m -

m i n g m e t h o d s [ 2 3 ] , [ 3 3 ] , [ 4 8 ] , [ 5 1 ] , [ 4 9 ] , [ 5 0 ] , [ 5 2 ] , [ 7 6 ] , [ 7 5 ] , [ 7 9 ] .

2 . 4 E x a m p l e s a n d O b s e r v a t i o n s o n C L S D e s i g n s

H e r e w e s h o w t h a t t h e C L S F I R l t e r d e s i g n a p p r o a c h i s p r o b a b l y t h e b e s t g e n e r a l F I R l t e r d e s i g n m e t h o d .

F o r e x a m p l e , a l e n g t h - 3 1 l i n e a r p h a s e l o w p a s s F I R l t e r i s d e s i g n e d f o r a b a n d e d g e o f 0 . 3 a n d t h e c o n s t r a i n t

t h a t t h e r e s p o n s e i n t h e s t o p c a n n o t b e g r e a t e r t h a n 0 . 0 3 i s i l l u s t r a t e d i n F i g u r e 2 .



8/26


0 200 400 600 800 1000 1200 1400 1600 1800 200010

2

101

100

Constrained Least Squared Error Design Filter Response

Normalized Frequency

MagnitudeResponse,

LogScale

constraint

F i g u r e 2 : R e s p o n s e o f a C o n s t r a i n e d L e a s t S q u a r e d E r r o r F i l t e r D e s i g n

T h i s l t e r w a s d e s i g n e d u s i n g t h e M a t l a b c o m m a n d : ' f i r c l s 1 ( ) ' f u n c t i o n .

3 L ^ p A p p r o x i m a t i o n a n d t h e I t e r a t i v e R e w e i g h t e d L e a s t S q u a r e s M e t h o d

W e n o w c o n s i d e r t h e g e n e r a l Lp a p p r o x i m a t i o n w h i c h c o n t a i n s t h e l e a s t s q u a r e s L2 a n d t h e C h e b y s h e v L c a s e s . T h i s a p p r o a c h i s d e s c r i b e d i n [ 1 1 ] , [ 1 2 ] , [ 1 3 ] u s i n g t h e i t e r a t i v e r e w e i g h t e d l e a s t s q u a r e d ( I R L S ) a l o r i t h m a n d l o o k s a t t r a c t i v e i n t h a t i t c a n u s e d i e r e n t p i n d i e r e n t f r e q u e n c y b a n d s . T h i s w o u l d a l l o w ,f o r e x a m p l e , a l e a s t s q u a r e d e r r o r a p p r o x i m a t i o n i n t h e p a s s b a n d a n d a C h e b y s h e v a p p r o x i m a t i o n i n t h e

s t o p b a n d . T h e I R L S m e t h o d c a n a l s o b e u s e d f o r c o m p l e x C h e b y s h e v a p p r o x i m a t i o n s [ 7 1 ] a n d c o n s t r a i n e d

L2 a p p r o x i m a t i n .

3 . 1 I t e r a t i v e R e w e i g h t e d L e a s t S q u a r e s F i l t e r D e s i g n M e t h o d s

T h e r e a r e c a s e s w h e r e i t i s d e s i r a b l e t o d e s i g n a n F I R l t e r t h a t w i l l m i n i m i z e t h e Lp e r r o r n o r m . T h e e r r o r i s d e n e d b y

q =

|A () Ad () |p d ( 3 7 )



9/26


b u t w e u s u a l l y w o r k w i t h Q2 . F o r l a r g e p, t h e r e s u l t s a r e e s s e n t i a l l y t h e s a m e a s t h e C h e b y s h e v l t e r a n d t h i s g i v e s a c o n t i n u u m o f d e s i g n b e t w e e n L2 a n d L . I t a l s o a l l o w s t h e v e r y i n t e r e s t i n g i m p o r t a n t p o s s i b i l i t y o f a l l o w i n g

p () t o b e a f u n c t i o n o f f r e q u e n c y . T h i s m e a n s o n e c o u l d h a v e d i e r e n t e r r o r c r i t e r i a i n d i e r e n t f r e q u e n c y b a n d s . I t c a n b e m o d i e d t o g i v e t h e s a m e e e c t s a s a c o n s t r a i n t . T h i s a p p r o a c h i s d i s c u s s e d i n

[ 1 3 ] . I t c a n b e a p p l i e d t o c o m p l e x a p p r o x i m a t i o n a n d t o t w o - d i m e n s i o n a l l t e r d e s i g n [ 1 1 ] , [ 9 ] .

T h e l e a s t s q u a r e d e r r o r a n d t h e m i n i m u m C h e b y s h e v e r r o r c r i t e r i a a r e t h e t w o m o s t c o m m o n l y u s e d

l i n e a r - p h a s e F I R l t e r d e s i g n m e t h o d s [ 4 6 ] . T h e r e a r e m a n y s i t u a t i o n s w h e r e b e t t e r t o t a l p e r f o r m a n c e

w o u l d b e o b t a i n e d w i t h a m i x t u r e o f t h e s e t w o e r r o r m e a s u r e s o r s o m e c o m p r o m i s e d e s i g n t h a t w o u l d g i v e a

t r a d e - o b e t w e e n t h e t w o . W e s h o w h o w t o d e s i g n a l t e r w i t h a n L2 a p p r o x i m a t i o n i n t h e p a s s b a n d a n d a C h e b y s h e v a p p r o x i m a t i o n i n t h e s t o p b a n d . W e a l s o s h o w t h a t b y f o r m u l a t i n g t h e Lp p r o b l e m w e c a n s o l v e t h e c o n s t r a i n e d L2 a p p r o x i m a t i o n p r o b l e m [ 2 ] .

T h i s s e c t i o n r s t e x p l o r e s t h e m i n i m i z a t i o n o f t h e pth p o w e r o f t h e e r r o r a s a g e n e r a l a p p r o x i m a t i o n m e t h o d a n d t h e n s h o w s h o w t h i s a l l o w s

L2 a n d L a p p r o x i m a t i o n s t o b e u s e d s i m u l t a n e o u s i n d i e r e n t f r e q u e n c y b a n d s o f o n e l t e r a n d h o w t h e m e t h o d c a n b e u s e d t o i m p o s e c o n s t r a i n t s o n t h e f r e q u e n c y

r e s p o n s e . T h e r e a r e n o a n a l y t i c a l m e t h o d s t o n d t h i s a p p r o x i m a t i o n , t h e r e f o r e , a n i t e r a t i v e m e t h o d i s u s e d

o v e r s a m p l e s o f t h e e r r o r i n t h e f r e q u e n c y d o m a i n . T h e m e t h o d s d e v e l o p e d h e r e [ 1 1 ] , [ 1 2 ] a r e b a s e d o n w h a t

i s c a l l e d a n i t e r a t i v e r e w e i g h t e d l e a s t s q u a r e d ( I R L S ) e r r o r a l g o r i t h m [ 6 1 ] , [ 5 9 ] , [ 1 4 ] a n d t h e y c a n s o l v e

c e r t a i n F I R l t e r d e s i g n p r o b l e m s t h a t n e i t h e r t h e R e m e z e x c h a n g e a l g o r i t h m n o r a n a l y t i c a l L2 m e t h o d s c a n .

T h e i d e a o f u s i n g a n I R L S a l g o r i t h m t o a c h i e v e a C h e b y s h e v o r L a p p r o x i m a t i o n s e e m s t o h a v e b e e n r s t d e v e l o p e d b y L a w s o n [ 3 4 ] a n d e x t e n d e d t o Lp b y R i c e a n d U s o w [ 5 8 ] , [ 5 7 ] . T h e b a s i c I R L S m e t h o d f o r Lp w a s g i v e n b y K a r l o v i t z [ 3 0 ] a n d e x t e n d e d b y C h a l m e r s , e t . a l . [ 1 5 ] , B a n i a n d C h a l m e r s [ 8 ] , a n d W a t s o n [ 7 8 ] . I n d e p e n d e n t l y , F l e t c h e r , G r a n t a n d H e b d e n [ 2 5 ] d e v e l o p e d a s i m i l a r f o r m o f I R L S b u t b a s e d o n

N e w t o n ' s m e t h o d a n d K a h n g [ 2 9 ] d i d l i k e w i s e a s a n e x t e n s i o n o f L a w s o n ' s a l g o r i t h m . O t h e r s a n a l y z e d a n d

e x t e n d e d t h i s w o r k [ 2 2 ] , [ 4 3 ] , [ 1 4 ] , [ 7 8 ] . S p e c i a l a n a l y s i s h a s b e e n m a d e f o r 1 p < 2 b y [ 7 4 ] , [ 7 7 ] , [ 5 9 ] , [ 3 6 ] ,[ 4 3 ] , [ 6 1 ] , [ 8 0 ] a n d f o r p = b y [ 2 5 ] , [ 8 ] , [ 5 9 ] , [ 4 0 ] , [ 7 ] , [ 3 7 ] . R e l a t i o n s t o t h e R e m e z e x c h a n g e a l g o r i t h m [ 1 7 ] ,[ 5 3 ] w e r e s u g g e s t e d b y [ 8 ] , t o h o m o t o p y [ 6 6 ] b y [ 6 8 ] , a n d t o K a r m a r k a r ' s l i n e a r p r o g r a m m i n g a l g o r i t h m [ 6 9 ]

b y [ 5 9 ] , [ 6 7 ] . A p p l i c a t i o n s o f L a w s o n ' s a l g o r i t h m t o c o m p l e x C h e b y s h e v a p p r o x i m a t i o n i n F I R l t e r d e s i g n

h a v e b e e n m a d e i n [ 2 4 ] , [ 1 9 ] , [ 2 0 ] , [ 7 1 ] a n d t o 2 - D l t e r d e s i g n i n [ 1 8 ] . R e f e r e n c e [ 7 2 ] i n d i c a t e s f u r t h e r r e s u l t s

m a y b e f o r t h c o m i n g . A p p l i c a t i o n t o a r r a y d e s i g n c a n b e f o u n d i n [ 7 3 ] a n d t o s t a t i s t i c s i n [ 1 4 ] .

T h i s p a p e r u n i e s a n d e x t e n d s t h e I R L S t e c h n i q u e s a n d a p p l i e s t h e m t o t h e d e s i g n o f F I R d i g i t a l l t e r s .

I t d e v e l o p s a f r a m e w o r k t h a t r e l a t e s a l l o f t h e a b o v e r e f e r e n c e d w o r k a n d s h o w s t h e m t o b e v a r i a t i o n s o f a

b a s i c I R L S m e t h o d m o d i e d s o a s t o c o n t r o l c o n v e r g e n c e . I n p a r t i c u l a r , w e g e n e r a l i z e t h e w o r k o f R i c e a n d

U s o w o n L a w s o n ' s a l g o r i t h m a n d e x p l a i n w h y i t s a s y m p t o t i c c o n v e r g e n c e i s s l o w .

T h e m a i n c o n t r i b u t i o n h e r e i s a n e w r o b u s t I R L S m e t h o d [ 1 1 ] , [ 1 2 ] t h a t c o m b i n e s a n i m p r o v e d c o n v e r g e n c e

a c c e l e r a t i o n s c h e m e a n d a N e w t o n b a s e d m e t h o d . T h i s g i v e s a v e r y e c i e n t a n d v e r s a t i l e l t e r d e s i g n

a l g o r i t h m t h a t p e r f o r m s s i g n i c a n t l y b e t t e r t h a n t h e R i c e - U s o w - L a w s o n a l g o r i t h m o r a n y o f t h e o t h e r I R L S

s c h e m e s . B o t h t h e i n i t i a l a n d a s y m p t o t i c c o n v e r g e n c e b e h a v i o r o f t h e n e w a l g o r i t h m i s e x a m i n e d a n d t h e

r e a s o n f o r o c c a s i o n a l s l o w c o n v e r g e n c e o f t h i s a n d a l l o t h e r I R L S m e t h o d s i s d i s c o v e r e d .

W e t h e n s h o w t h a t t h e n e w I R L S m e t h o d a l l o w s t h e u s e o f p a s a f u n c t i o n o f f r e q u e n c y t o a c h i e v e d i e r e n t e r r o r c r i t e r i a i n t h e p a s s a n d s t o p b a n d s o f a l t e r . T h e r e f o r e , t h i s a l g o r i t h m c a n b e a p p l i e d t o s o l v e t h e

c o n s t r a i n e d

Lpa p p r o x i m a t i o n p r o b l e m . I n i t i a l r e s u l t s o f a p p l i c a t i o n s t o t h e c o m p l e x a n d t w o - d i m e n s i o n a l

l t e r d e s i g n p r o b l e m a r e p r e s e n t e d .

A l t h o u g h t h e t r a d i t i o n a l I R L S m e t h o d s w e r e s o m e t i m e s s l o w e r t h a n c o m p e t i n g a p p r o a c h e s , t h e r e s u l t s

o f t h i s p a p e r a n d t h e a v a i l a b i l i t y o f f a s t m o d e r n d e s k t o p c o m p u t e r s m a k e t h e m p r a c t i c a l n o w a n d a l l o w

e x p l o i t a t i o n o f t h e i r g r e a t e r e x i b i l i t y a n d g e n e r a l i t y .

3 . 1 . 1 M i n i m u m S q u a r e d E r r o r A p p r o x i m a t i o n s

V a r i o u s a p p r o x i m a t i o n m e t h o d s c a n b e d e v e l o p e d b y c o n s i d e r i n g d i e r e n t d e n i t i o n s o f n o r m o r e r r o r m e a -

s u r e . C o m m o n l y u s e d d e n i t i o n s a r e L1 , L2 , a n d C h e b y s h e v o r L . U s i n g t h e L2 n o r m , g i v e s t h e s c a l a r



10/26

C o n n e x i o n s m o d u l e : m 1 6 9 2 3 1 0

e r r o r t o m i n i m i z e

q =L1

k=0|

A (k

)

Ad

(k

)|2

( 3 8 )

o r i n m a t r i x n o t a t i o n u s i n g ( 3 8 ) , t h e e r r o r o r r e s i d u a l v e c t o r i s d e n e d b y

q = C a Ad ( 3 9 ) g i v i n g t h e s c a l a r e r r o r o f ( 3 8 ) a s

q = T. ( 4 0 )

T h i s c a n b e m i n i m i z e d b y s o l u t i o n o f t h e n o r m a l e q u a t i o n s [ 3 5 ] , [ 2 7 ] , [ 6 9 ]

CT

C a = CT Ad. ( 4 1 )

T h e w e i g h t e d s q u a r e d e r r o r d e n e d b y

q =

L1k=0

w2k |A (k) Ad (k) |2. ( 4 2 )

o r , i n m a t r i x n o t a t i o n u s i n g ( 3 9 ) a n d ( 4 0 ) c a u s e s ( 4 2 ) t o b e c o m e

q = T WT W ( 4 3 )

w h i c h c a n b e m i n i m i z e d b y s o l v i n g

W C a = W Ad ( 4 4 )

w i t h t h e n o r m a l e q u a t i o n s

CT

WT

W C a = CT WT W Ad ( 4 5 )

w h e r e W i s a n L b y L d i a g o n a l m a t r i x w i t h t h e w e i g h t s wk f r o m ( 4 2 ) a l o n g t h e d i a g o n a l . A m o r e g e n e r a l f o r m u l a t i o n o f t h e a p p r o x i m a t i o n s i m p l y r e q u i r e s WTW t o b e p o s i t i v e d e n i t e . S o m e a u t h o r s d e n e t h e w e i g h t e d e r r o r i n ( 4 2 ) u s i n g wk r a t h e r t h a n w2k . W e u s e t h e l a t t e r t o b e c o n s i s t e n t w i t h t h e l e a s t s q u a r e d e r r o r a l g o r i t h m s i n M a t l a b [ 4 4 ] .

S o l v i n g ( 4 5 ) i s a d i r e c t m e t h o d o f d e s i g n i n g a n F I R l t e r u s i n g a w e i g h t e d l e a s t s q u a r e d e r r o r a p p r o x i -

m a t i o n . T o m i n i m i z e t h e s u m o f t h e s q u a r e d e r r o r a n d g e t a p p r o x i m a t e l y t h e s a m e r e s u l t a s m i n i m i z i n g t h e

i n t e g r a l o f t h e s q u a r e d e r r o r , o n e m u s t c h o o s e

Lt o b e 3 t o 1 0 o r m o r e t i m e s t h e l e n g t h

Lo f t h e l t e r b e i n g

d e s i g n e d .

3 . 1 . 2 I t e r a t i v e A l g o r i t h m s t o M i n i m i z e t h e E r r o r

T h e r e i s n o s i m p l e d i r e c t m e t h o d f o r n d i n g t h e o p t i m a l a p p r o x i m a t i o n f o r a n y e r r o r p o w e r o t h e r t h a n

t w o . H o w e v e r , i f t h e w e i g h t i n g c o e c i e n t s wk a s e l e m e n t s o f W i n ( 4 5 ) c o u l d b e s e t e q u a l t o t h e e l e m e n t s i n |A Ad| , m i n i m i z i n g ( 4 2 ) w o u l d m i n i m i z e t h e f o u r t h p o w e r o f |A Ad|. T h i s c a n n o t b e d o n e i n o n e s t e p b e c a u s e w e n e e d t h e s o l u t i o n t o n d t h e w e i g h t s ! W e c a n , h o w e v e r , p o s e a n i t e r a t i v e a l g o r i t h m w h i c h

w i l l r s t s o l v e t h e p r o b l e m i n ( 4 1 ) w i t h n o w e i g h t s , t h e n c a l c u l a t e t h e e r r o r v e c t o r f r o m ( 3 9 ) w h i c h w i l l t h e n b e u s e d t o c a l c u l a t e t h e w e i g h t s i n ( 4 5 ) . A t e a c h s t a g e o f t h e i t e r a t i o n , t h e w e i g h t s a r e u p d a t e d f r o m

t h e p r e v i o u s e r r o r a n d t h e p r o b l e m s o l v e d a g a i n . T h i s p r o c e s s o f s u c c e s s i v e a p p r o x i m a t i o n s i s c a l l e d t h e

i t e r a t i v e r e w e i g h t e d l e a s t s q u a r e d e r r o r a l g o r i t h m ( I R L S ) .



11/26


T h e b a s i c I R L S e q u a t i o n s c a n a l s o b e d e r i v e d b y s i m p l y t a k i n g t h e g r a d i e n t o f t h e p- e r r o r w i t h r e s p e c t t o t h e l t e r c o e c i e n t s h o r a a n d s e t t i n g i t e q u a l t o z e r o [ 2 5 ] , [ 2 9 ] . T h e s e e q u a t i o n s f o r m t h e b a s i s f o r t h e i t e r a t i v e a l g o r i t h m .

I f t h e a l g o r i t h m i s a c o n t r a c t i o n m a p p i n g [ 3 9 ] , t h e s u c c e s s i v e a p p r o x i m a t i o n s w i l l c o n v e r g e a n d t h e l i m i t

i s t h e s o l u t i o n o f t h e m i n i m u m

L4 a p p r o x i m a t i o n p r o b l e m . I f a g e n e r a l p r o b l e m c a n b e p o s e d [ 6 0 ] , [ 2 6 ] , [ 4 5 ]a s t h e s o l u t i o n o f a n e q u a t i o n i n t h e f o r m

x = f(x) , ( 4 6 )

a s u c c e s s i v e a p p r o x i m a t i o n a l g o r i t h m c a n b e p r o p o s e d w h i c h i t e r a t i v e l y c a l c u l a t e s x u s i n g

xm+1 = f(xm) ( 4 7 )

s t a r t i n g w i t h s o m e

x0 . T h e f u n c t i o n f() m a p s xm i n t o xm+1 a n d , i f limmxm = x0 w h e r e x0 = f(x0), x0 i s t h e x e d p o i n t o f t h e m a p p i n g a n d a s o l u t i o n t o ( 4 6 ) . T h e

t r i c k i s t o n d a m a p p i n g t h a t s o l v e s t h e d e s i r e d p r o b l e m , c o n v e r g e s , a n d c o n v e r g e s f a s t .

B y s e t t i n g t h e w e i g h t s i n ( 4 2 ) e q u a l t o

w (k) = |A (k) Ad (k) |(p2)/2, ( 4 8 ) t h e x e d p o i n t o f a c o n v e r g e n t a l g o r i t h m m i n i m i z e s

q =

L1k=0

|A (k) Ad (k) |p. ( 4 9 )

I t h a s b e e n s h o w n [ 5 8 ] t h a t w e i g h t s a l w a y s e x i s t s u c h t h a t m i n i m i z i n g ( 4 2 ) a l s o m i n i m i z e s ( 4 9 ) . T h e p r o b l e m

i s t o n d t h o s e w e i g h t s e c i e n t l y .

3 . 1 . 3 B a s i c I t e r a t i v e R e w e i g h t e d L e a s t S q u a r e s

T h e b a s i c I R L S a l g o r i t h m i s s t a r t e d b y i n i t i a l i z i n g t h e w e i g h t m a t r i x d e n e d i n ( 4 2 ) a n d ( 4 3 ) f o r u n i t w e i g h t s

w i t h W0 = I. U s i n g t h e s e w e i g h t s t o s t a r t , t h e mth i t e r a t i o n s o l v e s ( 4 5 ) f o r t h e l t e r c o e c i e n t s w i t h

am =

CT

WT

mWmC

1

CT

WT

mWmAd ( 5 0 )

T h i s i s a f o r m a l s t a t e m e n t o f t h e o p e r a t i o n . I n p r a c t i c e o n e s h o u l d n o t i n v e r t a m a t r i x , o n e s h o u l d u s e

a s o p h i s t i c a t e d n u m e r i c a l m e t h o d [ 2 1 ] t o s o l v e t h e o v e r d e t e r m i n e d e q u a t i o n s i n ( 3 8 ) T h e e r r o r o r r e s i d u a l

v e c t o r ( 3 9 ) f o r t h e mth i t e r a t i o n i s f o u n d b y

m = C am Ad ( 5 1 ) A n e w w e i g h t i n g v e c t o r i s c r e a t e d f r o m t h i s e r r o r v e c t o r u s i n g ( 4 8 ) b y

wm+1 = |m|(p2)/2 ( 5 2 ) w h o s e e l e m e n t s a r e t h e d i a g o n a l e l e m e n t s o f t h e n e w w e i g h t m a t r i x

Wm+1 = diag [wm+1] . ( 5 3 )

U s i n g t h i s w e i g h t m a t r i x , w e s o l v e f o r t h e n e x t v e c t o r o f l t e r c o e c i e n t s b y g o i n g b a c k t o ( 5 0 ) a n d t h i s

d e n e s t h e b a s i c i t e r a t i v e p r o c e s s o f t h e I R L S a l g o r i t h m .

I t c a n e a s i l y b e s h o w n t h a t t h e a t h a t m i n i m i z e s ( 4 9 ) i s a x e d p o i n t o f t h i s i t e r a t i v e m a p . U n f o r t u n a t e l y ,a p p l i e d d i r e c t l y , t h i s b a s i c I R L S a l g o r i t h m d o e s n o t c o n v e r g e a n d / o r i t h a s n u m e r i c a l p r o b l e m s f o r m o s t

p r a c t i c a l c a s e s [ 1 4 ] . T h e r e a r e t h r e e a s p e c t s t h a t m u s t b e a d d r e s s e d . F i r s t , t h e I R L S a l g o r i t h m m u s t



12/26


t h e o r e t i c a l l y c o n v e r g e . S e c o n d , t h e s o l u t i o n o f ( 5 0 ) m u s t b e n u m e r i c a l l y s t a b l e . F i n a l l y , e v e n i f t h e a l g o r i t h m

c o n v e r g e s a n d i s n u m e r i c a l l y s t a b l e , i t m u s t c o n v e r g e f a s t e n o u g h t o b e p r a c t i c a l .

B o t h t h e o r y a n d e x p e r i e n c e i n d i c a t e t h e r e a r e d i e r e n t c o n v e r g e n c e p r o b l e m s c o n n e c t e d w i t h s e v e r a l

d i e r e n t r a n g e s a n d v a l u e s o f

p. I n t h e r a n g e

2 p < 3, v i r t u a l l y a l l m e t h o d s c o n v e r g e [ 2 5 ] , [ 1 4 ] , [ 4 3 ] . I n t h e r a n g e 3 p < , t h e a l g o r i t h m d i v e r g e s a n d t h e v a r i o u s m e t h o d s d i s c u s s e d i n t h i s p a p e r m u s t b e u s e d .A s p b e c o m e s l a r g e c o m p a r e d t o 2 , t h e w e i g h t s c a r r y a l a r g e r c o n t r i b u t i o n t o t h e t o t a l m i n i m i z a t i o n t h a n t h e u n d e r l y i n g l e a s t s q u a r e d e r r o r m i n i m i z a t i o n , t h e i m p r o v e m e n t a t e a c h i t e r a t i o n b e c o m e s s m a l l e r , a n d

t h e l i k e l i h o o d o f d i v e r g e n c e b e c o m e s l a r g e r . F o r p = w e c a n u s e t o a d v a n t a g e t h e f a c t t h a t t h e o p t i m a l a p p r o x i m a t i o n s o l u t i o n t o ( 4 9 ) i s u n i q u e b u t t h e w e i g h t s i n ( 4 2 ) t h a t g i v e t h a t s o l u t i o n a r e n o t . I n o t h e r

w o r d s , d i e r e n t m a t r i c e s W g i v e t h e s a m e s o l u t i o n t o ( 5 0 ) b u t w i l l h a v e d i e r e n t c o n v e r g e n c e p r o p e r t i e s .T h i s a l l o w s c e r t a i n a l t e r a t i o n t o t h e w e i g h t s t o i m p r o v e c o n v e r g e n c e w i t h o u t h a r m i n g t h e o p t i m a l i t y o f t h e

r e s u l t s [ 3 7 ] . I n t h e r a n g e 1 < p < 2, b o t h c o n v e r g e n c e a n d n u m e r i c a l p r o b l e m s e x i s t a s , i n c o n t r a s t t o p > 2 ,t h e I R L S i t e r a t i o n s a r e u n d o i n g w h a t t h e u n d e r l y i n g l e a s t s q u a r e s i s d o i n g . I n p a r t i c u l a r , t h e w e i g h t s n e a r

f r e q u e n c i e s w i t h s m a l l e r r o r s b e c o m e v e r y l a r g e . I n d e e d , i f t h e e r r o r h a p p e n s t o b e z e r o , t h e w e i g h t b e c o m e s

i n n i t e b e c a u s e o f t h e n e g a t i v e e x p o n e n t i n ( 5 2 ) . F o r p = 1 t h e s o l u t i o n t o t h e o p t i m i z a t i o n p r o b l e m i s n o t e v e n u n i q u e . T h e v a r i o u s a l g o r i t h m s t h a t a r e p r e s e n t e d b e l o w a r e b a s e d o n s c h e m e s t o a d d r e s s t h e s e

p r o b l e m s .

3 . 2 T h e K a r l o v i t z M e t h o d

I n o r d e r t o a c h i e v e c o n v e r g e n c e , a s e c o n d o r d e r u p d a t e i s u s e d w h i c h o n l y p a r t i a l l y c h a n g e s t h e l t e r c o e f -

c i e n t s am i n ( 5 0 ) e a c h i t e r a t i o n . T h i s i s d o n e b y r s t c a l c u l a t i n g t h e u n w e i g h t e d L2 a p p r o x i m a t i o n l t e r c o e c i e n t s u s i n g E q u a t i o n 6 f r o m C h e b y s h e v o r E q u a l R i p p l e E r r o r A p p r o x i m a t i o n F i l t e r s

1 2

a s

a0 =

CT C1

CT Ad. ( 5 4 )

T h e e r r o r o r r e s i d u a l v e c t o r E q u a t i o n 1 f r o m C h e b y s h e v o r E q u a l R i p p l e E r r o r A p p r o x i m a t i o n F i l t e r s

1 3

f o r

t h e mth i t e r a t i o n i s f o u n d a s E q u a t i o n 9 7 f r o m S a m p l i n g , U p - S a m p l i n g , D o w n - S a m p l i n g , a n d M u l t i - R a t e 1 4

b y

m = C am Ad ( 5 5 ) a n d t h e n e w w e i g h t i n g v e c t o r i s c r e a t e d f r o m t h i s e r r o r v e c t o r u s i n g ( 4 8 ) b y

wm+1 = |m|(p2)/2 ( 5 6 ) w h o s e e l e m e n t s a r e t h e d i a g o n a l e l e m e n t s o f t h e n e w w e i g h t m a t r i x

Wm+1 = diag [wm+1] . ( 5 7 )

T h i s w e i g h t m a t r i x i s t h e n u s e d t o c a l c u l a t e a t e m p o r a r y l t e r c o e c i e n t v e c t o r b y

am+1 = CTWTm+1Wm+1C

1CTWTm+1Wm+1Ad. ( 5 8 )

T h e v e c t o r o f l t e r c o e c i e n t s t h a t i s a c t u a l l y u s e d i s o n l y p a r t i a l l y u p d a t e d u s i n g a f o r m o f a d j u s t a b l e

s t e p s i z e i n t h e f o l l o w i n g s e c o n d o r d e r l i n e a r l y w e i g h t e d s u m

am+1 =

am+1 + (1 ) am ( 5 9 ) U s i n g t h i s l t e r c o e c i e n t v e c t o r , w e s o l v e f o r t h e n e x t e r r o r v e c t o r b y g o i n g b a c k t o ( 5 5 ) a n d t h i s d e n e s

K a r l o v i t z ' s I R L S a l g o r i t h m [ 3 0 ] .

1 2

" C h e b y s h e v o r E q u a l R i p p l e E r r o r A p p r o x i m a t i o n F i l t e r s " , ( 6 ) < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 9 5 / l a t e s t / # u i d 1 0 >

1 3

" C h e b y s h e v o r E q u a l R i p p l e E r r o r A p p r o x i m a t i o n F i l t e r s " , ( 1 ) < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 9 5 / l a t e s t / # u i d 2 >

1 4

" S a m p l i n g , U p S a m p l i n g , D o w n S a m p l i n g , a n d M u l t i R a t e " , ( 1 0 1 ) < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 8 6 / l a t e s t / # u i d 5 2 >



13/26


I n t h i s a l g o r i t h m , i s a c o n v e r g e n c e p a r a m e t e r t h a t t a k e s v a l u e s 0 < 1. K a r l o v i t z s h o w e d t h a t f o r t h e p r o p e r , t h e I R L S a l g o r i t h m u s i n g ( 5 8 ) a l w a y s c o n v e r g e s t o t h e g l o b a l l y o p t i m a l Lp a p p r o x i m a t i o n f o r

pa n e v e n i n t e g e r i n t h e r a n g e 4 p < . A t e a c h i t e r a t i o n t h e Lp e r r o r h a s t o b e m i n i m i z e d o v e r w h i c h

r e q u i r e s a l i n e s e a r c h . I n o t h e r w o r d s , t h e f u l l K a r l o v i t z m e t h o d r e q u i r e s a m u l t i - d i m e n s i o n a l w e i g h t e d l e a s t

s q u a r e s m i n i m i z a t i o n a n d a o n e - d i m e n s i o n a l

pthp o w e r e r r o r m i n i m i z a t i o n a t e a c h i t e r a t i o n . E x t e n s i o n s o f

K a r l o v i t z ' s w o r k [ 7 8 ] s h o w t h e o n e - d i m e n s i o n a l m i n i m i z a t i o n i s n o t n e c e s s a r y b u t p r a c t i c e s h o w s t h e n u m b e r

o f r e q u i r e d i t e r a t i o n s i n c r e a s e s c o n s i d e r a b l y a n d r o b u s t n e s s i n l o s t .

F l e t c h e r e t a l . [ 2 5 ] a n d l a t e r K a h n g [ 2 9 ] i n d e p e n d e n t l y d e r i v e t h e s a m e s e c o n d o r d e r i t e r a t i v e a l g o r i t h m

b y a p p l y i n g N e w t o n ' s m e t h o d . T h a t a p p r o a c h g i v e s a f o r m u l a f o r a s a f u n c t i o n o f p a n d i s d i s c u s s e d l a t e r i n t h i s p a p e r . A l t h o u g h t h e i t e r a t i o n c o u n t f o r c o n v e r g e n c e o f t h e K a r l o v i t z m e t h o d i s g o o d , i n d e e d , p e r h a p s

t h e b e s t o f a l l , t h e m i n i m i z a t i o n o f a t e a c h i t e r a t i o n c a u s e s t h e a l g o r i t h m t o b e v e r y s l o w i n e x e c u t i o n .

3 . 3 N e w t o n ' s M e t h o d s

B o t h t h e n e w m e t h o d i n s e c t i o n 4 . 3 a n d L a w s o n ' s m e t h o d u s e a s e c o n d o r d e r u p d a t i n g o f t h e w e i g h t s t o

o b t a i n c o n v e r g e n c e o f t h e b a s i c I R L S a l g o r i t h m . F l e t c h e r e t a l . [ 2 5 ] a n d K a h n g [ 2 9 ] u s e a l i n e a r s u m m a t i o n

f o r t h e u p d a t i n g s i m i l a r i n f o r m t o ( 5 9 ) b u t a p p l y i t t o t h e l t e r c o e c i e n t s i n t h e m a n n e r o f K a r l o v i t z

r a t h e r t h a n t h e w e i g h t s a s L a w s o n d i d . I n d e e d , u s i n g o u r d e v e l o p m e n t o f K a r l o v i t z ' s m e t h o d , w e s e e t h a t

K a h n g ' s m e t h o d a n d F l e t c h e r , G r a n t , a n d H e b d e n ' s m e t h o d a r e s i m p l y a p a r t i c u l a r c h o i c e o f a s a f u n c t i o n o f p i n K a r l o v i t z ' s m e t h o d . T h e y d e r i v e

=1

p 1 ( 6 0 )

b y u s i n g N e w t o n ' s m e t h o d t o m i n i m i z e

i n ( 4 9 ) t o g i v e f o r ( 5 9 )

am =

am + (p 2) am1

/ (p 1) . ( 6 1 )

T h i s d e n e s K a h n g ' s m e t h o d w h i c h h e s a y s a l w a y s c o n v e r g e s [ 4 5 ] . H e a l s o n o t e s t h a t t h e s u m m a t i o n m e t h o d s

i n t h e s e c t i o n s C a l c u l a t i o n o f t h e F o u r i e r T r a n s f o r m a n d F o u r i e r S e r i e s u s i n g t h e F F T , S a m p l i n g F u n c t i o n s

t h e S h a h F u n c t i o n , a n d D o w n - S a m p l i n g , S u b s a m p l i n g , o r D e c i m a t i o n

1 5

d o n o t h a v e t h e p o s s i b l e r e s t a r t i n g

p r o b l e m t h a t L a w s o n ' s m e t h o d t h e o r e t i c a l l y d o e s . B e c a u s e K a h n g ' s a l g o r i t h m i s a f o r m o f N e w t o n ' s m e t h o d ,

i t s a s y m p t o t i c c o n v e r g e n c e i s v e r y g o o d b u t t h e i n i t i a l c o n v e r g e n c e i s p o o r a n d v e r y s e n s i t i v e t o s t a r t i n g

v a l u e s .

3 . 3 . 1 A N e w R o b u s t I R L S M e t h o d

A m o d i c a t i o n a n d g e n e r a l i z a t i o n o f a n a c c e l e r a t i o n m e t h o d s u g g e s t e d i n d e p e n d e n t l y b y E k b l o m [ 2 2 ] a n d

b y K a h n g [ 2 9 ] i s d e v e l o p e d h e r e a n d c o m b i n e d w i t h t h e N e w t o n ' s m e t h o d o f F l e t c h e r , G r a n t , a n d H e b d e n

a n d o f K a h n g t o g i v e a r o b u s t , f a s t , a n d a c c u r a t e I R L S a l g o r i t h m [ 1 1 ] , [ 1 2 ] . I t o v e r c o m e s t h e p o o r i n i t i a l

p e r f o r m a n c e o f t h e N e w t o n ' s m e t h o d s a n d t h e p o o r n a l p e r f o r m a n c e o f t h e R U L a l g o r i t h m s .

R a t h e r t h a n s t a r t i n g t h e i t e r a t i o n s o f t h e I R L S a l g o r i t h m s w i t h t h e a c t u a l d e s i r e d v a l u e o f p, a f t e r t h e i n i t i a l L2 a p p r o x i m a t i o n , t h e n e w a l g o r i t h m s t a r t s w i t h p = K

2 w h e r e K i s a p a r a m e t e r b e t w e e n o n e a n d

a p p r o x i m a t e l y t w o , c h o s e n f o r t h e p a r t i c u l a r p r o b l e m s p e c i c a t i o n s . A f t e r t h e r s t i t e r a t i o n , t h e v a l u e o f

pi s i n c r e a s e d t o

p = K2 2 . I t i s i n c r e a s e d b y a f a c t o r o f K a t e a c h i t e r a t i o n u n t i l i t r e a c h e s t h e a c t u a l d e s i r e d v a l u e . T h i s k e e p s t h e v a l u e o f

pb e i n g a p p r o x i m a t e d j u s t a h e a d o f t h e v a l u e a c h i e v e d . T h i s i s s i m i l a r

t o a h o m o t o p y w h e r e w e v a r y t h e v a l u e o f p f r o m 2 t o i t s n a l v a l u e . A s m a l l v a l u e o f K g i v e s v e r y r e l i a b l e c o n v e r g e n c e b e c a u s e t h e a p p r o x i m a t i o n i s a c h i e v e d a t e a c h i t e r a t i o n b u t r e q u i r e s a l a r g e n u m b e r o f i t e r a t i o n s

1 5

" S a m p l i n g , U p S a m p l i n g , D o w n S a m p l i n g , a n d M u l t i R a t e " < h t t p : / / c n x . o r g / c o n t e n t / m 1 6 8 8 6 / l a t e s t / >



14/26


f o r p t o r e a c h i t s n a l v a l u e . A l a r g e v a l u e o f K g i v e s f a s t e r c o n v e r g e n c e f o r m o s t l t e r s p e c i c a t i o n s b u t f a i l s f o r s o m e . T h e r u l e t h a t i s u s e d t o c h o o s e pm a t t h e m

thi t e r a t i o n i s

pm = min (p, K pm1) .( 6 2 )

E a c h i t e r a t i o n o f o u r n e w v a r i a b l e p m e t h o d i s i m p l e m e n t e d b y t h e b a s i c a l g o r i t h m d e s c r i b e d a s K a r l o v i t z ' s m e t h o d b u t u s i n g t h e N e w t o n ' s m e t h o d b a s e d v a l u e o f f r o m F l e t c h e r o r K a h n g i n ( 6 0 ) . B o t h E k b l o m a n d K a h n g o n l y u s e d K = 2 w h i c h i s t o o l a r g e i n a l m o s t a l l c a s e s .

W e a l s o t r i e d t h e g e n e r a l i z e d a c c e l e r a t i o n s c h e m e w i t h t h e b a s i c K a r l o v i t z m e t h o d a n d t h e R U L a l g o r i t h m .

A l t h o u g h i t i m p r o v e d t h e i n i t i a l p e r f o r m a n c e o f t h e K a r l o v i t z m e t h o d , t h e s l o w n e s s o f e a c h i t e r a t i o n s t i l l

m a d e t h i s m e t h o d u n a t t r a c t i v e . U s e w i t h t h e R U L a l g o r i t h m g a v e o n l y a m i n o r i m p r o v e m e n t o f i n i t i a l

p e r f o r m a n c e a n d n o i m p r o v e m e n t o f t h e p o o r n a l c o n v e r g e n c e .

O u r n e w a l g o r i t h m u s e s t h r e e d i s t i n c t c o n c e p t s :

T h e b a s i c I R L S w h i c h i s a s t r a i g h t f o r w a r d a l g o r i t h m w i t h l i n e a r c o n v e r g e n c e [ 1 4 ] w h e n i t c o n v e r g e s . T h e s e c o n d o r d e r o r N e w t o n ' s m o d i c a t i o n w h i c h i n c r e a s e s t h e n u m b e r o f c a s e s w h e r e i n i t i a l c o n v e r -

g e n c e o c c u r s a n d g i v e s q u a d r a t i c a s y m p t o t i c c o n v e r g e n c e [ 2 5 ] , [ 2 9 ] .

T h e c o n t r o l l e d i n c r e a s i n g o f p f r o m o n e i t e r a t i o n t o t h e n e x t i s a m o d i c a t i o n w h i c h g i v e s e x c e l l e n t i n i t i a l c o n v e r g e n c e a n d a l l o w s a d a p t a t i o n f o r d i c u l t " c a s e s .

T h e b e s t t o t a l a l g o r i t h m , t h e r e f o r e , c o m b i n e s t h e i n c r e a s i n g o f p g i v e n i n ( 6 2 ) t h e u p d a t i n g t h e l t e r c o e c i e n t s u s i n g ( 5 9 ) , a n d t h e N e w t o n ' s c h o i c e o f i n ( 6 0 ) . B y s l o w l y i n c r e a s i n g p, t h e e r r o r s u r f a c e s l o w l y c h a n g e s f r o m t h e p a r a b o l i c s h a p e o f L2 w h i c h N e w t o n ' s m e t h o d i s b a s e d o n , t o t h e m o r e c o m p l i c a t e d s u r f a c e o f Lp . T h e q u e s t i o n i s h o w f a s t t o c h a n g e a n d , f r o m e x p e r i e n c e w i t h m a n y e x a m p l e s , w e h a v e l e a r n e d t h a t t h i s d e p e n d s o n t h e l t e r d e s i g n s p e c i c a t i o n s .

A M a t l a b p r o g r a m t h a t i m p l e m e n t s t h i s b a s i c I R L S a l g o r i t h m i s g i v e n i n t h e a p p e n d i x o f t h i s p a p e r .

I t u s e s a n u p d a t i n g o f

A (k) i n t h e f r e q u e n c y d o m a i n r a t h e r t h a n o f a (n) i n t h e t i m e d o m a i n t o a l l o w m o d i c a t i o n s n e c e s s a r y f o r u s i n g d i e r e n t

pi n d i e r e n t b a n d s a s w i l l b e d e v e l o p e d l a t e r i n t h i s p a p e r .

A n e x a m p l e d e s i g n f o r a l e n g t h L = 31 , p a s s b a n d e d g e f p = 0.4 , s t o p b a n d e d g e f s = 0.44, a n d p = 2t h e p r o g r a m d o e s n o t h a v e t o i t e r a t e a n d g i v e t h e r e s p o n s e i n F i g u r e 3 .



15/26


0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1

IRLS Designed FIR Filter for p=2


AmplitudeResponse,

A

F i g u r e 3 : R e s p o n s e o f a n I t e r a t i v e R e w e i g h t e d L e a s t S q u a r e s D e s i g n w i t h p = 2

F o r t h e s a m e s p e c i c a t i o n s e x c e p t

p = 4 w e g e t F i g u r e 4



16/26


0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1



AmplitudeResponse,

A

F i g u r e 4 : R e s p o n s e o f a n I R L S D e s i g n w i t h p = 4

a n d f o r

p = 100 w e g e t F i g u r e 5



17/26


0 0.2 0.4 0.6 0.8 10.2

0

0.2

0.4

0.6

0.8

1

1.2



AmplitudeResponse,

A

F i g u r e 5 : R e s p o n s e o f a n I R L S D e s i g n w i t h p = 100

3 . 3 . 2 D i e r e n t E r r o r C r i t e r i a i n D i e r e n t B a n d s

P r o b a b l y t h e m o s t i m p o r t a n t u s e o f t h e Lp a p p r o x i m a t i o n p r o b l e m p o s e d h e r e i s i t s u s e f o r d e s i g n i n g l t e r s w i t h d i e r e n t e r r o r c r i t e r i a i n d i e r e n t f r e q u e n c y b a n d s . T h i s i s p o s s i b l e b e c a u s e t h e I R L S a l g o r i t h m a l l o w s

a n e r r o r p o w e r t h a t i s a f u n c t i o n o f f r e q u e n c y p () w h i c h c a n a l l o w a n L2 m e a s u r e i n t h e p a s s b a n d a n d a C h e b y s h e v e r r o r m e a s u r e i n t h e s t o p b a n d o r a n y o t h e r f o r m . T h i s i s i m p o r t a n t i f a n L2 a p p r o x i m a t i o n i s n e e d e d i n t h e p a s s b a n d b e c a u s e P a r s e v a l ' s t h e o r e m s h o w s t h a t t h e t i m e d o m a i n p r o p e r t i e s o f t h e l t e r e d

s i g n a l w i l l b e w e l l p r e s e r v e d b u t , b e c a u s e o f u n k n o w n p r o p e r t i e s o f t h e n o i s e o r i n t e r f e r e n c e , t h e s t o p b a n d

a t t e n u a t i o n m u s t b e l e s s t h a n s o m e s p e c i e d v a l u e d .

T h e n e w a l g o r i t h m d e s c r i b e d i n " A N e w R o b u s t I R L S M e t h o d " ( S e c t i o n 3 . 3 . 1 : A N e w R o b u s t I R L S

M e t h o d ) w a s m o d i e d s o t h a t t h e i t e r a t i v e u p d a t i n g i s d o n e t o A () r a t h e r t h a n t o a (n). B e c a u s e t h e F o u r i e r t r a n s f o r m i s l i n e a r , t h e u p d a t i n g o f ( 5 9 ) c a n a l s o b e a c h i e v e d b y

Am+1 () =

Am+1 () + (1 ) Am () . ( 6 3 ) T h e M a t l a b p r o g r a m l i s t e d i n t h e a p p e n d i x u s e s t h i s f o r m . T h i s t y p e o f u p d a t i n g i n t h e f r e q u e n c y d o m a i n

a l l o w s d i e r e n t

pt o b e u s e d i n d i e r e n t b a n d s o f

A () a n d d i e r e n t u p d a t e p a r a m e t e r s t o b e u s e d i n t h e



18/26


a p p r o p r i a t e b a n d s . I n a d d i t i o n , i t a l l o w s a d i e r e n t c o n s t a n t K w e i g h t i n g t o b e u s e d f o r t h e d i e r e n t b a n d s .T h e e r r o r f o r t h i s p r o b l e m i s c h a n g e d f r o m ( 3 8 ) t o b e

q =

k0k=0

|A (k) Ad (k) |2 + KL1

k=k0+1

|A (k) Ad (k) |p ( 6 4 )

F i g u r e 6 s h o w s t h e f r e q u e n c y r e s p o n s e o f a l t e r d e s i g n e d w i t h a p a s s b a n d p = 2 , a s t o p b a n d p = 4 , a n d a s t o p b a n d w e i g h t o f

K = 1 .

0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1

IRLS Designed FIR Filter for p=2 in Passband, 4 in Stopband


AmplitudeResponse,

A

F i g u r e 6 : R e s p o n s e o f a n I R L S D e s i g n w i t h

p = 2i n t h e S t o p b a n d a n d

p = 4i n t h e S t o p b a n d

F i g u r e 7 g i v e s t h e f r e q u e n c y r e s p o n s e f o r t h e s a m e s p e c i c a t i o n s b u t w i t h p = 100 a n d F i g u r e 8 a d d s a c o n s t a n t w e i g h t t o t h e s t o p b a n d .



19/26


0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1

IRLS Designed FIR Filter for p=2 in Passband, 100 in Stopband


AmplitudeResponse,

A

F i g u r e 7 : R e s p o n s e o f a n I R L S D e s i g n w i t h p = 2 i n t h e S t o p b a n d a n d p = 100 i n t h e S t o p b a n d



20/26


0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1

1.2

IRLS Designed FIR Filter for p=2 in Passband, 100 + Weight in Stopband


AmplitudeResponse,

A

F i g u r e 8 : R e s p o n s e o f a n I R L S D e s i g n w i t h p = 2 i n t h e S t o p b a n d a n d p = 100 p l u s a w e i g h t i n t h e

S t o p b a n d

3 . 3 . 3 T h e C o n s t r a i n e d A p p r o x i m a t i o n

I n s o m e d e s i g n s i t u a t i o n s , n e i t h e r a p u r e

L2 n o r a L o r C h e b y s h e v a p p r o x i m a t i o n i s a p p r o p r i a t e . I f o n e e v a l u a t e s b o t h t h e s q u a r e d e r r o r a n d t h e C h e b y s h e v e r r o r o f a p a r t i c u l a r l t e r , i t i s e a s i l y s e e n t h a t f o r a n

o p t i m a l l e a s t s q u a r e s s o l u t i o n , a c o n s i d e r a b l e r e d u c t i o n o f t h e C h e b y s h e v e r r o r c a n b e o b t a i n e d b y a l l o w i n g a

s m a l l i n c r e a s e i n t h e s q u a r e d e r r o r . F o r t h e o p t i m a l C h e b y s h e v s o l u t i o n t h e o p p o s i t e i s t r u e . A c o n s i d e r a b l e

r e d u c t i o n o f t h e s q u a r e d e r r o r c a n b e o b t a i n e d b y a l l o w i n g a s m a l l i n c r e a s e i n t h e C h e b y s h e v e r r o r . T h i s

s u g g e s t s a b e t t e r l t e r m i g h t b e o b t a i n e d b y s o m e c o m b i n a t i o n o f L2 a n d L a p p r o x i m a t i o n . T h i s p r o b l e m i s s t a t e d a n d a d d r e s s e d b y A d a m s [ 2 ] a n d b y L a n g [ 3 1 ] , [ 3 2 ] .

W e h a v e a p p l i e d t h e I R L S m e t h o d t o t h e c o n s t r a i n e d l e a s t s q u a r e s p r o b l e m b y a d d i n g a n e r r o r b a s e d

w e i g h t i n g f u n c t i o n t o u n i t y i n t h e s t o p b a n d o n l y i n t h e f r e q u e n c y r a n g e w h e r e t h e r e s p o n s e i n t h e p r e v i o u s

i t e r a t i o n e x c e e d s t h e c o n s t r a i n t . T h e f r e q u e n c y r e s p o n s e o f a n e x a m p l e i s t h e t h a t w a s i l l u s t r a t e d i n a s

o b t a i n e d u s i n g t h e C L S a l g o r i t h m . T h e I R L S a p p r o a c h t o t h i s p r o b l e m i s c u r r e n t l y b e i n g e v a l u a t e d a n d

c o m p a r e d t o t h e a p p r o a c h u s e d b y A d a m s . T h e i n i t i a l r e s u l t s a r e e n c o u r a g i n g .



21/26


3 . 3 . 4 A p p l i c a t i o n t o t h e C o m p l e x A p p r o x i m a t i o n a n d t h e 2 D F i l t e r D e s i g n P r o b l e m

A l t h o u g h d e s c r i b e d a b o v e i n t e r m s o f a o n e d i m e n s i o n a l l i n e a r p h a s e F I R l t e r , t h e m e t h o d c a n j u s t a s

e a s i l y b e a p p l i e d t o t h e c o m p l e x a p p r o x i m a t i o n p r o b l e m a n d t o t h e m u l t i d i m e n s i o n a l l t e r d e s i g n p r o b l e m .

W e h a v e o b t a i n e d e n c o u r a g i n g i n i t i a l r e s u l t s f r o m a p p l i c a t i o n s o f o u r n e w I R L S a l g o r i t h m t o t h e o p t i m a l

d e s i g n o f F I R l t e r s w i t h a n o n l i n e a r p h a s e r e s p o n s e . B y u s i n g a l a r g e p w e a r e a b l e t o d e s i g n e s s e n t i a l l y C h e b y s h e v l t e r s w h e r e t h e R e m e z a l g o r i t h m i s d i c u l t t o a p p l y r e l i a b l y .

O u r n e w I R L S d e s i g n a l g o r i t h m w a s a p p l i e d t o t h e t w o e x a m p l e s c o n s i d e r e d b y C h e n a n d P a r k s [ 1 6 ]

a n d b y S c h u l i s t [ 6 2 ] , [ 6 3 ] a n d P r e u s s [ 5 5 ] , [ 5 4 ] . O n e i s a l o w p a s s l t e r a n d t h e o t h e r a b a n d p a s s l t e r , b o t h

a p p r o x i m a t i n g a c o n s t a n t g r o u p d e l a y o v e r t h e i r p a s s b a n d s . E x a m i n a t i o n o f m a g n i t u d e f r e q u e n c y r e s p o n s e

p l o t s , i m a g i n a r y v s . r e a l p a r t p l o t s , a n d g r o u p d e l a y f r e q u e n c y r e s p o n s e p l o t s f o r t h e l t e r s d e s i g n e d b y t h e

I R L S m e t h o d s h o w e d c l o s e a g r e e m e n t w i t h p u b l i s h e d r e s u l t s [ 9 ] . T h e u s e o f a n Lp a p p r o x i m a t i o n m a y g i v e m o r e d e s i r a b l e r e s u l t s t h a n a t r u e C h e b y s h e v a p p r o x i m a t i o n . O u r r e s u l t s o n t h e c o m p l e x a p p r o x i m a t i o n

p r o b l e m a r e p r e l i m i n a r y a n d w e a r e d o i n g f u r t h e r i n v e s t i g a t i o n s o n c o n v e r g e n c e p r o p e r t i e s o f t h e a l g o r i t h m

a n d o n t h e c h a r a c t e r i s t i c s o f Lp a p p r o x i m a t i o n s i n t h i s c o n t e x t .A p p l i c a t i o n o f t h e n e w I R L S m e t h o d t o t h e d e s i g n o f 2 D F I R l t e r s h a s a l s o g i v e n e n c o u r a g i n g r e -

s u l t s . H e r e a g a i n , i t i s d i c u l t t o a p p l y t h e R e m e z e x c h a n g e a l g o r i t h m d i r e c t l y t o t h e m u l t i - d i m e n s i o n a l

a p p r o x i m a t i o n p r o b l e m . A p p l i c a t i o n o f t h e I R L S t o t h i s p r o b l e m i s c u r r e n t l y b e i n g i n v e s t i g a t e d .

W e d e s i g n e d 55 , 77 , 99 , 4141 , a n d 7171 l t e r s t o s p e c i c a t i o n s u s e d i n [ 3 8 ] , [ 2 8 ] , [ 1 8 ] , [ 6 ] . O u r p r e l i m i n a r y o b s e r v a t i o n s f r o m t h e s e e x a m p l e s i n d i c a t e t h e n e w I R L S m e t h o d i s f a s t e r a n d / o r g i v e s l o w e r

C h e b y s h e v e r r o r s t h a n a n y o f t h e o t h e r m e t h o d s [ 1 0 ] . V a l u e s o f

Ki n t h e 1 . 1 t o 1 . 2 r a n g e w e r e r e q u i r e d

f o r c o n v e r g e n c e . A s f o r t h e c o m p l e x a p p r o x i m a t i o n p r o b l e m , f u r t h e r r e s e a r c h i s b e i n g d o n e o n c o n v e r g e n c e

p r o p e r t i e s o f t h e a l g o r i t h m a n d o n t h e c h a r a c t e r i s t i c s o f Lp a p p r o x i m a t i o n s i n t h i s c o n t e x t .

3 . 3 . 5 S e c t i o n C o n c l u s i o n s

W e h a v e p r o p o s e d a p p l y i n g t h e i t e r a t i v e r e w e i g h t e d l e a s t s q u a r e d e r r o r a p p r o a c h t o t h e F I R d i g i t a l l t e r

d e s i g n p r o b l e m . W e h a v e s h o w n h o w a l a r g e n u m b e r o f e x i s t i n g m e t h o d s c a n b e c a s t a s v a r i a t i o n s o n o n e

b a s i c s u c c e s s i v e a p p r o x i m a t i o n a l g o r i t h m c a l l e d I t e r a t i v e R e w e i g h t e d L e a s t S q u a r e s . F r o m t h i s f o r m u l a t i o n

w e w e r e a b l e t o u n d e r s t a n d t h e c o n v e r g e n c e c h a r a c t e r i s t i c s o f a l l o f t h e m a n d s e e w h y L a w s o n ' s m e t h o d h a s

e x p e r i m e n t a l l y b e e n f o u n d t o h a v e s l o w c o n v e r g e n c e .

W e h a v e c r e a t e d a n e w I R L S a l g o r i t h m b y c o m b i n i n g a n i m p r o v e d a c c e l e r a t i o n s c h e m e w i t h F l e t c h e r ' s

a n d K a h n g ' s N e w t o n t y p e m e t h o d s t o g i v e a v e r y g o o d d e s i g n m e t h o d w i t h g o o d i n i t i a l a n d n a l c o n v e r g e n c e

p r o p e r t i e s . I t i s a s i g n i c a n t i m p r o v e m e n t o v e r t h e R i c e - U s o w - L a w s o n m e t h o d .

T h e m a i n c o n t r i b u t i o n o f t h e p a p e r w a s s h o w i n g h o w t o u s e t h e s e a l g o r i t h m s w i t h d i e r e n t p i n d i e r e n t f r e q u e n c y b a n d s t o g i v e a l t e r w i t h d i e r e n t p a s s a n d s t o p b a n d c h a r a c t e r i s t i c s , h o w t o s o l v e t h e c o n s t r a i n e d

Lp p r o b l e m , a n d h o w t h e a p p r o a c h i s u s e d i n c o m p l e x a p p r o x i m a t i o n a n d i n 2 D l t e r d e s i g n .

4 M i n i m u m P h a s e D e s i g n

H e r e w e d e s i g n o p t i m a l a p p r o x i m a t i o n s t h a t c a n b e l i f t e d " t o g i v e a p o s i t i v e f u n c t i o n t h a t w h e n v i e w e d a s

a m a g n i t u d e s q u a r e d , c a n b e f a c t o r e d t o g i v e a m i n i m u m p h a s e o p t i m a l d e s i g n . H o w e v e r , t h e f a c t o r i n g c a n

b e a p r o b l e m f o r l o n g l t e r s .

5 W i n d o w F u n c t i o n D e s i g n o f F I R F i l t e r s

O n e s h o u l d n o t u s e H a m m i n g , H a n n i n g , B l a c k m a n , o r B a r t l e t w i n d o w s f o r t h e d e s i g n o f F I R l t e r s . T h e y

a r e a p p r o p r i a t e f o r s e g m e n t i n g l o n g d a t a s t r i n g s i n t o s h o r t e r b l o c k s t o m i n i m i z e t h e e e c t s o f b l o c k i n g , b u t

t h e y d o n o t d e s i g n l t e r s w i t h a n y c o n t r o l o v e r t h e t r a n s i t i o n b a n d a n d d o n o t d e s i g n l t e r s t h a t a r e o p t i m a l

i n a n y m e a n i n g f u l s e n s e .

T h e K a i s e r w i n d o w d o e s h a v e t h e a b i l i t y t o c o n t r o l t h e t r a n s i t i o n b a n d . I t a l s o g i v e s a f a i r l y g o o d

a p p r o x i m a t i o n t o a l e a s t s q u a r e s a p p r o x i m a t i o n m o d i e d t o r e d u c e t h e G i b b s e e c t . H o w e v e r , t h e d e s i g n



22/26


i s a l s o n o t o p t i m a l i n a n y m e a n i n g f u l s e n s e a n d d o e s n o t a l l o w i n d i v i d u a l c o n t r o l o f t h e w i d t h s o f m u l t i p l e

t r a n s i t i o n b a n d s . T h e s p l i n e t r a n s i t i o n f u n c t i o n m e t h o d g i v e s t h e s a m e c o n t r o l a s t h e K a i s e r w i n d o w b u t

d o e s h a v e a c r i t e r i o n o f o p t i m a l i t y a n d d o e s a l l o w i n d e p e n d e n t c o n t r o l o v e r i n d i v i d u a l t r a n s i t i o n b a n d s . N o

w i n d o w m e t h o d a l l o w s a n y s e p a r a t e w e i g h t i n g o f t h e e r r o r i n d i e r e n t b a n d s .

R e f e r e n c e s

[ 1 ] J . W . A d a m s , J . L . S u l l i v a n , R . H a s h e m i , C . G h a d i m i , J . F r a n k l i n , a n d B . T u c k e r . N e w a p p r o a c h e s

t o c o n s t r a i n e d o p t i m i z a t i o n o f d i g i t a l l t e r s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l S y m p o s i u m o n

C i r c u i t s a n d S y s t e m s , p a g e 8 0 8 2 1 1 ; 8 3 , I S C A S - 9 3 , C h i c a g o , M a y 1 9 9 3 .

[ 2 ] J o h n W . A d a m s . F i r d i g i t a l l t e r s w i t h l e a s t 8 2 1 1 ; s q u a r e s s t o p b a n d s s u b j e c t t o p e a k 8 2 1 1 ; g a i n c o n -

s t r a i n t s . I E E E T r a n s a c t i o n s o n C i r c u i t s a n d S y s t e m s , 3 9 ( 4 ) : 3 7 6 8 2 1 1 ; 3 8 8 , A p r i l 1 9 9 1 .

[ 3 ] J o h n W . A d a m s . A n e w o p t i m a l w i n d o w . I E E E T r a n s a c t i o n s o n S i g n a l P r o c e s s i n g , 3 9 ( 8 ) : 1 7 5 3 8 2 1 1 ; 1 7 6 9 ,

A u g u s t 1 9 9 1 .

[ 4 ] J o h n W . A d a m s . C o n s t r a i n e d l e a s t - s q u a r e s d i g i t a l l t e r s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l

S y m p o s i u m o n C i r c u i t s a n d S y s t e m s , p a g e 5 6 5 8 2 1 1 ; 5 6 7 , I S C A S - 9 2 , S a n D i e g o , C A , M a y 1 9 9 2 .

[ 5 ] J o h n W . A d a m s a n d J a m e s L . S u l l i v a n . P e a k - c o n s t r a i n e d l e a s t - s q u a r e s o p t i m i z a t i o n . I E E E T r a n s a c t i o n s

o n S i g n a l P r o c e s s i n g , 4 6 ( 2 ) : 3 0 6 8 2 1 1 ; 3 2 1 , F e b r u a r y 1 9 9 8 .

[ 6 ] V . R . A l g a z i , M . S u k , a n d C . S . R i m . D e s i g n o f a l m o s t m i n i m a x r l t e r s i n o n e a n d t w o d i m e n s i o n s

b y w l s t e c h n i q u e s . I E E E T r a n s a c t i o n s o n C i r c u i t s a n d S y s t e m s , C A S 8 2 1 1 ; 3 3 : 5 9 0 8 2 1 1 ; 5 9 6 , J u n e 1 9 8 6 .

[ 7 ] V . R a l p h A l g a z i a n d M i n s o o S u k . O n t h e f r e q u e n c y w e i g h t e d l e a s t - s q u a r e d e s i g n o f n i t e d u r a t i o n

l t e r s . I E E E T r a n s a c t i o n s o n C i r c u i t s a n d S y s t e m s , 2 2 ( 1 2 ) : 9 4 3 8 2 1 1 ; 9 5 3 , D e c e m b e r 1 9 7 5 .

[ 8 ] M o h a m e d S . B a n i a n d B r u c e L . C h a l m e r s . B e s t a p p r o x i m a t i o n i n v i a i t e r a t i v e h i l b e r t s p a c e p r o c e d u r e s .

J o u r n a l o f A p p r o x i m a t i o n T h e o r y , 4 2 : 1 7 3 8 2 1 1 ; 1 8 0 , 1 9 8 4 .

[ 9 ] J . A . B a r r e t o a n d C . S . B u r r u s . C o m p l e x a p p r o x i m a t i o n u s i n g i t e r a t i v e r e w e i g h t e d l e a s t s q u a r e s f o r r

d i g i t a l l t e r s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h , a n d S i g n a l

P r o c e s s i n g , p a g e I I I : 5 4 5 8 2 1 1 ; 5 4 8 , I E E E I C A S S P - 9 4 , A d e l a i d e , A u s t r a l i a , A p r i l 1 9 8 2 1 1 ; 2 2 1 9 9 4 .

[ 1 0 ] J . A . B a r r e t o a n d C . S . B u r r u s . I t e r a t i v e r e w e i g h t e d l e a s t s q u a r e s a n d t h e d e s i g n o f t w o - d i m e n s i o n a l

r d i g i t a l l t e r s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a g e P r o c e s s i n g , v o l u m e I ,

p a g e I : 7 7 5 8 2 1 1 ; 7 7 9 , I E E E I C I P - 9 4 , A u s t i n , T e x a s , N o v e m b e r 1 3 - 1 6 1 9 9 4 .

[ 1 1 ] C . S . B u r r u s a n d J . A . B a r r e t o . L e a s t - p o w e r e r r o r d e s i g n o f r l t e r s . I n P r o c e e d i n g s o f t h e I E E E

I n t e r n a t i o n a l S y m p o s i u m o n C i r c u i t s a n d S y s t e m s , v o l u m e 2 , p a g e 5 4 5 8 2 1 1 ; 5 4 8 , I S C A S - 9 2 , S a n D i e g o ,

C A , M a y 1 9 9 2 .

[ 1 2 ] C . S . B u r r u s , J . A . B a r r e t o , a n d I . W . S e l e s n i c k . R e w e i g h t e d l e a s t s q u a r e s d e s i g n o f r l t e r s . I n P a p e r

S u m m a r i e s f o r t h e I E E E S i g n a l P r o c e s s i n g S o c i e t y ' s F i f t h D S P W o r k s h o p , p a g e 3 . 1 . 1 , S t a r v e d R o c k

L o d g e , U t i c a , I L , S e p t e m b e r 1 3 8 2 1 1 ; 1 6 1 9 9 2 .

[ 1 3 ] C . S . B u r r u s , J . A . B a r r e t o , a n d I . W . S e l e s n i c k . I t e r a t i v e r e w e i g h t e d l e a s t s q u a r e s d e s i g n o f r l t e r s .

I E E E T r a n s a c t i o n s o n S i g n a l P r o c e s s i n g , 4 2 ( 1 1 ) : 2 9 2 6 8 2 1 1 ; 2 9 3 6 , N o v e m b e r 1 9 9 4 .

[ 1 4 ] R i c h a r d H . B y r d a n d D a v i d A . P y n e . C o n v e r g e n c e o f t h e i t e r a t i v e l y r e w e i g h t e d l e a s t s q u a r e s a l g o -

r i t h m f o r r o b u s t r e g r e s s i o n . T e c h n i c a l r e p o r t 3 1 3 , D e p t . o f M a t h e m a t i c a l S c i e n c e s , T h e J o h n s H o p k i n s

U n i v e r s i t y , J u n e 1 9 7 9 .



23/26


[ 1 5 ] B . L . C h a l m e r s , A . G . E g g e r , a n d G . D . T a y l o r . C o n v e x a p p r o x i m a t i o n . J o u r n a l o f A p p r o x i m a t i o n

T h e o r y , 3 7 : 3 2 6 8 2 1 1 ; 3 3 4 , 1 9 8 3 .

[ 1 6 ] X . C h e n a n d T . W . P a r k s . D e s i g n o f r l t e r s i n t h e c o m p l e x d o m a i n . I E E E T r a n s a c t i o n s o n A c o u s t i c s ,

S p e e c h a n d S i g n a l P r o c e s s i n g , 3 5 : 1 4 4 8 2 1 1 ; 1 5 3 , F e b r u a r y 1 9 8 7 .

[ 1 7 ] E . W . C h e n e y . I n t r o d u c t i o n t o A p p r o x i m a t i o n T h e o r y . M c G r a w - H i l l , N e w Y o r k , 1 9 6 6 .

[ 1 8 ] C h o n g - Y u n g C h i a n d S h y u - L i C h i o u . A n e w s e l f 8 2 1 1 ; i n i t i a t e d w l s a p p r o x i m a t i o n m e t h o d f o r t h e d e s i g n

o f t w o 8 2 1 1 ; d i m e n s i o n a l e q u i r i p p l e r d i g i t a l l t e r s . I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l S y m p o s i u m

o n C i r c u i t s a n d S y s t e m s , p a g e 1 4 3 6 8 2 1 1 ; 1 4 3 9 , S a n D i e g o , C A , M a y 1 9 9 2 .

[ 1 9 ] N a s s i m N . C h i t a n d J o h n S . M a s o n . C o m p l e x c h e b y s h e v a p p r o x i m a t i o n f o r r d i g i t a l l t e r s . I E E E

T r a n s a c t i o n s o n S i g n a l P r o c e s s i n g , 3 9 ( 1 ) : 4 9 8 2 1 1 ; 5 4 , J a n u a r y 1 9 9 1 .

[ 2 0 ] D a n i e l T

[U+FFFD]r a d e Q u e i r o z C o b r a . F i r d i g i t a l l t e r d e s i g n b y t h e m e t h o d o f s u c c e s s i v e p r o j e c t i o n s .

T e c h n i c a l r e p o r t , M I T , J a n u a r y 1 9 8 6 .

[ 2 1 ] J . J . D o n g a r r a , J . R . B u n c h , C . B . M o l e r , a n d G . W . S t e w a r t . L I N P A C K U s e r ' s G u i d e . S I A M ,

P h i l a d e l p h i a , P A , 1 9 7 9 .

[ 2 2 ] H a k a n E k b l o m . C a l c u l a t i o n o f l i n e a r b e s t 8 2 1 1 ; a p p r o x i m a t i o n s . B I T , 1 3 ( 3 ) : 2 9 2 8 2 1 1 ; 3 0 0 , 1 9 7 3 .

[ 2 3 ] M . H . E r a n d C . K . S i e w . D e s i g n o f r l t e r s u s i n g q u a d r a t i c p r o g r a m m i n g a p p r o a c h . I E E E T r a n s a c t i o n

o n C i r c u i t s a n d S y s t e m s 8 2 1 1 ; I I , 4 2 ( 3 ) : 2 1 7 8 2 1 1 ; 2 2 0 , M a r c h 1 9 9 5 .

[ 2 4 ] J o h n D . F i s h e r . D e s i g n o f F i n i t e I m p u l s e R e s p o n s e D i g i t a l F i l t e r s . P h . d . t h e s i s , R i c e U n i v e r s i t y , 1 9 7 3 .

[ 2 5 ] R . F l e t c h e r , J . A . G r a n t , a n d M . D . H e b d e n . T h e c a l c u l a t i o n o f l i n e a r b e s t a p p r o x i m a t i o n s . C o m p u t e r

J o u r n a l , 1 4 : 2 7 6 8 2 1 1 ; 2 7 9 , 1 9 7 1 .

[ 2 6 ] C . B . G a r c i a a n d W . I . Z a n g w i l l . P a t h w a y s t o S o l u t i o n s , F i x e d P o i n t s , a n d E q u i l i b r i a . P r e n t i c e - H a l l ,

E n g l e w o o d C l i s , N J , 1 9 8 1 .

[ 2 7 ] P h i l i p E . G i l l , W a l t e r M u r r a y , a n d M a r g a r e t H . W r i g h t . P r a c t i c a l O p t i m i z a t i o n . A c a d e m i c P r e s s ,

L o n d o n , 1 9 8 1 .

[ 2 8 ] D . B . H a r r i s a n d R . M . M e r s e r a u . A c o m p a r i s o n o f a l g o r i t h m s f o r m i n i m a x d e s i g n o f t w o 8 2 1 1 ; d i m e n s i o n a l

l i n e a r 8 2 1 1 ; p h a s e r d i g i t a l l t e r s . I E E E T r a n s a c t i o n s o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , 2 5 ( 6 ) ,

1 9 7 7 .

[ 2 9 ] S . W . K a h n g . B e s t a p p r o x i m a t i o n . M a t h e m a t i c s o f C o m p u t a t i o n , 2 6 ( 1 1 8 ) : 5 0 5 8 2 1 1 ; 5 0 8 , A p r i l 1 9 7 2 .

[ 3 0 ] L . A . K a r l o v i t z . C o n s t r u c t i o n o f n e a r e s t p o i n t s i n t h e , e v e n , a n d n o r m s . i . J o u r n a l o f A p p r o x i m a t i o n

T h e o r y , 3 : 1 2 3 8 2 1 1 ; 1 2 7 , 1 9 7 0 .

[ 3 1 ] M a r k u s L a n g a n d J o a c h i m B a m b e r g e r . N o n l i n e a r p h a s e r l t e r d e s i g n w i t h m i n i m u m l s e r r o r a n d

a d d i t i o n a l c o n s t r a i n t s . I n P r o c e e d i n g s o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h , a n d S i g n a l

P r o c e s s i n g , p a g e I I I : 5 7 8 2 1 1 ; 6 0 , M i n n e a p o l i s , I C A S S P - 9 3 , A p r i l 1 9 9 3 .

[ 3 2 ] M a r k u s L a n g a n d J o a c h i m B a m b e r g e r . N o n l i n e a r p h a s e r l t e r d e s i g n a c c o r d i n g t o t h e n o r m w i t h

c o n s t r a i n t s f o r t h e c o m p l e x e r r o r . S i g n a l P r o c e s s i n g , 3 6 ( 1 ) : 3 1 8 2 1 1 ; 4 0 , M a r c h 1 9 9 4 . P a p e r r e p r i n t e d i n

J u l y i s s u e t o c o r r e c t t y p e s e t t i n g e r r o r s .

[ 3 3 ] M a t h i a s C . L a n g . D e s i g n o f n o n l i n e a r p h a s e r d i g i t a l l t e r s u s i n g q u a d r a t i c p r o g r a m m i n g . I n P r o c e e d -

i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , M u n i c h , A p r i l

1 9 9 7 .



24/26


[ 3 4 ] C . L . L a w s o n . C o n t r i b u t i o n t o t h e T h e o r y o f L i n e a r L e a s t M a x i m u m A p p r o x i m a t i o n s . P h . d . t h e s i s ,

U n i v e r s i t y o f C a l i f o r n i a a t L o s A n g e l e s , 1 9 6 1 .

[ 3 5 ] C . L . L a w s o n a n d R . J . H a n s o n . S o l v i n g L e a s t S q u a r e s P r o b l e m s . P r e n t i c e - H a l l , I n g l e w o o d C l i s , N J ,

1 9 7 4 .

[ 3 6 ] Y u y i n g L i . A g l o b a l l y c o n v e r g e n t m e t h o d f o r p r o b l e m s . T e c h n i c a l r e p o r t T R 9 1 - 1 2 1 2 , C o m p u t e r S c i e n c e

D e p a r t m e n t , C o r n e l l U n i v e r s i t y , I t h a c a , N Y 1 4 8 5 3 - 7 5 0 1 , J u n e 1 9 9 1 .

[ 3 7 ] Y . C . L i m , J . H . L e e , C . K . C h e n , a n d R . H . Y a n g . A w e i g h t e d l e a s t s q u a r e s a l g o r i t h m

f o r q u a s i 8 2 1 1 ; e q u r i p p l e r a n d i i r d i g i t a l l t e r d e s i g n . I E E E T r a n s a c t i o n s o n S i g n a l P r o c e s s i n g ,

4 0 ( 3 ) : 5 5 1 8 2 1 1 ; 5 5 8 , M a r c h 1 9 9 2 .

[ 3 8 ] J . H . L o d g e a n d M . F a h m y . A n e c i e n t o p t i m i z a t i o n t e c h n i q u e f o r t h e d e s i g n o f t w o 8 2 1 1 ; d i m e n s i o n a l

l i n e a r 8 2 1 1 ; p h a s e d i g i t a l l t e r s . I E E E T r a n s a c t i o n s o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , 2 8 ( 3 ) ,

1 9 8 0 .

[ 3 9 ] D . G . L u e n b e r g e r . O p t i m i z a t i o n b y V e c t o r S p a c e M e t h o d s . J o h n W i l e y & S o n s , N e w Y o r k , 1 9 6 9 .

[ 4 0 ] J . S . M a s o n a n d N . N . C h i t . N e w a p p r o a c h t o t h e d e s i g n o f r d i g i t a l l t e r s . I E E P r o c e e d i n g s , P a r t G ,

1 3 4 ( 4 ) : 1 6 7 8 2 1 1 ; 1 8 0 , 1 9 8 7 .

[ 4 1 ] G . W . M e d l i n a n d J . W . A d a m s . A n e w t e c h n i q u e f o r m a x i m a l l y l i n e a r d i e r e n t i a t o r s . I n P r o c e e d i n g s

o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g , p a g e 8 2 5 8 2 1 1 ; 8 2 8 ,

1 9 8 9 .

[ 4 2 ] G . W . M e d l i n , J . W . A d a m s , a n d C . T . L e o n d e s . L a g r a n g e m u l t i p l i e r a p p r o a c h t o t h e d e s i g n o f

r l t e r s f o r m u l t i r a t e a p p l i c a t i o n s . I E E E T r a n s a c t i o n s o n C i r c u i t s a n d S y s t e m s , 3 5 : 1 2 1 0 8 2 1 1 ; 1 2 1 9 ,

O c t o b e r 1 9 8 8 .

[ 4 3 ] G . M e r l e a n d H . S p

[U+FFFD]. C o m p u t a t i o n a l e x p e r i e n c e s w i t h d i s c r e t e 8 2 1 1 ; a p p r o x i m a t i o n . C o m p u t i n g ,

1 2 : 3 1 5 8 2 1 1 ; 3 2 1 , 1 9 7 4 .

[ 4 4 ] C l e v e M o l e r , J o h n L i t t l e , a n d S t e v e B a n g e r t . M a t l a b U s e r ' s G u i d e . T h e M a t h W o r k s , I n c . , S o u t h N a t i c k ,

M A , 1 9 8 9 .

[ 4 5 ] J . M . O r t e g a a n d W . C . R h e i n b o l d t . I t e r a t i v e S o l u t i o n s o f N o n l i n e a r E q u a t i o n s i n S e v e r a l V a r i a b l e s .

A c a d e m i c P r e s s , N e w Y o r k , 1 9 7 0 .

[ 4 6 ] T . W . P a r k s a n d C . S . B u r r u s . D i g i t a l F i l t e r D e s i g n . J o h n W i l e y & S o n s , N e w Y o r k , 1 9 8 7 .

[ 4 7 ] T . W . P a r k s , L . R . R a b i n e r , a n d J . H . M c C l e l l a n . O n t h e t r a n s i t i o n w i d t h o f n i t e i m p u l s e - r e s p o n s e

d i g i t a l l t e r s . I E E E T r a n s a c t i o n s o n A u d i o a n d E l e c t r o a c o u s t i c s , 2 1 ( 1 ) : 1 8 2 1 1 ; 4 , F e b r u a r y 1 9 7 3 .

[ 4 8 ] A l e x a n d e r W . P o t c h i n k o v . D e s i g n o f o p t i m a l l i n e a r p h a s e r l t e r s b y a s e m i - i n n i t e p r o g r a m m i n g

t e c h n i q u e . S i g n a l P r o c e s s i n g , 5 8 : 1 6 5 8 2 1 1 ; 1 8 0 , 1 9 9 7 .

[ 4 9 ] A l e x a n d e r W . P o t c h i n k o v a n d R e m b e r t M . R e e m t s e n . F i r l t e r d e s i g n i n t h e c o m p l e x p l a n e b y a

s e m i - i n n i t e p r o g r a m m i n g t e c h n i q u e i , t h e m e t h o d . A E [U+FFFD]

, 4 8 ( 3 ) : 1 3 5 8 2 1 1 ; 1 4 4 , 1 9 9 4 .

[ 5 0 ] A l e x a n d e r W . P o t c h i n k o v a n d R e m b e r t M . R e e m t s e n . F i r l t e r d e s i g n i n t h e c o m p l e x p

Documents

Constrained Approximation and Mixed Criteria