7/26/2019 A Survey on Image Enhancement Techniques Classical
Filters_Neural Networks
1/6
A
S u r v e y
o n
I m a g e
E n h a n c e m e n t T e c h n i q u e s :
C l a s s i c a l
S p a t i a l
F i l t e r ,
N e u r a l
N e t w o r k ,
C e l l u l a r
N e u r a l
N e t w o r k , a n d
F u z z y
F i l t e r
D r .
D . H .
R a o , S e n i o r M e m b e r ,
IEEE
P r i n c i p a l ,
KLS G o g t e I n s t i t u t e o f T e c h n o l o g y ,
U d y a m b a g , B e l g a u m ,
K a r n a t a k a
( I N D I A )
a n d
P a t a v a r d h a n P r a s h a n t
P a n d u r a n g a ,
S t u d e n t
M e m b e r ,
IEEE
R e s e a r c h S c h o l a r , R e s e a r c h
C e n t r e , D e p a r t m e n t
o f
E l e c t r o n i c s a n d C o m m u n i c a t i o n
E n g i n e e r i n g ,
KLS
G o g t e
I n s t i t u t e o f
T e c h n o l o g y , U d y a m b a g ,
B e l g a u m ,
K a r n a t a k a
( I N D I A )
E - m a i l :
p r a s h a n t g e m i n i , v a h o o . c o i n
/
pat
i t e d u ,
d . h . r a o
i t e d u
A b s t r a c t -
P r e s e n t d a y a p p l i c a t i o n s r e q u i r e v a r
i o u s k i n d s o f n o i s e i s
c o m p l e t e l y
c h a r a c t e r i z e d
b y
i t s
v a r i a n c e ,
a n d i t i s
i m a g e s a n d p i c t u r e s
a s s o u r c e s o f i n f o r m a t i o n f o r i n t e r p r
e t a t i o n
e i t h e r
s u p e r i m p o s e d o r
a d d e d t o
t h e i m a g e .
a n d
a n a l y s i s .
W h e n e v e r
a n
i m a g e
i s
c o n v e r t e d
f r o m
o n e
f o r m
t o
H e n c e ,
i t
i s
a
g r e a t
c h a l l e n g e
t o
d e v e l o p
a l g o r i t h m s
a n o t h e r , s u c h
a s , d i g i t i z i n g ,
s c a n n i n g ,
t r a n s m i t t i n g ,
s t o r i n g ,
e t c . ,
t h a t c a n
r e m o v e n o i s e
f r o m
a n i m a g e w i t h o u t d i s t u r b i n g i t s
s o m e
f o r m
o f
d e g r a d a t i o n
o c c u r s a t t h e
o u t p u t . H e n c e ,
t h e
o u t p u t c o n t e n t .
T h e n e i g h b o r h o o d a v e r a g i n g
a n d
s m o o t h i n g
b y
i m a g e
h a s
t o
u n d e r g o
a p r o c e s s
c a l l e d
i m a g e e n h a n c e m e n t w h i c h
c o n s i s t s
o f
a
c o l l e c t i o n
o f
t e c h n i q u e s
t h a t s e e k t o
i m p r o v e
t h e v i s u a l
i m a
e
a v r a g i n g
r e T h e c l a s s i c a l i a g
p r o c e s i n g
a p p e a r a n c e
o f a n
i m a g e .
I n
t h i s
p a p e r ,
a c l a s s i c a l
s p a t i a l f i l t e r ,
t e c h n i q u e s
f o r
n o i s e
r e m o v a l . T h e
c l a s s i c a l
s p a t i a l
f i l t e r i n g
n e u r a l
n e t w o r k
N N ) ,
c e l l u l a r n e u r a l n e t w o r k
( C N N )
a n d
f u z z y
r e f e r s
t o
t h e a g g r e g a t e o f p i x e l s
c o m p o s i n g
a n i m a g e
a n d
f i l t e r s
a r e
p r e s e n t e d
f o r t h e n o i s e
r e d u c t i o n
o f
i m a g e s
t h a t a r e
o p e r a t i n g d i r e c t l y
on
t h e s e
p i x e l s .
c o r r u p t e d
w i t h
a d d i t i v e n o i s e .
A
t h r e e
l a y e r
n e u r a l n e t w o r k i s
T h e
NN
t e c h n i q u e s
h a v e s h o w n t o b e a
p o w e r f u l
i n
t r a i n e d f o r f e w t e s t
i m a g e s
a n d
i s
u s e d
t o f i l t e r t h e
c o r r u p t e d f o r m a t i o n p r o c e s s i n g t o o l
s ,
e s p e c i a l l y
f o r
t h o s e t a s k s t h a t
a r e
c o l o u r
i m a g e s .
A
s i n g l e
l a y e r
CNN
i s
d e v e l o p e d
t o r e d u c e t h e
n o i s e
d i f f i c u l t
t o
b e s o l v e d ,
s u c h
a s : p a t t e r n r e c o g n i t i o n ,
i m a g e
i n
t h e
c o l o u r i m a g e a n d
c o m p a r e d
w i t h
t h a t
o f
t h e c l a s s i c a l
s p a t i a l
a n a l y s i s ,
e t c . [ 4 ] . T h e s e c a n b e p e r f e c t l y
a d a p t e d
f o r
i m a g e
f i l t e r .
A
new
f u z z y
f i l t e r
t e c h n i q u e
i s s t u d i e d
w i t h
r e s p e c t
t o
n o i s y e n h a n c e m e n t .
g r a y
s c a l e
i m a g e s .
A l l
t h e
t e c h n i q u e s
p r o d u c e c o n v i n c i n g
r e s u l t s
T h e CNNs
p r o p o s e d
b y
C h u a e t . a l
[ 5 ]
[ 6 ]
a r e
when a p p l i e d
t o a d d i t i v e
( G a u s s i a n )
n o i s y
i m a g e s .
E x p e r i m e n t a l
h e a
CNNs
p o s t e
b y
a
e a [ 5
6
a r e
r e s u l t s
a r e
o b t a i n e d
b a s e d
o n
t h e
m a t h e m a t i c a l
m o d e l s
o f
e x p e r t
n o n l i n e a r
d y n a m i c
s y s t e m s
c o n s i s i h n g
o f
a l a r g e
a r r a y
o f
s y s t e m s
a n d
c o m p a r e d b y
n um e r i c a l m e a s u r e s a n d
v i s u a l
p r o c e s s i n g
u n i t s
c e l l s ) w i t h e a c h
u n i t
c o n n e c t e d o n l y
t o
i t s
i n s p e c t i o n .
I t
i s
e n v i s a g e d
t o t r a i n CNN
u s i n g g r a d i e n t
d e s c e n t
n e i g h b o r i n g
u n i t s i n a
n e i g h b o r h o o d .
T h e
2 - d i m e n s i o n a l
b a c k - p r o p a g a t i o n
a l g o r i t h m
f o r b e t t e r r e s u l t s a n d e x t e n d
f u z z y
d i s c r e t e t i m e
( D T )
CNNs h a v e b e e n
s h o w n
t o b e
v e r y
f i l t e r
t e c h n i q u e
t o r e d u c e
n o i s e
i n
c o l o u r
i m a g e s . e f f i c i e n t
i n
i m a g e
p r o c e s s i n g
a n d p a t t e r n
r e c o g n i t i o n
a p p l i c a t i o n s
[ 6 ] ,
s u c h
a s ,
s h a d o w
d e t e c t i o n ,
e d g e
d e t e c t i o n ,
K e y w o r d s :
C l a s s i c a l
S p a t i a l
F i l t e r ,
N e u r a l
N e t w o r k ,
G r a d i e n t
f e a t u r e
e x t r a c t i o n ,
h o l e f i l l i n g , e t c .
D e s c e n t
B a c k - p r o p a g a t i o n A l g o r i t h m ,
C e l l u l a r N e u r a l
A v e r y i m p o r t a n t
a d d e d
v a l u e o f
f u z z y
s e t t h e o r y i s
i t s
n e t w o r k , F u z z y
F i l t e r
a b i l i t y t o
m o d e l
a n d
t o r ea s on w i t h u n c e r t a i n t y .
When
p r o c e s s i n g
a n
i m a g e
f o r
n o i s e r e d u c t i o n
u n c e r t a i n t y
o c c u r s .
I .
INTRODUCTION
F u z z y
s e t
t h e o r y
a n d
f u z z y l o g i c
a l l o w
t o
m o d e l a n d
t o w o r k
I m a g e s
c a n
b e c on ta mi n a t e d w i t h
d i f f e r e n t
t y p e s
o f
w i t h t h i s u n c e r t a i n t y , a n d t o
i m p r o v e
t h e
q u a l i t y o f n o i s e
n o i s e ,
f o r d i f f e r e n t
r e a s o n s . F o r
e x a m p l e ,
n o i s e c a n
o c c u r
r e d u c t i o n .
b e c au s e o f t h e
c i r c u m s t a n c e s
o f
r e c o r d i n g e l e c t r o n i c
n o i s e i n
a
T h i s
p a p e r i s d i v i d e d i n t o s e v e n s e c t i o n s
.
I n s e c t i o n I I ,
c a m e r a s ,
d u s t
i n
f r o n t
o f
t h e
l e n s ) ,
b e c a u s e
o f
t h e
t h e
p a p e r
d e s c r i b e d
t h e
b a s i s
f o r c l a s s i c a l s p a t i a l
f i l t e r s .
c i r c u m s t a n c e s
o f t r a n s m i s s i o n
( d a m a g e d d a t a )
o r b e c a u s e
o f
S e c t i o n I I I d e s c r i b e s h o e
n o i s e r e d u c t i o n c a n
b e
a c h i e v e d b y
s t o r a g e ,
c o p y i n g , s c a n n i n g ,
e t c .
I m p u l s e
n o i s e
e . g .
s a l t a n d
t r a i n i n g c o n v e n t i o n a l
N N .
T h e DTCNN a r c h i t e c t u r e f o r
p e p p e r n o i s e )
a n d a d d i t i v e n o i s e
e . g .
G a u s s i a n
n o i s e )
a r e t h e
c o l o u r
i m a g e
e n h a n c e m e n t i s
d e s c r i b e d i n s e c t i o n I V . I n
m o s t
c o m m o n l y
f o u n d .
I m p u l s e
n o i s e i s c h a r a c t e r i z e d
b y
t h e
s e c t i o n V a new
f u z z y
f i l t e r
m e t h o d
i s
e x p l a i n e d . S e c t i o n V I
f a c t t h a t t h e p i x e l s i n a n
i m a g e
e i t h e r
r e m a i n u n c h a n g e d
o r
g e t
i s d e v o t e d t o c o m p a r e t h e p e r f o r m a n c
e
o f
d i f f e r e n t
i m a g e
o n e
o f t h e t w o s p e c i f i c v a l u e s 0
b l a c k )
a n d
1
w h i t e ) ;
a n
e n h a n c e m e n t
t e c h n i q u e s a n d
d i s c u s s e d
w i t h
n u m e r i c a l
i m p o r t a n t
p a r a m e t e r
i s t h e
n o i s e
d e n s i t y w h i c h
e x p r e s s e s t h e
m e a s u r e s .
f r a c t i o n
o f
t h e i m a g e p i x e l
t h a t
a r e c o n t a m i n a t e d .
G a u s s i a n
1 - 4 2 4 4 - 0 7 2 6 - 5 / 0 6 / 2 0 . O O ' 2 0 0 6 IEEE
2 8 2 1
7/26/2019 A Survey on Image Enhancement Techniques Classical
Filters_Neural Networks
2/6
I I . CLASSICAL SPATIAL FILTERS
t h e a v e r a g e .
I n o r d e r
t o p e r f o r m m e d i a n f i l t e r i n g
i n
a
T h e
p r i n c i p l e o b j e c t i v e
o f e n h a n c e m e n t
t e c h n i q u e s i s n e i g h b o r h o o d o f
a p i x e l , f i r s t s o r t t h e
v a l u e s o f
t h e
p i x e l
a n d
i t s
t o p r o c e s s a n i m a g e s o t h a t t h e
r e s u l t
i s m o r e s u i t a b l e t h a n t h e
n e i g h b o r s ,
d e t e r m i n e t h e
m e d i a n ,
a n d
a s s i g n
t h i s
v l u e
t o t h e
o r i g i n a l i m a g e f o r s p e c i f i c a p p l i c a t
i o n s . S p a t i a l d o m a i n
p i x e l .
m e t h o d s
a r e
p r o c e d u r e s
t h a t
o p e r a t e d i r e c t l y o n t h e s e
p i x e l s .
T h e
p r i n c i p a l a p p r o a c h
t o d e f i n i n g a n e i g h b o r h o o d a b o u t x ,
y ) I I I .
NEURAL
NETWORK
( m a s k ) i s
t o u s e a s q u a r e o r r e c t a n g u l a r
s u b i m a g e
a r e a c e n t e r e d T h e c l a s s i c a l n o i s e r e d
u c t i o n s p a t i a l f i l t e r s h a v e t w o
a t
x , y ) .
A s p a t i a l f i l t e r e d
o u t p u t
i m a g e
g x , y ) c a n
b e f o r m e d m a i n
d i s a d v a n t a g e s . F i r s t , t h e y
t r e a t
a l l
t h e
p i x e l s
i n t h e
b y
d i s c r e t e
c o n v o l u t i o n
o f
a n
i n p u t
i m a g e
f x ,
y )
w i t h LxL
same
w a y .
T h i s
i s
n o t
d e s i r a b l e ,
b e c a u s e
n o t
a l l
t h e
p i x e l s
i m p u l s e
r e s p o n s e
a r r a y h x ,
y ) a c c o r d i n g t o
t h e r e l a t i o n ,
w i l l
b e c o nt a mi n a te d w i t h n o i s e i n t h e s a m e
w a y .
S e c o n d l y ,
g x , y )
=
E
f x , y ) h ( m
+
x
+ C ,
n +
y
+
C )
1 )
o n e
s h o u l d
t r y
t o f i n d a n
a d a p t i v e
way
t o
r e p l a c e
a
p i x e l
v a l u e , t a k i n g
i n t o
a c c o u n t c h a r a c t e r i s t i c s
o f t h e
w h e r e
C
= L
+ 1 ) / 2 .
T h e
e q u a t i o n
u t i l i z e s
t h e c e n t e r e d
n e i g h b o r h o o d
o f t h e
p i x e l .
c o n v o l u t i o n , w h e r e b y t h e i n p u t a n d
o u t p u t
a r r a y s a r e
c e n t e r e d
T h e u s e
o f NN a n d f u z z y t e c h n i q u e o f f e r s a
s o l u t i o n .
w i t h
r e s p e c t t o
o n e
a n o t h e r ,
w i t h
t h e
o u t e r
b o u n d a r y o f
g x ,
y )
N e u r a l n e t w o r k i s a g r o u p
o f
e l e m e n t a r y p r o c e s s e s
w i t h
o f w i d t h
L
1 ) / 2 p i x e l s
s e t t o
z e r o .
S p a t i a l
f i l t e r s a r e
s t r o n g
i n t e r c o n n e c t i o n s . B a s e d o n t h e
l e a r n i n g
a l g o r i t h m
o f
e r r o r
b a c k - p r o p a g a t i o n ,
NN
c a n
b e
p e r f e c t l y a d a p t e d
f o r
b r o a d l y
c l a s s i f i e d
a s
l i n e a r a n d n o n l i n e a r f i l t e r s a n d
b o t h
i m a g e e n h a n c e m e n t . A s e l f
o r g a n i z i n g
t h r e e l a y e r e d f e e d
o p e r a t e
o n n e i g h b o r h o o d .
f o r w a r d
NN
i s
e m p l o y e d
f o r i m a g e e n h a n c e m e n t .
I n t h i s
a r c h i t e c t u r e ,
t h e n u m b e r o f
n e u r o n s
i n e a c h
l a y e r
i s
e q u a l
t o
A v e r a g i n g
o r L o w p a s s S p a t i a l
F i l t e r i n g
n u m b e r
o f
p i x e l s w i t h 3
x 3
n e i g h b o r h o o d
a s
s h o w n i n
F i g . 1 .
T h i s i s
a
t y p e o f l i n e a r
s p a t i a l
f i l t e r .
F o r n o i s e
r e d u c t i o n ,
h
s h o u l d b e o f l o w p a s s
f o r m ,
w i t h
a l l
p o s i t i v e
e l e m e n t s .
S e v e r a l
c o m m o n
p i x e l
i m p u l s e
r e s p o n s e
a r r a y s
o f
l o w p a s s
f o r m a r e
l i s t e d
a s ,
hl=
- { I
I
1
2 )
h 3 = - _ 2
1)
0
h = 1 1
2 1 3
1I
1
F i g u r e
1 .
N e u ra l n e t w o r k a r c h i t e c t u r e
h 3 = -
2
4 2
4 )
1 6
1 2
1
I n p u t L a y e r
H i d d e n
L a y e r
W e i g h t s
T h e s e
a r r a y s ,
c a l l e d n o i s e
r e d u c t i o n
m a s k s
[ 1 ] ,
a r e n o r m a l i z e d
W e i g h t s
t o
u n i t
w e i g h t s
s o t h a t t h e n o i s e r e d u c t i o n
p r o c e s s
d o e s n o t
O u t p u t
i n t r o d u c e a n
a m p l i t u d e
b i a s
i n
t h e
p r o c e s s e d i m a g e .
M e d i a n
F i l t e r I n p u t s
T h e l i n e a r
p r o c e s s i n g t e c h n i q u e s p e r f o r m
r e a s o n a b l y
w e l l
o n
i m a g e s
w i t h c o n t i n u o u s
n o i s e ,
s u c h
a s a d d i t i v e
G a u s s i a n
d i s t r i b u t e d n o i s e
a n d
t h e y
t e n d t o
p r o v i d e
t o o much
s o o t h i n g
f o r
i m p u l s e
l i k e
n o i s e
[ 2 ] .
N o n l i n e a r
t e c h n i q u e s
o f t e n
p r o v i d e
a
b e t t e r t r a d e - o f f
b e t w e e n n o i s e
s m o o t h i n g
a n d
r e t e n t i o n
o f
f i n e
i m a g e
d e t a i l .
L o w p a s s
s p a t i a l
f i l t e r i n g
o f
t h e
s m o o t h i n g
m e t h o d
F i g u r e 2 . F e e d
f o r w a r d
NN
s t r u c t u r e
b l u r s
e d g e s
a n d o t h e r
s h a r p
d e t a i l s .
As
t h e
o b j e c t i v e
i s t o
a c h i e v e
n o i s e r e d u c t i o n
r a t h e r
t h a n b l u r r i n g , a n
a l t e r n a t i v e E a c h n e u r o n i n a l a y e r i
s
c o n n e c t e d
t o
t h e c o r r e s p o n d i n g
m e d i a n f i l t e r i s
d e v e l o p e d b y
T u k e y
[ 1 ]
f o r n o i s e s u p p r e s s i o n .
n e u r o n i n
t h e p r e v i o u s l a y e r a n d i t s
n e i g h b o r s v i a w e i g h t s .
T h e
T h a t
i s t h e
g r a y
l e v e l o f e a c h p i x e l i s r e p l a c e d b y
t h e
m e d i a n
o f
a l g o r i t h m
i n v o l v e s a h i g h c o mp u t at i o na l c o m p l e x i
t y , s i n c e
a l l
t h e
g r a y
l e v e l s
i n
a n e i g h b o r h o o d o f t h a t
p i x e l , i n s t e a d
o f b y t h e
w e i g h t s i n
t h e n e t w o r k a r e
a d a p t e d
i n
e v e r y i t e r a t i o n d u r i n g
2 8 2 2
