Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
COLOR, TEXTURA I FORMA
X.Cufí, J.Martí,J.Freixenet, X.Muñoz i X.Lladó
Visió per computador
Dept. Electrònica, Informàtica i Automàtica
UdGUniversitat de Girona
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometric stereo
Índex
Fonts d�informació visual:
1. Introducció
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
Color
Textura
Forma
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometric stereo
Índex
2. Color
- Definició de color:
El color és una característica de la llum, que no és deguda a no-homogeneïtats espacials o temporals, considerant que la llum ésl�aspecte de l�energia radiant que l�observador humà és capaç depercebre per l�estimulació que produeix a la retina.
[Comitè de Colorimetria de la Optical Society of America]
- La llum:
La llum és una radiació electromagnètica. Una forma d�energia que espot caracteritzar d�acord amb les seves components que venendonades per la seva longitud d�ona.
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
Espectre de la radiació electromagnètica.
2. Color (II)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2. Color (III)
La llum visible és una part molt petita de tot l�espectre.
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2. Color (IV)
Espectre de la llum visible:
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2. Color (V)
Atributs perceptius bàsics: descriuen la informació de la distribucióde potència espectral.
- Intensitat (Lluminositat): Atribut de la sensació visual per la queun color pot semblar més o menys intens.
- To (Hue): Atribut de la percepció d�un color que es denota pelseu nom: blau, verd, groc, vermell, púrpura.
- Cromacitat (saturació): Atribut de la percepció d�un color per lala que s�exhibeix més o menys quantitat del seu to (puresa delcolor).
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2. Color (VI)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.1. Espais de color
Espai RGB:
RGB normalitzat:
Espai HSI (Carron i Lambert):
3
BGRI
++=
I
BGRminS
),,(1−=
>
−−+−
−+−−Π
≤
−−+−
−+−
=
GBifBGBRGR
BRGR
GBifBGBRGR
BRGR
H
))(()(
))()((2
1
arccos2
))(()(
))()((2
1
arccos
2
2
BGR
Rr
++=
BGR
Gg
++=
BGR
Bb
++=
BGR
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.1. Espais de color (II)
Espai HSV (Smith):
Espai HSV (Tenenbaum):
),,(
),,(
),,(
)4(*60
)2(*60
)(*60
BGRmaxBif
BGRmaxGif
BGRmaxRif
gr
br
gb
H
===
′−′+′−′+
′−′= ),,(),,(
),,(
BGRminBGRmax
RBGRmaxr
−−
=′
min(R,G,B)max(R,G,B)
Gmax(R,G,B)g
−−
=′
),,(
),,(),,(
BGRmax
BGRminBGRmaxS
−=
),,(),,(
),,(
BGRminBGRmax
BBGRmaxb
−−
=′
),,( BGRmaxV =
−−−
=BGR
BGarctanH
2
)(3
3
BGRV
++=
++++++−=
BGR
B
BGR
G
BGR
RminS ,,*31
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.1. Espais de color (III)
Espai CIEL*a*b (Celenk):
I1I2I3 (Ohta):
( ) 2122 *** baC +=
** LL =[ ] 01.016116* 031
0 >−= YYYYL
( ) ( )[ ] 01.0500* 031
031
0 >−= XXYYXXa
( ) ( )[ ] 01.0200* 031
031
0 >−= ZZZZYYb
( )**º 1 abtanH −=
BGRX 1300.17518.17690.2 +−=BGRY 0601.05907.40000.1 +−=BGRZ 5943.50565.00000.0 +−=
31
BGRI
++= BRI −=2
2
23
BRGI
−−=
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.2. Aplicacions
Tasques visuals en les que intervé el color:
- Segmentació d�imatges.
- Reconeixement d�objectes.
- Classificació.
- Indexació en bases de dades.
- Extracció de la forma a partir de la variació del color. (Shape from colour)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.2. Aplicacions (II)
Segmentació:
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
Reconeixement i indexació:
2.2. Aplicacions (III)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.2. Aplicacions (IV)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
2.2. Aplicacions (V)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
Classificació:
2.2. Aplicacions (VI)
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometric stereo
Índex
1. Què és la textura?
� Conjunt de característiques que ens informen visualment deltacte dels objectes, sense necessitat de tocar-los
Imatge amb 4 textures
� És una propietat de superfície, no
està definida en un punt
� Depèn de l�escala a la que
s�observa
�La textura és considerada com una propietat estadísticaassociada a una regió de la imatge obtinguda o d�una imatgetransformada.� [Ama96]
�Podem entendre una textura com allò que constitueix una regiómacroscòpica. La seva estructura és simplement una sèrie demotius repetitius en els que els elements o primitives estanordenats segons una regla de col·locació.� [TJ93]
�Malgrat la seva importància, no hi ha una definició de texturageneralment acceptada.� [Law80]
1. Què és la textura?
Imatge original Imatge segmentada
� La majoria d�algoritmes de segmentació suposen regionsuniformes en intensitat o color.
� La superfície de l�objecte, la il· luminació i d�altres factorsinflueixen en aquesta intensitat o color
1. Què és la textura?
2. Operadors de Textura
� Mètodes estadístics� Energia
� Matriu de co-ocurrències
� Màscares paramètriques
� Patrons binaris locals
� Mètodes estructurals
� Mètodes de modelització� Camps aleatoris de Markov
� Mètodes de filtratge espai-freqüencials� Filtres de Gabor
� Wavelets
0 0 1 1
0 0 1 1
0 2 2 2
2 2 3 3
3. Matriu de co-ocurrències
� Probabilitat que existeixin dos punts amb nivell de gris i,jrespectivament, tals que estiguin a una distància (d) i en unaorientació θ donades
4 2 1 0
2 4 0 0(1,0º )
1 0 6 1
0 1 1 2
HM M
= =
6 0 2 0
0 4 2 0(1,90º )
2 2 2 2
0 0 2 0
VM M
= =
1
, 0
N
iji j
Uniformitat m−
=
= ∑1
, 0
log( )N
ij iji j
Entropia m m−
=
= ×∑
1
, 0Pr max ( )
N
iji j
obabilitat m−
==
12
, 0
( )N
iji j
Contrast i j m−
=
= − ×∑
1
2, 0 ( )
Nij
i j
mInversa i j
i j
−
=
= ≠−∑
1
, 0 1 | |
Nij
i j
mHomogeneitat
i j
−
=
=+ −∑
1
2, 0
1
, 0
12
, 0
( ) ( )
( )
Nij
i j
N
iji j
N
iji j
i j mCorrelació
i m
i m
µ µσ
µ
σ µ
−
=
−
=
−
=
− × − ×=
= ×
= − ×
∑
∑
∑
3. Matriu de co-ocurrències
� Estadístics:
3. Matriu de co-ocurrències
3. Matriu de co-ocurrències
� Problemes:
- Tamany de la matriu.
- Cost computacional del càlcul de les matrius.
- Quina configuració s�ha de seleccionar per caracteritzarmillor la textura?
» Distància?
» Orientació?
» Estadístic?
4. Màscares paramètriques
� Es defineixen una série de màscares que defineixen diferentsparàmetres de la textura d�una imatge.
� Pre-processat: Es treballa sobre les imatges de contornsafinats.
4. Màscares paramètriques
� Procediment:
1.- Es defineix el concepte d�un paràmetre de textura.
2.- Es reuneixen tots els casos on es produeix aquest concepte.
3.- Es reflecteixen aquests casos en les diferents màscares.
� Màscares:
0 0 1 1
0 0 1 1
1 0
0 0
4. Màscares paramètriques
� Granulositat: punts aïllats de la imatge.
0 0 0
0 1 0
0 0 0
0 0 0 0
0 1 1 0
0 0 0 0
0 0 0
0 1 0
0 1 0
0 0 0
0 0 0 0
0 1 1 0
0 1 1 0
0 0 0 0
4. Màscares paramètriques
� Estadístics:� Mitjana
� Desviació estàndard
Abruptitat Discontinuïtat
Abruptitat Granulositat
4. Màscares paramètriques
� Problemes:
- Dependència del pre-processat de la imatge.
- Definició intuitiva de les màscares.
ImatgeSegmentada
ImatgeSegmentada
Operadorde
Textura1
Imatge característica
1
Imatge característica
1
SegmentacióImatgeOrigen
ImatgeOrigen
Operadorde
Textura2
Imatge característica
2
Imatge característica
2
Operadorde
Texturan
Imatge característica
n
Imatge característica
n
Vector de característiques
5. Vector de Característiques
Imatge original Segmentació: K-Means Extés
Operador: matriu deco-ocurrencies
Operador: covarianciessimètriques
Eliminació de regionsno significatives
5. Vector de Característiques
Imatge original Segmentació: region growing
Operador: matriu de co-ocurrencies
Operador: energia Eliminació de regionsno significatives
Operador: PBL Contrast
5. Vector de Característiques
6. Conclusions
� La textura és fonamental en Visió per Computador.
� No hi ha un operador que es pugui anomenar �millor�.
Vector de característiques de textura
� Manca integració de textura i color.
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometric stereo
Índex
4. Forma
- Reconeixement estadístic: descripció d�una forma mitjançant unvector de característiques numèriques. Similaritat entre formesdefinida com a una distància mètrica sobre l�espai de característiques.
- Reconeixement estructural: representació explícita o implícita del�estructura d�una classe, on estructura significa l�organitzaciórelacional i jeràrquica de característiques de baix nivell o componentsen estructures de nivell més elevat.
Descripció estadística: F = (#components,alçada, amplada)
Descripció estructural:
camaD, camaE: RECTANGLE VERTICAL;
braçD, braçE: RECTANGLE HORITZONTAL;
cos: QUADRAT;
cap: CERCLE;
F = cap ⇑ (braçE ⇔ (cos ⇑ (camaE ⇔ camaD)) ⇔ braçD)Forma F
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
4.1. Reconeixement estadístic
Descriptors de forma:
- Àrea- Perímetre- Coordenades de la caixa envolvent- Perímetre de la caixa envolvent- Compactness (rodonesa de la forma): Perimetre2/4πÀrea- Allargada- Amplada- Centroide- ...
- Descriptors per moments d�inèrcia- Descriptors de Fourier
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
4.2. Reconeixement estructural
a
a
a
a
b
b
bb
b
b
bb
c
c c
c
S
ab b
c B S
ab b
c B Sab b
c B S
ab b
c B
(cbab)4
CADENA
ARBRE
GRAF
Representació simbòlica de les formes:
- Representació estructural (cadenes, arbres, grafs, taules, etc.) perdescriure els objectes. Representació de relacions espacials,temporals, conceptuals, etc.
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
4.2. Reconeixement estructural (II)
Dues categories dins del reconeixement estructural en base alsmodels de representació de la informació:
- Reconeixement sintàctic:
- Representació mitjançant gramàtiques formals.
- Utilització d�un parser com a motor de reconeixement.
- Reconeixement basat en prototipus estructurals:
- Representació de manera explícita mitjançant prototipusestructurals (Estructures unidimensionals: Strings).
- Reconeixement mitjançant matching relacional amb funciódistància implícita (Estructures multidimensionals: Grafs).
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
4.2.2. Reconeixement basat en prototipus estructurals
Reconeixement basat en prototipus estructurals
La mateixa estructura de dades s�utilitza per a representar els modelsi les formes desconegudes.
Reconeixement per comparació directa entre models i formadesconeguda utilitzant una funció distància.
Dos tipus d�estructures per a representar les formes:
- Patrons unidimensionals. Strings.- Patrons multidimensionals. Grafs.
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
Programació dinàmica per realitzar el reconeixement (distància entrestrings).
22221220201000070070
Conjunt discret de símbols.
la
φa
lb
φb
lcφc
ld
φd
le
φe
a
la
φa
b
lb
φb
c
lc
φc
d
ld
φd
e
le
φe
F =
Cadenes amb atributs.
Chain Codes
6
21
0
3
4
5 7
Representació mitjançant cadenes
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
Elements principals: conjunt de nodes, conjunts d�arcs, etiquetessimbòliques (valors d�atributs).
(β,2.25)
(t,1,2)
(r,1,20)
(t,0,4)
(α,3)
(α,3)
(α,3.25)
(t,2,5)
Representació mitjançant grafs
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo
4.3. Aplicacions
- Caracterització.
- Descripció d�objectes.
- Reconeixement.
- Classificació.
1 Introducció
2 Color
3 Textura
4 Forma
5 Photometricstereo