38
Analisi di Immagini e Video (Computer Vision) Giuseppe Manco

Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Analisi di Immagini e Video(Computer Vision)

Giuseppe Manco

Page 2: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Outline

• Image Processing avanzato• Edge detection• Fourier Transform

Page 3: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Crediti

• Slides adattate da vari corsi • Analisi di Immagini (F. Angiulli) – Unical• Intro to Computer Vision (J. Tompkin) – CS Brown Edu• Computer Vision (I. Gkioulekas), CS CMU Edu

Page 4: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Analisi di Fourier

Page 5: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Ogni segnale periodico è una combinazione di queste componenti

Trasformata di Fourier

Page 6: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Ampiezza

Frequenza angolare

VariabileFase

Sinusoide

Trasformata di Fourier

Page 7: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Esempio

= +? ?

Page 8: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

= +? ?

Page 9: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

= +? ?

Page 10: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Esempio

+? ?=

Page 11: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

+? ?≈

Page 12: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

+? ?≈

Page 13: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

+? ?≈

Page 14: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

+? ?≈

Page 15: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

+? ?≈

Come lo possiamoesprimere

matematicamente?

Page 16: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

Page 17: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=

Ampiezza

Frequenze

Page 18: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

frequency

amplitude

Lo spettro delle frequenze

Page 19: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

frequency

amplitude

Lo spettro delle frequenze

+=

Page 20: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

frequency

amplitude

Lo spettro delle frequenze

+=

How do we plot ...

Page 21: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

frequency

amplitude

Lo spettro delle frequenze

+=

Page 22: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

frequency

amplitude

Lo spettro delle frequenze

+=

Page 23: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Dominio spaziale Dominio frequenze

1D

2D

Da 1D a 2D

?

Page 24: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

1D

2D A cosa corrispondono itre punti?

Dominio spaziale Dominio frequenze

Da 1D a 2D

Page 25: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

?

Dominio spaziale Dominio frequenze

Da 1D a 2D

Page 26: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Dominio spaziale Dominio frequenze

Da 1D a 2D

Page 27: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Qual è il corrispondente di questa immagine?

Esempio

Page 28: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Esempio

Page 29: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Esempio

=+ ?

Page 30: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Esempio

=+

?

Page 31: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Esempio

=+

Page 32: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Trasformata di Fourier

Diretta

Disc

reto

Cont

inuo

Inversa

𝐹 𝑘 = $!"

"𝑓 𝑥 𝑒!#$%&'𝑑𝑥 𝑓 𝑥 = $

!"

"𝐹 𝑘 𝑒#$%&'𝑑𝑥

𝐹 𝑘 = )&()

*!+

𝑓 𝑥 𝑒!#$%&*' 𝑓 𝑥 =

1𝑁)&()

*!+

𝐹 𝑘 𝑒#$%&*'

Page 33: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Trasformata di Fourier

Diretta

2D1D

Inversa

𝐹 𝑘 = )&()

*!+

𝑓 𝑥 𝑒!#$%&*' 𝑓 𝑥 =

1𝑁)&()

*!+

𝐹 𝑘 𝑒#$%&*'

𝐹 ℎ, 𝑘 = &!"#

$%&

&'"#

(%&

𝑓 𝑥, 𝑦 𝑒%)*+,!$ -

.'( 𝑓 𝑥, 𝑦 =

1𝑁𝑀&

!"#

$%&

&'"#

(%&

𝐹 ℎ, 𝑘 𝑒)*+,!$ -

.'(

ℎ = 0,1,2, … , 𝑁 − 1, 𝑘 = 0,1,2, … ,𝑀 − 1 x = 0,1,2, … , 𝑁 − 1, 𝑦 = 0,1,2, … ,𝑀 − 1

Page 34: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Trasformata di Fourier nel dominio reale

• Ampiezza

• Fase

𝔉 𝑓(𝑥, 𝑦) = 𝐹 ℎ, 𝑘 = 𝐹 ℎ, 𝑘 𝑒!#,(.,&)

𝐹 ℎ, 𝑘 = |R$ ℎ, 𝑘 + 𝐼$ ℎ, 𝑘 |

𝜙(ℎ, 𝑘) = tan!+𝐼 ℎ, 𝑘𝑅 ℎ, 𝑘

Page 35: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

La trasformata di immagini

Immagine Ampiezza Fase

Page 36: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

Applicazioni della FT

• Frequency-Domain Filtering• Teorema di convoluzione

• Conseguenza• Filtraggio come moltiplicazione di matrici• Dominio spaziale -> FT->moltiplicazione ->IFT

𝑓 𝑥, 𝑦 ∗ ℎ 𝑥, 𝑦 = 𝔉 𝑓 𝑥, 𝑦 ⋅ 𝔉 ℎ(𝑥, 𝑦)

Page 37: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

=filter kernel

=

Esempio

Fourier transform inverse Fourier transform

Page 38: Analisi di Immagini e Video (Computer Vision) · 2020. 7. 31. · Analisi di Immagini e Video (Computer Vision) Giuseppe Manco. Outline •Image Processing avanzato •Edgedetection

120 3 Image processing

Name Signal Transform

impulse-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

δ(x) ⇔ 1-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

shiftedimpulse

-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

δ(x − u) ⇔ e−jωu

-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

box filter-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

box(x/a) ⇔ asinc(aω)-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

tent-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

tent(x/a) ⇔ asinc2(aω)-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

Gaussian-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

G(x;σ) ⇔√

2πσ G(ω;σ−1)

-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

Laplacianof Gaussian

-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

( x2

σ4 − 1σ2 )G(x; σ) ⇔ −

√2πσ ω2G(ω;σ−1)

-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

Gabor-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

cos(ω0x)G(x; σ) ⇔√

2πσ G(ω ± ω0; σ−1)

-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

unsharpmask

-0.5

0.0

0.5

1.0

1.5

-1.0000 -0.5000 0.0000 0.5000 1.0000

(1 + γ)δ(x)− γG(x;σ) ⇔

(1 + γ)−√

2πγσ G(ω;σ−1)

-0.5

0.0

0.5

1.0

1.5

-0.5000 0.0000 0.5000

windowedsinc

-0.5

0.0

0.5

1.0

-1.0000 -0.5000 0.0000 0.5000 1.0000

rcos(x/(aW ))sinc(x/a) ⇔ (see Figure 3.29)

-0.5

0.0

0.5

1.0

-0.5000 0.0000 0.5000

Table 3.2 Some useful (continuous) Fourier transform pairs: The dashed line in the Fourier transform of theshifted impulse indicates its (linear) phase. All other transforms have zero phase (they are real-valued). Note thatthe figures are not necessarily drawn to scale but are drawn to illustrate the general shape and characteristics ofthe filter or its response. In particular, the Laplacian of Gaussian is drawn inverted because it resembles more a“Mexican hat”, as it is sometimes called.

Alcune trasformate utili