Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 78 IV. Compression 1. Introduction 2. Approches directes 3. Approches par

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1

IV. Compression

• 1. Introduction

• 2. Approches directes

• 3. Approches par transformation

• 4. Compression de séquences d'images


IV.1 Introduction

Historique

Objectifs

•1952 : Codeur entropique (Huffman)

•1978 : DCT (Pratt)

•1980 : Vectoriel (Linde-Buzo-Gray)

•1986 : Sous-bandes (Woods)

•1986 : Vectoriel sur treillis (Fisher)

•1989 : JPEG•1989 : MPEG-2

•1989 : Ondelettes (Mallat, Daubechies)

•1990 : Fractales (Jacquin)

•1996 : SPIHT•1996 : MPEG-4•1997 : MPEG-7•1998 : JPEG2000

Réduction du volume occupé par les images numériques pour faciliter leur transfert et/ou leur stockage


Applications

• Imagerie médicale Télémédecine

• Imagerie spatiale

• Imagerie sous-marine

• Archivage divers (Musée, BNF, Empreintes ...)

• Vidéo conférence / visiophone (64 kb/s)

• Télésurveillance

• Video On Demand

• Télévision numérique (150 Mb/s)

...


Classification des méthodes de compression

Sans pertes / avec pertes contrôlées Sans pertes (Huffman, Quadtree)

• image originale = image comprimée TC limité (#3)

Avec pertes contrôlées

• On perd l'information qui se voit peu TC augmente

• Recherche d'un compromis Tc / Qualité

Directe / Transformation Directe Quantification & codage des pixels de l'image

Transformation Quantification & codage des coeff. transformés

Fonction de la zone élémentaire de traitement Pixel, ligne, bloc, image entière ...


Evaluation d'une méthode compression Dépend de l'application

• Taux de compression (Tc)

• Qualité

compriméfichier du Volume

originale image VolumeTc

2

10)ˆ,(

12log10

XXEQMRSB

b

dB

1

0

21

0 .

ˆ)ˆ,(

M

j

ijijN

i NM

XXXXEQM

• Critère mathématique (RSB)

• Critères subjectifs- Courbes ROC (médecine)

- Notations subjectives (TV)

Ex : image (512x512x8bpp) avec Tc=10 512x512x8/10=26215 bits 0.8 bpp

Avec


• Autres critères

• Vitesse d'exécution : codeur /décodeur

• Complexité- Additions / multiplications

- Soft / Hard

• Résistance au bruit de transmission

• Intégration de post-traitements- Prise en compte du récepteur (homme / machine)

• Coût financier

• Scalability


IV.2 Approches directes

Codage HuffmanCodage arithmétiqueCodage par longueur de plageCodage type dictionnaire

Quantification scalaire

Quantification vectorielle

Méthodes prédictives

Approche quadtree

Codage fractale

Codeurs de source(Th. Information)


Codage Huffman (1952)

- Algorithme de génération d'un codage optimal symbole parsymbole.

- Code à longueur variable codes longs pour probas faibles

Extraction des probabilités Création de l'arbre Création de la table d'Huffman Codage

Lecture de la table d'Huffman Création de l'arbre de décodage Lecture séquentielle et décodage

On transmet la table + les codes en binaire

• Algorithme


Rq : code d'échappement= Huffman + fixe


Codage Arithmétique (1976)

Huffman 1 symbole = 1 mot-code Arithmétique 1 flot de symboles = nbre en virgule flottante

m=0 ; M=1 ;Tant que !(fin de fichier)

{i = symbole suivant;soit [ai ; bi] associé à i ;s = M-m ;M = m + s.bi ;m = m + s.ai ;

}Renvoyer m, le compacté du fichier

N = nombre codé ;Faire

{trouver i / N [ai ; bi[ ;sortir i ;s = bi - ai ;

N = (N - ai) / s ;}

Tant qu'il reste un symbole à lire

Codeur Decodeur

JBIG Codage des Fax type IV


• Exemple

si pi [ai ; bi[ Huffi 0.1 [0.0 ; 0.1[ 111

A 0.1 [0.1 ; 0.2[ 110

E 0.1 [0.2 ; 0.3[ 101

I 0.1 [0.3 ; 0.4[ 100

B 0.1 [0.4; 0.5[ 0111

G 0.1 [0.5 ; 0.6[ 0110

L 0.2 [0.6 ; 0.8[ 00

S 0.1 [0.8; 0.9[ 0100

T 0.1 [0.9 ; 1.0[ 0101

0.43722077 = ?

10111010 10100100 11011001 0101111000 00011101 10110010 11010100


Arithmétique Huffman

+ de calcul Proba très élévée 1 bitPeu de symboles ()

Run Length

Codeurs statistiques

- Dépendants de la qualité de la statistique

- Statistique connue par le décodeur


Codage par longueur de plage (Run length coding)

• CCITT, Fax groupe III Huffman sur les plages de 0 précédant les 1

000001111100000000000000000 5w5b17w

000000000001111100000000000 11w5b11w

A B C C C C C C A B C A B C A B !6C A B C A B C

Coder le nombre de symboles identiques

• JPEG Huffman sur les plages de 0 précédant les coeff. DCT


Coder une extension de la source de longueur variable

1977 : LZ (Lempel & Ziv) 1984 : LZW (Welch)

Dictionnaire de symboles incrémenté dynamiquement apprentissage

Fichier codé = suite des adresses des mots du dico

! Gérer l'incrément des bits d'adresse

PKZIP, ARJ LZW + Huffman

Codage de type dictionnaire (1977)


Codeur LZW

ID = {Ci,Wi} , P=

Tant que (symboles à coder)C = symbole suivantSi PC ID

P = PCSinon

sortir WP

PC IDP=C

Fin siFin tant que

sortir WP

Décodeur LZW

ID = {Ci,Wi}cW = 1er code ; sortir s(cW)

Tant que (codes à lire)pW = cWcW = code suivantSi (s(cW) ID)

sortir s(cW)P = s(pW)C = 1er symbole de s(cW)PC ID

SinonP = s(pW)C = 1er symbole de s(pW)sortir s(PC)PC ID

Fin siFin tant queABBABABAC.. . .


Quantification scalaire

• Traitement pixel à pixel

Diminuer le nombre de niveaux de gris utilisés : Nnq < Nnp

• Problèmes- Comment choisir les seuils de quantification (si) ?- Comment choisir les niveaux de quantification (qi) ?


Quantification scalaire uniforme linéaire

• Seuils répartis de façon uniformeNnq

ssPQ ii

minmax1

• C'est un quantificateur linéaire

A

Bqp

BpAr

ˆ

.

minminmax

1minmax

1

NnqB

NnqA

• Niveaux = milieux des seuils2

1 iii

ssq

avec


Quantification scalaire uniforme optimale

• Seuils répartis de façon uniformeNnq

ssPQ ii

minmax1

• Niveaux = Barycentre (histogramme)

Quantification optimale (Loyd-Max : 1960)

• Minimise l'erreur de quantification

ij

ppMin 2)ˆ(

• Algorithme itératif très long pour des distributions inconnues

• Tables pour des dist. gaussiennes, laplaciennes, ...

• Fait le travail du codeur !


Exemple de comparaison (peppers : 512x512x8bpp)

Uni Uni o. Maxq1 32 38 30S1 63 63 52q2 95 86 75S2 127 127 121q3 159 167 157S3 191 191 180q4 223 209 205

Remarque Efficacité variable du codeur entropique !


Image originale

Q. uni. opt. : RSB 23,8 dB

Q. uni. lin. : RSB 22,5 dB

Q. Max : RSB 24,2 dB


Quantification vectorielle

• Extension de la quantification scalaire

Pixel Vecteur = bloc de pixels contigus• Vecteur de taille et forme variable

Approche optimale : Linde Buzo Gray (1980)

• Phase d'apprentissage : dictionnaire de vecteurs• Vecteur = représentant d'une région de Voronoï de taille variable• Dictionnaire connu du codeur /décodeur

Phase d'apprentissage délicate Temps de recherche dans le dictionnaire Approche treillis



Approche Treillis : Fisher, Conway, Sloane (1986)

• Extension de la quantification linéaire uniforme

• Treillis = vecteurs régulièrement répartis dans Rn

Dictionnaire pré-défini Pas d'apprentissage Algorithme de quantification rapide

• Algorithme de quantification vectorielle sur treillis

- Choix de la norme : L1 Laplacien PyramideL2 Gaussien Sphère

- Choix de la taille des vecteurs- Choix du treillis : Zn, An, Dn (4), En(8), n(16)

Taux (B) K rayon du dictionnaire contenant 2nB vecteurs Procédure de dénombrement


Bornage des vecteurs par le facteur d'échelle A = Es/K Ramène les vecteurs à l'intérieur du dictionnaire- Traitement spécial pour les vecteurs d'énergie > Es

Quantification- Vecteur vecteur du dictionnaire le plus proche

Codage des vecteurs : code produit- Rayon : code Huffman- Index : code de longueur fixe


Illustration de la quantification vectorielle sur treillis

Vecteurs 2x1


Structure de fichier codé


Méthodes prédictives (1974)

Exploitent la corrélation entre pixel voisin

x̂1 : 1 ordred' Prédicteur

x̂75,0

75,05,0 : 3 ordred' Prédicteur

Modulation par Impulsions Codées Différentielles (MICD)DPCM

– Propagation des erreurs– Prédicteurs non optimaux

Adaptation aux statistiques locales


Approche Quadtree

• Découpage récursif en carrés homogènes

Critère de split : variance, ...


• Codage de l'arbre : règle de parcours (Peano)

• Codage des régions homogènes : moyenne, interpolation ...

1 | 1001 | 0000 | 01000 | 0001 | 0000


Compression par fractale

• Les Fractales (B. Mandelbrott)

- Observations naturelles : nuages, plantes ...- Auto-similarité à toutes les échelles redondance dans l'image

• Les 'Iterated Functions Systems' (IFS)

- Wi : Transformation affine contractante

i

i

i

i

ii

ii

i

o

f

e

z

y

x

s

dc

ba

z

y

x

W

..

.

.

'

'

'

rotations,réflexions

scalingvariance

niveaude gris

offsetmoyenne

déplacement

position


• Recherche d'un IFS pour générer une image très fort taux de compression mais image spéciale

• Approche directe

Transformation de l'image = morceau de l'image

image # w1(image) w2 (image) ... wn (image)

• Utilisation de bibliothèque d'IFS image segmentée en un ensemble d'IFS connus

Fougère : 4 transformations = 192 bits512² : Tc = 1365


• Compression par IFS local (Jacquin 1990)

- Approche valable sur des images quelconques

Codage


Mettre les Dj à la taille de R : Sous-échantillonnage +- moyennage

Définir la zone de recherche - toute l'image- limitée (ei,fi)

Recherche du (WiDj) le plus proche de Ri

- Mesure de distance L1, L2, LEx : pour L2

-

-

- ai, bi, ci, di = (0,-1,1)

4 rotations (-90, 90,180,0)

4 réflexions(_ | / \)

Codage de longueur fixe ou variable code = wi

)var(

),cov(

j

ji

i D

DRs

)(.)( jiii DmoysRmoyo


Variantes

- formes des blocs- recherche des wi

- codage des wi

Codage très long Décodage instantané


It n° 1RSB = 23,8 dB

Point dedépart

It n° 2RSB = 27,33 dB

It n° 3RSB = 32,16 dB

Tc = 10


IV.3 Approches par transformation


• Une Transformation Réversible (sans perte) Orthogonale (énergie conservée) Rapide

Représentation différente de l'image

Décorrélation Gain en performances

Temps de calcul supplémentaire

DCT JPEGOndelettes SPIHT, JPEG2000


Compression DCT bloc : JPEG (1989)

• DCT bloc 8x8 homogénéité locale de l'image l'erreur de quantification est localisée au bloc


• Schéma général


• Matrice de normalisation allocation des bits aux coeffs avant quantification par arrondi

9910310011298959272

10112012110387786449

921131048164553524

771031096856372218

6280875129221714

5669574024161314

5560582619141212

6151402416101116

9999999999999999

9999999999999999

9999999999999999

9999999999999999

9999999999996647

9999999999562624

9999999966262118

9999999947241817

Matrice chrominance

Matrice luminance


• Lecture zig-zag prise en compte de la répartition spatiale de l'énergie pour faire apparaître de longues plages de coeffs nuls

• Codage du coeff DC DPCM d'ordre 1 + Huffman


• Codage des coeffs AC Codage hybride : runlength + ... + Huffman

- Huffman = Code (plage de 0 + catégorie)162 codes : 10catx16lp+2(EOB+16)

Cat. Intervalle des coefficients AC

1 -1 _ 1,2 -3, .. ,-2 _ 2, .. ,33 -7, .. ,-4 _ 4, .. ,74 -15, .. ,-8 _ 8, .. ,155 -31, .. ,-16 _ 16, .. ,316 -63, .. ,-32 _ 32, .. ,637 -127, .. ,-64 _ 64, .. ,1278 -255, .. ,-128 _ 128, .. ,2559 -511, .. ,-256 _ 256, .. ,511

10 -1023, .. ,-512 _ 512, .. ,1023


AC | huffman | signe | k-1 bits |

• Exemple 0 -2 -1 02 -1 046 111001 0 0 / 00 0 / 11011 0 / 1010

• Extrait de la table d'Huffman des AC

Plage de Zéros Catégorie Code0 1 000 2 010 3 1000 4 1011. . .1 1 11001 2 1110011 3 11110011 4 111110110. . .2 1 110112 2 11111000. . .3 1 111010. . .

16 11111010EOB 1010


• Remarques

JPEG = méthode générale à adapter ...

Très performant à taux faibles (#10)

Effets de blocs à taux élevés

Tc = 10 / RSB = 30.1 dB Tc = 20 / RSB = 28.7 dB


Compression sous-bandes / ondelettes


• Décomposition pyramidale en sous-bandes

banc de filtres FIR 1D : bi-orthogonaux 9-7

- phase linéaire, rec. parfaite, pas orthogonaux,

réguliers

Concentration d'énergie dans la BB


• Quantification séparée des sous-bandes (Woods 86)

Allocation des bits aux sous bandes par modèle

- Min(D) avec B<Bf Optimisation

- Théorie de la distorsion : bruit de quantification D=f(B)

- très rapide sous-optimal (modèle réalité)

)(.2 2.).()( BBXXX

XaBBD g

Sous-bande BF : histogramme - DPCM + scalaire + codeur entropique

Sous-bandes HF : histogramme laplacien

- QV treillis, ...


• Exemples

Originale Sous-bandes Tc=32


Sous-bandes Tc=32RSB = 30.1 dB

JPEG Tc=32RSB -3%


Originale Sous-bandes Tc=60 !!


• Quantification globale des sous-bandes (shapiro 93) SPIHT

http:\\ipl.rpi.edu/research/SPIHT

Algorithme très rapide, RSB élevé, 'embedded'

Basé sur :

- Transmission progressive par plan de bits = Q. scalaire

- Exploite l'auto-similarité inter-sous-bandes : arbres de coeffs


SPIHT (Set Partitionning In Hierarchical Trees) Said & Pearlman 96

• Décomposition en ondelettes (9-7)

• Partition des coeffs en arbres signifiants

• Transmission progressive par plan de bits

• +- Codeur arithmétique


• Transmission progressive par plan de bits

Minimiser l'erreur de quantification D

2,,2ˆ

1)ˆ()ˆ(

i jjiji cc

NccDppD

Signe s s s s s s s s s s s s

msb 5 1 1 0 0 0 0 0 0 0 0 0 0

4 1 1 0 0 0 0 0 0 0 0

3 1 1 1 1 0 0 0 0

2 1 1 1 1

1

lsb 0

Représentation binaire des coefficients ordonnés par amplitude


Algorithme de codage par plan de bits

Sortir n=log2(max(i,j){ci,j})

Sorting pass

Sortir n, suivi des coordonnées et du signe des n coefficients ci,j tels que 2n

|ci,j| < 2n+1

Refinement pass

Sortir le néme bit le plus significatif de tous les coeff tels que ci,j 2n+1 (ceuxdont les coordonnées ont été transmises à la sorting pass précédente), dansle même ordre que les coordonnées.

Décrémenter n de 1. Retourner en 2

Place importante prise par les coordonnées des coeff. Exploiter la corrélation inter-échelles

Partitionning in hierarchical trees


• Partitionning Tree

Relation de parenté inter sous-bandes


Règles de signification

|ci,j| 2n

sinon 0

2max si 1)( ,

nji

n

cS

Définition des ensembles

O(i,j) coordonnées des 4 descendants directs

D(i,j) coordonnées de tous les descendants

L(i,j) D(i,j) - O(i,j)

H(i,j) Racines des arbres


Règles de division Partition initiale : les noeuds H(i,j) et leur descendants

D(i,j) signifiant L(i,j) + 4 coeffs O(i,j)

L(i,j) signifiant 4 D(k,l) avec (k,l) O(i,j)

Listes de signifiants !

SPIHT ne fait que de la gestion de liste

de coordonnéeset du masquage binaire


Algorithme de codage Initialisation

Sortir n=log2(max(i,j){ci,j}) Mettre LSP à videAjouter les H(i,j) dans LIP, ou LIS comme entrée type D.

Sorting pass

2.1 : Pour chaque entrée (i,j) de LIP faire :2.1.1 : Sortir Sn(i,j)2.1.2 : Si Sn(i,j) = 1, mettre (i,j) dans LSP et sortir signe ci,j

2.2 : Pour chaque entrée de LIS faire

2.2.1 : Si l'entrée est de type D alors- Sortir Sn(D(i,j))- Si Sn(D(i,j)) =1 alors

- Pour chaque (k,l) O(i,j) faire :- Sortir Sn(k,l)- Si Sn(k,l) = 1, ajouter (k,l) dans LSP et sortir signe ck,l

- Si Sn(k,l) = 0, ajouter (k,l) à la fin de LIP- Si L(i,j) 0, Déplacer (i,j) à la fin de LIS avec le type L

Aller au 2.2.2.- Si L(i,j) = 0, supprimer (i,j) de LIS.

2.2.2 : Si l'entrée est de type L- Sortir Sn(L(i,j))- Si Sn(L(i,j)) =1 alors

- Ajouter les (k,l) O(i,j) à la fin de LIS en type D.- Supprimer (i,j) de LIS


Refinement pass

Pour chaque (i,j) de LSP, sauf ceux qui viennent d'être inclus dans ladernière sorting pass, sortir le néme bit significatif des ci,j

Décrémenter n de 1. Retourner en 2

La stratégie de parcourt est connue du décodeur

les coordonnées ne sont plus codées !


• Exemples

SPIHT Tc=32RSB : 32.45

JPEG Tc=32RSB : 30.25


SPIHT , TC=30 SPIHT , TC=240 !


JPEG 2000 (96-Fin99)

Un objectif ambitieux

Un standard de compression d'image fixe pour le 21ème siècle

- Performant même à taux élevé (<0.25 bpp)- Toutes les tailles- Des images binaires aux images vectorielles- Du Lossless au Lossy- Du naturel aux images de synthèse- Transmission progressive- ROI management- Fixed rate / fixed size- Robustesse aux erreurs- Rapidité- Sécurité (watermark, encryption)- Description par le contenu- Complexity and Quality Scalability


IV.4 Compression de séquences d'images

Supprimer la redondance spatiale ou intra-image

approches 2D

Supprimer la redondance temporelle ou inter-image

utiliser le déjà vu et le mouvement


Les normes MPEG H261 (1988)La base de la compression de séquences d'images

- Block matching- DCT bloc + Run length + DPCM

MPEG 1 (1988-92)Vidéo + Audio / 1.5 Mbs CDI

MPEG 2 (1990-94)4-30 Mbs TV numérique (Digital Video Broadcasting)

MPEG 4 (1996-99)L'approche multimédia interactif

MPEG 7 (1997-01) Indexation & recherche d'information


Les bases de H261 à MPEG2

3 types d'images : 3 codages


• Images I (intra)- Codées JPEG'- Point d'accès séquence (0.5s)- Tc faible

• Images P (Prédites)- Prédites à partir de I ou P- Codage DPCM des vecteurs mvt- Codage JPEG* de l'erreur de prédiction- Tc élevé- Propagation de l'erreur

• Images B (Bidirectionnelles)- Interpolées à partir des I P- Tc le plus élevé


GOP

• 2 paramètres de réglage- N : distance inter-I (#12)- M : distance inter-P (#3)


Estimation du mouvement par block matching- Blocs 16x16- Compromis simplicité / efficacité- Rapide : algorithme logarithmique


Le codage des images P

1- Calcul des Vj entre

2- Synthèse de Ip(n) :

3- Calcul de l'erreur : E(n) = Ip(n) - I(n)

4- Codage JPEG* de E(n)4bis- Mémorisation de

5- Codage DPCM des Vj

)1(ˆ)( nI nI et

)()1(ˆ)( nInInV p

)(ˆ nI


Codeur MPEG2


Décodeur MPEG2


Codage et TVnum

• Numérisation brute : 200 Mb/s

• DVB # DVD = MPEG2 MP@ML

- 720 x 480/576 (30/25 Hz) avec IPB

- 4 Mb/s (PAL/SECAM) à 9 Mb/s (studio)

- Tc de 40 à 18


MPEG4 : caisse à outil multimédia !

MPEG4 = beaucoup + que de la compression

MPEG4

Eléments technologiques standardisés

Auteurs - Fournisseurs de services - Utilisateurs

Production - Distribution - Accès

TV NumAppli. graph. interactives

WWW


Auteurs- Rendre faisable et flexible la production d'objets intégrant des technos TV, Web, VRML ...- Protéger leur droit

Utilisateurs- Bénéficier de nouveaux produits avec une forte interactivité

Fournisseurs de service- Fournir une info transparente, auto-adaptable aux réseaux- Gestion de la Qualité de service (QoS)


Les AVO de MPEG4

• Données = Audio Visual Objects


• Scène = (AVO's)

• Interactivité pour les utilisateurs- Changement de point de vue- Navigation dans la scène- Interaction avec la scène- Modification de la scène



La compression d'images dans MPEG4

• Boite à outils adaptée aux AVO- JPEG, MPEG2- Ondelettes, Zerotree- Méthodes de 2ème génération


La compression par maillage actif

• ObjectifDéformer un maillage pour l'adapter à l'image :

- Noeuds sur les contours & Cellules homogènes

• Stratégie de déformation- Modèle mécanique avec minimisation d'énergie

• Stratégies de codage- Codage de la structure : position des noeuds

- DPCM + Codeur entropique

- Codage de la texture : intérieur des cellules- Interpolation- Wharping + méthodes par transformation


Maîtriser le temps de déformation


La compression par modèle

• Principe- Déformer le modèle pour le faire coller à l'image- Coder la déformation au cours du temps- Coder l'intérieur des mailles

Spécifique à des modalités d'images


La compression par approche Objets

• Principe- Segmenter () l'image en régions homogènes : les objets

- Coder la carte des objets () : 'chain coding'

- Coder l'intérieur des Objets : shape DCT

• Chain coding


• I. Introduction

• II. Représentations & Acquisition

• III. Pré-traitement & Amélioration

• IV. Compression

• V. Segmentation

• VI. Introduction à l'indexation

• VII. Introduction au tatouage

• VIII. Conclusion

Plan

Documents

Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 78 IV. Compression 1. Introduction 2. Approches directes 3. Approches par