Compression adaptative de surfaces par ondelettes gomtriquesCline ROUDETcroudet@liris.cnrs.fr17 fvrier 2009Sminaire du ple SIS - I3S Sophia AntipolisThse dirige par F. DUPONT et A. BASKURTCollaboration avec P. GIOIA dOrange Labs Projet CoSurf (Compression de Surfaces)

ContexteLe projet CoSurf Collaboration avec Orange Labs Rennes Favoriser lchange de donnes 3D Compression multirsolution de maillages 3DPoints critiques Adaptation du transfert des donnes aux ressources Transmission rapide, la demande Consultation efficace et flexible

Contexte (2)Modles gomtriques 3D Explosion de leur production / change Grande diversit de modlisationsMaillages surfaciques De plus en plus prcis et dtaills Rpartition irrgulire des chantillons

PlanI Cadre des travaux Les maillages multirsolution Compression de maillages : lexistant Analyse multirsolution : lexistantII La transforme en ondelettesIII Approche proposeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II - TO III - Approche propose IV - Rsultats

Maillages triangulairesRgularit du voisinagelie la valence () des sommetsV : {Vi = (xi, yi, zi) R3 / 0 i

Reprsentation progressiveIntrt des reprsentations multirsolution : Adaptation aux rseaux et terminaux Efficacit en termes de rendu I - Cadre II - TO III - Approche propose IV - Rsultats Plusieurs reprsentations possibles : Surfaces de subdivision [Doo et Sabin, 78] + ondelettes [Lounsbery, 97] Raffinement progressif [Hoppe, 96], [Gandoin et Devillers, 02]

Compression de maillages : lexistantSchmas mono-rsolutionSchmas multi-rsolutionCodage progressif [Hoppe, 96], [Cohen-Or et al., 99], [Gandoin et Devillers, 02] 2 octets / s Compression spectrale [Karni et Gotsman, 00], [Sorkine et al., 05] Compression par ondelettes [Lounsbery, 97], [Guskov et al., 99], [Khodakovsky et al., 00] 2 - 4 bits / s Entre 1 et 2 octets/sommet [Deering, 95], [T&G, 98], [Rossignac, 99] ConnectivitGomtrieQuantificationPrdictionCodageentropiqueCodageentropiqueParcours dumaillageliste desymbolesordre00110100011010MI - Cadre II - TO III - Approche propose IV - Rsultats

Compression en ondelettes : lexistantDirectement sur un chantillonnage irrgulier[Taubin, 95], [Guskov et al., 99], [Valette et Prost, 02]

Aprs remaillage rgulier [Gu et al., 02], [Sander et al., 03], [Praun et Hoppe, 03]

Aprs remaillage semi-rgulier Prdiction par interpolation[Khodakovsky et al., 00], [Khodakovsky et Guskov, 03], [Lavu et al., 03], [Payan et Antonini, 05] Prdiction par approximation[Bertram, 04], [Li et al., 04], [Sauvage, 05]I - Cadre II - TO III - Approche propose IV - Rsultats

PlanI Cadre des travauxII La transforme en ondelettes Thorie de la transforme en ondelettes Les ondelettes en 3D Le remaillage semi-rgulierIII Approche proposeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II TO Thorie III - Approche propose IV - Rsultats

Lanalyse multirsolutionLHLLH1/41/2fLHLHLHdtailsdtailsdtailsM0Mm-1MmH[ ][1 -1]I - Cadre II TO Thorie III - Approche propose IV - Rsultats

Ondelettes gomtriquesGnralisation des bancs de filtres Analyse multirsolution spatiale[Mallat, 89]Avantages : Cots de calcul rduits Filtres simplifis Analyse et synthse en temps linaireI - Cadre II TO 3D III - Approche propose IV - Rsultats

En pratiqueMnMn-1pairimpairI - Cadre II TO 3D III - Approche propose IV - Rsultats

Remaillage semi-rgulier48 485 sommets112 642 sommetsMnoriginalMaillageirrgulierMirMaillagesemi-rgulierMsrPropice lapplication dune transforme en ondelettesGrande partie de la connectivit : impliciteRduction de lerreur de reconstruction dun facteur 4I - Cadre II TO Remaillage III - Approche propose IV - Rsultats

Intrt des ondelettes et du remaillageDistribution de langle polaire des coefficients dondelettesDistribution de lamplitude des coefficients dondelettes Distribution de la position des sommetsRepre globalRepre localMAPS [Lee et al., 98]Normal Mesh [Guskov et al., 00]Repre localDensit quasi uniforme :entropie leveDensit isole :entropie plus faibleI - Cadre II TO Remaillage III - Approche propose IV - Rsultats

PlanI Cadre des travauxII La transforme en ondelettesIII Approche propose Analyse ondelettes globale Segmentation multirsolution Analyse ondelettes locale Reconstruction adaptativeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II - TO III - Approche propose Analyse IV - Rsultats

Schma de notre approcheAnalyseglobaleSegmentationmultirsolutionAnalyselocaleCodagelocalDcodagelocalfluxbinaireRemaillagecoefficientsdondelettesmodle 3Dirrguliermodle 3Dsemi-rgulierclusterspatchsRecollagegrossierSynthselocalefluxbinaireniveaux de rsolutionVisualisationClassification

Analyse ondelettes globaleNiveau n-2Schma Butterflynon liftRemaillage Normalx10I - Cadre II - TO III - Approche propose Analyse IV - Rsultats

Amplitude des ondelettesReprsentation multirsolutionNiveau n-1Niveau n-2Niveau n-3Niveau n-1Niveau noriginalPondrationmultirsolutionI - Cadre II - TO III - Approche propose Analyse IV - Rsultats

Calcul de pondration N1 Niveau mNiveau m-1Niveau mNiveau m-1Niveau m-2PondrationmultirsolutionNiveau m Niveau m-1 Niveau m-2Niveau mI - Cadre II - TO III - Approche propose Analyse IV - Rsultats

Calcul de pondration N2Niveau mNiveau m+1Niveau m+2Niveau m+3Pondrationmultirsolution grossire fine 642 s40962 sI - Cadre II - TO III - Approche propose Analyse IV - Rsultats

PlanI Cadre des travauxII La transforme en ondelettesIII Approche propose Analyse ondelettes globale Segmentation multirsolution Analyse ondelettes locale Reconstruction adaptativeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II - TO III - Approche propose Segmentation IV - Rsultats

Schma de notre approcheAnalyseglobaleSegmentationmultirsolutionAnalyselocaleCodagelocalDcodagelocalfluxbinaireRemaillagecoefficientsdondelettesmodle 3Dirrguliermodle 3Dsemi-rgulierclusterspatchsRecollagegrossierSynthselocalefluxbinaireniveaux de rsolutionVisualisationClassificationpatchs

Classification et croissance de rgionsAmplitudeAngle polairesommets,artes oufacettesClassification (K-means)en 2 clustersAmplitudeAngle polaireAmplitudeAngle polairesommetsfacettesK=2Croissancede rgionsAnalyseglobaleNiveau noriginalNiveau n-1Niveau n-1I - Cadre II - TO III - Approche propose Segmentation IV - Rsultats

Projection grossire des clustersProjection grossireExtraction des rgionsNiveau n (original)Niveau n-1Niveau n-5Niveau n-2 Niveau n-4Niveau n-5Projection finet0t2I - Cadre II - TO III - Approche propose Segmentation IV - Rsultats

Projection fine des clustersclassification initialeNiveau n-2Niveau n-4 Niveau n-5Projection grossireExtraction des rgionsNiveau n (original)Niveau n-1Niveau n-5Projection fineI - Cadre II - TO III - Approche propose Segmentation IV - Rsultats

Comparaison des segmentationsCalcul de pondration N1 + Projection grossire + Projection fine 11 rgions5 rgionsCalcul de pondration N2 + Projection fine Amplitude Classification Croissance Projection grossire Projection fine I - Cadre II - TO III - Approche propose Segmentation IV - Rsultats

Comparaison des segmentations (2)Calcul de pondration N1 + Projection grossire + Projection fine Calcul de pondration N2 + Projection fine 5 rgions6 rgions6 rgions5 rgions11 rgions9 rgionsI - Cadre II - TO III - Approche propose Segmentation IV - Rsultats

PlanI Cadre des travauxII La transforme en ondelettesIII Approche propose Analyse ondelettes globale Segmentation multirsolution Analyse ondelettes locale Reconstruction adaptativeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II - TO III - Approche propose Codage IV - Rsultats

Schma de notre approcheAnalyseglobaleAnalyselocaleCodagelocalDcodagelocalfluxbinaireRemaillagecoefficientsdondelettesmodle 3Dirrguliermodle 3Dsemi-rgulierclusterspatchsRecollagegrossierSynthselocalefluxbinaireniveaux de rsolutionVisualisationClassificationSegmentationmultirsolution

Intrt de lanalyse / codage indpendants + codage des informations relatives au partitionnement : nb rgions, type de cluster, filtres utiliss, : compress sans pertezerotreeConnectivitCodagearithmtiqueliste desymboles00110101QuantificationCodagearithmtique0110GomtrieConnectivitCodagearithmtiqueliste desymboles10101101QuantificationCodagearithmtique1010Gomtrie[Touma et Gotsman, 98][Khodakovsky et al., 00]I - Cadre II - TO III - Approche propose Codage IV - Rsultats

PlanI Cadre des travauxII La transforme en ondelettesIII Approche propose Analyse ondelettes globale Segmentation multirsolution Analyse ondelettes locale Reconstruction adaptativeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II - TO III - Approche propose Reconstruction IV - Rsultats

Schma de notre approcheAnalyseglobaleAnalyselocaleCodagelocalDcodagelocalfluxbinaireRemaillagecoefficientsdondelettesmodle 3Dirrguliermodle 3Dsemi-rgulierclusterspatchsRecollagegrossierSynthselocalefluxbinaireniveaux de rsolutionVisualisationClassificationSegmentationmultirsolution

PlanI Cadre des travauxII La transforme en ondelettesIII Approche proposeIV Rsultats et applicationsV Conclusion et perspectivesI - Cadre II - TO III - Approche propose IV - Rsultats

Comparaisons visuellesVariance dela courbureDiffrencede normalesRemaillage Normal[Lavou, 06]Amplitude des coefficientsAngle polaire [0, /2]Angle polaire [0, ][Roudet, 08]schma Butterflyschma midpointI - Cadre II - TO III - Approche propose IV - Rsultats

Mesure de la concavit / convexitI - Cadre II - TO III - Approche propose IV - Rsultats [Roudet et al., CORESA 09]

Comparaison analyse globale / localeI - Cadre II - TO III - Approche propose IV - Rsultats PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la bote englobante d = distance de Hausdorff

Progressivit de la reconstruction0,23 bit / sommet0,68 bit / sommet1,66 bit / sommet6,54 bit / sommetI - Cadre II - TO III - Approche propose IV - Rsultats

Comparaison analyse globale / locale (2)I - Cadre II - TO III - Approche propose IV - Rsultats PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la bote englobante d = distance de Hausdorff

Progressivit de la reconstruction0,20 bit / sommet0,57 bit / sommet1,27 bit / sommet4,92 bit / sommetI - Cadre II - TO III - Approche propose IV - Rsultats

Comparaison perceptuellee1 : distance de Hausdorff obtenue par Mesh [Aspert et al., 02] (x 10-4)e2 : mtrique asymtrique : Mesh Structural Distorsion Measure [Lavou et al., 06] distance perceptuelle entre 2 objets (0 : objets identiques)I - Cadre II - TO III - Approche propose IV - Rsultats Reconstruction adaptativeReconstruction globale6565

Optimisation du compromis dbit/distorsionAnalyselocaleCodageentropiqueDcodageentropiquefluxbinairePatchs semi-rguliersSynthselocalefluxbinaireniveaux de rsolutionMaillage semi-rgulier segmentDbit ou distorsion cibleCodage zerotree ou contextuelQ*zerotree

Autres applicationsTransmission et reconstruction adaptativeVisualisation slective (ROI)Dbruitage et tatouage adaptatifsCorrection d'erreurs lors de la transmission canale : erreur (x 10-4)I - Cadre II - TO III - Approche propose IV - Rsultats AnalyseglobaleReconstructionadaptativePond. N1Pond. N2Reconstructions adaptatives :avec prdiction sans prdiction

Visualisation slective par ROII - Cadre II - TO III - Approche propose IV - Rsultats 11 967 octets5 181 octets

PlanI Cadre des travauxII La transforme en ondelettesIII Approche proposeIV Rsultats et applicationsV Conclusion et perspectives

Contributions Remaillage semi-rgulier Comparaison de plusieurs mthodes de ltat de lart Analyse en ondelettes Comparaison de schmas de prdiction interpolants Mesure de rugosit base sur les ondelettes Nouveau schma danalyse indpendante sur des patchs Segmentation de maillages triangulaires Adaptation dun algorithme existant sur des critres de rugosit Nouveau schma de segmentation multirsolution Codage de maillages Adaptation dun codeur zerotree pour un ensemble de patchs Compression de maillages Mthode gnrique de compression adaptative

Perspectives Remaillage semi-rgulier Privilgiant les directions de courbure ou de texture Analyse en ondelettes Schmas de prdiction dans les zones non lisses bass sur les directions de courbure ou les approches fractales Segmentation de maillages triangulaires Augmenter le nombre de clusters durant la classification Codage de maillages Eviter la redondance au niveau des frontires de patchs Optimiser la quantification et lallocation binaire de chaque rgionApplications Transmission et dcodage par rgion dintrt (ROI) Dbruitage et tatouage adaptatifs

Questions Merci de votre attention !

PublicationsRevues internationales :C. Roudet, F. Dupont, A. Baskurt: Computers & Graphics (en soumission).R. Chaine, P.-M. Gandoin, C. Roudet:IEEE Transactions on Automation Science and Engineering, 2007.Confrences internationales avec comit de lecture :C. Roudet, F. Dupont, A. Baskurt: SPIE Wavelet Applications in Industrial Processing VI, 2009.R. Chaine, P.-M. Gandoin, C. Roudet: ACM Symposium on Solid and Physical Modeling, 2007.C. Roudet, F. Dupont, A. Baskurt: SPIE Visual Communications and Image Processing, 2007. Confrences nationales avec comit de lecture :C. Roudet, F. Dupont, A. Baskurt:CORESA 2009.C. Roudet, F. Dupont, A. Baskurt:CORESA 2006.

Au vu des points critiques nous avons opt pour une reprsentation hirarchique des donnesLes modles sont denses do une ncessit de traitements optimiss et rapides (programmation en C++)Transmission de ces modles pour un grand nombre dapplications ( lister) grce lexpansion dInternet et la multiplication des rseaux haut dbitStructures irrgulire pour lesquelles les algos sur les images ou vidos sont difficilement adaptablesLes sommets sont chantillonns dans un espace 3D et rpartis des endroits bien caractristiques de la surface, pour reflter au mieux la forme de lobjetApproximation linaire par morceaux de la surface cible non lisse (continuit C0) : IFS (Indexed Face Set). Tesslation avec des facettes planes2 types dinformations : Gomtrie et Connectivit (K : complexe simplicial)liste de sommets et de facettes. Topologie arbitraire (non-manifold, open, higher genus, ...)Plusieurs formats ASCII : VRML, X3D, InVentor (IV), OFF, OBJ, PLY, Fournissent une reprsentation multirsolution pour le codage hirarchique (adapte aux terminaux mobiles)SdS : Limite des raffinements dun polydre de contrleSdS : Fort taux de compression adapt aux liaisons bas dbit (on ne transmet que le polydre de contrle : reprsentation compacte)Surface lisse : limite dune squence de raffinements, applique sur une maillage de contrle (affectent la gomtrie et la connectivit)Le maillage ainsi cr tend vers une surface limite aussi lisse que celle obtenue en utilisant une surface polynomialeTaux de compression des mthodes monorsolution : la taille reste grande pour des objets complexesCodage progressif sans perte : Taux de compression > mono-rsolution mais comparableSchmas MR : Possibilit dafficher une rsolution infrieure, mais dgradation visuelle trs visible sur des objets lisses (forte quantification)AMR sur un chantillonnage irrgulier : trop lourd pour la compression avec contraction darteValette : code additionnel pour savoir quel subdivision appliquer mais sans pertePrincipe des geometry images par paramtrisation sur un unique patchPlus de patchs dans le complexe paramtrique : remaillage semi-rgulier : les meilleurs taux de compression actuels car la connectivit et la param sont rendues implicitesOndelettes visualise sur le niveau -2, obtenues avec BIM (sans lift) sur le maillage normal, dont lamplitude a t multiplie par 10Ondelettes visualise sur le niveau -2, obtenues avec BIM (sans lift) sur le maillage normal, dont lamplitude a t multiplie par 10 (Shrink = 2)

Ondelettes visualise sur plusieurs niveaux, obtenues avec BIM (sans lift) sur le maillage Horse normal, dont lamplitude a t multiplie par 10 (Shrink = 2)

Les modles sont denses do une ncessit de traitements optimiss et rapides (programmation en C++)Transmission de ces modles pour un grand nombre dapplications ( lister) grce lexpansion dInternet et la multiplication des rseaux haut dbitStructures irrgulire pour lesquelles les algos sur les images ou vidos sont difficilement adaptablesLes sommets sont chantillonns dans un espace 3D et rpartis des endroits bien caractristiques de la surface, pour reflter au mieux la forme de lobjetLes modles sont denses do une ncessit de traitements optimiss et rapides (programmation en C++)Transmission de ces modles pour un grand nombre dapplications ( lister) grce lexpansion dInternet et la multiplication des rseaux haut dbitStructures irrgulire pour lesquelles les algos sur les images ou vidos sont difficilement adaptablesLes sommets sont chantillonns dans un espace 3D et rpartis des endroits bien caractristiques de la surface, pour reflter au mieux la forme de lobjetLes modles sont denses do une ncessit de traitements optimiss et rapides (programmation en C++)Transmission de ces modles pour un grand nombre dapplications ( lister) grce lexpansion dInternet et la multiplication des rseaux haut dbitStructures irrgulire pour lesquelles les algos sur les images ou vidos sont difficilement adaptablesLes sommets sont chantillonns dans un espace 3D et rpartis des endroits bien caractristiques de la surface, pour reflter au mieux la forme de lobjet