Soutenance mémoire
Applications du recalage
Les domaines d’application du recalage 3-D sont nombreux. En effet, cette technique de la vision est aussi bien utilisée en robotique (robots mobiles, asservissement visuel), qu’en imagerie médicale 3-D, en imagerie par satellite, en archéologie, ou encore en urbanisme.
La vision artificielle en trois dimensions occupe une place importante en robotique et notamment dans des applications telles que la localisation de véhicules autonomes et l’asservissement visuel. La localisation de robots mobiles par la vision a, dans la plupart des cas, recours à des méthodes de recalage (mise en correspondance de caractéristiques géométriques ou photométriques). L’une des méthodes les plus utilisées pour la localisation de robots mobiles, en milieu intérieur, est nommée SLAM (Synchronous Localization And Mapping). Il s’agit de se localiser en mettant en correspondance une carte globale de l’environnement avec la carte locale acquise par le robot à chaque instant. La carte globale est mise à jour à chaque instant. Ces cartes peuvent être constitués de caractéristiques géométriques 2D ou 3D (segments de droites, points, courbes, éléments de surface, etc.).
En imagerie médicale, des techniques telles que la tomographie à rayon X et l’imagerie par résonance magnétique permettent une visualisation en trois dimensions des différentes structures anatomiques. De nombreux travaux ont été menés dans ce domaine. L’intérêt est de faciliter le diagnostic en permettant de visualiser des pathologie telles que les tumeurs et de voir leur évolution dans le temps. Le recalage de données 3D peut aussi avoir un intérêt en imagerie aérienne pour la construction de cartes géographiques 3D pour des applications de géologie ou dans le domaine de la défense. En archéologie, le recalage concerne la modélisation d’objets ou de sites historiques. Des techniques nouvelles d’acquisition utilisant un capteur de profondeur (scanners 3D, télémètre laser) et un capteur photométrique (caméra CCD ou appareil photo numérique) permettent de fournir des données 3D/couleur. On obtient ainsi des relevés topographiques des sites archéologiques relativement précis. Grâce aux logiciels de visualisation, il est possible de naviguer virtuellement et librement autour et à l’intérieur de ces sites historiques qui peuvent être mis à la disposition du grand public.
Problématique du recalage
Nécessité et objectifs du recalage
La reconstruction de modèles 3-D complets (création de modèles d’objets, reconstruction de l’environnement en robotique mobile, imagerie médicale 3-D, etc.) nécessite l’acquisition de plusieurs images de l’objet sous des points de vue différents. Cette contrainte résulte tout d’abord des limitations du champ du capteur utilisé. Ainsi, plus la résolution du capteur est importante, plus son champ est petit. Dans ce cas, il faut acquérir un nombre important d’images pour numériser l’ensemble de l’objet. Par ailleurs, la présence de zones d’ombre liées à la complexité de la forme 3D numérisée se traduit également par un accroissement du nombre de vues. Il en résulte des images 3-D qui doivent être transformées dans le même système de coordonnées. Cette opération est appelée « recalage ». Le référentiel commun peut être choisi arbitrairement comme celui de l’une des images. Pour que le recalage soit possible, les points de vue choisis pour la numérisation doivent être tels que deux images voisines se recouvrent partiellement.
Le recalage vise à fournir un ensemble de données exploitables pour la reconstruction du modèle numérique d’un objet ou d’un environnement de telle sorte que l’on puisse, d’une part le visualiser sur un écran, et d’autre part traiter ces données (simplification, échantillonnage systématique ou sélectif,…) pour obtenir une représentation adaptée à l’application envisagée. Mais ce n’est pas le seul domaine d’application du recalage. Il peut également servir pour la reconnaissance de formes 3D ou pour résoudre des problèmes de localisation en robotique mobile.
Lorsque les transformations de repères entre les différentes images à recaler (qui correspondent aux différents points de vue utilisés pendant l’acquisition des données) sont connues de façon relativement précise, le recalage de ces vues est une tâche en partie résolue par un certain nombre de logiciels. C’est le cas lorsque les différentes positions du capteur ou de l’objet sont mesurables pendant la numérisation (utilisation d’un plateau tournant sur lequel est positionné l’objet, ou bien d’un bras instrumenté pour déplacer le capteur). Il est aussi possible de fixer des marqueurs sur l’objet à numériser ou des balises dans l’environnement à reconstruire (par exemple des boules calibrées dont le centre servira de point de référence). Ces approches ont l’avantage d’être précises, mais elles sont contraignantes du point de vue instrumentation, et elles ne peuvent pas être utilisées dans tous les cas.
Lorsque l’on ne dispose pas de marqueur artificiel ou de système instrumenté pour mesurer le déplacement du capteur, l’initialisation du recalage peut être effectuée soit manuellement par l’opérateur, soit automatiquement par traitement logiciel des images. Dans le premier cas, l’opérateur repère sur une paire d’images de la scène des éléments caractéristiques communs : coins, arêtes, … En les mettant en correspondance, il est possible d’identifier la transformation rigide permettant de passer d’un repère à l’autre. Dans le deuxième cas, on dispose uniquement des deux images brutes fournies par le capteur de numérisation. Une image est constituée généralement par un nuage de points 3D structuré ou non structuré (suivant la technologie du capteur employé). Avec certains types de capteurs, on a également une information photométrique (niveau de gris ou couleur) pour chaque point. C’est le cas des capteurs à lumière structurée qui associent une caméra à un système de projection de lumière pour estimer la profondeur des points mesurés dans l’image [SAL98, BRE1, BRE2, OSU].
Formalisation du problème de recalage géométrique
De manière générale, les méthodes de recalage conçues pour recaler des éléments de formes 3D s’appliquent à divers types de données géométriques. On peut citer de manière non exhaustive [SEE00] :
– des ensembles de points,
– des lignes polygonales,
– des éléments de courbes,
– des surfaces facettées (ensembles de triangles),
– des surfaces paramétriques, …
Rappelons que dans le cadre de cette thèse nous nous intéressons au recalage des données brutes extraites d’une séquence d’images fournie par un capteur de numérisation. Il s’agit donc d’ensembles de points 3D qui se recouvrent partiellement.
Il faut noter qu’il s’agit d’un problème différent de celui qui consiste à recaler de nouvelles données dans un modèle existant (par exemple : intégrer de nouveaux points dans une surface connue). Dans ce cas, tous les points du nuage à recaler ont un correspondant dans le modèle [BES92].
Représentation de la transformation rigide
Il existe différentes façons de représenter les changements d’orientation d’un corps dans l’espace. Parmi les plus utilisées en vision 3D et en particulier dans les problèmes de recalage [SEE00], nous pouvons citer:
– les angles de roulis tangage lacet (RTL).
– les angles d’Euler.
– les quaternions et les quaternions duaux.
Recalage local et recalage global
La construction du modèle 3-D d’un objet nécessite le recalage de plusieurs vues. Pour recaler l’ensemble de ces vues dans un référentiel unique, on peut utiliser soit une approche locale soit une approche globale.
Le recalage local [CHE91, BES92, ZHA94] consiste à recaler les différentes vues deux par deux. Ainsi, pour un modèle composé de N vues, il faut recaler successivement N-1 paires d’images. Cette approche a l’inconvénient de ne pas prendre en compte toutes les interactions entre les divers recouvrements mutuels des différentes surfaces ; en effet chaque vue chevauche généralement plusieurs autres vues. Un autre inconvénient de cette approche est que les erreurs de recalage par paires se propagent de surface en surface [BEN02].
Le recalage global contrairement au recalage local, prend en considération toutes les vues disponibles à la fois [BEN02]. Il prend en compte tous les recouvrements possibles entre les différentes vues. Il permet une meilleure distribution des erreurs résiduelles entre les différents recouvrements.
|
Table des matières
1 INTRODUCTION
1.1 INTRODUCTION
1.2 PROBLEMATIQUE
1.3 APPLICATIONS DU RECALAGE
1.4 CONTEXTE DE L’ETUDE
1.5 PRESENTATION DU MANUSCRIT
2 RECALAGE DE DONNEES 3D
2.1 INTRODUCTION
2.2 PROBLEMATIQUE DU RECALAGE
2.2.1 Nécessité et objectifs du recalage
2.2.2 Formalisation du problème de recalage géométrique
2.2.3 Représentation de la transformation rigide
2.2.4 Recalage local et recalage global
2.3 METHODES ITERATIVES
2.3.1 Sélection des points
2.3.2 Technique d’appariement
2.3.3 Pondération des paires de points appariés
2.3.4 Rejet des mauvais appariements
2.3.5 Critère à minimiser et algorithme de minimisation
2.4 MISE EN CORRESPONDANCE D’ELEMENTS GEOMETRIQUES CARACTERISTIQUES
2.5 METHODES PAR OPTIMISATION
2.6 CONCLUSION
3 RECALAGE DE DEUX NUAGES DE POINTS 3D/COULEUR PAR ICP
3.1 INTRODUCTION
3.2 RECALAGE DE DONNEES 3D AVEC L’ALGORITHME ICP
3.2.1 Principe de l’algorithme
3.2.2 Calcul de la transformation de repère
3.2.3 Elimination des points aberrants par seuillage adaptatif
3.2.4 Mise en œuvre d’un k-D tree pour la recherche du plus proche voisin
3.3 PRISE EN COMPTE DE LA COULEUR DANS LE RECALAGE
3.3.1 Appariement avec un critère mixte
3.3.2 Appariement avec seuillage de la distance couleur
3.3.3 Choix de l’espace couleur
3.4 ETUDE COMPARATIVE POUR UN DEPLACEMENT SIMULE
3.4.1 Données expérimentales
3.4.2 Influence du seuillage adaptatif pour le recalage 3D
3.4.3 Apport de la couleur dans les performances du recalage
3.4.3.1 Appariement avec un critère mixte
3.4.3.2 Appariement avec seuillage de la distance couleur
3.4.4 Influence du recouvrement entre les deux images
3.5 ETUDE COMPARATIVE POUR UN DEPLACEMENT REEL
3.5.1 Convergence des algorithmes
3.5.2 Influence de l’espace couleur
3.6 CONCLUSION
4 APPARIEMENT DE POINTS COULEUR CARACTERISTIQUES
4.1 INTRODUCTION
4.2 ETAT DE L’ART
4.2.1 Détection de points d’intérêt
4.2.1.1 Méthodes basées sur les contours
4.2.1.2 Méthodes basées sur le signal
4.2.1.2.1 Détecteur de Kitchen Rosenfeld
4.2.1.2.2 Détecteur Harris Stephens
4.2.1.2.3 Détecteur Harris Précis
4.2.1.2.4 Détecteur Harris Précis Couleur
4.2.1.2.5 Comparaison des différents détecteurs
4.2.2 Appariement d’images 2D
4.2.2.1 Méthodes basées sur le signal
4.2.2.1.1 Corrélation du signal
4.2.2.1.2 Corrélation de phase
4.2.2.1.3 Mesure de l’information mutuelle
4.2.2.1.4 Distance de Hausdorff
4.2.2.2 Méthodes basées sur les histogrammes
4.2.2.3 Méthodes basées sur les invariants différentiels
4.2.3 Elimination des faux appariements
4.2.4 Conclusion
4.3 EXTRACTION DE POINTS D’INTERET
4.3.1 Exemple 1: peinture à l’huile
4.3.2 Exemple 2: Figurine 3D
4.3.3 Exemple 3: boite cylindrique
4.4 CARACTERISATION ET APPARIEMENT DES POINTS D’INTERET
4.4.1 Vecteur d’invariants
4.4.2 Normalisation des couleurs
4.4.3 Appariement des points d’intérêt
4.5 VALIDATION EXPERIMENTALE DE LA METHODE D’APPARIEMENT
4.5.1 Influence de la normalisation des couleurs
4.5.1.1 Appariement sans normalisation
4.5.1.2 Appariement avec normalisation
4.5.2 Influence de la taille de la fenêtre normalisation des couleurs
4.5.2.1 Exemple 1: Figurine 3D
4.5.2.2 Exemple 2 : Peinture à l’huile
4.5.2.3 Exemple 3: Boite cylindrique
4.6 CONCLUSION
5 RECALAGE AUTOMATIQUE 3D/COULEUR
5.1 INTRODUCTION
5.2 ETAT DE L’ART
5.3 ALGORITHME RANSAC
5.3.1 Principe
5.3.2 Application au recalage de nuages de points 3D/couleur
5.3.3 Mise en œuvre de l’algorithme RANSAC
5.4 VALIDATION EXPERIMENTALE AVEC DES DONNEES SIMULEES
5.4.1 Cas de deux images sans bruit additionnel
5.4.2 Cas de deux images avec bruit additionnel
5.5 VALIDATION DU RECALAGE COMPLET AVEC DES DONNEES REELLES
5.6 CONCLUSION
6 CONCLUSION GENERALE
Télécharger le rapport complet
