Alignement d’objets mécaniques complexes par vision monoculaire

Au cours des années 80, l’industrie a connu une évolution marquante avec l’essor de la Conception et Fabrication Assistée par Ordinateur, ou CFAO. Ces nouvelles méthodes de conception et de production industrielles reposent sur la notion de maquette numérique, aussi nommée modèle CAO. Cette maquette numérique correspond à un prototype virtuel d’un objet. Celle-ci est obtenue à l’aide d’outils de CAO (Conception Assistée par Ordinateur), ces derniers permettant aussi de visualiser cette maquette et d’analyser son comportement sous diverses contraintes au travers de simulations numériques. Lors de l’étape de conception, la maquette numérique permet donc d’élaborer rapidement un prototype de l’objet, de le tester et de le modifier en fonction des résultats des tests sans avoir à produire un prototype réel. Lors de l’étape de fabrication, la maquette numérique est exploitée par des logiciels de FAO (Fabrication Assistée par Ordinateur) pour commander de manière automatique les machines outils. La maquette numérique tient donc une place clé depuis la conception de l’objet jusqu’à la réalisation de celui-ci. Cependant, son rôle en dehors de ce cadre est quasi-inexistant. Pourtant, de nombreuses applications peuvent tirer parti de la connaissance contenue dans le modèle CAO. Un premier domaine d’application correspond à celui du contrôle dimensionnel avec, par exemple, le contrôle de conformité ou le contrôle d’usure d’une pièce. Un autre domaine correspond à celui de la robotique, avec des applications comme la préhension d’une pièce par un bras robotisé. Enfin l’assistance, avec des applications comme l’aide à la maintenance par des techniques de réalité augmentée, peut avantageusement exploiter ce type de données.

Un frein au développement de ces applications vient des techniques actuellement employées pour exploiter le modèle CAO. Ainsi, le domaine du contrôle dimensionnel emploie principalement des Machines de Mesures Tridimensionnelles (ou MMT) mécaniques. Il s’agit de techniques de mesure avec contact coûteuses. De plus, ces techniques sont lentes, ce qui empêche de contrôler chaque pièce produite. Les contrôles sont alors effectués par lot. Le contrôle est réalisé sur la dernière pièce de chaque lot, et l’acceptation du lot complet dépend du résultat de ce contrôle. D’autre part, les mesures ne peuvent être réalisées que si la pièce est placée sur la MMT selon une pose prédéterminée.

Etat de l’Art et Contexte 

Le recalage visuel (aussi appelé alignement par vision) consiste à estimer la position et l’orientation d’un objet tridimensionnel à partir d’une ou plusieurs images de celui-ci. Ce chapitre présente un état de l’art des méthodes de recalage visuel mono-image exploitant un modèle, c’est à dire des méthodes estimant la pose de l’objet à partir d’une seule image et à l’aide de connaissances a priori sur l’objet. Ces images sont issues du capteur plan d’une caméra dont on suppose qu’elle respecte le modèle de projection perspective.

La projection d’un objet sur une caméra engendre des variations de luminosité et de couleur dans l’image. Ces variations propres à la projection d’un objet sont désignées sous le terme de manifestations visuelles de l’objet. L’ensemble de celles-ci forme l’image de l’objet, ou aspect de l’objet à l’image. Une scène ne comportant généralement pas qu’un seul objet, le recalage d’un objet particulier consiste, dans un premier temps, à extraire et identifier les manifestations visuelles de celui-ci. Dans un second temps, il s’agit d’inférer la pose de cet objet à partir de ces manifestations visuelles et à l’aide d’un ensemble de connaissances a priori sur l’objet : le modèle de l’objet.

Une première difficulté de cette tâche provient des variations d’aspects que peut présenter un objet dans différentes images. Celles-ci dépendent :
– du point de vue : l’objet étant tridimensionnel, les parties visibles de celuici, ainsi que la manière dont celles-ci se projettent à l’image, dépendent du point de vue depuis lequel il est observé.
– des paramètres intrinsèques de la caméra : il s’agit des paramètres caractérisant la caméra (distance focale, point principal, …). Le processus de projection dépend des valeurs de ceux-ci. Cependant, on considérera dans le reste du chapitre que la caméra est calibrée, c’est à dire que ses paramètres intrinsèques sont connus.
– des conditions d’illumination : les zones d’ombre et de lumière sur l’objet dépendent de l’éclairage de celui-ci.
– de la couleur et de la texture : plusieurs instances d’un même objet peuvent présenter des textures et des couleurs différentes (eg. un même modèle de voiture peut être décliné sous différentes couleurs).
– de la présence d’occultations : l’objet n’étant pas nécessairement isolé, les autres éléments de la scène peuvent masquer certaines parties de l’objet.

D’autre part, l’identification de manifestations visuelles associées à l’objet nécessite de séparer celles-ci des manifestations des autres éléments de la scène. Grimson [30] présente d’ailleurs cette étape comme le point le plus délicat du processus de recalage. Les premières solutions ont été proposées avec les travaux de Roberts [70], ceux-ci traitant du problème du recalage visuel d’objets polyédriques. Depuis, de nombreuses approches ont été développées. Généralement, ces méthodes se différencient les unes des autres selon :
– la classe d’objets considérée : il n’existe pas de solution universelle, chaque solution est adaptée à une classe d’objet plus ou moins large (eg. objets polyédriques, objets texturés, …).
– la nature de la connaissance a priori utilisée : certaines solutions vont exploiter la connaissance de la géométrie de l’objet, d’autres la connaissance de l’apparence de l’objet et d’autres encore vont s’aider d’informations sur le contexte de la scène (eg. l’environnement présent dans l’image) [79].
– la robustesse aux changements environnementaux : certaines solutions nécessitent le contrôle de l’environnement (l’objet doit être isolé, l’éclairage contrôlé, …) alors que d’autres n’imposent aucune contrainte (la scène peut comporter de nombreux objets parasites, l’objet peut être partiellement occulté, …).
– l’efficacité : le coût en espace mémoire et en temps de calcul peut limiter le champ d’application de la solution (est-ce une solution «temps réel ?», le système est-il capable de recaler plus d’un objet ?).
– la qualité du recalage : bien qu’il s’agisse d’une notion mal définie, on peut néanmoins différencier les approches estimant un recalage grossier (pose approximative de l’objet) des solutions estimant un recalage fin. Ces solutions n’ont pas les mêmes champs d’application (un recalage approximatif n’est pas envisageable dans le cadre de métrologie par vision).

Dans la suite de ce chapitre, les méthodes sont organisées selon la manière d’identifier les primitives visuelles. Elles se répartissent alors selon quatre catégories :
– les méthodes 2D/2D : les primitives visuelles (2D) issues de l’image sont appariées aux primitives 2D du modèle de l’objet ;
– les méthodes 2D/3D : les primitives visuelles (2D) issues de l’image sont appariées à des primitives 3D du modèle de l’objet ;
– les méthodes 3D/3D : les primitives visuelles (2D) issues de l’image sont utilisées pour inférer la géométrie des primitives 3D qui les ont générées ; ces dernières étant ensuite appariées aux primitives 3D du modèle de l’objet ;
– les méthodes mixtes : il s’agit d’approches combinant au moins deux des trois premières approches.

Approches 2D/2D

Les approches 2D/2D visent à transformer le problème du recalage d’un objet 3D en un problème de recalage d’un objet 2D. Pour cela, ces approches utilisent la connaissance a priori des différents aspects pouvant être pris par l’objet à l’image : il s’agit d’un modèle d’apparence. Puisque l’aspect d’un objet à l’image est une description bidimensionnelle de l’objet, on peut considérer que ces approches représentent l’objet, non pas comme une entité 3D, mais comme une entité 2D dont l’aspect peut varier. Le recalage consiste alors à identifier l’aspect pris par cette entité 2D ainsi que sa position et son orientation dans l’image. Pour pouvoir néanmoins déterminer la pose 3D d’un objet, les approches 2D/2D exploitent le fait que l’aspect de celui-ci est généralement sensible aux variations de points de vue. L’élaboration du modèle d’apparence consiste alors à déterminer l’ensemble des aspects pouvant être pris par l’objet et à attribuer à chacun d’eux le point de vue depuis lequel cet aspect est observé. L’identification de l’aspect pris par l’objet suffit alors à déterminer sa pose.

Puisque la détermination de la pose 3D de l’objet est implicite, le processus de recalage se résume donc à la seule étape d’extraction des manifestations visuelles correspondant à l’objet et à l’identification, à partir de celles-ci, de l’aspect pris par l’objet. Le modèle d’apparence et le processus d’élaboration de celui-ci sont donc les éléments fondamentaux de cette approche.

Le modèle d’apparence d’un objet correspond généralement à une collection de vues de l’objet, chaque vue correspondant à une observation de l’objet dans une pose et/ou des conditions d’illuminations différentes. Pour que le modèle d’apparence puisse être représenté en mémoire, il est constitué d’un nombre fini de vues : les vues caractéristiques. Pour représenter l’aspect de l’objet dans une vue caractéristique, des manifestations visuelles de types particuliers (e.g. les contours, les points d’intérêt, …), appelées primitives visuelles, sont extraites de chacune des vues. L’ensemble de ces primitives visuelles ainsi que leur configuration spatiale caractérisent alors l’aspect de l’objet. L’ensemble des vues caractéristiques et leur description forment ainsi le modèle de l’objet : on parle alors de modèle multi-vue. Les deux étapes de l’élaboration d’un modèle sont donc :
– le choix des vues caractéristiques,
– la caractérisation des vues à l’aide de primitives visuelles.

Méthodes analytiques 

Afin de choisir les vues caractéristiques, les méthodes analytiques procèdent à un découpage en régions de la sphère de vues complète. Ce découpage est réalisé de manière à obtenir un nombre minimal de régions, chacune de ces régions devant contenir des points de vue pour lesquels l’aspect de l’objet est similaire3 . Ce découpage en région de la sphère de vues peut être considéré comme un découpage en classes d’équivalences, deux points de vue étant considérés équivalents si les deux conditions suivantes sont respectées :
– les deux points de vue ont le même aspect,
– il existe un chemin sur la sphère de vues complète qui relie les deux points de vue et qui passe uniquement par des points de vue partageant le même aspect.

Puisque tous les points de vue d’une même région partagent un aspect similaire, chaque région peut être représentée par l’aspect d’une seule de ces vues sans entraîner une perte d’information. Il suffit alors de relier par une arête les vues issues de régions voisines pour obtenir une représentation de l’objet sous forme de graphe : le graphe d’aspect. On notera cependant que cette description n’est pas complète. En effet, les points de vue situés aux frontières des régions correspondent aux points de vue accidentels. Il s’agit de points de vue pour lesquels un changement infinitésimal de la pose entraîne un changement notable de l’apparence de l’objet (eg. un changement de topologie au niveau des primitives). Puisqu’un point de vue accidentel n’appartient à aucune région, l’aspect pris par l’objet pour ce point de vue n’est pas représenté dans le graphe d’aspect de l’objet.

Table des matières

Introduction
1 Etat de l’Art et Contexte
1.1 Introduction
1.2 Approches 2D/2D
1.2.1 Choix des vues
1.2.2 Identification d’une vue à l’aide de primitives géométriques
1.2.3 Identification d’une vue à l’aide de primitives photométriques
1.2.4 Identification d’une vue à l’aide de descripteurs locaux
1.3 Approches 2D/3D
1.3.1 Choix des primitives du modèle
1.3.2 Mise en correspondance et estimation de la pose
1.4 Approches 3D/3D
1.5 Approches mixtes
1.6 Position des travaux présentés
2 Modèle combinant apparence et 3D
2.1 Les primitives visuelles
2.1.1 Région support : le voisinage d’un contour fermé
2.1.2 Caractérisation de la région support
2.2 Organisation des primitives visuelles en modèle géométrique 3D
2.3 Extension du modèle : le motif 2D/3D
2.4 Conclusion
3 Mise en correspondance selon l’apparence
3.1 Processus de mise en correspondance
3.2 Modélisation de la variance de la signature
3.3 Gestion des motifs répétitifs
3.4 Évaluation
3.4.1 Protocole expérimental
3.4.2 Résultats
3.5 Conclusion
4 Filtrage des appariements et calcul de pose
4.1 Filtrage géométrique des appariements
4.1.1 Principe de la méthode
4.1.2 Estimation d’une pose à partir d’un seul appariement
4.1.3 Critère de décision pour retenir les appariements cohérents avec une pose
4.1.4 Sélection des groupes d’appariements cohérents
4.2 Estimation Robuste de la pose
4.2.1 Calcul de la pose initiale
4.2.2 Raffinement de la pose
4.3 Conclusion
5 Evaluation du filtrage géométrique
5.1 Protocole expérimental
5.1.1 Les mesures
5.1.2 Les données
5.1.3 Les expériences
5.2 Pertinence du critère de cohérence
5.2.1 Le rappel
5.2.2 La précision
5.2.3 Le co-rappel
5.3 Performances du filtrage géométrique
5.3.1 Le rappel
5.3.2 La précision en l’absence de pondération
5.3.3 La précision avec pondération
5.4 Conclusion
6 Évaluation du processus de recalage
6.1 Protocole expérimental
6.1.1 La base d’objets
6.1.2 Caractérisation de la qualité du recalage
6.1.3 Algorithmes évalués
6.2 Robustesse aux changements de points de vue
6.3 Performances avec un modèle léger
6.3.1 Échecs et réussites du recalage
6.3.2 Qualité visuelle du recalage
6.3.3 Précision de la pose
6.3.4 Précision de la position 3D des points de surface visibles
6.4 Tests dans un environnement non contrôlé
6.5 Conclusion
7 Conclusion

Lire le rapport complet