Inspection automatisée d’assemblages mécaniques aéronautiques par vision artificielle

La vérification de la conformité de produits est pour une entreprise une garantie d’assurer la livraison de produits de bonne qualité à ses clients. Cela constitue également un moyen de réduire les coûts en évitant le retour de produits non conformes et de prévenir un accident en cas applications cruciales telles qu’en médecine ou dans certaines applications aéronautiques ou encore dans le domaine alimentaire. En ce sens, des efforts continus sont mis en œuvre par les organisations de qualité et de sécurité, par les industriels et les institutions de recherche avec l’objectif d’améliorer les normes et les méthodologies de contrôle qualité. Le contrôle qualité par vision artificielle est un sujet largement étudié dans lequel il existe une vaste littérature [Modayur et al., 1992, Newman and Jain, 1995, Malamas et al., 2003, Golnabi and Asadpour, 2007].

Ce type d’inspection est adapté lorsque l’on souhaite effectuer le contrôle de façon non destructive. De plus, l’inspection visuelle automatisée permet d’assurer l’uniformité du contrôle et de maintenir une cadence soutenue de contrôle. Au début de l’inspection visuelle par les caméras, l’objet de référence était une image en noir et blanc qui servait de référence lors de la comparaison avec l’objet à contrôler. Progressivement, différentes approches ont émergé telles que la corrélation d’un objet non défectueux avec l’image test, la comparaison de contours ou des approches plus sophistiquées, notamment la comparaison d’un modèle représentant l’objet non défectueux avec l’objet test pouvant être défectueux. Ce dernier type d’approche est développé notamment dans les articles de Bukovec et al. [Bukovec et al., 2007] et de Mozina et al. [Mozina et al., 2013].

Problématique : Comment exploiter la CAO

Comment exploiter le modèle CAO et des techniques d’analyse d’images pour réaliser l’inspection automatisée ?. La problématique de cette thèse consiste à exploiter au mieux le modèle CAO afin de réaliser l’inspection d’assemblages mécaniques en combinant l’exploitation du modèle CAO et des techniques d’analyse d’images. Nous allons à travers deux projets différents expliquer comment atteindre cet objectif. Les annexes A et B montrent quelques exemples d’éléments présents sur l’assemblage à contrôler.

D’abord nous nous concentrerons sur les objectifs et les moyens disponibles pour la réalisation de chaque projet, ensuite nous évoquerons les deux façons selon lesquelles nous envisageons d’utiliser le modèle CAO, afin de pouvoir combiner son utilisation avec les outils d’analyse d’images pour réaliser l’inspection d’assemblages mécaniques. Dans ce chapitre introductif, nous nous contenterons d’évoquer comment le modèle CAO peut être exploité pour atteindre l’objectif d’inspecter un assemblage mécanique constitué notamment de rivets et des supports de fixation.

Le projet CAAMVis

Motivation et objectifs

CAAMVis est un projet collaboratif qui a réuni deux entreprises (Noomeo et Kinéocam) et deux laboratoires de recherche (LAAS-CNRS et Institut Clément Ader) de la région MidiPyrénées autour d’un objectif commun, à savoir le Contrôle Automatisée d’Assemblages Mécaniques par Vision artificielle. Ce projet a duré de janvier 2011 à décembre 2013 et a été financé par la région Midi-Pyrénées. Le projet a été porté par la société Noomeo, avec qui nous avons travaillé plus étroitement. En tant qu’utilisateur final la société Aérolia a mis à notre disposition un assemblage mécanique ainsi que le modèle CAO de cet assemblage pour que nous pussions réaliser nos tests.

Moyens matériels

En entrée du système d’inspection il y a le modèle CAO de l’assemblage à contrôler , duquel on peut déduire le modèle de l’élément à contrôler. Le système comprend également un capteur de vision à double tête stéréo (développé par la société Noomeo) qui peut fournir le nuage des points 3D de l’élément à contrôler , ainsi que deux images 2D (gauche et droite) de ce même élément à inspecter.

Le capteur constitué de deux têtes stéréo, comprend deux caméras grand champ et deux caméras petit champ. Deux projecteurs de mouchetis complètent le capteur, afin de favoriser la reconstruction 3D.

Les deux caméras grand champ permettent le recalage global du support d’assemblage physique avec la structure de l’assemblage du modèle CAO. Les deux caméras petit champ permettent de se focaliser sur l’objet d’intérêt. Le capteur à double tête stéréo est porté par un robot manipulateur possédant six degrés de liberté. Les deux têtes stéréos sont calibrées et la transformation entre le robot et le capteur est aussi connue. En prenant l’une des deux caméras de la paire stéréo comme référence, la transformation entre le repère du monde et le repère de la caméra de référence est connue.

Quelques systèmes d’acquisition utilisés en inspection visuelle

En inspection visuelle automatisée et de manière générale en vision par ordinateur le succès de l’algorithme utilisé pour une tâche donnée est étroitement lié à la qualité des images d’entrée. Ces images proviennent de différentes sources d’acquisition, et bien souvent elles sont associées à un système d’éclairage lorsqu’il est possible de contrôler l’environnement de travail. Un système d’acquisition bien adapté permet d’obtenir des images de qualité c’est-à-dire avec une bonne résolution, un faible taux de bruit, de sorte à mettre en relief la zone d’intérêt, afin de permettre de mieux voir ce dont il est question. Le choix de systèmes imageurs est très vaste et dans cette section nous nous attacherons à présenter quelques systèmes d’acquisition et à expliquer les raisons qui justifient un choix au détriment d’un autre pour une tâche en particulier car les facteurs comme le coût du système et la place qu’il peut occuper sont autant d’éléments importants. Cette description des systèmes d’acquisition utilisés en inspection commence par une brève présentation de la caméra matricielle standard CCD, suivi de la caméra linéaire, fonctionnant comme un scanner et adaptée pour les lignes de production (tapis roulant). Ensuite les systèmes d’acquisition d’images tels que la caméra Pan-Tilt-Zoom (PTZ), une caméra qui a la possibilité de pivoter horizontalement, verticalement en plus de pouvoir zoomer sera décrite. Puisqu’il y a des choses qui se passent et que l’être humain n’est pas capable d’observer à l’œil nu, les systèmes imageurs tels que les rayons-X et des caméras fonctionnant sur des plages spectrales au-delà du visible ou avec plus de résolution spectrale (trois à quelques centaines de canaux) seront aussi présentés dans cette section, qui finira par une description des systèmes d’acquisition utilisés dans nos travaux et auxquels nous avons déjà fait référence dans le chapitre précédent.

Caméra matricielle

Le terme caméra matricielle vient du fait que les photo-détecteurs (surface sensible du capteur) à l’intérieur de la caméra sont rangés en une grille contrairement à la caméra linéaire où ils sont rangés en une simple ligne. Les caméras matricielles sont les plus répandues. En 2013, Stemmer Imaging [Stemmer, 2013] rapporte que dans les application de vision, la vente des caméras matricielles dépasse celles des caméras linéaires d’un facteur 10. En vision, on rencontre couramment les caméras matricielles , à technologie CCD [Perng et al., 2011] ou CMOS. Les deux technologies existent depuis des nombreuses années mais la technologie CCD est plus communément utilisée. Néanmoins, la technologie CMOS semble rattraper son retard ces dernières années. Ces technologies standards sont couramment employées notamment en raison de leur faible coût. En général, ce faible coût a comme contrepartie des problèmes liés à l’objectif. En pratique ce problème peut être résolu grâce à une étape de calibrage de la caméra. Si les caméras matricielles sont de manière générale massivement utilisées en vision, elles le sont particulièrement en inspection. Par exemple, dans le tableau de Cubero et al. [Cubero et al., 2011], répertoriant les systèmes d’acquisition utilisés en inspection visuelle, dans le domaine agroalimentaire, on constate une présence significative des caméras matricielles CCD notamment dans l’inspection de la partie extérieure des fruits.

Systèmes à base de caméra linéaire

Contrairement à la caméra matricielle, la caméra linéaire utilise une seule ligne de photodétecteurs pour capturer un flot d’images d’un objet en déplacement. Ce flot d’images est traité par un système de vision intégré à la caméra afin de créer des images 2D qui sont généralement utilisées à des fins de contrôle-qualité industriel. Les caméras linéaires sont très utilisées dans les lignes de production où l’on cherche à inspecter les articles à un rythme soutenu. De plus, elles offrent souvent une haute résolution et elles permettent de travailler à des distances de travail réduite pouvant même atteindre 10 mm. Elles existent en plusieurs formats et utilisent aussi bien la technologie CCD [Excelitas, 2015] que la technologie CMOS [Teledyne, 2015].

La flexibilité du système Pan-Tilt-Zoom

Le système PTZ est intéressant en ce sens qu’il permet à la fois de viser une cible et de la suivre grâce à sa capacité de zoomer et de pivoter selon les deux axes (X et Y). Cette flexibilité lui vaut d’être utilisé dans différents types d’applications notamment en télésurveillance où il est omniprésent mais son utilisation n’est pas limitée à ce seul domaine. Ce système PTZ est aussi utilisé dans d’autres domaines, notamment dans la navigation robotique terrestre. Au même titre que les caméras PTZ on pourrait citer les caméras omnidirectionnelles de type fishe-eye grand angle, qui ont ont un angle de vue important et couvrent un champ de vision pouvant atteindre 360◦ . Elles sont utilisées dans des applications d’inspection, de surveillance, d’observation du ciel (suivi de nuages), où encore dans des applications de navigations terrestre (Google Street View, Globbespotter et Cyclorama de Cyclomedia). En comparaison avec les caméras grand angle de type fishe-eye, le système PTZ a l’avantage de permettre de zoomer sur l’objet d’intérêt, sans que l’on ait à déplacer la caméra.

Table des matières

1 Introduction générale
1.1 Structuration du manuscrit
1.2 Problématique : Comment exploiter la CAO
1.2.1 Le projet CAAMVis
1.2.1.1 Motivation et objectifs
1.2.1.2 Moyens matériels
1.2.1.3 Comment le modèle CAO est-il exploité dans ce projet
1.2.2 Le projet Lynx
1.2.2.1 Motivation et objectifs
1.2.2.2 Moyens matériels
1.2.2.3 Comment le modèle CAO est-il exploité dans ce projet
1.3 Contributions
1.4 Conclusion
2 Inspection visuelle automatisée et reconnaissance d’objets
2.1 Considérations générales
2.1.1 Définitions
2.1.1.1 Reconnaissance d’objets
2.1.1.2 Inspection visuelle automatisée
2.1.2 Quelques systèmes d’acquisition utilisés en inspection visuelle
2.1.2.1 Caméra matricielle
2.1.2.2 Systèmes à base de caméra linéaire
2.1.2.3 La flexibilité du système Pan-Tilt-Zoom
2.1.2.4 Au-delà de l’œil humain
2.1.2.5 Nos systèmes d’acquisition
2.2 Méthodes de reconnaissance d’objets
2.2.1 La photométrie
2.2.1.1 Reconnaissance d’objets par Template Matching
2.2.1.2 La comparaison basée couleur
2.2.2 Les descripteurs locaux et méthodes à base d’histogrammes
2.2.2.1 SIFT
2.2.2.2 SURF
2.2.2.3 KAZE et AKAZE
2.2.2.4 BRISK
2.2.2.5 ORB
2.2.2.6 FREAK
2.2.2.7 Résumé sur les méthodes de détection et description de points d’intérêt
2.2.3 Reconnaissance par apprentissage
2.2.3.1 Apprentissage supervisé
2.2.3.1.1 K-NN
2.2.3.1.2 Classifieur bayésien
2.2.3.1.3 Arbres de décision
2.2.3.1.4 L’algorithme du Perceptron
2.2.3.1.5 Perceptron multicouche ou réseau de neurones
2.2.3.2 Apprentissage non-supervisé
2.2.3.2.1 L’algorithme du K-means
2.2.3.3 Apprentissage profond
2.2.3.4 Réduction de dimension en apprentissage
2.2.3.5 Lien entre l’apprentissage et l’inspection
2.2.4 La géométrie 2D
2.2.4.1 Primitives et attributs géométriques
2.2.4.2 Contour et squelette
2.3 Inspection sans modèle CAO
2.3.1 Inspection dans l’industrie agroalimentaire
2.3.2 Inspection dans le secteur de la banque et de la finance
2.3.3 Inspection dans l’industrie pharmaceutique
2.3.4 Inspection dans l’industrie électronique
2.3.5 Inspection dans l’industrie automobile
2.3.6 Inspection dans l’industrie aéronautique
2.3.7 Autres
2.4 Inspection de pièces mécaniques à l’aide d’un modèle CAO
2.4.1 Méthodes basées sur une comparaison 3D/3D
2.4.2 Méthodes basées sur une comparaison 2D/2D issue du modèle 3D
2.5 Conclusion
3 Application ayant servi de support à nos travaux
3.1 Projet CAAMVis : inspection à partir d’un capteur stéréo porté par un robot
3.1.1 Rappel des objectifs et stratégie d’inspection
3.1.1.1 Rappel des objectifs
3.1.1.2 Stratégie d’inspection
3.1.2 Rappel de la méthode développée par la société Noomeo, comparaison 3D /3D
3.1.2.1 Constat : Le problème du temps de calcul
3.1.3 Inspection basée sur la comparaison 2D/2D via la transformée en distance
3.1.3.1 Obtenir des contours 2D à partir d’un modèle 3D
3.1.3.2 Construction de la fonction de mesure basée sur l’utilisation d’une carte de distances
3.1.3.3 Algorithme d’optimisation utilisé
3.1.3.4 Description de la fonction de décision
3.1.4 Résultats préliminaires et discussions
3.1.5 Bilan du projet CAAMVis : améliorations envisagées
3.2 Introduction au projet Lynx et à l’inspection à partir d’une caméra PTZ
3.2.1 Rappel des objectifs
3.2.2 Les deux stratégies d’utilisation du modèle CAO dans le projet Lynx
4 Appariement de primitives géométriques par la théorie des graphes et mesure de ressemblance
Conclusion générale

Lire le rapport complet