Soutenance mémoire
Traitement d’image et environnement routier
Grâce à l’avancée des nouvelles technologies, le traitement d’image embarqué est de plus en plus courant dans le domaine routier. L’utilisation de caméras et les applications qui en découlent s’avèrent être extrêmement utiles dans de nombreux cas.
Modéliser l’environnement
La connaissance de la structure (la carte 3D par exemple) et la sémantique de la scène (présence d’espaces navigables, d’obstacles, de positions de panneaux) sont devenues incontournables, pour planifier automatiquement un itinéraire, permettre le déplacement automatique d’un véhicule ou réaliser la visite virtuelle d’une scène. Les caméras sont des outils puissants pour modéliser l’environnement dans lequel un véhicule évolue. Comme les lasers, il est possible, avec notamment la reconstruction 3D, d’estimer à partir de plusieurs caméras le modèle 3D local d’une scène [Fau93]. De plus, par rapport au laser, on dispose de la texture des objets grâce à l’acquisition de l’intensité lumineuse et la décomposition en 3 canaux rouge, vert et bleu. Ces informations sont très utiles par exemple pour la détection et l’identification des différents éléments de l’environnement routier. Il est très intéressant de pouvoir segmenter une image pour différencier la chaussée, les trottoirs, les bâtiments [ZWY10, YAC+10], les panneaux de signalisation [FCK09] et les marquages au sol [TIC07]. L’intensité lumineuse, pour ces tâches, apporte un plus non négligeable. Un nouvel aspect, traité plus récemment est la détection des différentes conditions météorologiques [HTLA06, BHT11]. Quand ces conditions sont caractérisées, cela permet d’adapter les traitements aux conditions dégradées. Il est possible de détecter les conditions météorologiques, la présence d’une éventuelle perturbation, ou d’aller jusqu’à l’estimation d’un modèle paramétrique permettant de caractériser la perturbation rencontrée.
Se déplacer dans un environnement
La modélisation 3D de l’environnement est un point clé pour la navigation autonome d’un véhicule. La structure de l’environnement étant estimée, il est possible de faire évoluer le véhicule dans cet environnement en planifiant préalablement les trajectoires. Néanmoins, dans certains cas, la structure de l’environnement est imprécise ou occupée par d’autres entités dont il est difficile d’anticiper le comportement tels que des piétons. Dans ce cas, des algorithmes spécifiques pour la détection d’obstacles et le calcul dynamique de trajectoires sont nécessaires afin d’avoir un modèle plus complet. L’article [GLU12] récapitule l’ensemble des informations nécessaire pour la navigation autonome d’un véhicule.
Aide à la conduite
Afin d’assister le conducteur dans la tâche de conduite, et du fait de la présence croissante de l’électronique dans les véhicules motorisés, les aides à la conduite se sont rapidement démocratisées pour assister le conducteur. Citons par exemple l’assistance au freinage (ABS), la direction assistée ou les régulateurs de vitesse. Avec les caméras embarquées de nouvelles possibilités ont vu le jour. Par exemple, il est possible de corriger la trajectoire en cas de sortie de route en agissant sur le véhicule ou en alertant le conducteur. Un autre exemple est la détection de la présence d’un objet inhabituel sur la chaussée [LAT02]. En plaçant une ou plusieurs caméras au devant du véhicule, il est possible, en présence de brouillard, d’afficher sur le tableau de bord une image restaurée de la scène observée ou augmentée avec des informations complémentaires [THC+12]. Nous avons ici énuméré quelques applications possibles basées sur le traitement d’image. Ces applications posent des problèmes en traitement d’image dont certains sont étudiés depuis longtemps comme la reconstruction 3D. D’autres applications posent au traitement d’image de nouvelles questions telle que la restauration d’images en présence de brouillard pour les aides à la conduite.
Domaines de traitement d’image sous-jacents aux applications
Comme souvent, une application du traitement d’image peut faire appel à plusieurs problématiques, et donc inversement, une même problématique peut intervenir dans de nombreuses applications. Prenons l’exemple d’un véhicule autonome se déplaçant sur un terrain inconnu. Un travail combiné de reconstruction 3D, de segmentation et de classification devra être réalisé [GLU12]. Comme indiqué précédemment, on souhaiterait pouvoir caractériser entièrement la scène observée à partir d’images. Quand toutes ces informations sont connues, il est alors facile de répondre à beaucoup de questions. Mais cela n’est pas forcément l’approche la plus efficace. Il vaut mieux, dans certains cas, chercher à résoudre chaque question pour une application.
Vision stéréoscopique pour l’environnement routier
Nous pouvons remarquer que certaines techniques, comme la reconstruction 3D à partir de paires stéréoscopiques, sont utilisées dans un grand nombre d’applications routières. L’application de la reconstruction 3D la plus importante dans le domaine routier consiste à détecter les obstacles, par exemple, les piétons [BBBDR05]. C’est aussi le principe le plus utilisé pour l’odométrie [How08], la classification de scènes urbaines [ZWY10, YAC+10]. Il en découle qu’un algorithme robuste et efficace de reconstruction 3D est primordial pour assurer le bon fonctionnement des applications utilisant la reconstruction par paires stéréoscopiques. Dans le cadre de l’environnement routier et des applications embarquées, cela se caractérise par l’installation de deux caméras devant le véhicule (d’autres configurations sont bien sur possibles, celle ci étant la plus courante). Avec un tel dispositif, il sera donc possible d’estimer la carte de profondeur à l’avant du véhicule. Cela nécessite de connaître le calibrage extrinsèque des caméras, c’est à dire la position 3D des caméras l’une par rapport à l’autre.
Reconstruction 3D
La triangulation est le principe le plus utilisé pour estimer la structure 3D d’une scène à partir de plusieurs vues. Il existe d’autres principes mais cet indice est l’un de ceux qui apporte le plus d’information de profondeur. Le principe est le suivant : si la position et l’orientation relative des caméras sont connues, alors on sait comment projeter un point 3D sur les différentes vues, il sera alors possible de retrouver la position 3D de cette entité par triangulation si l’appariement entre les vues de la projection de l’objet est réalisé. On arrive actuellement, grâce à plusieurs images de la même scène, à effectuer l’autocalibration (c’est à dire à estimer automatiquement les paramètres des caméras) et, en simultané, la reconstruction 3D de la scène observée. L’article Building rome in a day [AFS+11] présente une méthode complète permettant d’effectuer l’auto-calibration et la reconstruction 3D sur un très grand nombre d’images. La figure 2 montre comme exemple la reconstruction 3D du Colisée de Rome à partir de plusieurs centaines de photos de touristes. Pour effectuer la reconstruction 3D, plusieurs représentations des données sont possibles. Afin d’effectuer la reconstruction 3D et l’auto-calibration en simultané, une représentation éparse de points dans l’espace est le plus souvent utilisée pour des questions de rapidité. Dans un premier temps les appariements entre points sont faits entre les images. Ensuite, l’estimation de leur position 3D et des paramètres des caméras peut être effectuée. Dès lors que le système est calibré, une recherche dense d’information peut être faite. Nous appelons recherche dense le fait d’estimer, pour chaque pixel d’une caméra, une profondeur. Ce type de recherche est la plupart du temps utilisée avec un système calibré, et plus particulièrement en reconstruction à partir de paires stéréoscopiques.
|
Table des matières
Introduction
1 Traitement d’image et environnement routier
1.1 Modéliser l’environnement
1.2 Se déplacer dans un environnement
1.3 Aide à la conduite
1.4 Domaines de traitement d’image sous-jacents aux applications
2 Vision stéréoscopique pour l’environnement routier
3 Reconstruction 3D
3.1 Reconstruction 3D à partir de paires stéréoscopiques
3.1.1 S’inspirer de notre perception 3D
3.1.2 Fusionner les indices
3.1.3 Apport de connaissances
3.2 Spécificité des scènes routières
4 Traitement d’image en conditions dégradées
4.1 Brouillard
5 Modèle bayésien
5.1 Modèle bayésien
5.2 Optimisation discrète
6 Positionnement
7 Plan
Chapitre 1 Reconstruction 3D à partir de paires stéréoscopiques
1.1 Estimation de la carte de disparité
1.1.1 Hypothèse photométrique
1.1.2 Hypothèse spatiale
1.1.2.1 Les méthodes locales
1.1.2.2 Les méthodes globales
1.1.2.3 Les méthodes coopératives
1.1.2.4 Ordre de la régularisation spatiale
1.1.3 Prise en compte des variations photométriques et bruit non gaussien
1.1.4 Prise en compte des discontinuités
1.1.5 Hypothèse du monde segmenté
1.1.6 Évaluation comparative
1.2 Formulation probabiliste
1.2.1 Interprétation probabiliste
1.2.1.1 Données du problème
1.2.1.2 Maximum a posteriori
1.2.1.3 Réseaux bayésiens
1.2.1.4 Terme de vraisemblance
1.2.1.5 a priori
1.2.1.6 Interprétation des valeurs aberrantes
1.2.1.7 Pondération photométrique
1.2.2 Optimisation
1.2.2.1 Optimisation de fonctions sous-modulaires
1.2.2.2 Optimisation de fonctions non sous-modulaires
1.2.3 Exemples
1.2.4 Conclusion
Chapitre 2 Traitement d’image en présence de brouillard
2.1 Introduction
2.2 Effets du brouillard
2.3 Restauration d’image
2.3.1 Restauration par rehaussement de couleur et de contraste
2.3.1.1 Méthode multiscale retinex (MSR)
2.3.1.2 Méthode Contrast-Limited Adaptive Histogram Equalization (CLAHE)
2.3.2 Restauration fondée sur la loi de Koschmieder
2.3.2.1 Méthode du monde plan (PA)
2.3.2.2 Méthode free-space segmentation (FSS)
2.3.2.3 La contrainte no-black-pixel (NBPC)
2.3.2.4 Méthode Dark Channel Prior (DCP)
2.3.2.5 Contrainte no-black-pixel et du monde plan (NBPC+PA)
2.3.3 Égalisation locale de l’histogramme (HE+PA)
2.3.4 Interprétation bayésienne de la restauration
2.3.5 Évaluation
2.3.5.1 Brouillard de synthèse
2.3.5.2 Comparaison sur des images de synthèse
2.3.6 Conclusion
2.4 Estimation du coefficient d’extinction
2.4.1 L’algorithme du point d’inflexion
2.4.2 Conclusion
Chapitre 3 Technique d’optimisation d’énergie discrète
3.1 Optimisation de fonctions pseudo-booléennes
3.1.1 Définitions et notations
3.1.2 Représentation
3.1.3 Propriétés des fonctions pseudo-booléennes
3.1.4 Fonction pseudo-booléenne quadratique
3.1.4.1 Roof duality
3.1.4.2 Modèle de flot maximum / coupe minimale
3.1.5 Cas sous-modulaire
3.1.5.1 Recherche du minimum global par coupe de graphe
3.1.6 Optimisation de fonctions pseudo-booléennes de degré supérieur à 2
3.1.7 Réduction de fonction de degré quelconque en degré quadratique
3.1.7.1 Substitution
3.2 Extension au cas multi-labels
3.2.1 Stratégie de fusion dans le cas multi-labels
3.2.2 Optimisation globale de fonction multi-labels par algorithme itératif
3.2.3 α-expansion dans le cas sous-modulaire
3.3 Conclusion
3.3.1 Récapitulatif
3.3.2 Implantation libre
Conclusion
