Modélisation d’un capteur monoculaire

Modélisation d’un Monde 4D

Le monde dans lequel nous évoluons, et dans lequel un véhicule autonome est amené à évoluer est complexe. Il n’est pas plan, ni statique, ni composé d’objets rigides. Nous considérons que le monde est représenté par une base de temps et deux repères cartésiens. Le premier, noté Ra, est absolu, alors que le second, noté Rr , est relatif et lié au mobile considéré.

Vision Monoculaire

Modélisation d’un capteur monoculaire

Nous utiliserons au cours de ce travail un ou plusieurs capteurs de vision. Fondamentalement, un capteur peut être vu comme étant composé d’une optique et d’une matrice photo-sensible. Il existe plusieurs façons de modéliser un tel système, prenant en compte un plus ou moins grand nombre de paramètres et d’aberrations. Il existe plusieurs modèles couramment admis dans la littérature[HZ03, HM95].

Une modélisation fine – Tout d’abord, une modélisation précise, illustrée en figure 1.2, des différents phénomènes physiques à l’origine de la formation des images peut apparaître intéressante. Ainsi, les auteurs de [KMH95] cherchent à obtenir la modélisation la plus fidèle d’une optique, à des fins d’imagerie numérique. La plupart des aberrations géométriques sont prises en compte par ce modèle, hautement non linéaire. Si une telle précision peut présenter un intérêt dans la reproduction photo réaliste d’images, il n’est pas certain que nos applications puissent en bénéficier.

Modèle Sténopé – À l’autre extrémité du spectre, le modèle sténopé (pinhole dans la littérature anglophone) est extrêmement simple [HZ03] [HM95]. Il permet d’assimiler le capteur de vision à un opérateur linéaire. Bien que très simple, il est suffisant dans un grand nombre d’applications, il est important de revenir brièvement sur les limitations de ce modèle :

• L’approximation de Gauss est valide sur tout le champ, les optiques « grand angle » ne sont donc pas prises en compte.
• De la même façon, les systèmes sujets aux aberrations ne peuvent pas être modélisés par un sténopé. En particulier, les systèmes très intégrés (type téléphone portable) pour lesquels la taille de la tâche de diffraction est de l’ordre du pixel.
• Toute considération photométrique est écartée. Il suppose ainsi que le vignettage est inexistant, ce qui n’est pas nécessairement le cas dans un système réel.

Une illustration du modèle sténopé peut être trouvé en figure 1.3. Un capteur de vision modélisé par un sténopé peut être entièrement défini par les grandeurs suivantes :
• La longueur focale de son optique : f′ (millimètres).
• Les dimensions verticale et horizontale de ses pixels : αv et αu (pixels par millimètre).
• Les coordonnées de l’origine du capteur dans Rr : u0 et v0 (pixels).
• Le coefficient de non-orthogonalité du capteur suv (pixels par millimètre). Ce dernier peut être négligé dans l’immense majorité des cas.

Modèle Sténopé étendu – Finalement, l’intérêt d’un modèle intermédiaire a plusieurs fois été avancé [Bey92] [Bro02]. Dans ce type de modèle, l’approche linéaire du modèle sténopé est enrichie par des termes d’ordre supérieurs, correspondant aux distorsions, à l’aberration sphérique, etc. Ce type de modélisation présente un intérêt notable dans les cas où il convient de compenser les aberrations afin d’obtenir une précision métrologique. Malgré les limitations avancées, nous allons travailler avec le modèle sténopé. En effet, les non-linéarités introduites par des modèles plus complexes, en complexifiant les équations de projection, pourraient être rédhibitoires. De plus, les limitations du modèle sténopé ne constituent pas nécessairement des éléments bloquants : nous ne travaillerons pas avec des optiques grand angle et, d’une manière générale, les optiques utilisées seront de qualité suffisante pour ne pas avoir besoin de prendre en compte les aberrations .

Équations du Modèle Sténopé 

Le capteur de vision peut être vu comme deux systèmes distincts. Tout d’abord, la conjugaison optique proprement dite peut être modélisée au moyen d’une transformation projective. Ensuite, la matrice photosensible, qu’elle soit naturelle (cônes et bâtonnets) ou synthétique (pixels CMOS ou CCD) va intégrer et discrétiser le signal et opérer un changement de repère . Ces deux transformations peuvent être envisagées séparément.

Influence de la rétine – Comme nous l’avons vu, le rôle de la rétine est d’intégrer spatialement et temporellement l’information lumineuse. Dans cette étude, nous ne nous pencherons pas sur l’aspect temporel de cette intégration, nous faisons l’hypothèse que les temps d’intégration permettent d’avoir des images contrastées et nettes. En revanche, l’intégration spatiale, s’accompagne d’un changement de référence, plus adapté au cadre informatique des traitements à venir. Les coordonnées des points vont être exprimées en pixels et l’origine va être rapportée au coin de l’image.

Estimation et Mesure de l’image 2D du mouvement 3D

La question de mesurer ou, à défaut, d’estimer ce mouvement est consubstantielle de la vision par ordinateur. C’est en effet une des questions qui ont été le plus fréquemment abordées. Plusieurs types d’approches ont ainsi été envisagées au cours des dernières décennies. On peut en distinguer deux. Tout d’abord, les méthodes denses (ou semi-denses) pour lesquelles on va chercher à estimer numériquement le champ de déplacement sur toute l’image ou au moins un ensemble de parties connexes de cette image. A l’inverse, les approches éparses où l’on va chercher à extraire d’une image un ensemble de points particuliers avant de chercher leur correspondant dans l’autre image.

Approches Denses d’Estimation du Mouvement

Toutes les méthodes denses partent de la même hypothèse de départ : l’hypothèse dite de constance de la luminosité (constant brightness dans la littérature anglophone)[BB95]. Il s’agit de considérer que deux points images successifs imageant le même point objet ont la même luminosité .

Approches Locales – Dès lors, si l’on cherche à évaluer le flot optique, il va être nécessaire d’ajouter une contrainte supplémentaire. Les tenants d’une approche dite locale considèrent ainsi que le flot optique est localement constant, ce qui permet de réduire localement le problème à un système linéaire, résolu aux moindres carrés par une descente de gradient [LK81]. Les améliorations proposées dans la littérature portent sur deux aspects de cette méthode : la méthode de résolution numérique d’une part et l’estimation de grands mouvements d’autre part.

Si d’autres approches, telle la décomposition des différences [Gle97] ou la régression linéaire [CET01] ont été envisagées, la descente de gradient reste largement utilisée. Alors que l’algorithme originel de LUCAS et KANADE repose sur une approche incrémentale du mouvement, il a été avancé qu’une approche compositionelle [SS02b] pouvait améliorer significativement les résultats. Ces différentes méthodes ont été longuement décrites et comparées par BAKER et al. [BM04]. L’amélioration de la méthode initiale de LUCAS et KANADE passe également par la supression de la limitation concernant les grands mouvements. Ainsi, une implémentation multi-résolution peut participer à cette amélioration [Bou99]. Une approche itérative, où l’une des deux images est recalée en utilisant l’estimation courante du flot optique est également fréquemment utilisée afin d’affiner une estimation [BAHH92]. Ce type d’approche itérative peut également être couplée avec une méthode multi-résolutions [SJHG99]. Finalement, des améliorations concernant la convergence générale de l’algorithme, ou sa capacité à être implémenté en temps-réel peuvent être apportées [BC05].

Approches Globales – Inversement, les tenants de l’approche globale vont, au contraire, chercher à définir un terme de régularisation, permettant de rendre le problème soluble. Un tel terme de régularisation est généralement un terme de lissage, pénalisant les gradients trop élevés [HS94].

Table des matières

Introduction Générale
1 Prérequis – Modèles et Notations
1.1 Objets Mathématiques
1.2 Modélisation d’un Monde 4D
1.3 Vision Monoculaire
1.3.1 Modélisation d’un capteur monoculaire
1.3.2 Équations du Modèle Sténopé
1.3.3 Image 2D du mouvement 3D
1.3.4 Estimation et Mesure de l’image 2D du mouvement 3D
1.4 Vision Binoculaire
1.4.1 Modélisation d’un capteur binoculaire – Étalonnage et Rectification
1.4.2 Construction d’une Carte de Disparité
1.4.3 Image 3D du mouvement 3D
1.4.4 Technologies de mesure de distance
1.5 Conclusion
2 Odométrie Visuelle
2.1 L’Odométrie Visuelle – Retour sur 20 ans d’évolutions
2.2 Approche Proposée
2.2.1 Élimination des Points Aberrants
2.2.2 Résolution du système
2.2.3 Extraction de l’information 3D
2.2.4 Extraction de l’information temporelle
2.2.5 Homogénéité Spatiale
2.2.6 Filtrage
2.2.7 Résumé
2.3 Résultats
2.3.1 Performances Intrinsèques
2.3.2 Localisation par Fusion Multi-Capteurs
2.4 Conclusion
3 Détection du Mouvement Indépendant
3.1 Art Antérieur
3.1.1 Classification – Reconnaissance
3.1.2 Détection Générique
3.2 Système Proposé
3.2.1 Compensation de l’Égo-Mouvement
3.2.2 Estimation du Mouvement Indépendant
3.2.3 Intégration Temporelle
3.2.4 Segmentation
3.3 Performances, limitations et pistes d’améliorations
3.3.1 Sensibilité de Détection
3.3.2 Pouvoir de Séparation – Résolution Temporelle
3.4 Résultats
3.4.1 Résultats Généraux
3.4.2 Limitations – Cas Problématiques
3.5 Conclusion
Conclusion Générale

Lire le rapport complet