Reconstruction tridimensionnelle par stéréophotométrie

Reconstruction 3D et scannage 3D

   La finalité de la reconstruction 3D est la création de modèles 3D. Disposer d’un modèle 3D est utile, voire nécessaire, dans de nombreuses applications [182], comme par exemple l’inspection visuelle de surfaces [284], l’aide au diagnostic médical [243] ou encore la réalité augmentée [66]. Un modèle 3D est constitué d’un ensemble d’informations géométriques (position, orientation, etc.) et photométriques (couleur, texture, etc.). La connaissance de ces deux informations permet notamment de créer des images de synthèse, en simulant à la fois l’éclairage et l’appareil photographique. La trajectoire des rayons lumineux peut être calculée par ordinateur depuis la ou les sources lumineuses jusqu’à l’appareil photographique, après réflexions (éventuellement multiples) sur la surface des objets constituant la scène. Le scannage 3D est le problème dual de la synthèse d’images : à partir de photographies d’une scène, on cherche à caractériser géométriquement et photométriquement sa surface, en parcourant la trajectoire des rayons lumineux en sens inverse. La notion de scannage 3D englobe donc la reconstruction 3D de la scène (géométrie) et la mesure de sa réflectance (photométrie). Les techniques de reconstruction 3D à partir de photographies sont regroupées sous le terme générique de shape-from-X, X signifiant que différents indices peuvent être utilisés (ombres, contours, etc.). Les principales techniques de shape-from-X sont regroupées dans la table 1. Pour les classer, on doit se demander quel type d’indices (géométriques ou photométriques) et combien de photographies elles utilisent. Les techniques de shapefrom-X actuellement les plus en vogue sont probablement la projection de lumière structurée et le structure-from-motion, pour lesquelles des solutions commerciales « clé en main » sont disponibles : à titre d’exemples, la Kinect V1 de Microsoft et le logiciel Photoscan utilisent, respectivement, la projection de lumière structurée et la technique du structure-from-motion. Comme ne l’indique pas la table 1, les frontières entre les différentes techniques de shape-from-X sont floues : elles sont souvent combinées, afin de tirer parti des avantages de chacune. Par exemple, la quasi-totalité de ces techniques sont des techniques de reconstruction 3D. La seule qui permette également de retrouver les caractéristiques photométriques de la scène est la stéréophotométrie, qui est donc une technique de scannage 3D. Celle-ci est souvent couplée à d’autres techniques de reconstruction 3D [10, 118, 258]. En effet, comme nous le verrons au cours des huit chapitres de ce mémoire, une utilisation naïve de la stéréophotométrie induit un certain nombre de biais, qui ont conduit une partie de la communauté de vision par ordinateur à sous-estimer les possibilités de cette technique, en arguant qu’elle n’était pas capable de reconstruire avec précision les « basses fréquences ». Un des objectifs de cette thèse est de réhabiliter la stéréophotométrie en tant que technique de reconstruction 3D de précision. Pour cela, nous nous proposons d’identifier et de corriger les différentes sources de biais, à la fois dans la modélisation du problème et dans sa résolution.

La stéréophotométrie

   Même en admettant qu’il existe une formulation bien posée du SFS, la robustesse de méthodes numériques permettant sa résolution est impossible à garantir. Si la résolution exacte d’une équation liant le niveau de gris à la pente est déjà difficile, tout écart au modèle dans les données dégradera l’estimation du relief. La parade naturelle consiste à prendre davantage de photographies : on peut raisonnablement espérer que l’estimation du relief sera à la fois mieux posée et plus robuste que si l’on utilise une seule image (cf. partie I). Nous verrons dans le chapitre 1 que l’on peut effectivement déterminer de façon exacte le relief à partir de m = 3 photographies prises sous trois éclairages directionnels non coplanaires. L’estimation conjointe, en chaque point, de la normale et de l’albédo (qui est caractéristique de la réflectance lambertienne) peut en effet être formulée comme la résolution d’un système de m = 3 équations linéaires à trois inconnues. De plus, l’estimation robuste est possible dès lors que m > 3. Il est donc logique de choisir l’approche locale pour résoudre la stéréophotométrie, au contraire du SFS où l’approche globale permet de limiter les ambiguïtés. Cependant, la connaissance des normales ne suffit pas à caractériser géométriquement la scène photographiée. Pour obtenir une représentation 3D complète, il reste à intégrer le champ de normales estimé, pour en déduire la profondeur : c’est uniquement lors de cette seconde étape qu’une formulation différentielle, donc globale, est utilisée. La résolution de ce problème n’est pas aussi simple que pourrait le laisser penser la simplicité de sa formulation. Son étude fait l’objet du chapitre 2, où nous proposons notamment une méthode d’intégration qui est à la fois robuste et rapide. La stéréophotométrie peut cependant être mal posée. Comme nous le montrons dans la partie II, il existe deux situations où elle ne peut être résolue localement. Nous verrons dans le chapitre 3 que, lorsque les éclairages sont inconnus (stéréophotométrie non calibrée), l’estimation locale des normales constitue un problème mal posé. Ce cas d’usage est donc plus proche du SFS que de la stéréophotométrie « classique ». Comme pour le SFS [126], il faut formuler le problème d’estimation des normales de façon globale et imposer la contrainte d’intégrabilité [93]. Mais même ainsi, le problème reste mal posé et requiert une connaissance supplémentaire. Nous verrons que l’introduction d’un critère de régularité de type variation totale sur la profondeur réduit l’ambiguïté à une ambiguïté dite « de bas-relief », qui peut être levée par régularisation. La stéréophotométrie est également mal posée dans la situation intermédiaire entre m = 1 (SFS) et m > 3. Il existe généralement deux normales qui expliquent une paire de niveaux de gris, lorsque les éclairages et l’albédo sont connus. Le problème de la stéréophotométrie devient alors combinatoire : nous proposons dans le chapitre 4 une approche markovienne de la stéréophotométrie à m = 2 images, reformulée comme un problème d’étiquetage. Le critère permettant de lever l’ambiguïté dans l’estimation est une nouvelle fois l’intégrabilité du champ de normales. L’étude de modèles non linéaires d’éclairage et de réflectance a permis de lever certaines ambiguïtés du SFS. De tels modèles peuvent bien entendu être également utilisés dans le contexte de la stéréophotométrie, comme cela est illustré dans la partie III. Contrairement au SFS [208], l’introduction d’un modèle d’éclairage ne sert pas en stéréophotométrie à limiter les ambiguïtés, mais uniquement à atteindre une certaine précision dans les applications. L’étude de modèles d’éclairage non directionnels et de leur utilisation en stéréophotométrie fait l’objet du chapitre 5. L’introduction de modèles de réflectance plus réalistes que le modèle lambertien a été suggérée récemment pour améliorer les résultats du SFS [253]. De tels modèles peuvent aussi être utilisés en stéréophotométrie, comme nous le montrons dans le chapitre 6, au travers d’une approche où le modèle est appris et d’une étude de deux modèles de réflectance explicites plus réalistes que le modèle lambertien. L’utilisation de modèles réalistes fait toutefois perdre à la formulation locale de la stéréophotométrie son caractère linéaire, sur lequel reposent en grande partie les méthodes d’estimation robuste existantes. Pour cette raison, et pour rendre mieux posés les problèmes étudiés dans la partie II, nous proposons dans la partie IV une nouvelle approche de la stéréophotométrie. Comme cela a été fait pour le SFS, nous suggérons de préférer la formulation différentielle (globale) à la formulation non différentielle (locale). Après avoir introduit dans le chapitre 7 un ensemble de méthodes numériques, fondées sur le calcul des variations, pour résoudre la formulation différentielle de la stéréophotométrie, nous proposons un certain nombre d’extensions de cette approche dans le chapitre 8. Les contributions compilées dans ce mémoire portent donc sur les aspects théoriques, numériques et applicatifs de la stéréophotométrie. Au travers de l’analyse de méthodes d’estimation robuste, de problèmes mal posés et de modèles réalistes, les trois premières parties visent à identifier et à limiter les sources de biais, afin de faire de la stéréophotométrie une technique de reconstruction 3D fiable. Elles nous permettront également de mettre en évidence certaines limites de cette technique, auxquelles la dernière partie apporte quelques éléments de réponse.

Ombres propres et ombres portées

  Comme nous l’avons déjà dit, le modèle lambertien linéaire (1.18) n’est valide que si le produit scalaire si· n(u, v) est positif, car un niveau de gris est forcément positif. On définit l’ombre propre de l’éclairage si comme l’ensemble des points x(u, v) ∈ S tels que si·n(u, v) < 0 (cf. figure 1.3-a). Si la surface S est régulière, toute limite entre une partie éclairée et une ombre propre, qui est constituée de points x(u, v) tels que n(u, v)· si = 0, s’appelle un terminateur. La prise en compte des ombres propres dans (1.17) fait perdre au modèle lambertien son caractère linéaire, sur lequel repose l’estimation en moindres carrés qui a été décrite dans le paragraphe 1.1.3. Il n’est pas nécessaire que si· n(u, v) < 0 pour qu’un point x(u, v) ∈ S soit dans l’ombre. Effectivement, il existe de nombreux points tels que si·n(u, v) > 0, mais qui ne sont pas éclairés par si car la lumière qui devrait les atteindre est arrêtée par un obstacle (cf. figure 1.3-b). Ces points constituent l’ombre portée de l’éclairage si. Contrairement aux ombres propres, qui peuvent être caractérisées localement, les ombres portées ne peuvent être caractérisées que globalement (l’inégalité si· n(u, v) > 0 ne suffit pas à les caractériser). En synthèse d’images, les ombres portées sont plus difficiles à calculer que les ombres propres, car elles dépendent de la géométrie globale de la scène. Mais la reconstruction 3D d’une scène, qui constitue le problème inverse de la synthèse d’images, accentue considérablement cette différence : comme le montre le modèle lambertien (1.16), il est possible de tenir compte explicitement des ombres propres en stéréophotométrie, alors que cela constitue encore un problème ouvert pour les ombres portées. Dans ce mémoire, nous nous contenterons donc de tenir les ombres portées pour des données aberrantes. Alors que les ombres propres et les ombres portées sont d’origines très différentes, elles se traduisent de la même façon dans une image 12, par un niveau de gris égal à 0 (en théorie du moins). Qui plus est, il arrive souvent qu’une zone d’ombre, c’est-à-dire une partie connexe de Ω de niveau de gris égal à 0, contienne à la fois les deux types d’ombre : sur l’exemple de la figure 1.3-b, l’attache de l’anse de la théière constitue effectivement une ligne de séparation entre ombre propre et ombre portée. Il semble donc difficile de distinguer ces deux types d’ombre. Or, comme les ombres propres s’expliquent par les caractéristiques locales du relief, contrairement aux ombres portées, le traitement réservé à chaque type d’ombre est différent : les ombres propres pourront être prises en compte explicitement (cf. paragraphe 1.3.5), tandis que les ombres portées restent des données aberrantes.

Biais induit par l’utilisation d’éclairages non directionnels

   La société Pixience a mis au point un appareil photographique dédié à la dermatologie et à la cosmétique, appelé dermoscope. Afin de rendre les images les plus lisibles possible, les ombres sont éliminées en provoquant volontairement des réflexions mutuelles à l’intérieur du dermoscope (voir les figures 1.13-a et 1.13-b, ainsi que la figure 5.10 pour un schéma du dispositif). Par conséquent, l’éclairage incident est tout sauf directionnel ! Si l’on ne tient pas compte de cet écart au modèle lambertien linéaire, le relief reconstruit est très nettement gauchi (cf. figure 1.13-c). Grâce à l’estimation du flux lumineux incident, selon une procédure qui sera décrite dans le paragraphe 5.2, on parvient à « dégauchir » le relief (cf. figure 1.13-d).

Table des matières

Introduction
I Résolution robuste de la stéréophotométrie
1 Estimation robuste des normales 
1.1 Limites de la stéréophotométrie classique
1.1.1 Modèle de formation des images
1.1.2 Approximation linéaire du modèle lambertien
1.1.3 Considérations statistiques
1.1.4 Sources d’écarts au modèle lambertien linéaire
1.1.5 Biais induit par les écarts au modèle lambertien linéaire
1.2 Prétraitement des données
1.2.1 Changement d’espace colorimétrique
1.2.2 Projection sur l’espace des matrices de rang 3
1.2.3 Minimisation parcimonieuse du rang
1.2.4 Éclairages quasi-parallèles, non uniformes
1.3 Stéréophotométrie calibrée robuste
1.3.1 Prise en compte de l’éclairage « ambiant »
1.3.2 Sélection des niveaux de gris
1.3.3 Moindres carrés pondérés
1.3.4 M-estimateurs
1.3.5 Approximation différentiable de l’opérateur max
1.4 Algorithme pour la stéréophotométrie calibrée robuste
1.5 Cas des images colorées
1.6 Conclusion du chapitre
2 Intégration robuste des normales 
2.1 Normale, gradient et intégrabilité
2.1.1 Équations de l’intégration des normales
2.1.2 Intégrabilité d’un champ de normales
2.2 Difficultés de l’intégration des normales
2.2.1 Robustesse au bruit et aux données aberrantes
2.2.2 Topologie du domaine de reconstruction
2.2.3 Condition au bord
2.2.4 Robustesse aux discontinuités de profondeur
2.2.5 Complexité algorithmique
2.2.6 Prise en compte d’un a priori
2.3 Intégration en moindres carrés
2.3.1 Discrétisation de la condition d’optimalité du problème (2.21)
2.3.2 Résolution du problème discret associé à (2.21)
2.3.3 Extensions de l’intégration en moindres carrés
2.3.4 Évaluation quantitative
2.4 Nouvelles méthodes d’intégration robustes
2.4.1 Moindres carrés pondérés
2.4.2 Modèle L2-TV
2.4.3 M-estimateurs
2.4.4 Une méthode d’intégration optimale ?
2.5 Conclusion du chapitre
II Deux problèmes de stéréophotométrie mal posés 
3 Stéréophotométrie non calibrée 
3.1 Un problème mal posé
3.1.1 Ambiguïté linéaire
3.1.2 Contrainte d’intégrabilité
3.1.3 Résolution du problème (3.8)
3.1.4 Ambiguïté GBR
3.1.5 Régularisation par variation totale
3.2 Désambiguïsation par régularisation
3.2.1 Motivations
3.2.2 Influence d’une transformation GBR sur la régularité de ρ, z et m
3.2.3 Modèle proposé
3.2.4 Estimation de µ et ν
3.2.5 Estimation de λ
3.2.6 Régularisation TV de la profondeur
3.3 Validation expérimentale
3.3.1 Résultats sur données synthétiques
3.3.2 Résultats sur données réelles
3.4 Conclusion du chapitre
4 Stéréophotométrie à deux images 
4.1 Mise en évidence des ambiguïtés du problème PS2
4.1.1 Formulation non différentielle du problème PS2
4.1.2 Deux formulations différentielles du problème PS2
4.1.3 Exemple de problème PS2
4.1.4 Problème PS2 avec albédo inconnu
4.1.5 Exemple de problème PS2ρ
4.2 Prédiction du nombre de solutions du problème PS2
4.2.1 Points singuliers
4.2.2 Utilisation des points singuliers pour la construction d’une condition au bord
4.2.3 Une ambiguïté résiduelle
4.2.4 Contrainte d’intégrabilité
4.3 Résolution numérique du problème PS2
4.3.1 Reformulation du problème (4.1)
4.3.2 Solutions explicites du problème (4.34)
4.3.3 Désambiguïsation du problème par coupure de graphe
4.3.4 Régularisation « minimale »
4.3.5 Une méthode efficace de résolution du problème PS2
4.4 Applications
4.4.1 Stéréophotométrie robuste avec seulement m = 3 images
4.4.2 Stéréophotométrie couleur
4.4.3 Éclairages coplanaires
4.5 Conclusion du chapitre
III Utilisation de modèles réalistes pour la stéréophotométrie 
5 Modèles d’éclairage non directionnels 
5.1 Quelques modèles d’éclairage
5.1.1 De la luminance au vecteur d’éclairage
5.1.2 Source primaire lambertienne
5.1.3 Source sphérique
5.1.4 Source plane élémentaire
5.1.5 Source plane étendue
5.1.6 Champ d’éclairage non paramétré
5.2 Étalonnage photométrique
5.2.1 Estimation des paramètres d’une source lumineuse
5.2.2 Étalonnage du champ d’éclairage
5.3 Méthodes numériques de reconstruction 3D par stéréophotométrie sous des éclairages non directionnels
5.4 Conclusion du chapitre
6 Modèles de réflectance non lambertiens 
6.1 Stéréophotométrie par apprentissage
6.1.1 Principe de l’approche par apprentissage
6.1.2 Extensions de l’approche par apprentissage
6.1.3 Conclusions sur l’approche par apprentissage
6.2 Réflectance diffuse non lambertienne
6.2.1 Modèle d’Oren-Nayar
6.2.2 Utilisation du modèle d’Oren-Nayar en stéréophotométrie
6.2.3 Estimation conjointe du relief, de l’albédo et de la rugosité
6.3 Réflectance spéculaire
6.3.1 Modèle de Ward
6.3.2 Inversion du modèle de Ward par une approche proximale
6.3.3 Résultats
6.4 Conclusion du chapitre
IV Approche variationnelle de la stéréophotométrie 
7 Résolution variationnelle de la stéréophotométrie différentielle
7.1 Résolution variationnelle en moindres carrés
7.1.1 Linéarisation de la stéréophotométrie : un obstacle à l’optimalité de la reconstruction 3D
7.1.2 Projection orthographique
7.1.3 Projection perspective
7.1.4 Modèle générique
7.1.5 Première variation
7.1.6 Schéma de type point fixe
7.1.7 Cas où l’albédo est inconnu
7.2 Estimation robuste du relief et de l’albédo
7.2.1 Prise en compte explicite des ombres propres
7.2.2 Modèle L1-TV
7.2.3 Itérations ADMM pour le problème L1-TV (7.62)
7.2.4 Itérations ADMM pour le problème L1-L2 (7.82)
7.2.5 Optimisation alternée pour le problème L2-L2 (7.87)
7.2.6 Itérations de point fixe pour le problème L2-L2 non linéaire (7.90)
7.2.7 Analyse des paramètres
7.3 Conclusion du chapitre
8 Extensions de l’approche variationnelle 
8.1 Stéréophotométrie colorée
8.1.1 Surface colorée éclairée par des sources blanches
8.1.2 Surface colorée éclairée par des sources colorées
8.2 Stéréophotométrie non calibrée, robuste et doublement colorée
8.2.1 La stéréophotométrie non calibrée : un problème bien posé
8.2.2 Une solution au problème de la stéréophotométrie non calibrée robuste
8.2.3 Stéréophotométrie non calibrée doublement colorée
8.3 Retour sur les modèles d’éclairage non directionnels
8.3.1 Modèle d’éclairage primaire explicite
8.3.2 Modèle d’éclairage sans paramètre
8.3.3 Stéréophotométrie semi-calibrée
8.4 Conclusion du chapitre
Conclusion et perspectives
Bibliographie

Télécharger le rapport complet