Soutenance mémoire
Portées, limites, apports principaux
Ce sujet se situe dans le domaine de la sémantisation des ressources iconographiques relatives à l’étude et à la documentation des objets patrimoniaux. Au vu de la quantité disponible de sources iconographiques (dessins, peintures, croquis, etc) pour un objet, il a été décidé de ne se concentrer pour l’instant sur l’utilisation seule de photographies numériques actuelles (acquises par des capteurs numériques), l’ajout de photographies historiques étant envisagé pour le futur mais nécessitant de plus amples recherches. La problématique générale comprend plusieurs préoccupations puisque l’idée est de s’intéresser à la relation entre des sources bidimensionnelles et des représentations tridimensionnelles, tout en incluant un aspect de description sémantique devant être relatif aux deux dimensions de représentations. L’apport principal est donc d’avoir défini un processus permettant, par l’annotation d’images, de mettre en relation ces aspects sur le plan géométrique et informatique. L’approche se base sur un processus par phases. Chacune de ses phases relève de problèmes spécifiques qui seront traités à travers la définition de méthodes et de développements informatiques. En conséquence, ce document est organisé en plusieurs parties présentant premièrement l’utilisation des données, deuxièmement l’approche proposée, puis la définition d’outils innovants pour l’aide à la sélection des informations et enfin les apports informatiques.
Culture 3D Clouds
Cette thèse s’inscrit dans le projet CULTURE 3D CLOUDS (C3DC) [C3DC]. Ce projet est financé sur le Fond Unique Interministériel (FUI). Ce projet a pour objectif de développer une plateforme d’informatique en nuage (Figure 1) pour la numérisation 3D, la documentation, la conservation et la diffusion du patrimoine culturel. Le projet est fondé sur un partenariat comprenant des instituts culturels (RMN1, CMN2), des laboratoires de recherche (MAP3, IGN4, ETIS5, INRIA6, CEA-LIST7, Institut Telecom) ainsi que des entreprises (HPC Project, BeIngenious, Reciproque, ValEISTI, Silkan) spécialisées dans le développement informatique ainsi que dans la numérisation 3D et la valorisation du patrimoine culturel, et un institut de formation (EISTI9). L’architecture de la plateforme se compose de quatre parties principales en relation avec les activités qu’elle proposera :
Numérisation : Ce sous-projet se concentre sur le développement des fonctionnalités de numérisation 3D de la plateforme afin d’offrir des solutions aux photographes pour pratiquer la numérisation 3D.
Catalogage : Ce sous-projet se concentre sur le développement des fonctionnalités de la plateforme pour offrir aux institutions culturelles un moyen de stocker et de mettre à disposition des numérisations 3D en s’intéressant notamment aux problèmes d’archivage, d’indexation, de recherche, et d’exploitation de ces représentations.
Expérimentation : Ce sous-projet se concentre sur la mise en œuvre de valorisation permettant au public un accès aux contenus numérisés tout en permettant de bénéficier de retour d’expérience des utilisateurs potentiels.
Diffusion et communication : Ce sous-projet se concentre sur l’organisation d’actions de communications et de diffusion autour du projet. Le sujet de cette thèse s’intègre dans la partie de catalogage du projet.
Capteurs photographiques
Les capteurs photographiques sont des composants électroniques photosensibles convertissant un rayonnement électromagnétique en un signal analogique. Ces capteurs utilisent l’effet photoélectrique pour restituer la lumière en image. Ils sont constitués de cellules photovoltaïques qui mesurent l’intensité de la lumière [Lanh T.V. et al, 2007]. Cette intensité lumineuse est ensuite transformée en courant électrique. Chaque point du capteur, qui compose une partie d’un pixel, enregistre l’intensité lumineuse pour produire une image. Un capteur est composé de deux éléments superposés :
Un élément composé de cellules photosensibles qui possèdent chacune trois filtres étant chacun réceptif à une couleur (rouge, vert et bleu)
Un élément composé d’un dispositif à transfert de charge
On trouve aujourd’hui deux types de capteurs, le CCD (Charged Coupled Service) [Janesick J.R., 2001] et le CMOS (Complementary Metal Oxyde Semi Conductor) [Bigas M. et al, 2006]. Ce dernier est le plus répandu sur les appareils photo numériques de type Reflex, tandis que le CCD équipe plutôt les compacts. La différence entre les deux tient dans le transfert de la charge. Le CCD transfère la charge à un collecteur qui va à son tour transférer l’ensemble des charges vers le convertisseur tandis que le CMOS transfère la charge directement au convertisseur.
Projection orthogonale et redressement d’images
Une projection parallèle est une forme de représentation en deux dimensions d’un objet en trois dimensions. Cette représentation a pour objectif de conserver l’impression de volume et de relief en conservant les rapports entre toute longueur prise selon une direction de l’espace. Ainsi cette projection est très utile pour mesurer des distances. A la différence de la projection perspective, cette projection ne cherche pas à rendre fidèlement l’objet tel que le voit l’œil humain. Quel que soit la distance de l’objet par rapport au plan de projection, il aura toujours la même taille sur la projection. La projection parallèle peut être considérée comme une projection perspective où les points de fuite sont à l’infini et est définie par une direction de projection sur un plan. La projection orthogonale est une projection parallèle particulière où un des axes de l’objet est parallèle à la direction de projection ce qui permet d’obtenir des vues de face, de dessus, ou de profil d’un objet (Figure 15).
Informations colorimétriques
La couleur est la perception visuelle de la lumière du visible [Vandenbroucke N., 2000] [Kowalski P., 1990]. Quel que soit sa représentation, elle est là pour introduire une information que ce soit, en art pour évoquer une sensation ou rendre la réalité, ou en chimie pour définir la composition d’un pigment. Cependant il est aussi possible de rendre en couleur visible les informations véhiculées par la lumière en dehors du domaine visible. La colorimétrie est une science relativement récente. C’est une technique qui se révèle très utile dans le domaine de la conservation et de la restauration [Boust C. et al, 2007]. Dans le cadre d’études pour la conservation, la couleur va permettre donner des informations sur l’état du bâtiment ou de l’objet. Une couleur montre un type de composant. Un changement de couleur ou une absence de couleur permet d’attester d’une modification de l’objet par un certain nombre de mécanismes (par exemple des dégradations). Une première étude seulement sur la couleur peut donc permettre de révéler des évolutions (voulues ou non) de l’objet ou simplement des informations de composition. Pour les images numériques, la codification des couleurs passe par une représentation sous forme d’un tableau de pixel. Chaque cellule du tableau contient une valeur rendant la sémantique dépendant du type de signal codé.
|
Table des matières
I. Introduction
I.A. Contexte
I.B. Objectif
I.C. Portées, limites, apports principaux
I.D. Cadre de la thèse
I.D.1. Culture 3D Clouds
I.D.2. Monumentum : MOdélisation NUMérique et gEstion de doNnées pour la conservaTion de strUctures Maconnées
I.E. Terrains d’expérimentations
I.F. Structure du document
II. Outils pour l’acquisition de données
II.A. Les différents capteurs pour l’acquisition
II.A.1. Capteurs photographiques
II.A.2. Scanners
II.A.2.a. Scanner laser
II.A.2.a.i. Les scanners longue-portée
II.A.2.a.ii. Les scanners par triangulation
II.A.2.b. Scanner à lumière structurée
II.A.2.c. Précision et niveau de détails
II.B. Les types de projection
II.B.1. Projection perspective et images photographiques
II.B.2. Projection orthogonale et redressement d’images
II.B.3. Projection panoramique et capteurs 3D
II.B.3.a. Projection cylindrique
II.B.3.b. Projection sphérique
II.B.3.c. Projection cubique
II.B.4. Bilan
II.C. Extraction d’informations
II.C.1. Informations colorimétriques
II.C.2. Extractions de descripteurs images
II.C.2.a. Caractéristiques globales
II.C.2.a.i. Histogrammes
II.C.2.a.ii. Moments d’images
II.C.2.b. Caractéristiques locales
II.C.2.b.i. Détection de points d’intérêt
II.C.2.b.ii. Descripteurs locaux
II.C.3. Informations géométriques
II.C.3.a. Mesures métriques
II.C.3.b. Génération de coordonnées 3D à partir de relevé photographique
II.C.4. Extractions de descripteurs 3D
II.C.4.a. Caractéristiques globales
II.C.4.b. Caractéristiques locales
II.C.5. Informations morphologiques
II.C.6. Métadonnées
II.D. Conclusion sur les méthodes d’acquisition
III.Méthodes d’annotations sémantiques
III.A. Annotations d’images
III.A.1. Annotations manuelles
III.A.2. Approches guidées par une ontologie
III.A.3. Utilisation des informations textuelles de contexte
III.A.4. Annotations automatiques
III.A.4.a. Approches probabilistes
III.A.4.b. Approches par classifications
III.A.4.c. Approches par les graphes
III.A.4.d. Approches paramétriques
III.A.4.e. Conclusion sur les méthodes d’annotation automatique
III.A.5. Méthodes semi-automatiques
III.B. Annotation de modèles 3D
III.B.1. Reconstruction 3D
III.B.2. Annotations 3D de modèles
III.C. Méthodes d’annotations hybrides 2D/3D
III.C.1. Phototourism/Photosynth
III.C.2. Nubes Imago
III.D. Constat sur les méthodes actuelles d’annotation pour la documentation du patrimoine
IV.Approche pour la caractérisation sémantique d’objets patrimoniaux à partir d’images spatialisées
IV.A. Approche proposée
IV.B. Problèmes à traiter
IV.B.1. Génération d’informations liées aux images (Chapitre V)
IV.B.2. Ajout de nouvelles images (Chapitre V)
IV.B.3. Transfert d’annotations entre les images (Chapitre VI)
IV.B.4. Outils d’annotation (Chapitre VII)
IV.B.5. Outils d’extraction d’informations (Chapitre VII)
IV.C. Développements informatiques
IV.C.1. MATLAB
IV.C.2. C++ et QT
IV.C.3. HTML5 et WebGL
V. Lier l’information 2D à l’information 3D : spatialisation des informations
V.A. Méthodes de référencement spatial
V.A.1. Référencement image-coordonnées
V.A.2. Référencement image-modèle 3D
V.A.3. Référencement image-image
V.A.4. Analyse des méthodes actuelles
V.A.5. Solution retenue
V.B. Relation entre pixels et coordonnées 3D
V.B.1. Données d’entrées
V.B.2. Représentation géométrique d’une image photographique
V.B.2.a. Transformation entre le repère monde et le repère caméra
V.B.2.b. Transformation entre le repère caméra et le repère capteur
V.B.2.c. Transformation entre le repère capteur et le repère image
V.B.2.d. Distorsion dans le repère image
V.B.2.e. Exploitation du résultat
V.B.3. Cas des orthophotographies
V.B.4. Scans Laser
V.B.5. Projections et relation 2D/3D
V.C. Gestion des données
V.D. Ajout de nouvelles images
V.D.1. Orientation de l’image
V.D.1.a. Orientation directe
V.D.1.b. Orientation indirecte
V.D.1.c. Orientation d’images à différents niveaux de détails
V.D.2. Résolution d’image et densité du nuage de points
V.D.3. Ajout d’images de différents états temporels
VI.Processus hybride d’annotation d’images
VI.A. Transfert d’annotation entre les images
VI.A.1. Principe de la méthode
VI.A.2. Définition de l’annotation
VI.A.3. Recherche des coordonnées 3D
VI.A.4. Transfert sur les autres images
VI.B. Transfert multi temporel
VII. Outils d’annotations et d’extractions d’informations
VII.A. Segmentation d’images
VII.A.1. Méthodes sans connaissance de l’organisation des pixels
VII.A.2. Méthodes avec connaissance de l’organisation des pixels
VII.A.2.a. Méthodes basées sur les régions
VII.A.2.b. Méthodes basées sur l’énergie
VII.A.2.c. Méthodes par lignes de partage des eaux (Watershed)
VII.A.3. Segmentation RGBD
VII.A.4. Evaluation des méthodes
VII.B. Outils de sélection semi-automatique
VII.B.1. Sélection par seuil : « Baguette Magique »
VII.B.2. Sélection sur la segmentation
VII.B.2.a. Segmentation des images grâce aux informations liées
VII.B.2.b. Outils de sélection semi-automatique à l’aide de la segmentation
VII.C. Outils d’analyses quantitatives
VII.C.1. Analyses sur les données bidimensionnelles
VII.C.2. Analyses sur les données tridimensionnelles
VII.C.2.a. Caractérisation morphologique
VII.C.2.b. Cartographie de profondeur
VII.C.2.c. Mesures dimensionnelles
VII.C.3. Conclusion
VIII. Interface d’annotations : Développement d’Aïoli
VIII.A. Structuration des données
VIII.B. Interface MATLAB
VIII.C. Interface C++/QT
VIII.D. Interface HTML5/WebGL
IX.Conclusion
IX.A. Limites
IX.A.1. Protocole d’acquisition des photographies
IX.A.2. Intégration d’images de détails
IX.A.3. Densité du nuage de points et objets cachés
IX.A.4. Gestion d’états temporels
IX.B. Perspectives de recherche
IX.B.1. Evolutions futures
IX.B.2. Application mobile pour l’annotation sur site
Bibliographie
Liste des publications
Table des illustrations
Annexe A : Structuration des Données
Annexe B : Interfaces d’Annotations
Annexe C : Modèle de Données Nubes Data
Annexe D : Fonctionnement de Aïoli
Télécharger le rapport complet
