Soutenance mémoire
Les Systèmes de recherche d’images à base de contenu (CBIRS pour Content Based Image Retrieval Systems) sont au centre de ce domaine de recherche. Ces systèmes représentent l’outil efficace pour les utilisateurs utilisé pour effectuer leurs recherches. Le centre d’intérêt du domine de la recherche de l’indexation se résume dans la performance de ces systèmes, donc l’objectif est de développer des systèmes performants pour permettre la satisfaction efficace et efficiente des besoins des différents utilisateurs.
Dans ce cadre, la motivation principale pour ce travaille est de contribuer à l’amélioration de la performance des systèmes (CBIRs). Cette amélioration nécessite la concentration sur les problèmes majeurs de ces systèmes résumés dans les points suivants:
● La pertinence des caractéristiques extraites pour la représentation des images. Ce problème nous à motiver à étudier l’utilisation d’un ensemble de caractéristiques de différents types et modalités.
● La performance des techniques et modèles appliqués pour l’indexation des images. Dans ce contexte, nous avons choisis une famille de modèles statistiques connue par sa performance dans la représentation des données.
Nous allons présenter dans la section suivante les systèmes de recherche d’images à base de contenu (CBIRs).
Systèmes de recherche d’images par le contenu CBIRs
Le but de la recherche dans le domaine de l’indexation des images est d’améliorer la performance (et plus particulièrement la précision) du système de recherche d’images par le contenu CBIRs.
Les systèmes de recherche d’images représentent un cas spécial des systèmes de recherche d’information. Les images sont l’information que l’utilisateur cherche à récupérer de la base en utilisant ces systèmes.
La phase hors ligne est une phase d’indexation ou les images trouvées dans la base sont indexées en utilisant un ensemble de caractéristiques généralement extraites à partir de ces images. Cette représentation du contenu de l’image en utilisant l’ensemble de caractéristiques extraites permet de réduire la dimension utilisée durant la recherche. La pertinence de ces caractéristiques est primordiale pour assurer une bonne représentation du contenu des images de la base.
La phase de recherche des images est une phase en ligne. La requête fournie par l’utilisateur doit être traité afin et transformé en une représentation adéquate semblable à celle des caractéristiques des images dans la base. Le système effectue un calcul de similarité entre l’index de la requête de l’utilisateur et les images indexées dans la base pour répondre à l’utilisateur avec la liste des images les plus similaires (pertinentes) à sa requête dans la base. Eventuellement, une phase de bouclage de pertinence peut être utilisée dans le système. Cette phase est le résultat de l’interaction des utilisateurs à travers plusieurs sessions de recherche. L’utilisateur participe à l’évaluation des résultats retournés par le système en jugeant leurs pertinence vis-à-vis ses requête. Cette participation de la part d’utilisateurs aide le système à ajuster ces paramètres internes utilisés dans l’indexation. La recherche dans le domaine de l’indexation a passée par trois périodes. Durant la première qui précède les années 90s, l’indexation a été performée manuellement par des operateurs humains. Ces derniers indexent les images des bases avec des mots clés, et la recherche est effectuée par l’utilisateur dans le même mode textuelle. Durant la période des années 90s, le domaine de recherche s’est orienté vers l’utilisation des caractéristiques visuelles des images pour pouvoir automatiser le processus d’indexation et donc indexer les grandes bases d’image qui commencent à apparaitre largement durant cette période. Il faut noter que l’utilisation de ces caractéristiques visuelles à été proposé pour la première fois durant les années 80. L’utilisation du mode visuel de caractéristiques a conduit à la définition du problème majeur du domaine depuis ce temps, qui est le problème du gap sémantique déclaré par (Smeulders et al., 2000). Le gap sémantique à été définie en tant que « un manque de relation (coïncidence) entre l’information visuelle numérique qu’on peut extraire à partir des images, et l’interprétation sémantique de l’image par un utilisateur dans un contexte donné ». Ce problème concerne le manque de relation entre ce qui est numérique comme caractéristiques de l’image et l’interprétation sémantique souvent cherchée par l’utilisateur dans les images. A partir des années 2000s, les chercheurs ont commencés à s’intéresser à la proposition des modèles d’indexation pouvant réduire ce problème de gap sémantique.
Les aspects traités durant la préparation de la thèse sont liées principalement à l’amélioration de la performance (plus précisément la précision) des systèmes de recherche d’image par le contenu visuelle (CBIRs).
Les études menées durant la préparation des différents travaux visent principalement deux aspects importants. Le premier est celui du modèle d’indexation et pour lequel nous avons étudiés l’utilité et la performance des modèles d’indexations proposés. Le deuxième aspect visé concerne l’étude de la pertinence des caractéristiques, ce contexte nous a amenés à étudier l’utilisation de différentes modalités de caractéristique indépendamment et en combinaison. Les modèles d’indexation proposés sont basés sur l’utilisation de deux modèles de sujets. Le premier est le modèle probabiliste de l’allocation de Pachinko (PAM pour Pachinko Allocation Model) proposé par (Wei and McCallum, 2006). Tandis que Le deuxième est un modèle déterministe de l’analyse de la sémantique latente (LSA pour Latent Semantic Analysis) proposé par (Deerwester et al., 1990). La famille de modèles de sujets contient des modèles qui ont été proposés initialement pour la modélisation de grands corpus de textes. Ils ont constitués par la suite une source d’inspiration pour le domaine de la recherche en traitement d’images.
L’adaptation de la représentation des caractéristiques visuelles extraites est nécessaire pour produire une représentation similaire aux textes. Cette représentation est indispensable pour l’application des modèles de sujets sur les images. La représentation construite est appelée sac de mots visuelles (BoVW pour Bag of Visual Words) et elle est basée sur le même principe de la représentation fréquentielle des sacs de mots textuelles.
INDEXATION ET RECHERCHE D’IMAGES CONCEPTS DE BASE
L’indexation et la recherche d’image est un domaine de recherche vaste. L’indexation est le module central d’un système de recherche d’image par le contenu visuel. Le rôle de ce module est l’extraction d’un ensemble de caractéristiques à partir des images et l’organiser sous forme de signature (index) pour l’utiliser par la suite dans la phase de la recherche. Cette signature doit être de taille réduite pour permettre une recherche rapide dans la base d’image. Elle doit aussi garantir la pertinence, c’est-àdire la représentation maximale du contenu informationnel de l’image.
Depuis la définition du problème de fossé sémantique, le domaine est divisé en deux niveau d’indexation. Le premier niveau dit bas niveau sémantique (Low Level Semantic Indexing) utilise les caractéristiques de base niveau extraites de l’image pour l’indexer directement. Le deuxième niveau dit de haut niveau sémantique (High Level Semantic Indexing) tente d’appliquer des modèles d’indexation plus sophistiqués sur les caractéristiques extraites pour produire une indexation plus précise qui reflète la sémantique de l’image.
Techniques et approches: Cette direction du domaine s’articule autours de l’étude des différentes techniques liées à la construction de la signature visuelle, la classification automatique, les paradigmes de recherche ainsi que les mesures de similarité utilisées.
Domaines d’application : Dans cette direction, la recherche est concentrée sur l’investigation des possibilités d’application des techniques d’indexation pour des domaines tels que l’annotation, la sécurité, l’art, le web et l’apprentissage automatique.
Généraliser pour des bases réelles : L’étude de cette direction fait appel à quatre aspects importants qui sont:
● L’étude de l’intention d’utilisateur.
● L’étude du domaine des données.
● L’étude du traitement de requêtes.
● L’étude la visualisation des résultats.
Tous ces aspects interviennent dans la réalisation des systèmes dans la partie d’interaction avec les utilisateurs.
Evaluation : Les recherches en évaluation se concentrent sur l’étude des métriques et de mesures d’évaluation et de comparaison des différentes propositions. Cela nécessite la conception et la mise en place des bases standards (benchmark) pour permettre aux chercheurs de standardiser les testes de différentes propositions.
|
Table des matières
INTRODUCTION GENERALE
CHAPITRE – I INTRODUCTION GENERALE
1.1 Introduction
1.2 Systèmes de recherche d’images par le contenu CBIRs
1.3 Objectifs et approches
1.4 Organisation du document
CHAPITRE – II INDEXATION ET RECHERCHE D’IMAGES
CONCEPTS DE BASE
2.1 Introduction
2.2 Bases d’images
2.2.1 Bases d’images standards (Benchmark)
2.3 Extraction des caractéristiques des images
2.3.1 Caractéristiques textuelles
2.3.2 Caractéristiques visuelles
2.4 Localisation de régions d’intérêt
2.5 Segmentation des images
2.6 Extraction de caractéristiques locales
2.7 Extraction de caractéristiques globales
2.8 Conclusion
CHAPITRE – III INDEXATION ET RECHERCHE D’IMAGES
CONCEPTS AVANCES
3.1 Introduction
3.2 Construction de la signature
3.3 Mesure de similarité
3.4 Indexation multimodale
3.5 Recherche d’images
3.6 Visualisation des résultats
3.7 Bouclage de pertinence
3.7.1 Contributions basée sur l’apprentissage automatique
3.7.2 Contributions basée sur les spécifications du BP
3.7.3 Contribution basées sur l’utilisateur
3.7.4 Contributions probabilistes
3.7.5 Contributions basées régions
3.8 Réduction du fossé sémantique
3.8.1 Les ontologies d’objets
3.8.2 L’apprentissage automatique
3.8.3 Le bouclage de pertinence
3.8.4 Les modèles sémantiques
3.8.5 Recherche d’image dans le web
3.9 Critères d’évaluation
3.10 Conclusion
CHAPITRE – IV MODELES DE SUJETS
5.1. Introduction
5.2. Modèles à Concepts déterministes
5.2.1 Latent Semantic Analysis (LSA)
5.3 Les modèles à concepts probabilistes
5.3.1 Probalistic Latent Semantic Analysis
5.3.2 Latent Dirichlet Allocation
5.3.3 Correlated Topics Model (CTM)
5.3.4 Pachinko Allocation Model
5.4 Extraction des concepts
5.4.1 SVD
5.4.2 Expectation Maximization
5.4.3 Gibbs Sampling
5.5 Application des modèles à concepts en traitement d’images
5.6 Conclusion
CHAPITRE – V CONTRIBUTIONS
6.1 Introduction
6.2 Bases d’images utilisées dans les expérimentations
6.3 Modalités des caractéristiques
6.4 Préparation des données
6.4.1 L’extraction des caractéristiques textuelles
6.4.2 Caractéristiques visuelles locales
6.4.3 Caractéristiques visuelles globales
6.4.4 Construction des matrices de cooccurrences
6.5 Application du modèle PAM pour l’indexation
6.5.1 Résultats et perspectives
6.5.2 Les expérimentations de la thèse
6.5.3 Les bases d’image utilisée
6.5.4 Extraction des caractéristiques
6.5.5 Application du modèle PAM
6.5.6 Evaluation et Résultat
6.5.6.1 Discussion détaillée des résultats
6.6 Indexation et reconnaissance des tumeurs mammaires par le modèle LSA
6.7 Conclusion
CONCLUSION GENERALE
