Approches bayésiennes non paramétriques

Approches bayésiennes non paramétriques

Pour rappel, les méthodes paramétriques font l’hypothèse que le modèle peut être caractérisé par un vecteur de paramètres de dimension finie. Par exemple, dans un modèle de mélange paramétrique, le nombre de composantes est fixé avant d’inférer les paramètres du modèle (poids et paramètres des composantes élémentaires). Le choix de la dimension des paramètres n’est pas toujours trivial et constitue une limitation des modèles paramétriques.

Les modèles non paramétriques permettent d’éviter les choix souvent restrictifs des modèles paramétriques en définissant une distribution a priori sur des espaces fonctionnels (de dimension infinie). Les modèles non paramétriques peuvent ainsi être simplement définis comme des modèles paramétriques avec un nombre infini de paramètres. Pour résumer, non paramétriques ne veut pas dire qu’on ignore l’existence des paramètres des distributions. Cela indique surtout que la dimension des paramètres inconnus est aussi une variable aléatoire. On va estimer ces paramètres ainsi que leur dimension en utilisant des lois définies sur des espaces de distributions.

Les modèles bayésiens non paramétriques souvent mentionnés sont les processus gaussiens et les processus de Dirichlet. En particulier, le processus de Dirichlet à mélange (Dirichlet Process Mixture, DPM) [15, 16] est une distribution sur les distributions de probabilité. Le DPM dépend de deux paramètres et ses réalisations sont des mélanges infinis, par exemple le processus de Dirichlet à mélange de gaussiennes ou Poisson. Il permet de prendre en compte dès le départ le caractère aléatoire du nombre de composantes d’un mélange. Le nombre de composantes n’a pas besoin d’être défini à l’avance, mais il sera estimé à partir des données. Le processus du restaurant chinois est un dérivé du processus de Dirichlet.

Modèle IBP-DL

Les modèles non paramétriques possèdent de très bonnes propriétés d’adaptativité qui permettent de s’affranchir d’une étape de sélection de modèle, la complexité du modèle augmentant dynamiquement avec la richesse des données d’apprentissage. En utilisant les approches bayésiennes non paramétriques dans l’apprentissage de dictionnaire, nous pouvons considérer que le dictionnaire est potentiellement de taille infinie mais une loi a priori est introduite pour favoriser la parcimonie de la représentation.

L’objectif de nos travaux est précisément d’explorer le fort potentiel des méthodes bayésiennes non paramétriques pour l’apprentissage de dictionnaire, encore très peu utilisé par la communauté traitement du signal et des images. Cette thèse apporte des contributions méthodologiques, notamment pour les problèmes inverses en traitement d’image. Une approche bayésienne non paramétrique IBP-DL (Indian Buffet Process for Dictionary Learning) est proposée grâce à la loi a priori décrite par le Processus de Buffet Indien. Cette méthode donne un dictionnaire efficace avec un nombre d’atomes adapté. En outre, les niveaux du bruit et de la parcimonie sont également déduits de sorte qu’aucun réglage de paramètre n’est nécessaire. Le modèle IBP-DL est ensuite implémenté dans les problèmes inverses linéaires en traitement d’image.

Liste des publications

Dans [24] et [25], un modèle IBP-DL pour le problème de débruitage est présenté. Une description plus détaillé de ce modèle est publiée dans [26]. Dans [27], le modèle IBP-DL est élaboré pour résoudre des problèmes de l’inpainting et compressive sensing au-delà du débruitage de base. Un échantillonneur de Gibbs marginalisé accéléré est aussi dérivé pour l’inpainting dans cette thèse.

1. Hong-Phuong Dang, Pierre Chainais.Indian Buffet Process Dictionary Learning for image inpainting. IEEE Workshop on Statistical Signal Processing (SSP), 2016 [27].
2. Hong-Phuong Dang, Pierre Chainais. Towards dictionaries of optimal size : a Bayesian non parametric approach. Journal of Signal Processing Systems, 1-12, 2016 [26].
3. Hong-Phuong Dang, Pierre Chainais. A Bayesian non parametric approach to learn dictionaries with adapted numbers of atoms. Intel best paper award. IEEE 25th International Workshop on Machine Learning for Signal Processing (MLSP), 1–6, 2015 [25].
4. Hong-Phuong Dang, Pierre Chainais. Approche bayésienne non paramétrique dans l’apprentissage du dictionnaire pour adapter le nombre d’atomes. Conférence Nationale GRETSI, 2015 [24].
5. Hong-Phuong Dang, Pierre Chainais.Indian Buffet Process Dictionary Learning : algorithms and applications to image processing. International Journal of Approximate Reasoning (en révision) [28].

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela chatpfe.com propose le téléchargement des modèles complet de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie à avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

1 Introduction
1.1 Problème inverse
1.2 Représentation parcimonieuse
1.3 Apprentissage de dictionnaire
1.4 Approches bayésiennes non paramétriques
1.5 Modèle IBP-DL
1.6 Liste des publications
1.7 Organisation du manuscrit
2 Décomposition parcimonieuse
2.1 Représentations parcimonieuses
2.2 Algorithmes de poursuite adaptative pénalité ℓ0
2.2.1 Matching Pursuit
2.2.2 Orthogonal Matching Pursuit
2.3 Basis pursuit – Basis pursuit denoising pénalité ℓ1
2.3.1 Basis pursuit
2.3.2 Basis pursuit denoising
2.4 Programmation quadratique : LASSO
2.5 Algorithme LARS
2.6 Décomposition parcimonieuse et méthodes de Monte Carlo
2.6.1 Principe des algorithmes MCMC
2.6.2 Inférence bayésienne pour une décomposition parcimonieuse
2.6.3 Échantillonneur de Gibbs
2.6.4 Algorithme Metropolis-Hastings
2.6.5 Intérêt de l’inférence bayésienne
2.6.6 Choix de la loi a priori
2.6.7 Les lois a priori pour des coefficients parcimonieux
2.7 Discussion
3 Apprentissage de Dictionnaire
3.1 Analyse en Composantes
3.1.1 Analyse en Composantes Principales
3.1.2 Analyse en Composantes Indépendantes
3.2 Apprentissage de dictionnaire en traitement d’image
3.2.1 Algorithme de descente de gradient
3.2.2 Méthode des Directions Optimales
3.2.3 Algorithme K-SVD
3.2.4 Approches bayésienne et méthodes de Monte-Carlo
3.3 Discussion
4 Processus de Dirichlet à mélange
4.1 Avant propos
4.2 Processus de Dirichlet (DP)
4.2.1 Loi de Dirichlet
4.2.2 Définition du processus de Dirichlet
4.2.3 Distribution a posteriori
4.2.4 Représentation de Backwell-Mac Queen
4.2.5 Construction stick-breaking
4.3 Le processus du Restaurant Chinois (CRP)
4.4 Du processus de Dirichlet au processus du restaurant chinois
4.5 Processus de Dirichlet à mélange
4.5.1 Description
4.5.2 Exemple
4.6 Estimateurs bayésiens
4.7 Discussion
5 Conclusion