Soutenance mémoire
Méthodes de résolution des problèmes inverses parcimonieux
De nombreuses approches ont été proposées dans la littérature pour la résolution des problèmes inverses parcimonieux principalement quand le dictionnaire est fixé (ou de façon équivalente quand ν est connu). Ces approches peuvent être classées en deux catégories : les approches dites déterministes visant à résoudre un problème d’optimisation, et les approches d’estimation bayésienne basées sur des modélisations statistiques du problème. Comme précisé ci-dessus, nous allons nous intéresser dans ce manuscrit à la résolution des problèmes inverses parcimonieux dans le cadre de l’estimation bayésienne associé aux méthodes d’échantillonnage stochastique, et nous travaillerons à la fois sur l’amélioration des modèles et sur l’amélioration des propriétés de convergence des échantillonneurs. Néanmoins, dans cette introduction, nous donnons un aperçu des deux approches, dans le but de discuter des avantages et inconvénients de chacune des approches. Finalement, notons qu’au cours des dernières années, une grande quantité de travaux portent sur ces sujets et l’état de l’art que nous proposons est loin d’être exhaustif, nous renvoyons donc le lecteur aux références des études mentionnées pour une lecture plus approfondie.
Méthodes d’optimisation déterministes
Les approches dites déterministes visent à formuler les problèmes inverses parcimonieux sous la forme d’un problème d’optimisation impliquant un terme de fidélité aux données (souvent une norme euclidienne) et une contrainte de parcimonie représentée généralement par la pseudonorme l0 du vecteur parcimonieux x. Notons que dans la grande majorité des travaux effectués dans ce cadre concernent les situations où le dictionnaire est fixe, c’est-à-dire ne dépend pas de l’hyper-paramètre ν (ou de façon équivalente ν est connu) ce que l’on considère dans cette section.
Méthodes de relaxation
Les méthodes de relaxation convexe visent à relaxer le problème P(l0) en remplaçant la pseudonorme l0 par une autre fonction de pénalité φ(x) qui favorise la parcimonie tout en ayant des propriétés souhaitables pour les outils d’optimisation convexe.
Garantie d’optimalité de la solution. Des conditions suffisantes d’équivalence entre les solutions des problèmes P(l1) et P(l0) ont été étudiées. Ces conditions sont basées sur la cohérence mutuelle du dictionnaire [Tro04, Fuc05, HSIG13], la propriété d’isométrie restreinte (PIR) [CRT06, DW10] ou encore la condition ERC (exact recovery condition) [Tro04, Tro06]. Ces conditions peuvent être vues comme des conditions sur la similarité (ou corrélation) entre les atomes du dictionnaire. Grossièrement, dans le cas où les atomes du dictionnaire sont faiblement corrélés, la solution du problème P(l1) s’identifie avec de la solution du problème initiale P(l0). Ces conditions d’équivalence entre les deux problèmes sont d’une grande importance, notamment dans le cadre d’approximation compressée (Compressed sensing) où le dictionnaire peut être choisi en fonction de sa capacité à représenter de manière parcimonieuse les données observées, ce qui explique la popularité des approches par relaxation convexe dans ce contexte.
À l’inverse, dans le cadre des problèmes inverses parcimonieux le dictionnaire est imposé par la nature du problème considéré et ne vérifie pas forcément les conditions d’équivalence (voir par exemple [BC15]), comme c’est le cas, par exemple, des problèmes de déconvolution de train d’impulsions présentés dans la section 1.1. Dans [BSCI11] il a été observé empiriquement, dans le cadre de la déconvolution impulsionnelle, que la solution du problème relaxé P(l1) ne coïncide généralement pas avec la solution optimale. En effet, la norme l1 impose une forte régularisation sur les amplitudes xk ce qui résulte en une sous-estimation des amplitudes par rapport aux problème P(l0). De ce fait, une réévaluation de ces amplitudes est parfois nécessaire [FL01]. Celle-ci est effectuée en calculant l’estimateur des moindres carrés pour le support de la solution du problème P(l1). Cependant, le support de la solution P(l1) présente souvent de fausses détections ce qui entraîne une parcimonie moindre de la solution optimale, justement à cause de la pénalisation l1 des amplitudes.
Finalement, notons que d’autres fonctions de pénalisation φ(x) ont été étudiées, notamment, des fonctions non convexes [SBFA17]. Celles-ci permettent de réduire le biais de l’estimation des amplitudes par rapport à la pénalisation l1 au prix de la résolution de problèmes d’optimisation non convexes. On peut citer par exemple le cas de fonctions différentiables dans [CJPT13, SBFA15, FL01] et non différentiables dans [FF93, CWB08]. La résolution de ces problèmes non convexes se base généralement sur des techniques d’approximations convexes locales, mais la convergence vers le minimum global n’est pas toujours garantie.
Hyper-paramètres et dictionnaire infini. Afin de garantir l’exactitude de la solution du problème P(l1), l’hyper-paramètre Lφ, eφ ou λφ (suivant la formulation employée) doit être réglé de manière appropriée. Dans le cas de la formulation P2+φ, l’hyper-paramètre λφ peut être fixé de façon heuristique en utilisant la méthode de la courbe en L (L-curve) qui donne une indication sur la valeur de λφ permettant d’atteindre le bon compromis entre les termes de régularisation et fidélité aux données. Une seconde approche consiste à calculer la solution pour tout λφ ≤ λmax, et prendre la valeur de λφ qui permet d’obtenir un résidu y − Hx pouvant s’identifier à du bruit.
Conclusion sur les approches optimisation
Nous venons de voir que les problèmes inverses parcimonieux peuvent être formulés comme des problèmes d’optimisation déterministes prenant en compte la parcimonie grâce à l’introduction de la pseudo-norme l0. Les approches proposées dans la littérature pour la résolution de ces problèmes peuvent être scindées en deux catégories : les méthodes de relaxation et algorithmes gloutons d’un côté et la reformulation MIP de l’autre. Ci-dessous nous faisons le bilan des deux catégories :
• Méthodes de relaxation et algorithmes gloutons.
– garanties de reconstruction exacte généralement non vérifiées dans le cadre des problèmes inverses parcimonieux,
– ne permettent pas d’estimer de façon exacte les hyper-paramètres (e.g., λφ),
– extension au cas semi-aveugle/aveugle (ou cas de dictionnaire continu) non triviale, de plus les garanties de reconstruction exacte ne sont pas vérifiés dans ce cadre, + coût de calcul faible,
• Reformulation MIP.
+ parcimonie exacte au sens l0,
+ prise en comte de dictionnaires continus moyennant une approximation de dictionnaire,
– ne permet pas de considérer le cas aveugle,
– ne permet pas d’estimer les hyper-paramètres (e.g., M et L0),
– coût de calcul élevé .
|
Table des matières
1 Introduction
1.1 Problèmes inverses parcimonieux
1.2 Méthodes de résolution des problèmes inverses parcimonieux
1.2.1 Méthodes d’optimisation déterministes
1.2.1.1 Méthodes de relaxation
1.2.1.2 Algorithmes gloutons
1.2.1.3 Reformulation en MIP
1.2.1.4 Conclusion sur les approches optimisation
1.2.2 Approches bayésiennes et échantillonnage stochastique
1.2.2.1 Lien entre l’approche bayésienne et les méthodes d’optimisation déterministes
1.2.2.2 A priori de parcimonie explicite
1.2.2.3 Conclusion sur l’approche bayésienne
1.2.3 Conclusion sur les méthodes de résolution de problèmes inverses parcimonieux
1.3 Méthodes générales d’échantillonnage stochastique efficace
1.3.1 Méthodes MCMC inspirées de l’optimisation
1.3.2 MCMC et augmentation de données
1.3.3 Échantillonneurs partiellement marginalisés
1.3.4 Conclusion sur l’échantillonnage stochastique efficace
1.4 Objectifs de la thèse et pistes suivies
1.4.1 Contributions
1.4.2 Plan du manuscrit
2 Lois de mélange continu de gaussiennes
2.1 Introduction
2.1.1 Classes de mélange de gaussiennes
2.1.2 Mélange de gaussiennes et optimisation déterministe
2.1.3 Mélange de gaussiennes et échantillonnage stochastique
2.2 Étude de la classe LSMG
2.2.1 Construction des lois LSMG
2.2.2 Caractérisation des lois LSMG
2.3 Approximations asymptotiquement exactes
2.3.1 ELSA : approximation LSMG asymptotiquement exacte
2.3.2 Exemple d’approximation ELSA pour la loi gaussienne tronquée
2.3.3 Exemple d’approximation ELSA pour la loi exponentielle et cas limites de la famille GH
2.4 Expériences préliminaires
2.4.1 Exemple 1 : cas d’un a priori Exponentiel
2.4.2 Exemple 2 : cas d’un a priori de Laplace
2.5 Conclusion
3 A priori Bernoulli mélange de gaussiennes et échantillonnage PCGS
3.1 L’a priori Bernoulli mélange de gaussiennes
3.2 Lois a posteriori et marginalisation
3.2.1 Loi a posteriori conditionnelle des amplitudes x
3.2.2 Loi a posteriori marginalisée par rapport à x
3.2.3 Loi a posteriori des hyper-paramètres θ
3.3 Échantillonneur PCGS pour le modèle Bernoulli mélange de gaussiennes
3.4 Implémentation efficace du PCGS
3.4.1 Simplification de la fonction ψ
3.4.2 Factorisation de Cholesky
3.4.3 Mise à jour des matrices G et F
3.4.4 Simplification de la fonction φ
3.4.5 Implémentation efficace avancées
3.5 Cas semi-aveugle ou aveugle
3.6 Bilan
4 Expériences et validations
4.1 Introduction
4.1.1 Diagnostic de convergence
4.1.2 Estimation des paramètres
4.2 Déconvolution impulsionnelle : a priori Bernoulli-Laplace
4.2.1 Données
4.2.2 Analyse des résultats
4.2.3 Mise à l’échelle
4.3 Déconvolution impulsionnelle semi-aveugle non négative
4.3.1 Données
4.3.2 Analyse des résultats
4.3.3 Analyse des résultats en fonction du paramètre d’approximation β
4.4 Bilan
5 Conclusion
