Utilisation des MCMC

Utilisation des MCMC

Conclusion et discussion

Les méthodes de Monte-Carlo présentées dans ce document permettent de modéliser un grand nombre de situations pouvant être rencontrées par les chercheurs et les praticiens. Ce document se voulant une présentation des méthodes de Monte-Carlo les plus utiles, plusieurs techniques développées dans les dernières années pour simuler efficacement des processus plus exotiques ont dû être laissées de côté. Certaines méthodes de Monte-Carlo par chaînes de Markov particulièrement intéressantes sont:
– La méthode Reverse-jump. Cette méthode a comme particularité de permettre de simuler des distributions dont la dimension peut varier d’itération en itération.
– L’échantillonneur Metropolis-Adjusted Langevin, une méthode qui utilise le gradient ou la dérivée deuxième d ‘une distribution pour générer des échantillons.
– Méthode de Monte-Carlo hybride , une variante de l’algorithme de Métropolis-Hasting se servant de l’opérateur de Hamilton de la distribution cible pour calculer la probabilité d ‘acceptation d’un candidat.
– Algorithme de Monte-Carlo avec plusieurs essaies, un algorithme permettant de faire diminuer l’auto corrélation des échantillons obtenus lors de la simulation.
– L’échantillonnage par tranche, qui est un algorithme facilitant l’échantillonnage d’une distribution connue et qui est très performant lorsque la dimension de cette dernière est élevée.
– Annealed Importance Sampling. Cette méthode permet de mieux parcourir le support d ‘une distribution ayant des régions isolées.
De même, plusieurs méthodes de Monte-Carlo séquentielles très performantes ont dû être omise de ce document, par mesure d’économie. Parmi celles-ci, les plus intéressantes sont:
– Le filtre particulaire Rao-Blackwell qui utilise le théorème de Rao-Blackwell pour réduire la variance de l’estimation.
– Le filtre particulaire hiérarchique qui est particulièrement efficace pour simuler des modèles où les valeurs à estimer sont dépendantes.
– Échantillonnage séquentiel par bloc, un algorithme qui vise à simuler directement la suite des états Xt-s:t pour s 2: 1 à chaque itération t.
Dans les dernières années, les recherches ayant comme sujet les méthodes de Monte-Carlo peuvent généralement être classées en trois types de recherches. D’abord, plusieurs articles parus dernièrement portaient sur l’étude d’applications de ces méthodes dans différents champs d’études. Cela s’explique par le fait que de plus en plus de chercheurs dans d’autres domaines que les mathématiques et l’informatique maîtrisent au moins un langage de programmation et que les milieux financiers ont adopté les techniques d’analyse statistique pour gérer le risque et faire des prévisions.
Ces deux phénomènes font des méthodes de Monte-Carlo des techniques incontournables pour dans la plus part des domaines de recherches. Ensuite, plusieurs recherches portaient sur les conditions qui permettent d’accélérer la convergence des estimateurs ou de diminuer la variance des estimations. Ces recherches utilisent les propriétés des distributions, par exemple l’existence d’ordre partiel ou la présence de corrélation entre les différents paramètres d’un modèle hiérarchiques, à simuler pour rendre ces méthodes plus efficaces. Le dernier type de recherche concerne les difficultés liées à l’inférence faite à partir des simulations Monte-Carlo.
Il est intéressant de constater que peu de recherche a été faite pour l’utilisation des copules dans l’échantillonnage par les méthodes de Monte-Carlo. L’incorporation des copules dans les méthodes Monte-Carlo offre potentiellement plusieurs avantages. Par exemple, l’efficacité de la plus part des méthodes de Monte-Carlo dépend du choix d’une fonction instrumentale. Puisque les copules permettent d’aisément simuler indépendamment les marges de la distribution et la distribution elle même, leur utilisation dans les méthodes de Monte-Carlo pourrait permettre de choisir des fonctions instrumentales plus performantes en utilisant l’information disponible sur les marges.
De plus, leurs implémentations facilitent les ajustements de l’algorithme suite à des simulations préliminaires. Finalement, dans certaines situations, les expressions des divers paramètres de la simulation, comme les probabilités d’acceptation et les poids, peuvent être simplifiées lorsque les distributions sont exprimées sous forme de copules. En conséquence, la vitesse d’exécution des algorithmes pourrait potentiellement être accélérée.

Appendices

Echantillonnage parfait

introduction

Cette section présente un ensemble de techniques permettant d ‘échantillonner directement la distribution stationnaire d ‘une chaîne de Markov. Cette technique appelée couplage par le passé, notée CFTP selon l’abréviation anglaise, est souvent difficile à implémenter, mais la possibilité de pouvoir générer un échantillon parfaitement distribué selon une distribution stationnaire donnée est trop avantageuse pour qu’elles soient ignorées.Bien que, par mesure d’économie, ce chapitre s’attarde uniquement au cas où les chaînes évolueraient selon un temps discret, il est à noter que les prochains résultats peuvent être étendus aux cas où les chaînes évoluent selon un temps continu. De plus, puisque l’implémentation des algorithmes rencontre différentes difficultés selon le cardinal de 8, l’espace des états de la chaîne de Markov à simuler, les versions du CFTP lorsque 8 est fini et lorsque 8 est infini dénombrable sont traités séparément.

Couplage par le passé

Le couplage par le passé est basé sur les travaux de Propp et Wilson 1. Ces derniers ont remarqué que l’état d’une hypothétique chaîne de Markov ayant un espace d’état 8 fini ayant évolué durant une période de temps infini jusqu’a un temps t = 0 est distribué selon la distribution limite 7f de la chaîne, à condition que cette dernière soit apériodique et irréductible. Puisque ce résultat est inutilisable en pratique, Propp et Wilson ont dû trouver une condition permettant d’utiliser ce résultat en un temps fini. Or si une telle chaîne de Markov évolue en fonction de nombres aléatoires observables et qu’il est possible de déterminer l’état au temps t = 0 en observant un nombre fini de ces nombres aléatoires, alors l’état au temps t = 0 est distribué selon 7f. Pour faciliter la démonstration de cette préposition, il est nécessaire d’introduire les concepts d’innovation et de fonction de mise à jour.

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela chatpfe.com propose le téléchargement des modèles complet de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie à avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

Nomenclature
1 Introduction
2 Méthodes Monte-Carlo
2.1 Définition générale
2.2 Méthode de simulation par inversion
2.2.1 Précision de l’estimation
2.3 Méthode d’acceptation-rejet
2.3.0.1 Exemple d’application
2.3.1 Méthode d’acceptation-rejet approchée
2.4 Échantillonnage adaptatif
2.5 Échantillonnage préférenciel (Importance sampling)
2.5.1 Choix de la fonction instrumentale
2.5.1.1 Exemple d’application
2.5.2 Méthode d’échantillonnage préférentiel approché
2.6 Méthode de ré-échantillonnage pondéré
3 Méthodes Monte-Carlos par chaînes de Markov
3.1 Méthodes de Monte-Carlo par chaînes de Markovs
3.1.1 Algorithme d’Hastings
3.2 Algorithme de Metropolis-Hastings
3.2.1 Choix de la fonction instrumentale g(B, ri)
3.2.2 Cas particuliers
3.2.2.1 Algorithme de Metropolis
3.2.2.2 Algorithme de Metropolis indépendant
3.2.2.3 Algorithme de Metropolis-Hastings par composante
3.2.3 Exemple d’application
3.3 Algorithme de Gibbs
3.3.1 Conditions de convergences
3.3.2 Cas général
3.3.3 Algorithme de Metropolis-Hastings dans l’algorithme de Gibbs
3.3.4 Exemple d’application
3.4 Échantillonnage directionnel
3.4.1 Algorithme hit and run
3.4.2 Algorithme du snooker
3.4.3 Algorithme de Metropolis adatatif
4 Utilisation des MCMC
4.1 Détails de l’implémentation
4.1.1 Période de transition
4.1.2 État initial
4.1.3 Dilution de l’échantillon
4.1.4 Nombre de chaînes simulées en parallèle
4.1.5 Ordre de mise à jour des composantes
4.2 Diagnostic de convergence
4.2.1 Calcul a priori du nombre d ‘itérations
4.2.2 Test de Geweke
4.2.3 Diagnostic de Heidelberger et Welch
4.2.4 Diagnostic de Gelman et Rubin
4.3 Diagnostic de la qualité de la simulation
4.3.1 Diagnostique d’autocorrélation
4.3.2 Temps d’autocorrélation
4.3.2.1 Taille d’échantillon réel
4.3.3 Test de stabilité
4.3.4 Diagnostique de Raftery et Lewis
4.4 Échantillonnage parfais
5 Méthodes de Monte-Carlo séquentielles
5.1 Introduction
5.2 Méthodologie en contexte récursif
5.2.1 Filtrage
5.2 .2 Estimation Bayesienne récursive
5.3 Filtre de Kalman
5.3.1 Filtre de Kalman étendu
5.3.2 Filtre de Kalman unscented
5.3.3 Filtre de Kalman Unscented augmenté
5.4 Filtre particulaire
Échantillonnage préférentiel séquentiel
Filtre particulaire
5.4.2.1 Exemple d’application
Filtre particulaire auxiliaire
5.4.3.1 Exemple d’application
Filtre particulaire unscented
5.4.4.1 Exemple d’application
5.5 Méthodes contrant l’appauvrissement des échantillons
5.5.1 Filtres particulaires adaptatifs
5.5.1.1 Exemp e d’application
5.5.2 Méthode de Monte-Carlo séquenciel avec MC MC
5.5.2.1 Exemple d’application
6 Conclusion et discussion
Appendices
A Échantillonnage parfait
A.1 introduction
A.2 Couplage par le passé
A.3 Cas e continu
A.3.1 Couplage par le passé à lecture unique
A.3.2 Coupleur multigamma
A.3.3 Coupleur multigamma partitionné
B Code Matlab
B.1 Échantillonnage préférentiel
B.2 Fonction serieva
B.3 Fonction evaldistribution
B.4 Fonction MHsimple
B.5 Fonction IterationMH
B.6 Fonction test kolmogorov-Smirnov
B.7 Fonction MHBivarie
B.8 Fonction Gibbs2D
B.9 Fonction hit and run
B.lO Fonction Snooker
B.11 Fonction AMC
B.12 Fonction test kolmogorov2d
B.13 Fonction SIS2D
B.14 Fonction SIR2D
B.15 Fonction Adaptatif Sir2D
B.16 Fonction AFP
B.17 Fonction PFUnscented
B.18 Fonction PFMCMC
BIBLIOGRAPHIE