Processus de Markov diffusifs par morceaux

Présentation générale du sujet

Les systèmes dynamiques « hybrides » sont au moins aussi anciens, observent Branicky, Borkar et Mitter (1998), que le relais électromécanique – inventé en 1835 par J. Henry. Néanmoins, des premiers travaux sur le sujet en automatique, dans les années soixante, jusqu’aux recherches récentes autour des systèmes hybrides stochastiques, aucun consensus ne semble avoir été trouvé quant à la définition de ce qu’est réellement un système dynamique hybride : disons donc, pour le moment, qu’il s’agit d’un système dont la dynamique est composée d’une partie « continue », typiquement modélisée par une équation différentielle provenant de la physique, et d’une partie « discrète », parfois qualifiée d’évènementielle, correspondant par exemple à la présence d’un contrôleur à états discrets.

Nous nous intéressons, dans ce travail, aux modèles probabilistes qui résultent de la prise en compte d’incertitudes dans des systèmes possédant une dynamique hybride: entrées bruitées, dynamique mal connue, évènements aléatoires, etc. Ce type de modèle est, le plus souvent, qualifié de Système Hybride Stochastique (SHS) dans la littérature automaticienne ; nous avons cependant préféré intituler notre mémoire « processus de Markov diffusifs par morceaux », pour des raisons qui seront expliquées plus loin. Cette appellation, traduction du piecewise diffusion processes proposé par Blom (1988), fait évidemment référence aux fameux piecewise deterministic processes de Davis (1984).

La motivation pour considérer de tels modèles provient de nombreux domaines d’application. Les modèles à sauts de paramètres markoviens sont classiquement utilisés, entre autres, dans l’étude des problèmes de suivi de cibles manœuvrantes ou de contrôle optimal d’ateliers de production. Des modèles hybrides surviennent également, de manière générale, en lien avec les techniques de contrôle impulsionnel pour les processus de diffusion, qui trouvent des applications par exemple en mathématiques financières ou encore dans les problèmes de récolte optimale de ressources renouvelables. Plus généralement, des modèles stochastiques hybrides sont utilisés dans des situations où un système comportant une partie numérique – ou impliquant des prises de décision – interagit avec un environnement incertain. Récemment, les projets HYBRIDGE et COLUMBUS ont mis en évidence la nécessité d’un cadre théorique unifié pour les modèles stochastiques hybrides dans le domaine des systèmes « critiques pour la sûreté » (safety-critical), par exemple les systèmes embarqués dans les transports aérien et automobile, ou encore les systèmes de gestion du trafic aérien  (Bujorianu et al., 2003 ; Lygeros, 2004). Les travaux publiés dans le cadre de ces deux projets, en particulier ceux de J. Lygeros et de ses collaborateurs, ont sans nul doute contribué à donner une nouvelle jeunesse à la recherche autour des SHS : ils ont été une source importante d’inspiration pour le travail présenté dans ce mémoire. Signalons également que les modèles stochastiques hybrides pourraient avoir un rôle à jouer en biologie des systèmes, notamment comme outil pour la modélisation et l’analyse des réseaux de régulation génétiques (Alur et al., 2002 ; Hu et al., 2004 ; Wolf et Arkin, 2003).

Dans tous ces domaines d’application, que ce soit comme solution à un problème de contrôle, ou bien du fait même de la modélisation choisie, on se ramène le plus souvent – à condition de choisir une représentation d’état convenable – à ce que nous appellerons un processus diffusif par morceaux, c’est-à-dire à un modèle qui se présente comme un processus de Markov X à temps continu, dont la dynamique est par morceaux celle d’un processus de diffusion. (Le mot « diffusion » est à prendre ici en un sens très large, la composante diffusive étant dans bien des applications dégénérée voire nulle.) La dynamique discrète correspond alors à des sauts de la trajectoire t 7→ Xt dans l’espace d’état E, à des instants que nous noterons τk, et l’expression « par morceaux » signifie qu’ils peuvent être ordonnés en une suite croissante 0 < τ1 < τ2 < … .

Un atout important des processus de diffusion, du point de vue des applications, est le lien très fort qu’ils entretiennent avec les Équations aux Dérivées Partielles (EDP). En effet, bon nombre de problèmes concernant les processus de diffusions peuvent se ramener à la résolution d’une EDP, ce qui permet – lorsque la dimension de l’état est suffisamment faible – de les résoudre sans passer par une méthode de type Monte-Carlo . En particulier, l’équation de Fokker-Planck-Kolmogorov (FPK), souvent appelée simplement « équation de Fokker-Planck » ou encore « équation de Kolmogorov progressive », régit la propagation de l’incertitude sur l’état dans le temps : elle permet de calculer la loi µt de l’état Xt, à chaque instant t > 0, connaissant la loi initiale µ0. Elle permet également, lorsqu’un régime stationnaire existe, de calculer la loi invariante correspondante : c’est donc un outil utile dans de nombreuses applications.

Dynamiques hybrides et processus de Markov

Avant de présenter plus en détail nos contributions, et afin de bien situer notre travail dans la littérature concernant les systèmes hybrides stochastiques, nous établissons dans la suite de cette section une typologie des différentes classes de modèles qui ont été considérées jusqu’à présent .

Cette courte bibliographie s’inspire en partie du travail de Bujorianu et al. (2003) et Pola et al. (2003), à qui nous empruntons en particulier la distinction essentielle entre les sauts forcés et les sauts spontanés, que nous réutiliserons tout au long du mémoire : les sauts forcés sont ceux qui surviennent lorsque l’état Xt rencontre un certain sous-ensemble de l’espace d’état E (que l’on appelle généralement la garde) ; les sauts spontanés sont des sauts « imprévisibles », auxquels on peut – le plus souvent – associer une intensité stochastique λ(Xt) comme dans le cas d’une chaîne de Markov à temps continu (CMTC).

Modèles contrôlables, non déterministes : quelques remarques 

Dans les références citées jusqu’à présent, les modèles considérés sont soit des processus de Markov au sens usuel du terme, dont l’évolution est entièrement spécifiée (en un sens probabiliste) par le modèle, soit des processus de Markov «contrôlables », dans lesquels un certain nombre d’éléments de commande – commande appliquée à la dynamique continue, choix d’instants d’intervention, etc. – ne sont spécifiés que de manière ensembliste, i.e. à travers leur appartenance à un ensemble de commandes admissibles. Dans ce deuxième cas, il convient de préciser que le processus stochastique obtenu, une fois choisie une commande dans la classe des commandes admissibles, n’est pas markovien en général. Néanmoins, la résolution d’un problème de contrôle optimal stochastique conduit le plus souvent à choisir une commande qui préserve le caractère markovien : commande du type « retour d’état » dans le cas d’un contrôle de la dynamique continu, et impulsion à un temps de première entrée pour le contrôle impulsionnel (voir, par exemple, Bensoussan et Menaldi, 2000 ; Borkar et al., 1999). Ceci justifie que nous n’ayons pas distingué les deux types de modèles.

Par ailleurs, l’étude des systèmes hybrides s’est développée à partir de la fin des années 80 dans une toute autre direction, inspirée notamment des machines à états finis de l’informatique théorique, dans laquelle les probabilités ne jouent aucun rôle (consulter, par exemple, Grossman et al., 1993). Les modèles considérés, définis par exemple sous la forme d’un automate hybride (Alur et al., 1993 ; Henzinger et al., 1998), y sont de manière générale non-déterministes : on définit le système de manière déclarative (à travers l’ensemble de ses évolutions possibles, généralement appelées exécutions) plutôt qu’impérative (en spécifiant comment il évolue à partir d’une condition initiale donnée). Le caractère non déterministe de ces modèles peut être vu de différentes manières, selon le contexte :
– Comme dans le cas des processus de Markov contrôlables, il peut s’agir de degrés de liberté sur lesquels on peut intervenir : le formalisme permet ainsi de poser différents types de problèmes de contrôle optimal (Branicky et al., 1998 ; Tomlin et al., 2000).
– Un autre point de vue consiste à voir le non déterminisme de ces modèles comme une forme d’incertitude ensembliste : on s’intéresse alors à la vérification algorithmique (model checking) de certaines propriétés du système, par exemple des propriétés d’atteignabilité (Tomlin et al., 2003). En suivant Lygeros (2006), on peut voir ce type d’approche comme une analyse « au pire cas » des propriétés d’un système (hybride) incertain.

Table des matières

I Introduction
1 Présentation générale du sujet
2 Dynamiques hybrides et processus de Markov
3 Plan de la thèse
4 Publications relatives à ce travail
II Processus diffusifs par morceaux : définition, constructions, et propriétés
1 Introduction
1.A Objectifs et plan du chapitre
1.B Le formalisme de la théorie des processus de Markov
2 Définition et propriétés élémentaires
2.A Des processus de diffusion aux processus diffusifs par morceaux
2.B Pourquoi considérer des processus non conservatifs ?
2.C Sauts prévisibles et totalement inaccessibles
2.D Passé strict et noyaux de réinitialisation
3 Contructions de processus diffusifs par morceaux
3.A Introduction
3.B Mise en œuvre du théorème de renaissance
3.C Construction à partir d’un processus de base conservatif
3.D Quelques lemmes techniques
III Systèmes hybrides stochastiques
1 Introduction
2 Quels ingrédients pour un système hybride stochastique ?
2.A L’espace d’état hybride
2.B Équation différentielle stochastique et processus de base
2.C Construction d’un SHS à partir de son processus de base
2.D Conditions suffisantes pour que le processus soit conservatif
2.E Formule d’Itô généralisée et réalisation canonique
3 Générateur infinitésimal et formule de Dynkin
3.A Introduction, définitions et notations
3.B Compensation des sauts et système de Lévy
3.C Le processus •Mϕ,h et la formule de Dynkin généralisée
3.D Un résultat concernant le deuxième générateur étendu
4 Sauts forcés et phénomène de Zénon : deux exemples
4.A Le modèle de Malhamé-Chong étendu à deux pièces
4.B Le modèle de la balle qui rebondit, avec une force aléatoire
IV Équations de Fokker-Planck-Kolmogorov généralisées
1 Introduction
1.A De la formule de Dynkin à l’équation de Fokker-Planck
1.B Hypothèses et notations
2 L’équation de FPK abstraite
2.A La notion d’intensité moyenne de sauts
2.B Établissement de l’équation de FPK abstraite
2.C Calcul des termes de l’équation lorsqu’une ddp regulière existe
3 Quelques exemples d’équations de FPK généralisées
3.A Équation de Liouville, de Fokker-Planck, et équation maîtresse
3.B Diffusions alternantes et généralisation
3.C Une classe remarquable de modèles à sauts forcés
V Application au calcul de la loi stationnaire pour des SHS à sauts forcés
Conclusion

Télécharger le rapport complet