Soutenance mémoire
La complexité croissante des systèmes employés dans l’industrie automobile, en termes de fonctions réalisées et de méthodes de mise en œuvre, mais aussi en terme de norme d’homologation, amène à envisager des outils toujours plus innovants lors de la conception d’un véhicule. On observe d’ailleurs depuis quelques années une forte augmentation du nombre de brevets déposés, en particulier dans le domaine des systèmes électroniques, dont l’importance ne cesse de croître au sein d’un véhicule automobile moderne. Cette complexité croissante des fonctions réalisées requiert une précision de description accrue pour les dispositifs impliqués, notamment pour les systèmes complexes où une approche analytique est difficilement envisageable. Aux impératifs de précision de la description, qui imposent souvent de prendre en considération les non-linéarités des processus, s’ajoute donc la complexité d’analyse des phénomènes physiques à l’origine des observations que l’on souhaite modéliser.
Les développements qu’ont connus ces dernières années les techniques de modélisation non linéaires par apprentissage (notamment les réseaux de neurones formels ou les machines à vecteurs supports), alliés à la croissance de la capacité des ordinateurs et des calculateurs embarqués dans les véhicules automobiles, justifient donc l’intérêt porté par Renault à ces outils. C’est dans cette optique qu’a été envisagée une étude portant sur les méthodes de modélisation non linéaire par apprentissage, dont l’objectif était d’en tester les secteurs d’applications possibles dans le contexte automobile, et d’en évaluer les difficultés de mise en œuvre ainsi que les gains attendus. Cette étude a fait l’objet d’une collaboration, sous forme d’un contrat de thèse CIFRE, avec le Laboratoire d’Electronique de l’Ecole Supérieure de Physique et de Chimie Industrielles de la Ville de Paris (ESPCI), dirigé par le Professeur Gérard Dreyfus.
La Direction de la Recherche de Renault
Ce mémoire de thèse résume les travaux effectués durant trois ans entre le Laboratoire d’Electronique de l’ESPCI et le groupe Contrôle des Systèmes de la Direction de la Recherche de Renault. L’une des missions de ce groupe, constitué d’une trentaine de personnes encadrées par Luc Bourgeois, est de développer, sous forme de projets de recherche, des solutions innovantes en rupture avec l’existant, et d’en évaluer les gains en termes de coût nécessaire au développement et à la mise en œuvre, de délai et de prestation accomplie. L’un des enjeux actuels majeurs de l’industrie automobile est en effet de parvenir à réduire les temps et les coûts de développement d’un véhicule, tout en proposant au client des prestations innovantes: un équilibre doit donc être trouvé entre l’intérêt pratique et commercial d’une solution, et l’effort nécessaire à sa réalisation. Nous nous sommes principalement intéressés, durant cette thèse, à la modélisation de certains phénomènes physiques qu’il est nécessaire de contrôler au sein d’un véhicule. On distingue deux types de modèles, dans le domaine automobile, suivant l’utilisation qui en est faite :
• modèles embarqués : ce type de modèle a pour vocation d’être implanté physiquement sur un calculateur de véhicule. Cette caractéristique impose de tenir compte des conditions particulières d’utilisation, vis-à-vis des capacités de mémoire et de la puissance du calculateur. On prêtera d’autre part une attention particulière à la stabilité et à la robustesse du modèle, afin d’exclure tout dysfonctionnement dans des conditions de roulage, d’autant plus que le modèle en question intervient sur des organes sensibles mettant en jeu la sûreté de fonctionnement du véhicule. À titre d’exemple, citons les capteurs logiciels, utilisés en remplacement de capteurs physiques, dont l’un des intérêts pratiques est de réduire les coûts de production du véhicule.
• modèles débarqués : l’utilisation de modèles peut également intervenir dans la phase de conception du véhicule, comme outil de prédiction d’une caractéristique particulière, afin d’aider au dimensionnement ou à la mise au point du véhicule. Ces modèles débarqués sont implantés sur des ordinateurs de bureau, dont les capacités sont généralement bien supérieures à celles des calculateurs embarqués, de sorte qu’elles ne constituent pas un facteur limitant. Bien que la stabilité et la robustesse des modèles conservent une importance, elle ne revêtent alors pas le même caractère crucial que lors d’une utilisation en embarqué. L’utilisation de modèles de prédiction permet, d’un point de vue pratique, de s’affranchir des essais correspondants, et donc de réduire le temps et les coûts de développement d’un véhicule. De manière générale, les techniques de modélisation par apprentissage permettent d’aborder la modélisation de phénomènes physiques dont la description est ardue, élargissant ainsi le champ des possibles en matière de modélisation, mais également de s’affranchir d’une description physique détaillée pour des processus connus, réduisant ainsi le temps de développement d’un modèle particulier. En contrepartie, l’élaboration de tels modèles par apprentissage requiert la réalisation de mesures sur ledit processus, ce qui implique des coûts qui sont parfois loin d’être négligeables. Notre objectif a donc été d’identifier certains problèmes correspondant à la première approche, c’est-à-dire pour lesquels la réalisation de modèles de connaissance est soit inenvisageable soit particulièrement ardue.
Processus et modèles
Processus : définition
Les processus auxquels nous nous intéresserons sont des systèmes physiques, qui évoluent au cours du temps sous l’effet de différentes actions, et sur lesquels il est possible de réaliser certaines observations ou mesures. Il existe de très nombreux types de processus : industriels, financiers, sociaux,… On caractérise un processus par :
• ses sorties : il s’agit des grandeurs d’intérêt, que l’on suppose mesurables, et qui sont sensibles aux actions auxquelles est soumis le processus
• ses variables d’entrées : il s’agit de l’ensemble des actions ayant une influence sur les sorties du processus. On distingue deux types d’entrées : celles qui sont mesurables et contrôlées par l’opérateur, que nous appellerons entrées de commande, et celles sur lesquelles il n’est pas possible d’agir, et qui sont alors considérées comme des perturbations, regroupées sous le terme de bruit. Un modèle d’un processus est dit déterministe si les valeurs des sorties sont déterminées de manière certaine lorsque les entrées le sont. Il est en revanche dit stochastique si ces relations obéissent à des lois de probabilité, de telle sorte qu’il n’est pas possible de connaître de manière certaine l’évolution du modèle de ce processus au cours du temps. Dans la pratique, on est amené à modéliser de manière stochastique un processus déterministe, quand la nature des perturbations qui l’affectent est inconnue, c’est-à-dire quand l’incertitude sur ses entrées de commande est trop importante.
Modèle de processus
Un modèle d’un processus est une description mathématique de son fonctionnement, qui permet de rendre compte des relations existant entre ses entrées et ses sorties. Cette description peut être fondée sur :
• une analyse physique des phénomènes entrant en jeu dans le processus : on parle alors de modèle de connaissance. Ce type de modèle présente l’intérêt d’expliquer la nature des phénomènes qui interviennent dans le processus, et d’en comprendre l’importance relative par une analyse détaillée. Dans un contexte industriel, une évolution technique du processus pourra alors être intégrée au modèle existant, sans en changer toute la structure ;
• une analyse statistique des mesures de ses entrées et sorties : on parle alors de modèle boîte noire, ou de modèle de comportement, dont les paramètres peuvent être estimés par apprentissage. On utilise principalement ce type de modèles lorsque la nature des phénomènes intervenant dans le processus est inconnue, ou non descriptible de façon analytique. Leur inconvénient principal réside dans le fait qu’ils n’expliquent en rien le comportement du processus, et que toute évolution du processus nécessite une nouvelle modélisation complète.
Quel que soit le type de modèle envisagé, celui-ci est caractérisé par un domaine de validité, qui définit le domaine des entrées et sorties dans lequel les relations établies sont satisfaisantes. Ce domaine de validité est associé soit aux approximations ou lois physiques utilisées (dans le cas d’un modèle de connaissance), soit aux incertitudes statistiques (qui dépendent des mesures employées pour son élaboration) et au choix de la représentation adoptée, dans le cas d’un modèle boîte noire. Suivant la description mathématique obtenue, on distinguera également deux types de modèles :
• modèle statique : les équations mathématiques qui régissent le modèle sont algébriques.
• modèle dynamique : les équations mathématiques qui régissent le modèle sont des équations différentielles ou des équations aux différences récurrentes. Nous nous intéresserons principalement aux modèles dynamiques dans la suite de ce mémoire. Une autre distinction porte sur l’utilisation faite du modèle. On parlera de :
• modèle de simulation : quand le modèle a pour but de fonctionner indépendamment du processus, c’est-à-dire sans qu’aucune information (mesures) ne soit nécessaire à sa mise en œuvre. Ces modèles sont d’une grande utilité lorsque l’on cherche à valider des hypothèses sur le processus, ou à prédire son comportement en l’absence de mesures (nous en verrons des illustrations aux Chapitres 3 et 4).
• modèle de prédiction : un modèle de prédiction a pour but d’estimer les sorties à venir du processus, connaissant celles-ci aux instants précédents. Dans la pratique, ce type de modèle est utilisé lorsque l’on cherche à connaître par anticipation les sorties du processus considéré, notamment pour mettre en œuvre des stratégies dépendant de ces valeurs à venir.
|
Table des matières
INTRODUCTION
1 Problématique générale
2 La Direction de la Recherche de Renault
3 Plan du mémoire
CHAPITRE 1 : Modélisation de processus
1 Introduction
2 Processus et modèles
2.1 Processus : définition
2.2 Modèle de processus
2.3 Modèle postulé et prédicteur optimal
2.4 Quelques hypothèses usuelles
2.4.1 Hypothèse purement déterministe
2.4.2 Hypothèse bruit de sortie
2.4.3 Hypothèse NARMAX
3 Modélisation par apprentissage : introduction à la théorie statistique de l’apprentissage
3.1 Risque empirique et risque moyen
3.2 Convergence uniforme en probabilité du risque empirique
3.3 Détermination de majorants du risque moyen
3.4 Minimisation du risque structurel
CHAPITRE 2 : Outils d’optimisation
1 Introduction
2 Optimisation paramétrique
2.1 Position du problème
2.2 Modèles linéaires vis-à-vis des paramètres
2.3 Modèles non linéaires vis-à-vis des paramètres
2.3.1 Méthodes du premier ordre
2.3.2 Méthodes du second ordre
2.3.3 L’algorithme de BFGS
2.3.4 L’algorithme de Levenberg-Marquardt
3 Optimisation lagrangienne – Le problème dual
3.1 Conditions théoriques d’optimalité
3.1.1 Problème sans contraintes
3.1.2 Problème avec contraintes d’égalité
3.1.3 Problème avec contraintes d’inégalité
3.2 Le problème dual
3.2.1 Conditions de point-selle
3.2.2 Expression du problème dual
4 Conclusion
CHAPITRE 3 : Les réseaux de neurones
1 Introduction
2 Définitions et notations
2.1 Réseau de neurones formels
2.2 Propriété d’approximation universelle et forme canonique
2.2.1 Le Perceptron à une couche cachée
2.2.2 Forme canonique des réseaux récurrents
3 Estimation des paramètres – Apprentissage
3.1 Apprentissage de réseaux statiques
3.2 Apprentissage de réseaux récurrents
3.2.1 Apprentissage dirigé / prédicteur non bouclé
3.2.2 Apprentissage semi-dirigé / prédicteur bouclé
3.3 Sélection de modèles
3.3.1 Minima locaux et initialisation des paramètres
3.3.2 Surajustement et dilemme biais-variance
3.4 Quelques méthodes de régularisation
3.4.1 Modération des paramètres
3.4.2 Arrêt prématuré
4 Modélisation de la température après turbine d’un véhicule
4.1 Contexte et motivation
4.2 Choix d’une hypothèse et élaboration d’une base d’apprentissage
4.3 Résultats et discussion
4.3.1 Elaboration du modèle neuronal récurrent
4.3.2 Comparaison à un modèle semi-physique existant
4.3.2.1 Description du modèle : équations physiques
4.3.2.2 Corrections apportées : modèle « boîte grise »
4.3.2.3 Résultats et comparaison
5 Modélisation des émissions polluantes d’un véhicule de série
5.1 Contexte et motivation
5.2 Dispositifs expérimentaux et élaboration de la base de données
5.2.1 Mesure des émissions polluantes
5.2.2 Choix des variables du modèle et élaboration de la base de données
5.3 Elaboration du modèle neuronal
5.4 Résultats et discussion
5.5 Conclusion
6 Système de commande neuronale prédictive en boucle ouverte
6.1 Introduction
6.2 Description du système de commande
6.3 Optimisation de la fonction de coût
6.4 Illustration sur un processus simulé
6.4.1 Description du processus et élaboration d’un modèle neuronal récurrent
6.4.2 Commande prédictive en boucle ouverte du processus simulé
6.5 Conclusion
CHAPITRE 4 : Les machines à vecteurs supports et autres méthodes de noyaux pour la régression
1 Introduction
2 Espaces de Hilbert à noyaux reproduisants
2.1 Définition et propriétés
2.1.1 Définition
2.1.2 Propriétés
2.1.3 Exemple : noyaux linéaires
2.1.4 Cas des noyaux non linéaires
2.2 Construction d’un RKHS
2.3 Lien avec la minimisation du risque structurel
2.4 Résumé : apprentissage et noyaux
3 Least Squares SVM (LSSVM)
3.1 Description de la méthode et résolution
3.1.1 Recherche de la solution par utilisation du théorème de représentation
3.1.2 Recherche de la solution par exploitation des conditions de points selle
3.1.3 Recherche de la solution par résolution des équations de Karush, Kuhn et Tucker
3.2 Variante parcimonieuse : Sparse least squares SVM (sLSSVM)
4 Les Machines à Vecteurs Supports (SVM) pour la régression
4.1 Formulation du problème dans le cas linéaire
4.2 Extension au cas non linéaire
4.3 Choix des hyperparamètres
4.4 Choix de la fonction de coût
4.4.1 Fonctions de coût et modèles de bruit associés
4.4.2 Problème d’optimisation pour une fonction de coût générale
5 Quelques autres méthodes de noyaux
5.1 Analyse en Composantes Principales par noyaux (K-PCA)
5.1.1 Principe général
5.1.2 Détermination du nombre de composantes principales
5.1.3 Coordonnées d’un point dans la nouvelle base et reconstruction
5.2 Moindres carrés partiels par noyaux (K-PLS)
6 Apprentissage de modèles récurrents : approche analytique
7 Apprentissage de modèles récurrents : approche algorithmique
7.1 Approche maître-élève pour les modèles de noyaux
7.1.1 Cas des modèles statiques
7.1.2 Cas des modèles dynamiques
7.1.3 Conclusion sur l’approche maître-élève. Critère retenu
7.2 Description de l’algorithme d’apprentissage semi dirigé
7.2.1 Principe
7.2.2 Différentes variantes
7.3 Résultats et conclusion
7.3.1 Algorithme semi dirigé : approche maître-élève
7.3.2 Algorithme semi dirigé : processus dynamique simulé
8 Conclusion
CONCLUSION
