Réseaux de neurones artificiels

Réseaux de neurones artificiels 

Historique

En 1943, les neurologues Warren Sturgis Mc Culloch et Walter Pitts ont mené les premiers travaux sur les réseaux de neurones à la suite de leur article fondateur : « What the frog’s eye tells to the frog’s brain »[2]. Ils ont modélisé le neurone biologique par un comportement booléen en ayant constitué un modèle simplifié de neurones biologiques appelé neurone formel. Ils ont montré théoriquement que les neurones formels simples pouvaient réaliser des fonctions logiques, arithmétiques et symboliques complexes. Ainsi, le neurone artificiel effectue un automate binaire qui réalise une somme pondérée de stimulis ‘S’ provenant d’autres neurones. Si cette somme est supérieure à une valeur seuil ‘B0  donné, alors le neurone est activé, sinon il ne transmet aucune information et ceci selon la fonction suivante :
. Si S > B0, la sortie vaut 1 et le neurone est actif,
. Si S < B0, la sortie vaut −1 et le neurone est inactif.

En 1949, le neurophysicien Hebb a établi le couplage synaptique d’apprentissage ayant eu un fondement biologique et a stipulé que :  » Si deux neurones sont activés simultanément, alors la valeur des poids des connexions entre ces neurones est augmentée, sinon les connexions restent inchangées ».

Le premier succès était apparu en 1957 quand Frank Rosenblatt a inventé le premier modèle artificiel nommé le « perceptron ». C’était le premier système qui pouvait apprendre par expérience, y compris, lorsque son instructeur a commis des erreurs. Il a construit le premier neuro-ordinateur basé sur ce modèle et l’a appliqué au domaine de la reconnaissance de forme du système visuel. Notons qu’à cette époque les moyens à sa disposition étaient limités et cela a été une prouesse technologique d’avoir pu réussir à faire fonctionner correctement cette machine pendant quelques minutes. En 1969, M. Minsky et S. Papert ont publié un ouvrage qui a mis en exergue les limitations théoriques du perceptron. Ces chercheurs ont analysé, sous l’angle mathématique, ses performances et ont trouvé qu’il était incapable de résoudre la séparation pour l’opération logique « ou exclusif » et qu’en conséquence ce modèle ne présente aucun intérêt. Les limitations concernaient notamment l’impossibilité de traiter par ce modèle des problèmes non linéaires .Ils ont étendu implicitement ces limitations à tous modèles de réseaux de neurones artificiels. Leur objectif étant atteint, il y avait eu abandon financier des recherches dans le domaine surtout aux USA, les chercheurs se tournaient principalement vers l’Intelligence Artificielle et les systèmes à base de règles.

La découverte, en 1985, de l’algorithme de rétropropagation du gradient énoncé par Rumelhart et al. et celle de la nouvelle génération de réseau de neurones[7,8], le perceptron multicouche proposé par Werbos ont permis de lever toutes les limitations énoncées par Minsky et Papert, d’où le regain d’intérêt pour les réseaux de neurones. En effet, cet algorithme reste le modèle le plus étudié et le plus productif au niveau des applications (reconnaissance de la parole, reconnaissance de forme, vision artificielle, aide à la décision). À partir de ce moment, la recherche sur les réseaux de neurones connaît un essor fulgurant et, au cours des années 90, les applications commerciales de ce succès académique se succèdent.

Origine neurobiologique des Réseaux de neurones artificiels

Le neurone :
Les réseaux de Neurones Artificiels ont pour origine un modèle de neurone biologique dont il ne garde d’ailleurs qu’une vision simplifiée. Le cerveau humain est composé d’un grand nombre de cellules nerveuses appelées neurones, avec 10³ à 10⁴ connexions. Un neurone est formé :
— d’un réseau convergent d’entrée appelé dendrites qui constituent la principale surface de réception du neurone.
— d’un élément de traitement appelé corps cellulaire ou soma qui contient le noyau du neurone et la machinerie biochimique nécessaire à la synthèse des enzymes et des autres molécules essentielles à la vie de la cellule.
— d’un réseau divergent de sortie appelé axones.

Traitement de l’information au niveau du cerveau

Le traitement de l’information par un réseau de neurone est de nature électrochimique. Chaque neurone est asservi au maintien d’un gradient électrique d’environ −70mV entre l’intérieur et l’extérieur du neurone. Ainsi, le neurone est dit polarisé. Si l’influence des autres neurones sur le potentiel membranaire suffit pour dépolariser le neurone jusqu’à un certain seuil(environ θ = −50mV ) alors le corps cellulaire génère une impulsion électrique du type tout ou rien appelé potentiel d’action. Le potentiel ainsi généré se propage sans amortissement le long de l’axone et de ses ramifications. Quand le potentiel d’action atteint une synapse reliée à un autre neurone, il déclenche une émission chimique qui modifie le potentiel membranaire du neurone récepteur soit de façons excitatrice(dépolarisation) soit de façons inhibitrice (hyperpolarisation). Ainsi chaque neurone fait en permanence l’addition des signaux excitateurs et dépolarisants de ceux inhibiteurs et polarisants reçus par sa membrane et déclenche une impulsion nerveuse lorsque les conditions sont réalisées c’est à dire lorsque le potentiel d’action est atteint.

Modélisation ou le Neurone formel
Le neurone formel est la composante principale d’un réseau de neurones artificiels. Ils sont dotés de caractéristiques inspirées de celles des neurones biologiques que nous avons passées en revue dans la section précédente : Le potentiel d’action des cellules nerveuses : il s’agit ici d’une valeur numérique, qui peut être transmise à des neurones en aval. Un neurone formel ne peut transmettre qu’une valeur unique qui correspond à son état d’activation[2]. Les dendrites des neurones biologiques leur permettent de recevoir différents signaux de l’extérieur. De la même manière, un neurone formel peut recevoir des signaux xi de plusieurs neurones. Ces signaux sont combinés en un signal d’entrée unique. Les synapses : Les nombres wij pondèrent les signaux émis par les différents neurones situés en amont où l’on retrouve l’analogue des synapses qui peuvent être inhibitrices (wij < 0), ou excitatrices (wij > 0).

Règle d’apprentissage

Comme le cerveau humain, les réseaux de neurones artificiels peuvent apprendre par expérience[8]. L’apprentissage d’un réseau de neurone artificiel consiste à déterminer les poids entre les neurones, puis modifier la valeur des poids jusqu’à l’obtention du comportement désiré. On distingue deux grandes classes d’algorithme d’apprentissage :
— l’apprentissage supervisé (back propagation)
— l’apprentissage non supervisé .

Apprentissage supervisé :
Cet algorithme d’apprentissage ne peut être utilisé que lorsque les combinaisons d’entréessorties désirées sont connues à l’avance. L’ajustement des poids se fait directement à partir de l’erreur, soit la différence entre la sortie obtenue par le réseau ar et la sortie désirée cr. Le cycle est répété jusqu’à ce que le réseau classe correctement les motifs désirés, c’est-àdire ar proche de cr .

Apprentissage non supervisé :
Il n’y a pas de connaissances à priori des sorties désirées pour des entrées données. En fait, c’est de l’apprentissage par exploration où l’algorithme d’apprentissage ajuste les poids des liens entre les neurones de façon à maximiser la qualité de classification des entrées.

Les réseaux multicouches à propagation de l’information vers l’avant 

Ces réseaux sont organisés en couches. La première couche est appelée couche d’entrée, la dernière est appelée couche de sortie et les couches intermédiaires, sont appelées couches cachées. Chaque couche transmet le résultat de son analyse à la couche suivante[7]. L’information donnée au réseau va donc se propager couche par couche, de la couche d’entrée vers la couche de sortie, en passant par une ou plusieurs couches intermédiaires(couches cachées). Pour l’activation des neurones, nous utilisons la fonction sigmoïde et la fonction tangente hyperbolique pour l’entrée bipolaire.

Système dynamique 

Généralités

Depuis les travaux d’Isaac Newton (1687), l’idée est apparue que l’évolution temporelle d’un système physique quelconque est bien modélisée par une équation différentielle[20]. En mathématiques, la théorie du chaos étudie le comportement des systèmes dynamiques qui sont très sensibles aux conditions initiales, un phénomène généralement illustré par l’effet papillon[13]. Des différences infimes dans les conditions initiales (comme des erreurs d’arrondi dans les calculs numériques) entraînent des résultats totalement différents pour de tels systèmes, rendant en général toute prédiction impossible à long terme. Cela est valable même pour des systèmes déterministes, ce qui signifie que leur comportement futur est entièrement déterminé par leurs conditions initiales, sans intervention du hasard. En d’autres termes, la nature déterministe de ces systèmes ne les rend pas prévisibles. Ce comportement est connu sous le nom de chaos déterministe, ou tout simplement de chaos[13]. Le comportement chaotique est à la base de nombreux systèmes naturels, tels que la météo ou le climat. Ce comportement peut être étudié grâce à l’analyse par des modèles mathématiques chaotiques, ou par des techniques analytiques de récurrence et des applications de Poincaré. La théorie du chaos a des applications en météorologie[13]. L’évolution déterministe du système dynamique peut alors se modéliser de deux façons distinctes :
— une évolution continue dans le temps, représentée par une équation différentielle ordinaire. C’est a priori la plus naturelle physiquement, puisque le paramètre temps nous semble continu.
— une évolution discontinue dans le temps. Ce second cas est souvent le plus simple à décrire mathématiquement, même s’il peut sembler a priori moins réaliste physiquement. Cependant, l’étude théorique de ces modèles discrets est fondamentale, car elle permet de mettre en évidence des résultats importants, qui se généralisent souvent aux évolutions dynamiques continues.

Théorie du Chaos

La théorie du chaos s’attache principalement à la description de ces systèmes à petit nombre de degrés de liberté, souvent très simples à définir[23], mais dont la dynamique nous apparaît comme très désordonnée.

Système chaotique
Un système chaotique est un système qui est étudié à partir d’une équation différentielle comme tout autre système mais dont la représentation dans un espace orthonormé cartésien donne une courbe complètement désordonnée. Cela est dû au fait que des petits écarts aux conditions initiales sont amplifiés de façon plus rapide au cours du temps. Pour étudier un système chaotique il faut se placer dans l’espace des phases ou il apparaît clairement que le mouvement du corps étudié est alors chaotique.

Espace de phase
L’espace des phases est une structure correspondant à l’ensemble de tous les états possibles du système considéré. Ce peut être un espace vectoriel[21]. Pour un système possédant n degrés de liberté, par exemple, l’espace des phases Γ du système possède n dimensions, de telle sorte que l’état complet x(t) ∈ Γ du système à l’instant t est en général un vecteur à n composantes.

Table des matières

Introduction
1 Réseaux de neurones artificiels
1.1 Historique
1.2 Origine neurobiologique des Réseaux de neurones artificiels
1.2.1 Le neurone
1.2.2 Traitement de l’information au niveau du cerveau
1.3 Modélisation ou le Neurone formel
1.3.1 Fonction de transfert ou fonction d’activation
1.4 Réseaux de neurones artificiels
1.4.1 Architecture générale d’un réseau de neurone artificiel
1.5 Règle d’apprentissage
1.5.1 Apprentissage supervisé
1.5.2 Apprentissage non supervisé
1.6 Les réseaux multicouches à propagation de l’information vers l’avant
1.6.1 Modélisation de l’apprentissage(supervisé) par la méthode de descente de gradient
2 Système dynamique
2.1 Généralités
2.2 Théorie du Chaos
2.2.1 Système chaotique
2.2.2 Espace de phase
2.2.3 Système dynamique différentiel conservatif
2.2.4 Système dynamique à temps continu
2.2.5 Systèmes dynamiques continus
2.3 Système de Lorenz
2.3.1 Point fixe
2.3.2 Étude de quelques modèles de Lorenz
2.3.3 Simulation
2.3.4 Méthode de Runge-Kutta d’ordre 4
3 Résultats et données
3.1 Langage utilisé
3.2 Série temporelle
3.2.1 Définition
3.2.2 Représentation
3.3 Intégration du système tridimensionnel de Lorenz
3.4 Architecture optimale du réseau
3.4.1 Nombre de couche cachées
3.4.2 Nombre d’unités d’entrées
3.4.3 Nombre d’unités de sortie
3.4.4 Nombre d’unités cachées
3.5 Apprentissage du réseau
3.6 La prédiction
3.6.1 Prédiction à un pas en avant
3.6.2 Prédiction à plusieurs pas en avant
Conclusion
Bibliographie

Télécharger le rapport complet