Modèle de Markov Caché (MMC)

Modèle de Markov Caché (MMC)

Réseaux de Neurones Artificiels (RNA)

Introduction

Un réseau de neurones artificiel est une structure composée d’entités capables de calcul et interagissant entre eux, à savoir les neurones. Il permet de traiter, par le biais de l’informatique, des problèmes de différentes natures que les outils classiques ont du mal à résoudre. En effet, son fonctionnement s’inspire de celui des cellules neuronales animales, et est donc différent des méthodes de calcul analytiques que l’on utilise ordinairement. Il s’avère très puissant dans des problèmes de reconnaissance, classification, approximation ou prévision.
Dans ce chapitre, après avoir énoncé les différentes caractéristiques d’un réseau de neurones, nous allons nous intéresser au cas particulier du perceptron multicouche.

Généralités sur les RNA

Modèles d’un neurone

Neurone biologique

Le neurone biologique est une cellule vivante spécialisée dans le traitement des signaux électriques. Les neurones sont reliés entre eux par des liaisons appelées axones. Ces axones vont eux mêmes jouer un rôle important dans le comportement logique de l’ensemble. Ces axones conduisent les signaux électriques de la sortie d’un neurone vers l’entrée (synapse) d’un autre neurone.
Les neurones font une sommation des signaux reçus en entrée et en fonction du résultat obtenu vont fournir un courant en sortie.
Un neurone (Figure 9) se compose de trois parties :
 La somma : ou cellule d’activité nerveuse, au centre du neurone ;
 L’axone : attaché au somma qui est électriquement actif, ce dernier conduit l’impulsion conduite par le neurone ;
Dendrites : électriquement passives, elles reçoivent les impulsions d’autres neurones.

Neurone formel

Un neurone formel (Figure 10) est constitué d’un intégrateur qui effectue la somme pondérée de ses entrées   1 2 , ,…, N X  x x x . Le résultat de cette somme, traduit par la relation (2.1), est ensuite transformé par une fonction de transfert f qui produit la sortie du neurone.
Cette sortie correspond à une somme pondérée des poids wji où i 1,…,N et des entrées moins ce qu’on nomme le biais (seuil d’activation) j b du neurone j . Le résultat j v s’appelle « niveau d’activation du neurone j ». Lorsque le niveau d’activation atteint ou dépasse le seuil j b , alors l’argument de f devient positif (ou nul). Sinon, il est négatif.

Structure d’un réseau de neurones

Les connexions entre les neurones qui composent le réseau décrivent la topologie du modèle.
Elle peut être quelconque, mais le plus souvent il est possible de distinguer une certaine régularité.

Réseau monocouche

La structure d’un réseau monocouche (Figure 11) est telle que des neurones organisés en entrée soient entièrement connectés à d’autres neurones organisés en sortie par une couche modifiable de poids.

Réseau multicouche

La structure d’un réseau multicouche (Figure 12) est telle que les neurones sont arrangés par couche. Il n’y a pas de connexion entre neurones d’une même couche, et les connexions ne se font qu’avec les neurones de couches avales. Habituellement, chaque neurone d’une couche est connecté à tous les neurones de la couche suivante et celle-ci seulement. Ceci nous permet d’introduire la notion de sens de parcours de l’information (de l’activation) au sein d’un réseau et donc de définir les concepts de neurone d’entrée et neurone de sortie. Par extension, on appelle couche d’entrée l’ensemble des neurones d’entrée, couche de sortie l’ensemble des neurones de sortie. Les couches intermédiaires n’ayant aucun contact avec l’extérieur sont appelées couches cachées.

Réseau à connexions locales

Il s’agit d’une structure multicouche, mais qui à l’image de la rétine conserve une certaine topologie. Chaque neurone entretient des relations avec un nombre réduit et localisé de neurones de la couche avale. Les connexions sont donc moins nombreuses que dans le cas d’un réseau multicouche classique (Figure 13).

Réseau à connexion complète

C’est la structure d’interconnexion la plus générale (Figure 14). Chaque neurone est connecté à tous les neurones du réseau (et à lui-même).

Modèles des réseaux de neurones

Modèle de Hopfield

Le modèle de Hopfield fut présenté en 1982. Ce modèle très simple est basé sur le principe des mémoires associatives. C’est d’ailleurs la raison pour laquelle ce type de réseau est dit associatif (par analogie avec le pointeur qui permet de récupérer le contenu d’une case mémoire).
Le modèle de Hopfield utilise l’architecture des réseaux entièrement connectés et récurrents (dont les connexions sont non orientées et où chaque neurone n’agit pas sur lui-même). Les sorties sont en fonction des entrées et du dernier état pris par le réseau.

Modèle de Kohonen

Ce modèle a été présenté par Kohonen en 1982 en se basant sur des constatations biologiques. Il a pour objectif de présenter des données complexes et appartenant généralement à un espace discret de grandes dimensions dont la topologie est limitée à une ou deux dimensions. Les cartes de Kohonen sont réalisées à partir d’un réseau à deux couches, une en entrée et une en sortie. Notons que les neurones de la couche d’entrée sont entièrement connectés à la couche de sortie. Les neurones de la couche de sortie sont placés dans un espace d’une ou de deux dimensions en général, chaque neurone possède donc des voisins dans cet espace. Et qu’enfin, chaque neurone de la couche de sortie possède des connexions latérales récurrentes dans sa couche (le neurone inhibe les neurones éloignés et laisse agir les neurones voisins).

Modèle perceptron

Le mécanisme perceptron fut inventé par le psychologue FRANK Rosenblat à la fin des années 50. Il représentait sa tentative d’illustrer certaines propriétés fondamentales des systèmes intelligents en général. Le réseau dans ce modèle est formé de trois couches :
Une couche d’entrée (la rétine), fournissant des donnés à une couche intermédiaire, chargée des calculs, cela en fournissant la somme des impulsions qui lui viennent des cellules auxquelles elle est connectée, et elle répond généralement suivant une loi définie avec un seuil, elle-même connectée à la couche de sortie (couche de décision), représentant les exemples à mémoriser. Seule cette dernière couche renvoie des signaux à la couche intermédiaire, jusqu’à ce que leurs connexions se stabilisent.

Modèle Adaline

L’adaline (Adaptatif Linear Neurone) de Widrow et Hoff est un réseau à trois couches : lapremière est la couche d’entrée, la seconde est la couche cachée et la dernière est la couche de sortie. Ce modèle est similaire au modèle de perceptron, seule la fonction de transfert change, mais reste toujours linéaire : f (x)  x. Les modèles des neurones utilisés dans le perceptron et l’adaline sont des modèles linéaires.
Séparation linéaire : on dit que deux classes Aet B , sont linéairement séparables si on arrive à les séparer par une droite coupant le plan en deux.
Le problème est résolu avec les réseaux multicouches, car il peut résoudre toute sorte de problèmes qu’ils soient linéairement séparables ou non.

Apprentissage

L’apprentissage est l’une des phases importante pour la conception d’un réseau de neurones, car il permet un système RNA d’apprendre son environnement, et d’améliorer sa performance.

Apprentissage par correction d’erreur

La première règle que l’on peut utiliser est fondée sur la correction de l’erreur calculée en sortie. Soit j d la sortie désirée du neurone j , alors j y et j d seront généralement différents et il est naturel de calculer l’erreur j e , donnée par la relation (2.2), entre ce qu’on obtient et ce qu’on voudrait obtenir.

Apprentissage supervisé

L’apprentissage dit supervisé est caractérisé par la présence d’un « professeur » qui possède une connaissance approfondie de l’environnement dans lequel évolue le réseau de neurones.
En pratique, les connaissances de ce professeur prennent la forme d’un ensemble de N couples de vecteurs d’entrée et de sortie que nous noterons 1 1 2 2 {( , );( , );…;( , )} N N x d x d x d où j x désigne une entrée et j d la cible de cette entrée, c’est-à-dire les sorties désirées du réseau.
Chaque couple ( , ) j j x d correspond donc à un cas d’espèce de ce que le réseau devrait produire (la cible) pour un stimulus donné. Pour cette raison, l’apprentissage supervisé est aussi dit d’apprentissage par des exemples.

Apprentissage compétitif

L’apprentissage compétitif consiste à faire entrer en compétition les neurones d’un réseau pour déterminer lequel sera actif à un instant donné. Contrairement aux autres types d’apprentissage où, généralement, tous les neurones peuvent apprendre simultanément et de la même manière, l’apprentissage compétitif produit un « vainqueur » ainsi que, parfois, un ensemble de neurones « voisins » du vainqueur, et seuls ce vainqueur et, potentiellement, son voisinage bénéficient d’une adaptation de leur poids. On dit alors que l’apprentissage est local car limité à un sous-ensemble des neurones du réseau.
Une règle d’apprentissage compétitif comporte les éléments suivants :
 Un ensemble de neurones identiques (même type) sauf pour les valeurs de leurs poids ;
 Une limite imposée à la « force » d’un neurone ;
 Un mécanisme permettant aux neurones d’entrer en compétition pour le droit de répondre à un certain sous-ensemble des stimuli d’entrée, de manière à ce qu’un seul neurone de sortie soit actif à la fois.

Apprentissage non supervisé

L’apprentissage non supervisé est caractérisée par l’absence complète de professeur, c’est-à-dire n’existe pas une erreur comme dans le cas supervisé. Cet apprentissage est basé sur un ajustement des poids du réseau jusqu’à devenir stable.

Perceptron multicouches

Le perceptron multicouche est un réseau orienté de neurones artificiels organisé en couches et où l’information voyage dans un seul sens, de la couche d’entrée vers la couche de sortie.
La figure 15 donne l’exemple d’un réseau contenant une couche d’entrée, deux couches cachées et une couche de sortie. La couche d’entrée représente toujours une couche virtuelle associée aux entrées du système. Elle ne contient aucun neurone. Les couches suivantes sont des couches de neurones. Dans l’exemple illustré, il y a 3 entrées, 4 neurones sur la première couche cachée, trois neurones sur la deuxième et quatre neurones sur la couche de sortie. Les sorties des neurones de la dernière couche correspondent toujours aux sorties du système.

Table des matières

Liste des abréviations
Table des figures
Table des matières
Introduction
Chapitre 1
Reconnaissance Automatique de la Parole (RAP)
1.1 Introduction
1.2 Système de reconnaissance de la parole
1.3 Signal de la parole
1.3.1 Redondance du signal
1.3.2 Variabilité du signal
1.3.3 Effets de coarticulation
1.4 Analyse acoustique
1.4.1 Numérisation du signal parole
1.4.1.1 Filtrage analogique en sortie du microphone
1.4.1.2 Échantillonage
1.4.1.3 Quantification du signal échantillonné
1.4.2 Méthodes d’analyse acoustique
1.5 Décodage des informations acoustiques
1.5.1 Généralités
1.5.2 Approche probabiliste ou statistique de la RAP
1.6 Conclusion
Chapitre 2
Réseaux de Neurones Artificiels (RNA)
2.1 Introduction
2.2 Généralités sur les RNA
2.2.1 Modèles d’un neurone
2.2.1.1 Neurone biologique
2.2.1.2 Neurone formel
2.2.2 Structure d’un réseau de neurones=
2.2.2.1 Réseau monocouche
2.2.2.2 Réseau multicouche
2.2.2.3 Réseau à connexions locales
2.2.2.4 Réseau à connexion complète
2.2.3 Modèles des réseaux de neurones
2.2.3.1 Modèle de Hopfield
2.2.3.2 Modèle de Kohonen
2.2.3.3 Modèle perceptron
2.2.3.4 Modèle Adaline
2.2.4 Apprentissage
2.2.4.1 Apprentissage par correction d’erreur
2.2.4.2 Apprentissage supervisé
2.2.4.3 Apprentissage compétitif
2.2.4.4 Apprentissage non supervisé
2.3 Perceptron multicouches
2.3.1 Apprentissage par rétropropagation du gradient
2.3.1.1 Cas de la couche de sortie
2.3.1.2 Cas d’une couche cachée
2.3.2 Implémentation de l’algorithme de rétropropagation
2.4 Conclusion
Chapitre 3
Modèle de Markov Caché (MMC)
3.1 Introduction
3.2 Terminologie et définitions
3.3 Modèle de Markov
3.3.1 Modèle de Markov Observale (MMO)
3.3.2 Modèle de Markov Caché (MMC)
3.3.2.2 Problèmes fondamentaux des MMC
3.3.2.3 Problème d’évaluation
3.3.2.4 Problème de décodage
3.3.2.5 Problème d’apprentissage
3.3.2.6 Implémentation des algorithmes du Modèle de Markov Caché
3.4 Conclusion
Chapitre 4
Modèle hybride RNA et MMC pour la RAP
4.1 Introduction
4.2 Nécessité de l’approche hybride RNA et MMC
4.3 Types de couplage
4.4 Chaîne de traitement
4.5 Modèle hybride RNA/MMC
4.6 Apprentissage séparé
Conclusion 
Bibliographie

Télécharger le rapport complet