Apprentissage incrémental et décrémental

Depuis quelques années, on observe une forte augmentation des interfaces homme-machine (IHM) tactiles. L’utilisateur n’utilise alors plus de souris ni de clavier, mais interagit directement sur l’écran avec un stylet ou même ses doigts. Avec l’arrivée de ces nouvelles interfaces, c’est toute l’ergonomie des applications qui doit être repensée. Toutes les commandes précédemment effectuées à l’aide de la souris et du clavier doivent être revues pour devenir facilement utilisable avec un stylet. En particulier, les anciens raccourcis claviers n’ont plus raison d’être, et laissent place à des raccourcis graphiques, que l’utilisateur peut directement dessiner avec les doigts ou un stylet sur l’écran. Ces raccourcis graphiques peuvent être des lettres, ou d’autres symboles, que l’utilisateur peut rapidement dessiner pour effectuer une action sans avoir besoin de parcourir de menus. La machine doit être capable de reconnaitre ces différents symboles pour interpréter les ordres de l’utilisateur. Comme les raccourcis clavier, les raccourcis graphiques peuvent être amenés à changer. Que ce soit parce que l’utilisateur a besoin de commandes supplémentaires ou qu’il n’arrive pas à retenir les raccourcis existants, il est indispensable que l’utilisateur puisse ajouter ou enlever des raccourcis. De même, la manière de dessiner ces symboles va probablement évoluer et il faut que le système de reconnaissance soit capable de s’y adapter.

Pour cela, il est nécessaire de disposer d’un système de reconnaissance de forme pour identifier les symboles dessinés. La reconnaissance de forme est un problème de classification, puisqu’il faut prédire la classe d’appartenance d’exemples inconnus du système. On y répond le plus souvent par de l’apprentissage supervisé, en entrainant le système sur un ensemble d’individus pour lesquels on connait la catégorie d’appartenance. Cependant, cet ensemble d’apprentissage n’est pas toujours disponible avant le début de l’utilisation, il faut alors pouvoir entrainer en ligne (à la volée) le système au fur et à mesure de son utilisation. Il est nécessaire que l’algorithme d’apprentissage soit incrémental, pour ne pas avoir besoin de reconstruire tout le système à l’arrivée de nouvelles données, et qu’il ne stocke pas toutes les données afin d’être utilisable à vie. En plus d’adapter ses paramètres, il faut également que le système soit capable de modifier sa structure pour permettre l’ajout et la suppression de classes.

État de l’Art 

Définitions

L’apprentissage artificiel est un vaste domaine sur lequel beaucoup de travaux ont été publiés. Cependant, le système recherché ici vis-à-vis de notre contexte applicatif doit posséder certaines caractéristiques bien précises. Avec l’arrivée des interfaces homme-machine tactiles, l’ergonomie des applications est amenée à changer. Les raccourcis claviers cèdent place à des raccourcis graphiques pour effectuer les commandes les plus courantes. Il est souhaitable que l’utilisateur ait la possibilité de modifier ces raccourcis en fonction de ses attentes. Il faut donc disposer d’un système de reconnaissance de gestes manuscrits capable d’identifier ces raccourcis graphiques. Ce système doit alors être dynamique et flexible, il doit pouvoir s’adapter précisément à l’utilisateur final et permettre l’ajout ou la suppression de raccourcis.

Apprentissage supervisé et non-supervisé

Le domaine de l’apprentissage artificiel peut être divisé en deux parties : l’apprentissage supervisé et l’apprentissage non-supervisé [Cornuéjols and Miclet, 2002].

Apprentissage supervisé En apprentissage supervisé, on cherche à prédire la catégorie ou la valeur d’individus inconnus à partir d’un ensemble de référence, pour lesquels on connaît la vraie classe ou valeur. Cette catégorie d’appartenance, ou valeur associée, étant renseignée par un expert, on parle alors d’apprentissage supervisé.

Apprentissage non-supervisé Au contraire, en apprentissage non-supervisé on ne connaît pas la classe ou la valeur des individus de notre ensemble d’entrainement. L’apprentissage non-supervisé consiste à chercher une structure ou des motifs dans les données. L’objectif est d’obtenir un partitionnement des données en ensembles d’individus ayant des caractéristiques assez similaires entre eux mais relativement différentes des autres individus. Notre contexte applicatif correspond donc à de l’apprentissage supervisé puisque nous cherchons à prédire la classe d’appartenance de symboles inconnus du système, mais connu de l’utilisateur.

Classification et régression

Les problèmes d’apprentissage supervisé peuvent être divisés en deux catégories : les problèmes de classification et les problèmes de régression [Cornuéjols and Miclet, 2002].

Classification Un problème de classification est un problème où l’on cherche à prédire la catégorie, ou classe, des individus. En classification supervisée, on dispose d’un ensemble d’apprentissage composé d’individus pour lesquels on connaît d’une part les valeurs de leurs caractéristiques, et d’autre part, leur catégorie d’appartenance. On cherche ensuite à ranger les individus inconnus dans les différentes catégories à l’aide des valeurs de leurs caractéristiques.

Régression Un problème de régression est un problème où l’on cherche à prédire la valeur d’une variable inconnue en fonction d’autres variables descriptives. En régression, on cherche donc à modéliser la relation entre cette variable inconnue et les variables d’entrées. Notre contexte applicatif correspond donc à un problème de classification puisque nous cherchons à prédire la classe d’appartenance de symboles inconnus.

Apprentissage hors-ligne et Apprentissage en-ligne

Un système de reconnaissance peut être utilisé soit de manière en-ligne soit de manière horsligne [Almaksour, 2011]. On parle bien ici de la manière dont est utilisé le système et non pas de la manière dont est réalisé l’apprentissage comme on le verra ensuite.

Apprentissage hors-ligne Le mode de fonctionnement hors-ligne sépare les phases d’apprentissage et d’utilisation. Dans un premier temps, le système est entrainé de manière statique ou incrémentale à partir d’un ensemble d’entrainement. Ensuite, dans un deuxième temps, le système préalablement appris est utilisé.

Apprentissage en-ligne Le mode de fonctionnement en-ligne ne sépare pas l’apprentissage et l’utilisation du système, les deux tâches sont effectuées de manière conjointe. Tout au long de son utilisation, le système continue d’apprendre dès qu’une nouvelle donnée est disponible afin d’améliorer ses performances. L’avantage des systèmes en-ligne par rapport aux systèmes hors-ligne est qu’ils vont pouvoir s’ajuster très précisément à l’utilisateur final en continuant à apprendre tout au long de leur utilisation. L’ensemble d’apprentissage initial n’a plus besoin d’être aussi conséquent et diversifié puisque le système s’adaptera pendant son utilisation.

L’apprentissage d’un système fonctionnant en-ligne est le plus souvent réalisé incrémentalement, même s’il pourrait également être fait de manière statique en reconstruisant tout le système (en stockant toutes les données).

Table des matières

1 Introduction
2 État de l’Art
2.1 Définitions
2.1.1 Apprentissage supervisé et non-supervisé
2.1.2 Classification et régression
2.1.3 Apprentissage hors-ligne et Apprentissage en-ligne
2.1.4 Apprentissage statique et apprentissage incrémental
2.1.5 Système adaptatif et système évolutif
2.1.6 Mémoire des données et mémoire des concepts
2.2 Contexte applicatif
2.2.1 Reconnaissance de gestes manuscrits
2.2.2 Objectif recherché
2.3 Apprentissage incrémental : panorama des principaux systèmes
2.3.1 Machines à vecteurs supports (SVM) évolutives
2.3.2 Systèmes à ensemble évolutifs
2.3.3 Systèmes d’inférence floue évolutifs
2.3.4 Discussion
2.4 Système d’inférence floue (SIF) incrémental évolutif
2.4.1 Théorie de la logique floue
2.4.2 Architecture d’un SIF
2.4.3 Apprentissage incrémental d’un SIF
2.5 Apprentissage décrémental
2.5.1 Concepts
2.5.2 Systèmes existants
2.5.3 Discussion
3 Apprentissage décrémental d’un système d’inférence floue (SIF)
3.1 Intérêts de l’apprentissage décrémental
3.1.1 Conserver un système dynamique et réactif
3.1.2 Améliorer la réaction du système aux perturbations
3.1.3 Discussion
3.2 Apprentissage décrémental d’un SIF
3.2.1 Apprentissage décrémental des prémisses
3.2.2 Apprentissage décrémental des conclusions
3.3 Approche décrémentale sur une fenêtre
3.3.1 Principe
3.3.2 Formulation mathématique
3.3.3 Discussion
3.4 Approche décrémentale progressive
3.4.1 Principe
3.4.2 Formulation mathématique
3.4.3 Discussion
4 Validation expérimentale
4.1 Protocoles expérimentaux
4.1.1 Évaluation incrémentale
4.1.2 Jeux de données
4.1.3 Scénarios « macroscopiques »
4.1.4 Scénarios « microscopiques »
4.2 Résultats « macroscopiques »
4.2.1 Utilisation réaliste
4.2.2 Inertie et réactivité au changement
4.2.3 Changement de concept progressif
4.2.4 Changement de concept brusque
4.2.5 Performances à convergence
4.3 Résultats « microscopiques »
4.3.1 Ajout de classes
4.3.2 Suppression de classes
4.3.3 Alternance de classes
4.3.4 Alternance de classes– test batch par groupe
4.4 Discussion
5 Conclusion

Télécharger le rapport complet