Composition sur surfaces sensitives ou tactiles

Composition sur surfaces sensitives ou tactiles

Nous commençons notre rapport par présenter le contexte général des dispositifs d‟acquisition sensitif. Nous expliquons toutes les notions de base qui nous permettront de situer la problématique que nous cherchons à soulever à travers notre travail. Nous dégageons de ce chapitre trois principales sections ; les interfaces de saisie monopoints : qui permettent un seul point de contact, les interfaces multipoints qui nous intéressent et qui supportent plusieurs points de contact à la fois, et nous terminons notre chapitre par la présentation de quelques travaux de l‟état de l‟art qui exploitent des interfaces multipoints pour le développement de diverse applications.

L’encre électronique

Le résultat de l‟acquisition des tracés dessinés par un utilisateur, généralement à l‟aide d‟un stylo sur une surface dédiée, est un signal dit en-ligne. Le terme encre électronique, est aussi souvent utilisé pour désigner le rendu visuel de ce signal. Le terme tracé désigne les coordonnées des points, ordonnées dans le temps, représentant le parcours du stylo entre un poser et un lever. Les tracés que nous manipulons sont représentés comme une séquence de segments reliant ces points.

Geste mono-stroke

Les premiers systèmes de reconnaissance de formes en ligne proposés étaient généralement monostroke . Cette approche consiste à associer à chaque symbole du langage visuel considéré, un tracé manuscrit permettant de le dessiner. Cette approche très simple est aujourd‟hui encore très souvent utilisée.

Parmi les travaux de reconnaissance de formes basés sur les approches mono-stroke, citons : le système de conception de diagrammes UML [5] ; Le système de reconnaissance de formules mathématiques [6] ; le système permettant la conception d‟interfaces graphiques SILK [7]. Dans le domaine de la composition musicale, nous pouvons citer le système de Ng et al, appelé Presto [8], et celui d‟Anstice et al [9]. Ces systèmes consistent à définir des formes spécifiques pour chaque symbole reconnus à partir d‟un seul trait.

Les approches mono-stroke restent encore loin de l‟objectif initial qui est l‟adaptation du système aux habitudes des utilisateurs. Celles-ci demandent une forte implication de la part de l‟utilisateur [10], car celui-ci doit souvent apprendre une nouvelle façon de dessiner les symboles d‟un domaine.

Geste multi-stroke

L‟approche qui a suivi le mono-stroke et qui est actuellement beaucoup utilisée dans les systèmes de composition manuscrite sur surface tactile, est celle du multi-stroke . Contrairement à la première approche où un symbole doit être saisi par un seul trait, cette méthode donne la possibilité de dessiner un symbole en plusieurs traits. Ces traits seront combinés pour former le symbole. Le regroupement des traits est un problème complexe.

Plusieurs approches de combinaison ont été utilisées dans la littérature. La première méthode demande une forte implication de la part de l‟utilisateur, en lui demandant de préciser chaque début et fin de symbole en pressant un bouton par exemple : citons les travaux de Kurtoglu et al [11] sur la composition des circuits pour la physique. Une autre approche consiste à définir un délai minimum entre la saisie consécutive de deux symboles différents : la fin de la composition d‟un symbole et le début de celle d‟un autre sont espacés d‟une durée dépassant un seuil prédéfini [4]. Cette approche est utilisée par Fonseca et al [12] pour leur système de reconnaissance de formes géométriques. La difficulté de cette méthode réside dans le choix du délai entre la saisie de deux symboles : trop petit, cela oblige l‟utilisateur à saisir rapidement, ce qui peut générer des erreurs, trop long l‟utilisateur est contraint d‟attendre entre chaque symbole. Bien que ces approches soient moins contraignantes que les approches mono-strokes, elles nécessitent toujours une implication forte de la part de l‟utilisateur [4].

Après avoir regroupé les traits qui forment un symbole, le problème est maintenant d‟interpréter le symbole composé de ces trais. La troisième méthode de regroupement est une approche automatique qui combine à la fois regroupement et reconnaissance. Elle consiste à décomposer chaque forme saisie en un ensemble de primitives, cette phase nécessite un système de reconnaissance permettant de bien segmenter. Les primitives seront combinées par la suite pour former le symbole. Nous présentons l‟approche en détail dans la section « Approches structurelles à base de grammaire ».

Interfaces de saisie multipoints

Les surfaces d‟interaction multipoints autorisent contrairement à celle monopoints, plusieurs points de contacts simultanés . Cette technologie est actuellement beaucoup utilisée dans les téléphones portables et sur les tablettes numériques. Leurs utilisations résident principalement dans des dispositifs de navigation et de commandes gestuelles très simples. L‟exploitation de la technologie d‟acquisition multipoint dans le contexte des systèmes de reconnaissance de formes est au cœur de ce travail. Nous allons donc étudier de plus près la nature des tracés multipoints. Les gestes multipoints sont composés de plusieurs tracés, un pour chaque trajectoire induite par chacun des points de contact (doigt). Un geste multipoint se caractérise donc non seulement par la forme graphique de chacune de ses traces mais aussi par leur positionnement relatif, leur synchronisation ou encore leur dynamique relative.

Nous pouvons donc, dans un premier temps faire le rapprochement avec les gestes multistrokes : un symbole est représenté par la combinaison de plusieurs traits. Le geste multipoint est cependant beaucoup plus riche car il ajoute à cette dimension, les notions liées à la synchronisation des différents tracés et à leur positionnement dans l‟espace temporel. Nous avons montré précédemment que l‟encre électronique monopoint est la séquence de points ordonnées dans le temps. Ces points appartiennent à l‟espace de deux dimensions (X, Y). Pour l‟encre électronique multipoint, les points appartenant aux différents tracés d‟un geste, ne sont pas toujours ordonnées dans le temps, celle-ci peuvent se présenter en même temps. L‟information temporelle est alors indispensable comme troisième coordonnée des points de l‟encre électronique multipoint.

Manipulation tactile multipoint : état de l’art 

Nous remarquons actuellement un nombre considérable de travaux sur l‟interaction multipoint dans la communauté de l‟interaction homme-machine (IHM): manipulation tactile multipoint (zoom, coverflow, rotation…). Citons par exemple les travaux de Chiu et al [13] qui proposent une interface multipoint permettant de plier/déplier de long documents. Les interfaces de composition multipoint laissent la liberté aux utilisateurs dans la manière de saisir. Wu et al [14] proposent un ensemble de principes pour la conception de gestes. Leur système offre la possibilité aux utilisateurs de définir les gestes qu‟il souhaite employer, pour l‟interaction. Ainsi que la possibilité de réutiliser ce geste pour un autre type d‟interaction. Wang et al [15] suggère la nécessité de définir pour chaque domaine d‟application l‟ensemble des gestes à utiliser. Dans ce contexte, Frisch et al [16] font une étude sur les préférences des gestes qu‟utilisent des personnes dans la création de diagramme UML sur une surface tactile multipoint (l‟utilisation d‟une seule main, du stylo, l‟interaction des deux mains, l‟interaction entre la main et le stylo, etc.). Ces publications ne proposent pas de solution générique pour reconnaitre des gestes multipoints, mais se focalise sur leur utilisation dans le domaine de l‟IHM (Interaction Homme Machine) .

Table des matières

Introduction générale
1. Composition sur surfaces sensitives ou tactiles
Introduction
1.1. L‟encre électronique
1.2. Interfaces de saisie monopoints
1.2.1. Geste mono-stroke
1.2.2. Geste multi-stroke
1.3. Interfaces de saisie multipoints
1.1. Manipulation tactile multipoint : état de l‟art
Conclusion
2. Systèmes de reconnaissance en ligne
Introduction
2.1. Reconnaissance de gestes multipoints : état de l‟art
2.2. Problématique
2.3. Systèmes de reconnaissance en-ligne de formes monopoints : état de l‟art
2.3.1. Approche « statistique » de reconnaissance de symboles
2.3.2. Approche « structurelle » de reconnaissance de symboles
2.3.3. Reconnaissance de symboles par alignement de séquences
Conclusion
3. Contribution
Introduction
3.1. Architecture du système proposé
3.2. Description des graphes utilisés
3.2.1. Construction des graphes
3.2.2. Etiquetage des graphes
3.3. Projection des graphes
3.4. Phase d‟apprentissage
3.5. Phase de reconnaissance
Conclusion
4. Expérimentations
4.1. Objectifs
4.2. Base de gestes
4.3. Protocole
4.3.1. Evaluation de l‟importance de l‟information topologique
4.3.2. Evaluation de l‟importance de l‟information liée à l‟étiquetage
4.3.3. Découpage de l‟ensemble des données
4.4. Expériences
Conclusion
Conclusion générale
Bibliographie

Télécharger le rapport complet