La direction d’orientation des pixels

La direction d’orientation des pixels

Plusieurs systèmes ont été développés pour l’interface homme-machine comme le clavier/souris, le joystick, la parole …etc. Ces types d’interfaces ont montré leurs limites en degrés de liberté (clavier, souris, joystick) ou les difficultés à les appliquer dans un environnement naturel (la parole), alors les recherches se sont orientés vers des interactions plus naturelles et plus riches pour le pilotage d’une chaine complexe et utilisables dans un environnement naturel. C’est le cas pour les interfaces homme-machine gestuelles .

Parmi les gestes utilisés on trouve le geste de la tête, le geste de la main, le mouvement de la pupille, etc. A partir de ces interactions homme-machine l’asservissement gestuel est né, le geste de la main est parmi les gestes les plus expressifs et les plus riches en mouvements. Le canal gestuel possède un pouvoir d’expression subtil et très riche.

La langue des signes est une preuve montrant la puissance et la robustesse du geste dans l’expression, donc il est au moins aussi important que la parole.

Interface Homme-Machine gestuel

L’interaction Homme-Machine désigne l’ensemble des moyens matériels et logiciels utilisés pour commander une machine. L’objectif des travaux réalisés dans ce domaine, est d’améliorer la façon par laquelle l’homme interagit avec la machine, ainsi que la conception des systèmes efficaces, tolérants, simples, faciles et compatibles pour son contexte d’utilisation.

Communication Gestuell

Le geste est souvent assimilé a un mouvement d’une partie du corps, en particulier des mains des bras ou de la tête que l’on fait avec ou sans intention de signifier quelque chose

Pour De Marconnay « le geste englobe tous les mouvements des mains permettant de communiquer des informations significatives et pertinentes, Parmi les cinq modes de communication : l’ouie, la vue, la parole, le toucher et le geste, , le geste semble être l’un des plus riches, Pour Cadoz « il est le plus singulier et le plus riche des canaux de communication » Mais plus qu’un moyen de communication comme l’est la parole, le canal gestuel est aussi un moyen d’action et de perception du monde physique, Le canal gestuel est alors associé a trois fonctionnalités.

Types de Gestes

Les gestes émis par un opérateur humain pour communiquer avec une machine sont de différentes natures et peuvent jouer différents rôles :
– Geste instrumental (faire en montrant, manipuler des objets virtuels).
– Geste de désignation, de pointage.
– Configuration statique référençant une commande isolée.
– Geste de commande, désignant une action et ses paramètres (quoi et comment).
– Geste co-verbal accompagnant une communication parlée,
– Geste fait de manière inconsciente : par exemple certaines coordinations regardmouvement des mains.
– Geste fait de manière intentionnelle : dire et montrer comment.
– Gestes utilisés dans le langage des signes.
Selon l’évolution temporelle de la forme des gestes, on peut distinguer deux types de gestes, les gestes statiques, et les gestes dynamiques.

Geste statique : l’information que porte le geste statique, est exprimée par une seule posture.

Geste dynamique : contrairement au geste statique, l’information est exprimée par deux caractéristiques, qui sont la configuration de la main et sa position, ce qui correspond à un mouvement de la main dans le temps. Ce type est le plus difficile à traiter .

Fonctionnalités du Geste

A l’égard de la nature expressive du canal gestuel, on distingue trois fonctions du geste : le geste ergotique, le geste épistémique et le geste sémiotique, qui sont présentés comme suit :

Le geste ergotique :
Il permet d’agir physiquement sur les objets pour les saisir, les transporter, les modeler, les transformer, … les briser. La poterie en est un exemple.

Le geste épistémique :
La main joue le rôle d’organe de perception. Le sens du toucher donne des informations relatives a la forme, l’orientation, la distance, la grandeur, le poids, la température, les mouvements des objets, etc.

LE GESTE SÉMIOTIQUE
Permet l’émission d’informations visuelles dans l’environnement,, la main joue alors le rôle d’organe d’expression Cela comprend la langue des signes, le geste co-verbal, qui accompagne la parole, ou les gestes de communication basique utilisé généralement lorsqu’on ne peut pas utiliser la parole, comme dans un environnement bruité ou en plongée sous-marine. La fonction sémiotique du geste est celle qui est la plus riche et la plus complexe. Pratiquement, les interactions homme-machine exploitent cette fonction du geste focalisée sur les symboles et les signes, du fait qu’elle transmet parfaitement la signification sémantique du geste, sachant surtout qu’elle est très appropriée pour la commande et le contrôle pour les interactions. Pour ces raisons, dans le cadre de notre projet, les gestes envisagés sont de nature sémiotique.
– Taxonomie du geste sémiotique
La fonction sémiotique permet au geste d’être un moyen d’expression, Il peut être utilisé en complément de la parole, nous parlons alors de gestes Co verbaux et la communication se place dans le domaine de la multi-modalité. Il peut, au contraire être le seul moyen d’expression comme dans la langue des signes ou lorsque l’environnement est trop bruyant pour que deux personnes puissent s’entendre. McNeil précise que l’action de parler est souvent accompagnée dans notre culture par des mouvements des bras et des mains, Ils anticipent la parole de quelques millisecondes. Geste et parole partagent donc des étapes de traitement et font partie de la même structure communicative ou expressive.

Avantages des interactions gestuelles 

Les interactions gestuelles tendent à enrichir la communication Homme-Machine par les améliorations suivantes :
– Interaction plus naturelle : La communication gestuelle avec une machine fait appel aux moyens de communication humains naturels.
– Interaction concise et efficace : l’utilisateur peut exprimer en une seule posture une commande. Evidement, la dynamique du geste étend l’intérêt de la communication Homme-Machine gestuelle.
– Interaction directe : dans les interfaces gestuelles, la main devient elle-même le périphérique d’interaction.
– Interaction standard : une interaction gestuelle est manipulable par toutes catégories, elle ne nécessite qu’un entrainement.

Etat de l’art 

Voici à présent quelques travaux réalisés démontrant l’utilisation du geste de la main dans les interactions Homme-Machine dans différents domaines tels que la reconnaissance de la langue des signes, qui a comme base la communication gestuelle pure,la reconnaissance de l’écriture manuscrite, la réalité virtuelle, la réalité augmentée et la commande des machines.

La reconnaissance de la langue des signes :
C’est la communauté de sourds-muets ou mal entendant qui utilisent ce moyen d’expression afin communiquer entre eux. C’est en effet la forme la plus évoluée en communication gestuelle [2].

Objectif et problématique

Objectifs
Notre objectif demeure parmi d’autre, une nuance d’espoir pour aider à améliorer la vie de certain, le travail d’autres et la sécurité de ceux dont ils ont en besoin, réaliser une application de reconnaissance de gestes en temps réel avec une base de données définie inspirée de gestes de sourd muets est notre objectif pour ce mémoire.

Probleme rencontrés :
Tout au long de la réalisation de ce projet, nous allons être confrontés a différents problèmes tels que :
– L’acquisition du geste :
– L’éclairage
– La nature du geste :
– La complexité de la scène :
– Temps réel :

Système de reconnaissance de gestes

Le processus de reconnaissance de formes, est proche du raisonnement de l’être humain, d’où s’inspirent les domaines de l’intelligence artificielle, qui servent à automatiser des tâches humaines.

Base de données 

La première étape pour la conception des systèmes basés sur l’interaction gestuelle, utilisant le geste de la main, est la détermination d’un vocabulaire. Viennent ensuite les étapes de détection de la main et enfin de reconnaissance du geste.

Acquisition 

Un système de reconnaissance des gestes nécessite un outil d’acquisition de l’information (du geste). Pour que ce dernier, soit exploitable par le système, il doit être représenté sous une certaine forme de données. Pour cela, plusieurs techniques sont utilisées :

Tablette graphique et écran tactile
Ces techniques sont destinées pour la reconnaissance de l’écriture manuscrite, le geste de dessins et les gestes de pointage. Ces techniques ont pour objectif de remplacer les traditionnels menus. Le crayon et la tablette graphiques sont d’usage courant en Conception Assistée par Ordinateur (CAO).

Gant numérique
Le gant de données (Dataglove) est un dispositif, qui autorise l’éloignement par rapport à l’écran. Le gant relève les positions, les orientations, et les mouvements de la main. Des capteurs de flexion identifient aussi la position des doigts, les systèmes les plus utilisés sont les fibres optiques [11]. Ce dispositif est surtout utilisé en réalité virtuelle ou réalité augmentée.

Vision par ordinateur
La plupart des systèmes de reconnaissance du geste utilisent les techniques de vision par ordinateur, et ce pour l’aspect intuitif et simple que ce moyen confère à l’interaction HommeMachine.

Segmentation

Dans un système de reconnaissance de geste visuel, l’image acquise par la caméra contient à la fois des informations sur le geste (l’objet), ainsi que d’autres informations dépendant de l’entourage du geste (l’arrière-plan). La segmentation consiste à séparer l’objet (le geste) de l’arrière-plan afin de pouvoir l’exploiter par la suite. Pour cela, il existe plusieurs méthodes, nous allons détaillés la méthode « couleur de peau » .

Segmentation par la couleur de la peau
La couleur de peau (chair) fait partie des caractéristiques bas niveaux (pixel), néanmoins, il est connu que la couleur est peu fiable dans les zones sombres, sensibles à l’éclairage ambiant. Seulement il faut noter qu’il est intéressant, lorsque l’image initiale est en couleur, de pouvoir se servir de cette information afin d’améliorer la localisation de la peau. Dans la plupart des cas, la peau peut être vue comme une portion de l’image d’une couleur déterminée. En utilisant les frontières de cette zone comme seuil pour une image, il est possible d’extraire les pixels dont la couleur peut s’apparenter à celle de la peau [3]

Espace de couleur RGB :
C’est une approche très utilisée dans le domaine de la localisation des visages et de mains, elle repose sur la distinction entre les pixels qui correspondent à la couleur de la peau de celle appartenant au fond de la scène. Il existe plusieurs seuils dans différents espace colorimétrique (RGB, HSV, YCbCr …), pour notre segmentation, nous avons travaillé dans l’espace colorimétrique RGB.

Conclusion Générale 

La réalisation d’un système de reconnaissance de geste est le résultat de notre recherche et de notre implémentation. Ce résultat était le fruit de plusieurs tests de différentes méthodes que nous avons implémentées, au cours des différentes phases de notre système. Nous avons réalisé dans ce projet un système de reconnaissance du geste de la main, ce système comporte deux phases, une phase d’apprentissage et une phase de classification, ces phases englobent l’acquisition du geste, la segmentation de la main, l’extraction des caractéristiques, la labellisation et la classification du geste .

Table des matières

Introduction générale
Chapitre I : Interface Homme Machine Gestuel.
1. Introduction
2. Communication Gestuelle
3. Types de Gestes
3.1. Geste statique :
3.2. Geste dynamique
4. Fonctionnalités du Geste
4.1. Le geste ergotique
4.2. Le geste épistémique
4.3. Le geste sémiotique
S. Avantages des interactions gestuelles.
6. Etat de l’art…
6.1. La reconnaissance de la langue des signes
6.2. La reconnaissance de l’écriture manuscrite
6.3. La réalité virtuelle :…..
6.4. La réalité augmentée (RA)
6.5. Contrôle de machines
7. Objectif et problématique
7.1. Objectifs.
7.2. Problématique
8. Conclusion….
Chapitre II: Système de reconnaissance de gestes.
1. Introduction.
2. Base de données
3. Acquisition
3.1. Tablette graphique et écran tactile.
3.2. Gant numérique.
3.3 Vision par ordinateur
3.3.1. Définition de la vision par ordinateur
3.3.2. Capteurs d’acquisition
4. Segmentation…
4.1. Segmentation par la couleur de la peau
4.1.1. Espace de couleur RGB
4.1.2. Espace de couleur YCrCb
5. Extraction de caractéristiques
5.1. Contours
5.1.1. Filtres de détection de contours….
5.12. Codage de Freeman, codage d’orientation
5.2. Histogrammes
5.2.1. Histogramme d’orientations locales
6. Classification…..
6.1. Méthodes de classification
6.1.1. La Correlation
6.1.2. Comparaison d’histogrammes
7. Conclusion
Chapitre III : Implementation et Résultat.
1. Introduction
2. Environnement de développement
3. Architecture matérielle
4. Système de reconnaissance de Gestes
4.1. Etape 1 – Acquisition du geste
4.2. Etape 2 : Segmentation
4.3. Etape 3 : Extraction des caractéristiques.
4.2.1. Les gradients
4.2.2 La direction d’orientation des pixels
4.2.3 L’histogramme d’orientations
4.3. Classification
4.3.1. Apprentissage
4.3.2. classification par le coefficient de correlation
5.Conclusion
Conclusion Générale

Télécharger le rapport complet