Système de Reconnaissance des gestes de la main

Généralités sur la reconnaissance des gestes de la main

Le geste est un des canaux de communications les plus riches, dans le domaine des Interfaces Homme‐Machine (IHM), la main peut servir à pointer (pour remplacer la souris), à manipuler des objets (pour la réalité augmentée ou virtuelle), ou à communiquer par gestes avec un ordinateur. Par rapport à la richesse de l’information véhiculée par les gestes de la main, les possibilités de communication avec les ordinateurs sont aujourd’hui réduites avec la souris et le clavier. L’interaction homme‐machine est basée actuellement sur le paradigme WIMP (Window, Icon, Menu, Pointing device) fenêtre, icône, menu, dispositif de pointage) qui présente les bases fonctionnelles d’une interface graphique informatique. La majorité des systèmes d’exploitation repose sur ce concept, avec un dispositif de pointage, généralement la souris, qui permet d’interagir avec des éléments graphiques tels que des fenêtres, des icônes et des menus, de façon plus intuitive qu’avec une interface textuelle (en ligne de commande). En utilisant les gestes de la main, l’interface devient perceptuelle. Les systèmes de reconnaissance de gestes ont d’abord utilisé des gants électroniques munis de capteurs fournissant la position de la main et les angles des articulations des doigts. Mais ces gants sont onéreux et encombrants, d’où l’intérêt croissant pour les méthodes de vision par ordinateur. En effet, avec les progrès techniques et l’apparition de caméras bon marché, il est désormais possible de développer des systèmes de reconnaissance de gestes basés sur la vision par ordinateur, fonctionnant en temps réel.

T A X O N O M I E D E S G E S T E S D E Q U E K

Une classification bien adaptée au domaine de l’interaction homme‐machine est la taxonomie de Quek [17], qui décompose les gestes en gestes manipulatifs, correspondant aux fonctions ergotique et épistémique ; et en gestes communicatifs, correspondant à la fonction sémiotique. Les gestes communicatifs sont décomposés en gestes actifs et en gestes symboliques (figure 3). Les gestes symboliques ne sont pas compréhensibles directement, il faut être initié pour comprendre leur signification. Il s’agit par exemple des gestes des langues des signes. Ils sont décomposés en gestes référentiels, faisant directement référence à un objet ou à un concept (p. ex. le frottement du pouce et de l’index pour évoquer l’argent), et en gestes modélisant, qui modélisent un état ou une opinion et s’emploient souvent en addition à d’autres moyens de communication (p. ex. pour donner une idée de la taille d’un objet). Ces gestes peuvent avoir un sens différent selon la culture. Les gestes actifs sont directement liés à leur interprétation et sont utilisés en complément de la parole. Ils sont décomposés en gestes mimétiques, consistant à mimer une action, et en gestes déictiques, ou gestes de pointage. Les gestes déictiques sont très utilisés pour l’interaction hommemachine, car le doigt représente un dispositif de pointage naturel et très pratique [2].

LES CAMERAS VIDEO

Contrairement aux systèmes précédents, les caméras vidéo captent les mouvements de la main sans que l’utilisateur ne soit contraint de porter un équipement particulier, ou d’utiliser un périphérique dédié. Toutefois, pour certains systèmes, des marqueurs ou un gant coloré sont utilisés pour faciliter la détection des différentes parties de la main. La difficulté de cette approche est de mettre au point des traitements robustes pour interpréter le flux vidéo et extraire l’information utile de la grande quantité d’information disponible. Par ailleurs, une caméra ne fournit qu’une information 2d. Pour obtenir des informations en 3d, il faut utiliser deux ou plusieurs caméras, ou une modélisation 3d. Par conséquent, les occultations sont un problème important, inhérent à la projection de l’espace 3d dans une image. Avec l’augmentation de la puissance des ordinateurs de bureau et l’apparition de caméras bon marché, il est désormais possible de développer des systèmes de reconnaissance de gestes fonctionnant en temps réel. C’est à cette problématique que nous nous sommes intéressés dans le cadre de ce PFE. Les caractéristiques telles que le taux de rafraîchissement ou la résolution varient d’une caméra à l’autre. Des valeurs élevées de ces caractéristiques sont avantageuses pour avoir une mise à jour fréquente des images et un niveau de détail important. Toutefois, un compromis est nécessaire car des valeurs trop importantes augmentent la complexité et le temps de traitement des données [2].

Conclusion Générale

Notre projet de thèse porte sur la réalisation d’un système de reconnaissance des gestes de la main, qui regroupe plusieurs étapes par les quelles nous avons essayé d’extraire les meilleures méthodes et effectuer plusieurs testes afin d’avoir un résultat satisfaisant. Notre système de reconnaissances des gestes de la main basé sur la vision à été implémenté suivant les étapes suivantes En premier plan nous avons opté pour la webcam pour l’acquisition de la main, nous passons ensuite à la segmentation qui consiste à la localisation de la main par la couleur de peau puisque la taille et la forme de la main varient considérablement. Par la suite le seuillage qui consiste à séparer la main de l’arrière plan et qui se fait manuellement, puis un algorithme de description de la région de la main a été utilisé pour trouver les points de bordure de toutes les régions dans une image. Par la suite, un ensemble de caractéristiques géométriques sont ensuite extraites ces caractéristiques sont l’excentricité, l’orientation, la compacité, la longueur de la bordure, la surface, le centre de gravité (cog). Enfin, nous avons utilisé le classificateur basé sur des règles pour classer le geste selon les trois gestes choisis (stop, droit, gauche). Un taux de reconnaissance d’environ 90% sur les données de test a été atteint Par ailleurs le critère de la luminosité joue un très grand rôle pour cela nous n’avons pas toujours le résultat souhaité.

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela rapport gratuit propose le téléchargement des modèles gratuits de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie à avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

Introduction Générale
Chapitre 1 Généralités sur la reconnaissance des gestes de la main
1.Introduction
1 . 1 . L E S G E S T E S D E L A MAIN
1 . 2 . T A X ONOMI E D E S G E S T E S D E Q U E K
1 . 3 . G E S T E S S T A T I Q U E S E T D Y N A M I Q U E S
2.Etat de l’art « Interaction Homme – Machine »
2 . 1 . D I S P O S I T I F S D ’ I N T E R A C T I ON
2.1.1. PERIPHERIQUES D’ENTREE
2.1.2. LES GANTS DE DONNEES
2.1.3. ÉCRANS TACTILES
2.1.4. LES CAMERAS VIDEO
2 . 2 . A P P L I C A T I ON E T N O U V E L L E S P OS S I B I L I T E S D ’ I N T E R A C T I O N
2.2.1. RECONNAISSANCE DE LA LANGUE DES SIGNES
2.2.2. REALITE VIRTUELLE
2.2.3. REALITE AUGMENTEE
2.2.4. CONTROLE MACHINE :
III. Les Difficultés liées à la vision par ordinateur
Conclusion
Chapitre 2 Système de Reconnaissance des gestes de la main
1.Introduction
2.Système de reconnaissance des gestes de la main
2 . 1 . T A B L E T T E S G R A P H I Q U E S & E C R A N S T A C T I L E
2 . 2 . P O R T A B L E D I S P O S I T I F S E L E C TROMA G N E T I Q U E S , G A N T S N U M E R I Q U E :
2 . 3 . L A V I S I ON P A R O R D I N A T E U R :
2.3.1. Qu’est ce que la vision
2.3.2. Pourquoi la vision
2.3.3. Capteurs d’acquisition :
III. La segmentation
3 . 1 . L A S E G M E N T A T I ON P A R D E T E C T ION D E L A C O U L E U R D E P E A U
3.1.1. RGB
3.1.2. YCbCr chrominance de luminance
3.1.3. HSV Teinte, Saturation et valeur
3.Seuillage (thresholding)
4.Contours
5 . 1 . F I L T R E S D E D E T E C T I ON D E C O N T O U R S :
5.1.1. Approche gradient :
5.1.2. Approches Laplacien :
6.Codage
6 . 1 . C O D A G E D E F R E EM A N
VII. Classification
VIII. Conclusion
Chapitre 3 Implémentation & Résultats
I.Introduction
II.Environnement de développement
III. Architecture matériel
IV.Système de reconnaissance du geste
4 . 1 . A C Q U I S I T I O N
4 . 2 . S E G M E N T A T I O N
4.2.1. RGB :
4.2.2. Méthode de seuillage :
4 . 3 . E X T R A C T I O N D E C O N T O U R E T D E S C A R A C T E R I S T I Q U E S
4 . 3 . 1 . D E S C R I P T I O N D E L A R E G I O N D E L A M A I N
4 . 3 . 2 . L E S C A R A C T E R I S T I Q U E S G E OM E T R I Q U E S
V.EXPÉRIENCES ET RÉSULTATS
VI.Avantage de l’application
VII. Mode d’utilisation
Conclusion