Système de récolte automatique de données

JEUX SÉRIEUX DANS LE DOMAINE MÉDICAL

II existe différents secteurs d’application des jeux sérieux. Alvarez et Michaud en dénombrent sept, dont le domaine médical. Au cours des dernières années, plusieurs jeux sérieux ont été développés dans ce domaine. Leurs buts étant assez variés, à cet effet, ils peuvent servir à l’entraînement des intervenants, améliorer les aptitudes de ces derniers, répondre à un handicap [39], venir supporter des programmes de réadaptation ou encore aider au bien-être des patients. Nous passerons en revue ces jeux selon leur utilisation pour l’apprentissage des intervenants, leur application pour répondre aux déficiences motrices ainsi que leurs effets chez les personnes souffrant de troubles cognitifs.

APPRENTISSAGE DES INTERVENANTS 

Bartoli et al. ont développé un prototype de jeu sérieux de simulation appelé «EMERGENZA » afin d’entraîner différents intervenants en médecine d’urgence. «EMERGENZA » propose au joueur d’intervenir dans une situation d’urgence simulée dans un environnement 3D . Leur prototype comprend un scénario impliquant les soins de base et la défibrillation (SBD) dans une maison avec une fuite de gaz.

Pour naviguer et interagir dans le scénario, les joueurs peuvent utiliser un clavier et une souris ou bien un système de reconnaissance de gestes avec une Kinect de Microsoft. Bartoli et al. ont d’ailleurs utilisé un classeur de forme des mains permettant entre autres de reconnaitre si celles du joueur sont ouvertes ou fermées avec un taux de succès de 98.95%. L’ajout de ce classeur au système de jeu permet au joueur d’interagir plus  rapidement et de façon plus écologique avec les objets de la scène. Par exemple, un joueur peut placer sa main sur l’électrode du défibrillateur et fermer son poing pour le prendre à l’intérieur du jeu. Cette méthode d’interaction est plus directe que la méthode habituellement utilisée qui privilégie la persistance, c’est-à-dire de laisser la main durant une durée déterminée au-dessus d’un objet pour interagir avec un jeu vidéo. D’autre part, pour accentuer l’effet de simulation, le jeu est en navigation libre. Cela permet au joueur d’interagir comme il le souhaite en tout temps. Cependant, il doit tout de même répondre au scénario prévu suivant un ordre d’action établi.

À la fin de la séance de jeu, le joueur est évalué selon l’état de santé du client après son intervention. Durant la partie, le programme répertorie chaque action du joueur dans un registre. Ce dernier permet ensuite de faire rejouer la simulation et d’observer plus précisément les comportements du joueur pour évaluer sa performance. Grâce à la Kinect, il est également possible d’évaluer les postures de l’intervenant. Bartoli et al. [4] ont indiqué qu’une telle simulation permet de reproduire des scénarios dangereux à de très faibles coûts en plus d’améliorer l’entraînement des utilisateurs dans le domaine de la médecine d’urgence. Cette recherche montre également un intérêt pour l’utilisation de gestes plus écologiques pour l’interaction, tel que démontré par l’utilisation d’un classeur pour reconnaître des mouvements de main précis à l’intérieur du prototype développé.

Les recherches de Boyle et al. [10] tendent à démontrer que l’utilisation d’un jeu Utilisant la reconnaissance de gestes peut améliorer les capacités d’un individu à effectuer des gestes spécialisés. Boyle et al. [10] ont tenté de confirmer si le fait d’effectuer certaines tâches non médicales pouvait mener à l’amélioration des capacités d’un individu à effectuer des tâches chirurgicales. Pour ce faire, ils ont formé deux groupes d’étudiants en sciences médicales n’ayant aucune expérience en laparoscopie et n’ayant presque jamais utilisé une console de jeu vidéo Wii de Nintendo auparavant. Chaque groupe devait être présent à deux séances durant lesquelles chaque participant devait compléter trois exercices liés à la laparoscopie sur un simulateur chirurgical PROMIS. Les résultats des participants ont été pris en note durant ces séances afin d’observer leur progression. Afin de mettre à l’épreuve leur hypothèse, les membres d’un des deux groupes ont joué à un jeu vidéo de Wii de façon structurée durant 3 heures entre les deux séances d’exercices. La console Wii a été sélectionnée pour cette expérience puisque ses contrôleurs exigent du joueur qu’il fasse des gestes réalistes, écologiques, au lieu de simplement appuyer sur des boutons. En comparant l’amélioration des performances des deux groupes, Boyle et al. [10] ont remarqué que la différence entre ces derniers n’était significative que pour une seule des métriques d’évaluation d’un des exercices évalués. Cependant, ils ont noté une tendance générale à une amélioration plus prononcée des performances chez les participants ayant utilisé la console Wii. Ces observations les laissent croire qu’un usage plus fréquent aurait pu donner de meilleurs résultats. Selon eux, ces résultats suggèrent que l’usage de jeux vidéo pourrait avoir un impact positif sur les aptitudes chirurgicales d’un individu en pratiquant sa coordination motrice. Il faut toutefois noter que dans cette recherche, contrairement à [4], les participants n’utilisaient pas une simulation des mouvements écologiques à maîtriser avant d’effectuer les simulations chirurgicales, ce qui pourrait expliquer la faible quantité de résultats significatifs que Boyle et al. [10] ont obtenu.

Dans cette section, nous avons pu observer comment la reconnaissance de gestes dans un jeu sérieux de simulation clinique ou bien dans un jeu vidéo commercial peut venir en aide aux intervenants du domaine médical en permettant l’amélioration de leurs compétences. Cependant, nous ne pouvons affirmer avec certitude qu’il existe un lien entre l’immersion créée par cette méthode d’interaction et ces résultats. Dans la section suivante, nous verrons comment la reconnaissance de gestes écologiques est utilisée pour aider à la réadaptation motrice.

RÉADAPTATION MOTRICE

Burke et al. [12] ont étudié les principes de conception d’un jeu sérieux pour la réadaptation des patients ayant subi un accident vasculaire cérébral (AVC). Leur objectif était d’identifier des composantes conceptuelles importantes d’un tel jeu sérieux, et d’en créer des exemples qui puissent rendre les exercices physiques de réadaptation moins ennuyants pour les utilisateurs. En étudiant des principes de conception de jeux vidéo avancés par Salen et Zimmerman [40], Burke et al. [12] ont suggéré des lignes directrices de conception pour leurs jeux. Entre autres, ils suggèrent que l’ « échec » soit géré avec soin afin d’encourager le joueur à poursuivre sa partie. De même, il est conseillé d’utiliser une représentation du joueur et de ses membres dans l’univers de jeux pour que le joueur voie bien s’il exerce ses membres ou non. Burke .et al. [12] recommandent également d’appliquer des rétroactions claires à chaque action effectuée dans le jeu afin d’assurer la bonne compréhension de l’utilisateur et d’intégrer un système de score qui permet de voir ses progrès à long terme. De plus, ils ont mentionné que le niveau de difficulté d’un jeu de réadaptation ne doit pas être trop facile ni trop difficile pour maintenir l’intérêt du joueur. Trois jeux ont ensuite été réalisés en respectant ces principes. Chaque jeu fonctionne à l’aide d’une webcam et de deux gants de couleur vive différente. Le premier jeu se nomme « Rabbit Chase » Son objectif est d’aider à la réadaptation d’un seul bras. Durant une partie, le joueur doit attraper le lapin qui sort d’un des quatre trous présents à l’écran en le touchant de sa main avec le bras sélectionné.

Le second jeu, « Bubble Trouble », peut servir à entrainer un ou deux membres à la fois. Durant la partie, une bulle apparait à la portée du joueur en se déplaçant dans une direction aléatoire avant de disparaître au bout d’un moment. Le joueur doit utiliser ses mains afin de faire éclater la bulle en lui touchant (une main) ou en l’écrasant (2 mains).

Le troisième jeu  « Arrow Attack », sert à la réadaptation des deux bras. Le joueur doit toucher simultanément deux flèches situées dans des boîtes. De plus, ils doivent toucher chaque flèche avec la main qu’elle représente.

Dans tous les jeux, le temps restant au joueur est affiché à l’aide d’une barre de couleur au haut de l’écran et le score du joueur, au centre de l’écran. À la fin d’une partie, les jeux affichent le score du joueur ainsi que les précédents et lui proposent de rejouer. Les jeux ont tous été testés par 13 participants dont 3 avaient subi un AVC. Ces derniers ont ensuite répondu à des questionnaires et quelques questions ouvertes sur leur expérience. En observant les résultats, Burke et al. [12] ont conclu que les jeux développés ont été un succès puisqu’ils sont parvenus à motiver les utilisateurs ainsi qu’à préserver leur intérêt, même s’ils requièrent encore quelques ajustements. Ces résultats démontrent l’intérêt qu’un public âgé pourrait avoir pour un jeu sérieux utilisant la reconnaissance de gestes. Cependant, il n’est pas possible de déterminer si l’immersion créée par l’utilisation de cette technique d’interaction pourrait en être la cause.

Table des matières

CHAPITRE 1 INTRODUCTION 
1.1 CONTEXTE DE LA RECHERCHE
1.2 CONTRIBUTION DU MÉMOIRE
1.3 MÉTHODOLOGIE DE LA RECHERCHE
1.4 ORGANISATION DU MÉMOIRE
CHAPITRE 2 JEUX SÉRIEUX 
2.1 INTRODUCTION
2.2 JEUX SÉRIEUX DANS LE DOMAINE MÉDICAL
2.2.1 APPRENTISSAGE DES INTERVENANTS
2.2.2 RÉADAPTATION MOTRICE
2.2.3 TROUBLES COGNITIFS
2.3 IMMERSION
2.3.1 RECONNAISSANCE DE GESTES IMMERSSIFS
2.4 CONCLUSION
CHAPITRE 3 JEU SÉRIEUX ADAPTÉ 
3.1 LIGNES DIRECTRICES DU CONCEPT
3.1.1 DÉFIS ADAPTÉS
3.1.1.1 CAPACITÉ COGNITIVE
3.1.1.2 NOMBRE D’ÉTAPES
3.1.1.3 FLOW
3.1.2 INTERFACE ET MÉCANISMES D’INTERACTION
3.1.2.1 INTERACTION ÉCOLOGIQUE
3.1.2.2 INTERFACE LÉGÈRE
3.1.2.3 ASPECT MULTIMOD AL
3.1.3 COMPOSANTES VISUELLES ET AUDITIVES
3.1.3.1 SCÈNE SIMPLE
3.1.3.2 COULEUR ET TEXTURE
3.1.3.3 LUMINOSITÉ
3.1.3.4 CONTRASTE
3.1.3.5 RÉTROACTION
3.1.4 INTELLIGENCE ARTIFICIELLE
3.1.4.1 RECONNAISSANCE D’ACTIVITÉ
3.1.4.2 AJUSTEMENT DE DIFFICULTÉ DYNAMIQUE
3.1.5 POSITIONNEMENT AU SUJET DES LIGNES DIRECTRICES
3.2 DÉVELOPPEMENT DE JEU BASÉ SUR LES CONTRAINTES RETENUES
3.2.1 DÉFI
3.2.2 JEU PROPOSÉ
3.2.3 JEU UTILISÉ
3.2.4 RÉTROACTIONS
3.2.4.1 CURSEUR
3.2.4.2 ANIMATION D’ACTIVATION
3.2.4.3 RAPPROCHEMENT DES OBJETS MANIPULÉS
3.2.4.4 ZOOM SUR LES ZONES D’INTERACTION
3.2.4.5 TEXTE DE SUPPORT
3.2.4.6 ÉTATS DES MODÈLES
3.2.4.7 EFFETS SONORES
3.2.5 RECONNAISSANCE DE GESTES
3.2.5.1 WIIGEE
3.2.5.2 PROBLÈMES RENCONTRÉS
3.2.5.3 GLOVEPIE
3.2.5.4 IMPLEMENTATION DES GESTES
3.2.6 SCHÉMA DE CONTRÔLE
3.3 CONCLUSION
CHAPITRE 4 EXPÉRIENCE ET RÉSULTATS 
4.1 INTRODUCTION
4.2 PARTICIPANTS
4.3 EXPÉRIENCE
4.3.1 MATÉRIEL
43.2 SYSTÈME DE RÉCOLTE AUTOMATIQUE DE DONNÉES
4.3.3 PROTOCOLE EXPÉRIMENTAL
4.4 RÉSULTATS
4.4.1 DONNÉES RECUEILLIES
4.4.1.1 DIFFICULTÉ DES CONTRÔLES
4.4.1.2 INDICES D’IMMERSION
4.4.1.3 PRÉCISION DES GESTES
4.4.1.4 DONNÉES TEMPORELLES
4.4.1.5 NOTES DE L’ÉVALUATEUR
4.4.2 ANALYSE
4.4.2.1 IMMERSION ET NIVEAU DE CONTACT AVEC LES JEUX VIDÉO
4.4.2.2 IMMERSION ET NIVEAU D’EXPÉRIENCE AVEC LA WII DE NINTENDO
4.4.2.3 IMMERSION ET IDENTITÉ DE GENRE
4.5 CONCLUSION
CHAPITRE 5 CONCLUSION GÉNÉRALE 

Télécharger le rapport complet