Passage du tour conventionnel au tour `a commande num´erique

Télécharger le fichier pdf d’un mémoire de fin d’études

Jeux d’apprentissages immersifs

Les jeux d’apprentissages immersifs rel`event de cet effort de synth`ese entre les capa-cit´es d’immersion visuelle d’un utilisateur dans un dispositif de RV et celles d’immersion psychologique d’un joueur dans un jeu vid´eo. Ils ont montr´e leur int´erˆet dans le cadre de la formation professionnelle, principalement pour l’enseignement des protocoles ou des pro-cessus m´etier dans des contextes techniques, comme par exemple dans les projets d´ecrits ci-dessous, illustr´es dans la figure 2.1.
Le projet 3D Virtual Operating Room [Lelardeux et al.(2016), Panzoli et al.(2016)] per-met d’aborder le respect des proc´edures, la gestion de l’information et la communication entre les professionnels du bloc op´eratoire pendant une intervention chirurgicale. Toujours dans le domaine de la sant´e, VICTEAMS [Huguet et al.(2016)] propose une formation aux personnels du service de sant´e des arm´ees face aux situations de crises et `a l’afflux mas-sif de bless´es. Le projet GASPAR [Buche(2005), Querrec(2010)] cible l’apprentissage des proc´edures et la s´ecurit´ sur un porte-avion. Le projet V3S [Barot et al.(2013)] propose une formation aux risques pour les sous-traitants intervenants dans les sites class´es SEVESO. Le projet VTT [Crison et al.(2005)] a pour objectif de former des ouvriers `a l’utilisation et la maintenance de fraiseuses. Il existe encore de nombreux exemples d’applications comme l’entraˆınement virtuel des chirurgiens `a la laparoscopie [Nagendran et al.(2013)], la formation au diagnostic automobile [Duval(2017)] (Fig. 2.1(f)), la formation des sol-dats aux r`egles qui commandent ou non d’ouvrir le feu en situation complexe [Bhagat et al.(2016)], ou divers applications de formation a´erospatiale [Stone et al.(2011)]. On remarque que malgr´e leur apparente h´et´erog´en´eit´e, toutes ces applications rel`event de formations QHSE (Qualit´e, Hygi`ene, S´ecurit´ et Environnement), qui se prˆetent tr`es bien `a l’approche et qui constituent de ce fait l’essentiel de l’offre de la formation immersive.
Ces projets concrets sont tr`es souvent des applications de travaux de recherche plus vastes sur l’apprentissage immersifs. Le cœur de la recherche porte sur des m´ethodologies ou des cadres conceptuels qui permettent d’allier les nombreuses probl´ematiques de ce type de projet, notamment (i) la mod´elisation de l’environnement et des activit´es, (ii) les inter-actions entre le(s) joueur(s) et l’environnement et (iii) le comportement des personnages non joueurs. On citera parmi les plus abouties les approches MASCARET [Chevaillier et al.(2012)], HUMANS [Lourdeaux et al.(2017)] et GVT [Gerbaud et al.(2008)].
Le principal atout de la formation immersive r´eside en la reproduction d’un envi-ronnement de travail de mani`ere visuellement r´ealiste et permettant a` un ou plusieurs apprenants de restituer avec pr´ecision leur activit´e professionnelle. Si les jeux d’appren-tissages immersifs s’inspirent des techniques du jeu vid´eo pour proposer des narrations p´edagogiques “gamifi´ees”, ils reposent n´eanmoins souvent sur des environnements virtuels traditionnels, comme les environnements virtuels immersifs (EVI) ou les environnements virtuels pour l’apprentissage humain (EVAH). En outre, des recherches r´ecentes ont mis en ´evidence la pertinence des environnements immersifs r´ealistes pour l’apprentissage de comp´etences professionnelles [Moon(2013)], particuli`erement car ils permettent d’une part une mobilisation rapide dans la formation des savoirs pr´e-existants, et d’autre part une transposition pertinente dans les situations r´eelles futures des savoirs acquis dans l’envi-ronnement virtuel durant la formation [Rose et al.(2000)].
L’apport du jeu vid´eo consiste g´en´eralement `a proposer un sous-ensemble pertinent de m´ecanismes dans le but d’accroˆıtre, par l’interm´ediaire d’un ensemble de “leviers de gamification” [Chou(2015)], le succ`es de la transmission des savoirs.

Les leviers de l’apprentissage

Dans le cadre g´en´eral, des m´ecanismes de jeu sont greff´es a` un contenu s´erieux (p´e-dagogique, en l’occurrence) dans l’objectif de faciliter l’acquisition de ce dernier par les apprenants. Ce processus s’appelle la ludification (ou gamification en anglais) et s’appa-rente `a l’´elaboration d’une recette de cuisine en ce sens (i) qu’il consiste a` m´elanger de mani`ere empirique des ingr´edients dont on connaˆıt (souvent approximativement) l’effet dans un contexte donn´e, que (ii) le r´esultat final est souvent difficile `a anticiper sur la seule base des ingr´edients et (iii) que le succ`es de la recette est tr`es li´e `a l’exp´erience du cuisinier (le game designer en l’occurrence).
Dans le contexte d’un jeu d’apprentissage immersif en revanche, l’approche semble mieux cern´ee, et les raisons qui favorisent l’acquisition des connaissances ou des com-p´etences sont connues. Elles sont pr´esent´ees dans les deux sections suivantes, dont le d´ecoupage est arbitraire et pourrait ˆetre discut´e tant les concepts discut´es sont li´es les uns aux autres.

Motivation et exp´erience optimale

Le premier constat qu’on peut formuler a` l’´egard d’un jeu s´erieux immersif est son approche p´edagogique clairement active, par opposition par exemple a` une p´edagogie transmissive, plus traditionnelle. Les nombreuses th´eories de la motivation fournissent d`es lors autant cadres th´eoriques pertinents dans l’´etude de cet objet d’apprentissage [Fe-nouillet et al.(2009)].
Une des th´eories classiques de la motivation [Deci & Ryan(2000)] distingue la moti-vation intrins`eque, o`u l’activit´e est r´ealis´ee librement par int´erˆet et/ou pour le plaisir de pratiquer, et la motivation extrins`eque, o`u l’activit´e est r´ealis´ee sous la contrainte d’une obligation ou d’un devoir. Bien entendu, c’est la motivation intrins`eque qui est cibl´ee par un jeu d’apprentissage. [Malone(1987)] identifie quatre conditions qui rendent un tel ou-til intrins`equement motivant, chacune int´egrant plusieurs heuristiques synth´etis´ees dans la figure 2.2. Le d´efi propos´e a` l’apprenant, a` travers la difficult´e de l’activit´e, doit ˆetre constamment optimal : objectifs explicites, incertitude quant a` l’issue, r´etroaction encou-rageante sur les performances, et promotion d’un sentiment de comp´etence. La complexit´ et la part d’information r´ev´el´ee au joueur doivent ˆetre en rapport avec l’´etat actuel de ses connaissances : l’apprenant doit d´ecouvrir par ses interactions, ˆetre surpris ou in-trigu´e. L’application doit maintenir chez l’apprenant un sentiment de contrˆole et d’auto-d´etermination : contingence entre ses actions et leur(s) r´esultat(s), l’environnement doit promouvoir la possibilit´e de faire des choix, et les actions du joueur doivent avoir des effets visibles. Enfin, l’application doit promouvoir une certaine forme d’imaginaire : r´esonance ´emotionnelle avec l’apprenant, recours `a des m´etaphores ou des analogies pertinentes, et l’imaginaire de l’application et la r´ealit´ de l’activit´e doivent ˆetre contextuellement int´egr´es et proches.

Apprentissage exp´erientiel, r´etroactions et adaptativit´e

L’aptitude d’un environnement virtuel ou d’une simulation immersive `a fournir des situations d’apprentissage “situ´e” est un fait ´etabli dont les m´ecanismes ont et´ etudi´es et d´ecrits [Dawley & Dede(2014)]. Un tel apprentissage est caract´eris´ par un contexte et des situations authentiques, et la libert´ pour l’apprenant de construire des connaissances et des strat´egies qu’il saura r´einvestir par la suite plus efficacement que dans un mode d’instruction plus classique [Herrington & Oliver(2000)].
Le c´el`ebre mod`ele du cycle de l’apprentissage par l’exp´erience (voir figure 2.4), qu’on attribue classiquement a` David Kolb [Kolb(1984)] mais qui d´erive en fait d’une id´ee origi-nale de Kurt Lewin, illustre les ´etapes qui m`enent de l’observation concr`ete a` l’´elaboration d’une th´eorie, elle-mˆeme donnant lieu, par confrontation `a la r´ealit´e, a` de nouvelles obser-vations, et a` une nouvelle it´eration de la boucle, et ainsi de suite. Ce cycle se composent de 4 ´etapes, L’exp´erience concr`ete est une situation rencontr´ee par l’apprenant dans l’environnement d’apprentissage ou, en ce qui concerne l’apprentissage immersif, une situa-tion virtuellement reconstitu´ee au plus proche de la situation r´eelle.
L’observation r´eflexive permet de mettre en ´evidence les ´ecarts ou les incoh´erences entre les observations r´eelles (ou virtuelles) et celle qui ´etaient attendues ou pr´evues par l’apprenant, en l’´etat de ses connaissances et de sa compr´ehension des r`egles de l’environnement. Durant cette ´etape, l’apprenant peut ˆetre accompagn´e dans son processus par le professeur ou, dans un environnement d’apprentissage immersif, par un syst`eme d’accompagnement et/ou des r´etroactions de la part de l’outil.
La conceptualisation abstraite donne naissance a` un nouveau concept, une nou-velle id´ee, ou modifie la compr´ehension existante de l’apprenant.
L’exp´erimentation active pousse l’apprenant `a ´eprouver les id´ees et concepts nou-vellement cr´e´-e-s au contact de l’environnement. Ce processus se concr´etise par la formulation d’hypoth`eses que l’apprenant teste dans des contextes ou des situations connexes mais diff´erentes de celles qui ont permis l’apprentissage. Les observations issues de ces tests permettent d’initier un nouveau cycle de l’apprentissage im-mersif. Bien entendu, dans le cas de l’apprentissage immersif, il est imp´eratif que l’environnement d’apprentissage soit con¸cu de mani`ere `a permettre cette libert´.
Le cycle d’apprentissage exp´erientiel est une des fondations th´eoriques des jeux d’ap-prentissage immersifs. Ces derniers offrent d’une part des exp´eriences concr`etes et authen-tiques `a l’apprenant, et facilitent d’autre part la conceptualisation en le guidant durant le processus r´eflexif. Ce guidage, ou accompagnement utilisateur pour utiliser le terme ap-propri´e, prend plusieurs formes mais repose essentiellement sur un monitorage en temps r´eel des actions et des d´ecisions du joueur donnant lieu `a des r´etroactions en temps r´eel. [Cameron & Dwyer(2005)] montrent que la qualit´e des r´etroactions joue un rˆole important dans l’apprentissage. Ils mettent en ´evidence une meilleure r´etention des connaissances lorsque les r´etroactions sont des r´eponses elabor´ees et explicatives par rapport `a des feed-backs bruts. D’un point de vue personnel, nous pensons que cette boucle de r´etroaction peut ´egalement jouer un rˆole parasite a` l’apprentissage en perturbant ou en interrompant trop souvent l’apprenant pour lui offrir un retour d´etaill´ sur les actions r´ealis´ees et sur les m´ethodes `a d´eployer pour s’am´eliorer. Ce trop plein d’information, parfois non perti-d’un des nombreux graphiques dispo-nibles en ligne pour World Of Warcraft (www.warcraftlogs.com) et qui en constituent un d´ebriefing d´etaill´ permettant au joueur d’analyser a poste-riori leurs d´ecision et de les comparer a` celles de joueurs plus exp´eriment´es. nentes, peut nuire au sentiment de flow et lui donner l’impression de perdre son temps. En cons´equence, il est important lors de la conception d’un syst`eme d’accompagnement de bien diff´erencier les informations qui n´ecessitent d’ˆetre pr´esent´ees `a l’apprenant en temps r´eel, et celles, plus elabor´ees et accaparant une charge mentale plus importante, qui doivent ˆetre rel´egu´ees en dehors du jeu, classiquement en e-learning dans une phase de d´ebriefing.
Le jeu vid´eo World of Warcraft est une bonne illustration d’un bon dosage du feed-back. La plupart des joueurs exp´eriment´es utilisent des add-ons pour obtenir un indicateur de performance g´en´erale durant les combats (par exemple d´egˆats inflig´es par secondes). Ceux ayant r´eellement envie de progresser utilisent un service de d´ebriefing disponible en ligne (voir figure 2.5) pour analyser leur fa¸con de jouer ou la comparer `a celle de joueurs meilleurs. L’accompagnement se fait donc en deux temps : un premier indicateur synth´etique est donn´e en temps r´eel, puis un d´ebriefing des combat men´es durant la par-tie est propos´e `a la fin de la session de jeu. Cette d´ecomposition en deux temps permet au joueur de commencer par essayer d’am´eliorer l’indicateur de performance g´en´erale en adaptant sa fa¸con de jouer de fa¸con instinctive, avant d’utiliser le d´ebriefing final pour pr´evoir une meilleur strat´egie pour la session suivante.
Une autre forme de r´etroaction rencontr´ee couramment dans les jeux vid´eo prend la forme d’un contrˆole adaptatif de la difficult´e du jeu. [Orvis et al.(2008)] d´emontrent un accroissement significatif de l’apprentissage et de la motivation lorsque la difficult´e est ajust´ee en fonction des performances de l’apprenant dans le jeu. On retrouve a` travers cette id´ee une tentative du jeu de maintenir l’apprenant dans la zone de flow, evoqu´ee dans la section pr´ec´edente. En outre, les auteurs rel`event que les joueurs ayant une exp´erience du jeu vid´eo obtiennent de meilleurs r´esultats tout au long de l’exp´erimentation, mais que ceux qui n’en ont pas connaissent une progression plus importante.

Evaluation des jeux d’apprentissages immersifs

L’´evaluation d’un jeu d’apprentissage immersif ou des Environnements de r´ealit´ Vir-tuelle pour l’Apprentissage Humain (EVAH) est rendue plus complexe que celle d’un Environnement virtuel Immersif (EVI) a` cause de la dimension p´edagogique.
Il existe des crit`eres “historiques” permettant d’´evaluer la performance ou l’utilisabi-lit´e de nombreux composants d’un EVI. Par exemple, la loi de Fitts (voir 3.2.4) permet de caract´eriser la pr´ecision et la rapidit´e d’une tˆache de s´election, le test RSSQ (voir la partie 3.1.2) permet d’estimer le degr´ de mal du simulateur ressenti par l’utilisateur, etc. D’autres notions plus diffuses comme l’engagement, la pr´esence ou la satisfaction sont ´egalement un centre d’attention pour les chercheurs [Lin & Parker(2007)]. Plus r´ecemment, les recherches sur le sujet de l’´evaluation d’un environnement immersif se sont port´ees sur la mod´elisation int´egr´ee de l’exp´erience utilisateur (UX). Le mod`ele de r´ef´erence est celui de [Shin et al.(2013)]. A l’instar des autres mod`eles de l’UX, il se pr´esente sous la forme d’un ensemble de constructions mentales caract´erisant l’UX (pr´esence, satisfaction, utilit´e per¸cue, etc.) et d’un ensemble de m´etriques associ´ees permettant de les ´evaluer de mani`ere quantitative. Les auteurs proposent ´egalement un questionnaire prˆet `a l’emploi o`u chaque m´etrique est evalu´ee par l’utilisateur selon une ´echelle de Likert `a 7 points. [Tcha-Tokey et al.(2015b)] proposent un mod`ele “holistique” qui synth´etise et combine les mod`eles de l’UX les plus influents.
Cependant, la dimension p´edagogique joue assur´ement un rˆole important. Premi`ere-ment, elle pourrait guider un choix de mod´elisation : le choix entre le d´eplacement ou la t´el´eportation dans un jeu s´erieux immersif sera vraisemblablement guid´e par l’int´erˆet p´edagogique d’´evaluer le d´eplacement du joueur (par exemple, la travers´ee interdite d’une zone st´erile dans le bloc op´eratoire, le passage dans une zone dangereuse `a proximit´e d’une machine outil, etc). Deuxi`emement, il est probable que l’impact de la formation en terme de transmission et de transposition des savoirs (dans le monde r´eel) soit li´es `a d’autres crit`eres, nouveaux ou composites, et qui restent `a explorer et `a ´evaluer.
S’agissant d’un outil pour l’apprentissage humain, [Tricot(2007)] rappelle dans son cadre conceptuel que 3 dimensions doivent ˆetre prises en compte dans l’´evaluation, chacune ´etant importante pour le succ`es de l’outil :
L’utilit´e refl`ete l’ad´equation entre l’objectif d´efini et l’apprentissage effectif ou, en d’autres termes, `a quel point l’outil a rempli son rˆole dans la transmission des savoirs. Des test objectifs de connaissances doivent permettre d’´etablir l’utilit´e de l’outil.
L’utilisabilit´e caract´erise `a quel point il est facile ou possible d’utiliser le syst`eme de mani`ere efficiente. Il s’agit ici de mesurer la qualit´e des interfaces et la pertinence de l’accompagnement, par le biais d’entretiens ou d’observations.
L’acceptabilit´ d´etermine la propension de l’utilisateur a` utiliser l’outil pour sa for-mation de son propre gr´e, ou bien si l’outil lui est impos´e par un enseignant, la propension de ce dernier a` s´electionner l’outil dans le cadre de sa formation. Des entretiens permettent de mesure l’acceptabilit´ d’un outil de formation.
[Hoareau et al.(2017)] s’int´eressent a` la mesure de la validit´e de l’environnement im-mersif de formation, a` travers deux notions distinctes : la validit´e interne concerne l’acqui-sition des savoirs dans l’environnement. La validit´e externe concerne la transposition des savoirs, c’est a` dire la capacit´e a` r´einvestir les connaissances ou les comp´etences acquises dans l’environnement r´eel apr`es la formation.
Hormis les questionnaires et les entretiens, [Loh(2007)] sugg`ere que les traces num´eri-ques laiss´ees par les utilisateurs durant leur exploration du jeu ou de l’outil de formation sont autant de signaux qui, une fois agr´eg´ees et/ou elabor´es, sont a` mˆeme de fournir autant d’indicateurs objectifs et pertinents quant `a l’utilisabilit´e du jeu, voire son utilit´e.

Les maux du simulateur

Si elle est plus souvent pr´esent´ee comme une corne d’abondance remplie de solutions et de progr`es, la RV offre aussi une face plus sombre : la cybermaladie (VR sickness en anglais). Ce fl´eau des technologies d’immersion freine encore l’adoption massive des jeux d’apprentissages immersifs, malgr´e les progr`es constants. La cybermaladie s’exprime sous diff´erentes formes qui nuisent de diff´erentes mani`eres a` l’exp´erience de l’utilisateur dans l’environnement immersif : d’une sensation d’inconfort a` de v´eritables naus´ees. Il est diffi-cile de quantifier avec pr´ecision la fraction d’utilisateurs concern´es car elle a de multiples causes, qui affectent les utilisateurs diff´eremment. On peut tout de mˆeme avancer que tout utilisateur peut potentiellement en faire l’exp´erience, plus ou moins rapidement, quel que soit son profil.
La fatigue oculaire est un symptˆome courant. Elle s’explique par le fait que la distance des objets de la sc`ene sur lesquels se porte le regard est “virtuellement” plus grande que celle de l’´ecran sur lequel ils sont affich´es. La mise au point des yeux ne doit pas s’effectuer a` la distance de l’objet (comme dans la r´ealit´e) mais a` celle de l’´ecran. Ceci provoque un conflit dit d’accommodation vergence, qui est connu pour engendrer des mots de tˆete et une fatigue oculaire importante. Des solutions ont et´ apport´ees pour r´eduire la fatigue dans les affichages st´er´eoscopiques, par exemple l’application adaptative en temps r´eel de filtres de flou sur les zones de l’image qui mettent `a mal la convergence et l’accommoda-tion [Leroy et al.(2012)].
La cybercin´etose (les anglophones parlent de Visually Induced Motion Sickness) est un autre mal du simulateur qui est ressenti lors des d´eplacements (du regard ou de l’avatar). Son exp´erience est similaire au mal des transports que nous pouvons ´eprouver en voiture ou en bateau par exemple.
Une de ses causes est induite par des perturbations dans la boucle sensori-motrice. Notamment, le d´elai entre les mouvements (de la tˆete par exemple) et la mise `a jour de l’image perturbe le r´eflexe vestibulo-occulaire dans sa mission de maintien de la di-rection de notre regard lorsque nous bougeons ou nous d´epla¸cons. Cette cause tend `a disparaˆıtre `a mesure que le mat´eriel ´evolue et que les d´elais des traitements informatiques raccourcissent.
Une seconde cause, admise comme plus importante, concerne l’int´egration sensorielle. Dans ce cas, la cybercin´etose provient d’un conflit entre plusieurs de nos sens, en l’oc-currence la perception visuelle et la perception vestibulaire. Prosa¨ıquement, l’illusion de d´eplacement de l’utilisateur dans l’environnement virtuel (qu’on appelle vection), en conflit avec la sensation “interne” d’ˆetre physiquement immobile, provoque chez ce dernier une naus´ee incommodante caract´eristique. La th´eorie explicative pr´evalente est celle du conflit sensoriel [Reason & Brand(1975)] mais, plus r´ecemment, est apparue une nouvelle th´eorie posturale [Smart Jr et al.(2002)] qui semble mieux expliquer certains ph´enom`enes li´es `a la d´emographie des profils impact´es. Quelque soit l’explication, les ´etudes notent que l’exp´erience r´ep´et´ee entraˆıne une habituation `a la cybercin´etose [Hill & Howarth(2000)], ph´enom`ene d´ej`a observ´ depuis longtemps chez les pilotes par l’arm´ee de l’air [McCauley et al.(1976)]. Dans les environnements immersifs, des m´ethodes efficaces ont et´ mises en ´evidence pour r´eduire voir ´eliminer la cybercin´etose en adaptant le champ de vision de l’utilisateur : floutage de la zone de vision p´eriph´erique [Fernandes & Feiner(2016)] ou ajustement d’un “nez virtuel” [Whittinghill et al.(2015)].
Finalement, l’´evaluation du mal du simulateur est effectu´ee en faisant passer aux participants d’une exp´erimentation le questionnaire r´evis´ du mal du simulateur (Revised Simulator Sickness Questionnaire ou RSSQ [Kim et al.(2004)]) avant et apr`es avoir utilis´e l’application. Ce questionnaire contient les symptˆomes les plus courant et ce protocole permet de distinguer les symptˆomes caus´es par le simulateur de ceux d´ej`a ressentis par les participants avant le d´ebut de l’exp´erimentation.

Techniques de lancer de rayon

La s´election bas´ee sur le lancer de rayon correspond a` utiliser un rayon partant d’un p´eriph´erique dont on connaˆıt la position et l’orientation (casque de RV / contrˆoleur RV / doigt point´e d´etect´ avec un Leap Motion) et de s´electionner l’objet le plus proche de l’utilisateur qui intersecte le rayon [Steed(2006), Argelaguet & Andujar(2009)].
En l’absence d’autre p´eriph´erique que le casque de RV ou dans le cas o`u les autres p´eriph´eriques d’entr´ee sont r´eserv´es pour d’autres interactions, la s´election au regard est pr´econis´ee [Yao et al.(2014)]. Elle consiste a` placer un viseur dans la direction donn´ee par l’orientation de la tˆete. La s´election se fait alors a` l’aide du rayon partant du centre de la tˆete et dirig´e par son orientation. Elle peut ˆetre d´eclench´ee par une action de l’uti-lisateur (par exemple l’appui d’une touche) ou par simple passage de ce rayon sur un objet avec ´eventuellement un temps d’attente. Cette deuxi`eme option pose le probl`eme de la s´election involontaire (qu’on retrouve sous le nom de Midas Touch). De plus, mˆeme dans le cas du d´eclenchement par une action de l’utilisateur, cette m´ethode de s´election est contraignante, car elle n´ecessite de viser pr´ecis´ement un objet avec son regard (ou en pratique, sa tˆete) pour pouvoir le s´electionner.
Utiliser la s´election au regard introduit ´egalement le risque de fausser les donn´ees ocu-lom´etriques disponibles en obligeant l’utilisateur a` fixer des objets pour les s´electionner – empˆechant ainsi l’interpr´etation de ces donn´ees. Une partie de l’inconfort g´en´er´ par cette m´ethode de s´election vient de l’approximation de la direction du regard par celle de la tˆete (fournie a` l’application par le casque de RV) qui force l’utilisateur a` tourner la tˆete plus que s’il voulait regarder l’objet sans viseur au centre de l’affichage. Le syst`eme d’approximation propos´e dans la section 3.2.5 peut permettre de r´eduire ce probl`eme mais l’inexactitude du mod`ele rend son utilisation complexe dans un cas r´eel ou la direction du buste de l’utilisateur n’est pas connue.

Techniques utilisant une main virtuelle

La solution alternative, demandant un syst`eme de suivi de mouvement et ne per-mettant que la s´election a` faible distance est la s´election se basant sur la collision entre une main virtuelle (dirig´ee par la main de l’utilisateur dans le monde r´eel) et l’objet `a s´electionner. L’avantage de cette m´ethode de s´election est son intuitivit´e. En effet la main virtuelle est identifi´ee par l’utilisateur comme sa propre main et la s´election se fait en “touchant” l’objet virtuel ou en l’attrapant si la s´election est d´eclench´ee en appuyant sur une gˆachette du contrˆoleur ou en fermant la main (pour le Leap Motion).
Une faiblesse de cette technique d’interaction est le fait que dans sa forme naturelle (c’est a` dire avec un rapport commande / affichage de 1) il est impossible de s´electionner des objets hors de port´ee de main. Il existe cependant des interactions utilisant la main virtuelle permettant de s´electionner des objets naturellement hors de port´ee comme la technique d’interaction Go-Go [Poupyrev et al.(1996)] qui applique un rapport non lin´eaire entre la main virtuelle et la main r´eelle au del`a d’une certaine distance entre le torse et la main de l’utilisateur. Cependant cette m´ethode ne permet que d’agrandir le champ d’ac-tion de l’utilisateur sans garantir que n’importe quel objet sera accessible depuis n’importe o`u.
[Bowman & Hodges(1997)] ont sugg´er´ une alternative qu’ils ont appel´ee la technique go-go ´etendue (stretch go-go en anglais) ou la distance entre le torse et la main de l’uti-lisateur est r´epartie en trois zones : si la main r´eelle est proche du torse de l’utilisateur, la main virtuelle se rapproche, si elle est loin, la main virtuelle s’´eloigne et une zone de manipulation entre les deux laisse la main virtuelle en place.

Probl´ematiques

La probl´ematique la plus connue des m´ethodes de s´election est le toucher de Mi-das (Midas Touch en anglais) qui peut se produire lorsque la s´election s’effectue sans d´eclencheur. Ce ph´enom`ene rend quasi obligatoire l’utilisation d’un p´eriph´erique propo-sant au moins un bouton pour pouvoir proposer des interactions utilisables. Mˆeme si, en l’absence de bouton pour le d´eclenchement, il est toujours possible d’utiliser un temps d’attente comme d´eclencheur, le choix de sa dur´ee est complexe car il est difficile de trou-ver un juste milieu entre un temps trop court ne r´esolvant pas le probl`eme et un temps trop long qui peut frustrer l’utilisateur et qui nuira a` son immersion dans le monde virtuel.
Une autre probl´ematique est celle de l’occultation ou de la proximit´e d’objets s´elec-tionnables qui peut rendre difficile la s´election de l’objet voulu. En plus des exemples triviaux tels qu’un objet en masquant un autre, [Steed(2006)] pr´esente des exemples concrets exhibant ces risques : pour la s´election avec une m´ethode de lancer de rayon, un “gros” objet pr´esent derri`ere un objet difficile `a s´electionner (de par sa taille ou sa forme) pr´esente le risque que l’utilisateur n’arrive pas a s´electionner efficacement celui de devant et s´electionne par erreur celui de derri`ere. Pour les m´ethodes bas´ees sur un vo-lume de s´election telles que celle de la main virtuelle, deux objets proches l’un de l’autre posent le risque de s´electionner le mauvais si le volume de s´election intersecte les deux objets s´electionnables en mˆeme temps. Ces exemples rel`event d’un environnement trop encombr´ et une solution est de les pr´evenir dans la phase de conception de l’applica-tion. Une alternative est d’utiliser une m´ethode de s´election demandant la discrimination par l’utilisateur entre les diff´erents objets potentiellement s´electionnables (par exemple la m´ethode propos´ee dans [Bacim et al.(2013)]).
Une derni`ere probl´ematique est “l’effet Heisenberg” ([Bowman et al.(2001a)]) qui est un ph´enom`ene provoqu´e par le mouvement du contrˆoleur lors de l’appui d’un bouton durant une op´eration de s´election par exemple pour la valider. Le risque est alors de rater l’objet a` s´electionner `a cause de ce mouvement involontaire. La solution propos´ee par [Bowman et al.(2001a)] est d’utiliser l’autre main pour effectuer l’op´eration de validation si cet effet est significatif avec le p´eriph´erique utilis´e.

Evaluation

L’´evaluation des m´ethodes de s´election est g´en´eralement effectu´ee a` l’aide de la loi de Fitts [Soukoreff & MacKenzie(2004)]. Cette loi relie la vitesse avec laquelle un utilisateur est capable de s´electionner un objet avec la pr´ecision dont il fait preuve en proposant un param`etre, le throughput ou indice de performance comme l’inverse du coefficient reliant lin´eairement le temps n´ecessaire a` s´electionner une cible avec l’indice de difficult´e de cette cible (calcul´e a partir de la taille de la cible et de la distance a parcourir pour atteindre cette cible). Ce throughput est un indicateur comparable entre les diff´erentes m´ethodes de s´election et exprime le compromis entre la pr´ecision et la rapidit´e dont les utilisateurs font preuve en utilisant cette m´ethode de s´election – le throughput inclue tous les el´ements de la boucle d’interaction et refl`ete a` la fois les caract´eristiques mat´erielles et logicielles du syst`eme etudi´e.

Prototypes et retours d’exp´erience

Relation tˆete-regard

Nous nous sommes int´eress´es `a l’utilisation des informations fournies par les casques de RV pour permettre la s´election dans le monde virtuel. Cette technique, g´en´eralement appel´ee s´election au regard et propos´ee dans le guide des bonnes pratiques de l’Oculus Rift [Yao et al.(2014)], utilise la position et l’orientation du casque pour permettre une s´election bas´ee sur le lancer de rayon. Elle est fr´equemment utilis´ee pour des applications de r´ealit´ virtuelle mobiles. Dans cette configuration o`u l’utilisateur porte une casque de RV, il est impossible de connaˆıtre la direction du regard 5. D`es lors, la direction de la tˆete est la seule information disponible. Nous nous sommes donc demand´ si il ´etait possible d’estimer la direction dans laquelle l’utilisateur regarde `a partir de la seule connaissance de la direction de son regard.
En effet, l’´etude de la direction du regard passionne la communaut´e scientifique depuis plus d’un si`ecle grˆace aux nombreuses applications qui peuvent en ˆetre faites, a` la fois pour des ´etudes d’ergonomie [Poole & Ball(2006)] ou de psychologie [Mele & Federici(2012)], ou encore pour s’en servir en tant que m´ethode d’entr´ee [Smith & Graham(2006)].
La premi`ere ´etude que nous proposons est donc l’´etude de cette relation avec pour objectif d’obtenir des donn´ees qui nous permettront d’´etablir une relation math´ematique utilisable dans le cadre d’une m´ethode d’interaction avec l’environnement virtuel.
Dans une ´etude s’int´eressant a` la mˆeme probl´ematique, [Sherstyuk et al.(2012)] n’ob-servent pas de diff´erence significative entre la direction du point de vue des utilisateurs et celle de leur regard, tout en notant que cette approximation se justifie probablement par le faible champ de vision des casques utilis´es (champ de vision diagonal compris entre 40 et 60 degr´es). Dans notre cas, le casque utilis´e pour cette ´etude est l’Oculus Rift DK2 sans casque de r´ealit´ virtuelle montrent que la direction de la tˆete et du regard ne sont pas les mˆemes [Fridman et al.(2015b)] et qu’il est possible d’estimer la direction du regard d’un automobiliste en fonction de la direction de sa tˆete [Fridman et al.(2015a)].
Pour observer cette diff´erence, nous avons demand´ `a 24 participants (principalement des ´etudiants en licence d’informatique) de fixer leur regard sur des cibles affich´ees dans un monde virtuel en ´etant assis sur une chaise. La figure 3.3 montre le dispositif et la figure 3.4 illustre ce que chaque participant voit dans le casque de VR. La consigne stipulait que chaque cible observ´ee soit valid´ee par une pression sur la barre d’espace du clavier, ce qui permettait de collecter des donn´ees temporelles, permettant d’´evaluer la rapidit´e d’acquisition visuelle de la cible. La pr´ecision ne peut pas ˆetre mesur´ee par contre car aucune information (autre que la bonne volont´e du sujet) ne permet de d´eterminer si il regarde bien la cible au moment de la validation.

Evaluation de la s´election au regard

Les r´esultats de l’exp´erience pr´ec´edente nous permettent de r´ealiser une approximation de la direction du regard d’un utilisateur assis en fonction de la direction de sa tˆete. Nous nous sommes int´eress´es a` l’utilisation de cette relation dans le cadre d’une m´ethode de s´election par lancer de rayon et l’avons compar´ee `a la m´ethode standard de s´election au casque avec le viseur dans le prolongement de la direction du casque. Le protocole est pr´esent´ dans la figure 3.6 : il met en œuvre une s´erie de cibles que le participant doit viser du regard et s´electionner en appuyant sur la touche espace. Le dispositif est strictement identique `a celui de l’exp´erience pr´ec´edente, pr´esent´ dans la figure 3.3. Les participants savaient o`u ils visaient grˆace `a un r´eticule de vis´ee affich´e a` l’´ecran. La consigne de l’exp´erimentation consistait a` passer de cible en cible le plus rapidement et pr´ecis´ement possible. Pendant qu’il visait une cible (color´ee en vert), chaque participant ´etait pr´evenu de la cible suivante (color´ee en rouge). L’ordre de s´election des cibles est conforme `a celui pr´econis´ dans [Soukoreff & MacKenzie(2004)].

Table des matières

Chapitre 1 Introduction g´en´erale 
1.1 Probl´ematique et verrous
1.2 Contexte et motivations
1.3 P´erim`etre de nos recherches
1.3.1 Objectifs
1.3.2 Livrables
1.3.3 Consid´erations ´ethiques
1.4 Organisation du m´emoire
Chapitre 2 Contexte 
2.1 Introduction
2.2 Jeux s´erieux
2.3 Jeux d’apprentissages immersifs
2.4 Les leviers de l’apprentissage
2.4.1 Motivation et exp´erience optimale
2.4.2 Apprentissage exp´erientiel, r´etroactions et adaptativit´e
2.5 ´Evaluation des jeux d’apprentissages immersifs
2.6 Conclusion du chapitre
Chapitre 3 Revue des m´ethodes d’interaction pour jeu d’apprentissage immersif
3.1 Introduction
3.1.1 P´eriph´eriques consid´er´es
3.1.2 Les maux du simulateur
3.1.3 Les jeux ´etudi´es
3.2 M´ethode de s´election
3.2.1 Techniques de lancer de rayon
3.2.2 Techniques utilisant une main virtuelle
3.2.3 Probl´ematiques
3.2.4 ´Evaluation
3.2.5 Prototypes et retours d’exp´erience
3.3 Manipulation
3.3.1 Probl´ematiques
3.3.2 ´Evaluation
3.3.3 Les m´ethodes de s´election-manipulation utilis´ees dans le jeu vid´eo
3.3.4 Prototypes et retours d’exp´erience
3.4 La navigation
3.4.1 Probl´ematiques
3.4.2 Le d´eplacement dans les jeux vid´eos
3.4.3 ´Evaluation
3.4.4 Prototypes et retours d’exp´erience
3.5 Conclusion
Chapitre 4 Meca3D 
4.1 Introduction
4.2 Sc´enario propos´e
4.2.1 Introduction aux contrˆoles
4.2.2 Pr´eparation du tour conventionnel
4.2.3 Op´erations de chariotage et dressage
4.2.4 Passage du tour conventionnel au tour `a commande num´erique
4.2.5 R´eglage de la contre-pointe d’un tour `a commande num´erique
4.2.6 R´eglage du z´ero sur un tour CN
4.2.7 Lancement de l’usinage sur tour CN
4.3 Design de l’application
4.3.1 Translation d’objets suivant un axe
4.3.2 Rotation autour d’un axe `a l’aide d’une poign´ee
4.3.3 Vissage ou rotation d’un bouton
4.3.4 Mise en place de la pi`ece `a usiner
4.3.5 Boutons
4.3.6 Mise en ´evidence d’objet dans la sc`ene
4.3.7 Affichage tˆete haute
4.3.8 Assistant p´edagogique
4.4 Impl´ementation / syst`emes
4.4.1 Sliders
4.4.2 Sc´enarisation
4.4.3 Usinage proc´edural
4.4.4 Animations
4.4.5 Traces
4.5 Conclusion
Chapitre 5 Exp´erimentations avec Meca3D 
5.1 Introduction
5.2 D´eroulement des exp´erimentations
5.2.1 Premi`ere session – Enseignants
5.2.2 Deuxi`eme session – ´Etudiants
5.3 D´emographie des participants
5.3.1 Premi`ere session – Enseignants
5.3.2 Deuxi`eme session – ´Etudiants
5.4 R´esultats de la premi`ere session
5.4.1 Exp´erience utilisateur
5.4.2 Traces logicielles
5.4.3 Mal du simulateur
5.5 R´esultats de la deuxi`eme session
5.5.1 Exp´erience utilisateur
5.5.2 Mal du simulateur
5.5.3 Questions de cours
5.6 Conclusion
Chapitre 6 Conclusion et perspectives 
6.1 Conclusion
6.2 Pistes d’am´eliorations
6.2.1 Design sonore
6.2.2 Leviers d’apprentissage et game design
Annexe A Storyboard originel de Meca3D
Annexe B Contrat de phase
Bibliographie

Télécharger le rapport complet