Soutenance mémoire
En 2012, l’école de pilotage de l’Armée de l’air, basée à Salon-de-Provence, s’est dotée de Cirrus SR20/22 qui sont des avions légers équipés de Glass cockpits (Figure 1). Ces derniers remplacent les traditionnels cockpits à quadrants au profit d’affichages numériques. Ces écrans permettent de regrouper toutes les informations de manière condensée.
Ces « cockpits numériques » – présents dans de nombreux types d’appareils de l’aviation civile générale – sont connus pour attirer d’avantage le regard du pilote à l’intérieur de l’habitacle que les cockpits classiques [17, 27]. Ce phénomène, nommé « Too much head-down time » par Rudisill [27], représente un risque important en termes de sécurité des vols, notamment lors des vols à vue (en VFR). À ce titre, les autorités préconisent de passer environ 70% du temps à regarder à l’extérieur du cockpit afin de Voir et Éviter les différents dangers extérieurs [1,15,16]. Malgré ces recommandations, de nombreuses études mettent en évidence que les pilotes continuent de passer trop de temps à regarder à l’intérieur du cockpit [8,21]. Afin de limiter ce comportement chez les élèves-pilotes durant les premières heures de formation, les pilotes-instructeurs – civils comme militaires – usent parfois de stratagèmes. Par exemple, ils réduisent la luminosité des écrans ou occultent, le temps d’une manœuvre, tout ou partie des écrans avec la carte de navigation ou bien des « post-it ». En faisant cela, l’objectif des instructeurs est de faire prendre conscience aux élèves-pilotes quel est le bon comportement visuel à adopter dans les différentes phases de vol.
Tout comme la formation en vol, la formation au sol en simulateur doit également permettre d’acquérir et de renforcer les comportements visuels adaptés. Les instructeurs chargés de cette instruction sur simulateur doivent s’assurer que ces bons comportements sont bien appris et répétés. Malheureusement, en vol comme au sol, l’analyse du cheminement visuel de l’élève-pilote par les instructeurs ne se fait pas de manière directe. En effet, ces derniers soupçonnent un mauvais cheminement oculaire de leur élève uniquement à travers l’observation de la dérive de certains paramètres et/ou de l’attitude de l’avion. Une manière d’analyser ce cheminement oculaire directement est d’utiliser un instrument de mesure tel qu’un oculomètre appelé aussi eye-tracker. Ces appareils permettent de mesurer les mouvements des yeux et d’en déduire précisément où regarde l’individu équipé. Ce genre d’outil est maintenant démocratisé et permet toutes sortes d’applications, que ce soit pour analyser passivement des comportements et réactions d’êtres humains ou que ce soit comme dispositif d’entrée pour l’interaction [13]. En 1998, Wetzel, Anderson et Barelka [35] ont utilisé un eye-tracker pour permettre aux instructeurs d’avoir accès à une mesure objective de la position du regard de leurs élèves. Les instructeurs interrogés dans cette étude ont trouvé l’outil particulièrement utile pour les assister dans la détection en direct de mauvais comportements oculaires. Cela leur permettait de donner oralement et immédiatement des consignes aux élèves-pilotes sans devoir attendre l’étape de débriefing. Les instructeurs ont été unanimes quant à la pertinence de l’utilisation d’un tel dispositif dès la phase initiale du programme de formation. En effet, à ce stade, il est encore possible d’intervenir pour ne pas laisser de « mauvaises habitudes » s’installer chez les élèves. Plus généralement, l’utilisation d’un eye-tracker au sein de dispositifs permettant l’éducation ou la rééducation du cheminement visuel, de personnes saines [2, 29], d’enfants sains [34] ou atteints de troubles autistiques [32], semble tout à fait pertinente et montre une certaine efficacité.
Pour les jeunes élèves-pilotes de l’armée de l’air, l’acquisition d’un cheminement visuel pertinent, efficace et rapide est un prérequis indispensable pour prétendre à la poursuite d’une formation longue et exigeante de pilote de combat. Nous avons engagé, dès 2013, un programme de recherche visant à comprendre l’impact de l’introduction précoce de cockpits numériques dans la formation initiale du pilote de combat. Plus particulièrement, notre effort se porte sur deux aspects : le premier concerne les modifications comportementales induites par ces cockpits modernes et notamment le comportement/cheminement visuel. Le second concerne l’amélioration des outils à disposition des cadres de formation afin de les aider à détecter et corriger le plus tôt possible un mauvais cheminement visuel.
Dans cet article, nous décrivons le dispositif complet (voir Figure 2) que nous avons créé dans le but d’étudier la capacité à modifier les stratégies visuelles. Ce dispositif est basé sur l’utilisation combinée d’un eyetracker, d’un environnement d’apprentissage en micromonde et d’une technique innovante (PiGaT). Cette technique repose sur deux principes : (i) l’analyse en temps-réel du comportement oculaire d’une personne et (ii) le déclenchement automatique de notifications (visuelles et/ou auditives). L’analyse en temps-réel permet de détecter des comportements oculaires en cours de réalisation d’une tâche. Le déclenchement automatique de notifications permet de pouvoir donner immédiatement un feedback au participant permettant ainsi le renforcement ou l’inhibition d’une stratégie visuelle. PiGaT intègre une solution de création de règles qui sont à la base des principes d’analyse du comportement oculaire et de déclenchement de notifications. Le niveau de complexité des règles ainsi que la nature des notifications sont entièrement paramétrables afin de pouvoir répondre au plus près aux besoins pédagogiques les plus divers.
Ce dispositif permet donc une utilisation interactive de l’eye tracker. En 2002, Duchowski [13] considère que les applications interactives de l’eye tracking, utilisent la donnée oculaire soit comme un pointeur (« selective »), soit comme un indicateur passif du regard (« gazecontingent »). La différence peut également se trouver dans l’intention de l’utilisateur. Dans un cas, ce dernier va déclencher volontairement des actions (e.g. écriture avec un clavier numérique pour les personnes handicapées). Dans l’autre, il va constater une modification de l’interface (e.g. affichage en détail uniquement de la partie regardée d’une scène 3D complexe) qu’il ne contrôle pas sur la base de son regard. Dans cet article, le dispositif PiGaT que nous présentons va déclencher des modifications de l’interface sur la base du comportement de l’utilisateur sans que ce dernier ne l’ait décidé. Notre dispositif se trouve donc plutôt dans les applications dites gaze-contingent. Nous examinerons, dans un premier temps, des travaux dont l’objectif était l’amélioration du circuit/cheminement visuel ou la modification de stratégies visuelles. Puis, nous présenterons les caractéristiques de notre dispositif en détaillant les principes de fonctionnement et les éléments sur lesquels il s’appuie. Nous démontrerons ensuite la validité de ce dispositif grâce à la réalisation d’une expérimentation ad hoc. Enfin, nous discuterons des avantages et limites de notre dispositif et des perspectives plus larges d’utilisation.
ÉTAT DE L’ART
Pour la réalisation de certaines activités ou tâches, le prélèvement efficient d’informations pertinentes suppose de savoir où, quand, comment et quoi regarder. En 1989, Shapiro et Raymond [29] ont démontré qu’il était possible d’éduquer un comportement oculaire efficient ou inefficient chez des participants grâce à de petits exercices réalisés sur ordinateur. Ils ont également montré que le comportement appris durant ces exercices simples avait un effet sur la performance obtenue à une tâche bien plus complexe (jeu vidéo Space Fortress). Les participants ayant reçu un entraînement spécifique afin de développer la bonne stratégie oculaire sont ceux qui ont obtenu les meilleurs résultats au jeu vidéo. De manière similaire, Becic, Boot et Kramer (2008) [2] ont montré qu’il était possible de modifier la stratégie naturelle de recherche visuelle chez des personnes âgées. Dans cette étude les participants devaient détecter sur un écran, l’apparition d’un point supplémentaire au milieu d’un nuage de points de couleur qui bougeaient aléatoirement. Pour ce type de tâche, deux stratégies de recherche visuelle ont été caractérisées dans la littérature [6] : une stratégie de recherche dite active où la personne parcourt l’écran avec de nombreux mouvements oculaires, et une stratégie de recherche dite passive où la personne fait peu de mouvements oculaires et attend de percevoir l’apparition du point. Cette dernière est considérée comme étant la bonne stratégie à adopter pour ce type de tâche. Lors d’un premier test, les auteurs ont pu caractériser le comportement oculaire (passif vs actif) adopté naturellement par les personnes grâce à un dispositif d’eye-tracking. A l’issu de cette observation, les auteurs ont demandé à chaque participant de réaliser à nouveau la tâche de détection mais cette fois-ci en adoptant le comportement inverse de leur comportement naturel. Les résultats montrent que les personnes à qui il a été demandé d’adopter la bonne stratégie ont amélioré leurs performances de détection visuelle. Inversement, les personnes à qui il a été demandé d’adopter délibérément une mauvaise stratégie de recherche visuelle ont vu leurs performances diminuer. Ces travaux suggèrent donc qu’il est tout à fait envisageable d’améliorer les performances à une tâche, ou bien de modifier une stratégie de recherche visuelle, dès lors que l’on connait à la fois le comportement oculaire courant d’une personne et le comportement efficient à adopter.
C’est dans ce cadre qu’en 2013, pour les besoins de leur recherche, Wang, Wall et Kim [32] ont développé un dispositif innovant permettant de rediriger en temps réel l’attention visuelle d’un individu vers des zones pertinentes d’une vidéo. Ces auteurs s’intéressent en effet à la problématique des interactions sociales des enfants atteints de troubles du spectre autistique. Ces enfants ont des difficultés à entrer en interaction sociale avec autrui notamment car ils ne regardent pas forcément les endroits où se trouvent les signes précurseurs de prise de contact (i.e. gestes, expression du visage). La mise en œuvre de leur technique nécessite dans un premier temps, la caractérisation du comportement dit « de référence ». Pour ce faire, les auteurs ont proposé à des enfants sains de visionner des séquences vidéo dans lesquelles des acteurs exécutaient des activités de la vie courante comme composer un numéro de téléphone, parler directement à la caméra (engagement dyadique) ou engager un échange avec un autre acteur. Les traces oculaires des enfants sains ont été enregistrées et converties sous forme de cartes de chaleur (voir Figure 3a).
Les auteurs ont ensuite créé des vidéos spécifiques de « redirection du regard » en appliquant un filtre de flou gaussien et un filtre d’assombrissement à chaque image de la vidéo d’origine en fonction de la densité spatiotemporelle de la carte de chaleur obtenue (voir Figure 3b). Enfin, au cours d’une expérimentation, ces vidéos ont été utilisées dans une phase d’entraînement pour rediriger l’attention des participants chaque fois que ces derniers s’éloignaient du comportement de référence d’une certaine valeur seuil. Les résultats obtenus sont prometteurs et montrent que la technique utilisée permet bien une modification durable du comportement oculaire. Néanmoins, cette technique souffre de certains écueils pour pouvoir envisager de l’utiliser dans des situations dynamiques complexes réelles telles qu’on peut les trouver par exemple dans les jeux vidéo ou les simulateurs d’entraînement. En effet, le voile de redirection du regard n’était pas généré à proprement dit en temps réel ou à la volée sur la vidéo originale. C’est une version singulière de la vidéo (i.e., avec ce voile de redirection), préalablement créée, qui est présentée. L’artifice consistait donc dans cette technique à diffuser sur écran la vidéo adéquate (i.e., normale ou voilée) en fonction du comportement courant du participant capturé à l’aide d’un eye-tracker. La technique que nous avons développée, et qui est présentée ci-après, dépasse un certain nombre de ces écueils. Nous proposons notamment la capacité de faire réagir automatiquement, et en temps-réel, l’environnement d’apprentissage en fonction du comportement oculaire courant d’un individu. Nous avons également cherché à rendre notre technique à la fois générique et modulaire (voir Figure 6) tout en offrant le maximum de souplesse dans la caractérisation des comportements déclencheurs et dans la génération de notifications.
PRESENTATION DU ‘PILOT GAZE TRAINER’ (PIGAT)
PiGaT a été conçu sous forme de logiciel tournant en tâche de fond sur un PC. Ce logiciel prend comme donnée d’entrée la position du regard obtenue à partir de n’importe quel système d’eye-tracking (via le bus IVY [7,12,20]) et fournit en sortie différents types de notifications, visuelles et/ou auditives, sur l’écran du PC. L’animation de ces notifications est commandée à travers un scénario qui définit l’ensemble des paramètres de détection du comportement oculaire et de notifications grâce notamment à une structure de règles. Nous présentons dans cet article la première version fonctionnelle V1 de PiGaT. En tant que première version, le niveau de complexité a été limité afin d’assurer un fonctionnement sans erreur. PiGaT sera amené à évoluer et à se complexifier en suivant un cycle de conception itératif et centré utilisateur.
Préparation d’un scénario d’apprentissage
La préparation d’un scénario d’apprentissage se fait en deux étapes. La première étape permet de définir les différentes zones statiques d’intérêt et/ou de notifications dans l’environnement d’apprentissage .
La seconde étape permet d’associer un ou des comportement(s) oculaire(s) (i.e., comportements déclencheurs) avec une ou des réaction(s) du logiciel (i.e., notifications) afin de former des règles d’interaction.
Définition des Zones d’intérêt et/ou de notification
Définir des zones d’intérêt (Area Of Interest, AOI) est une étape essentielle dans ce dispositif. Les AOI ont la particularité de pouvoir remplir deux fonctions principales. Elles servent d’une part à analyser simplement le comportement oculaire d’une personne en temps réel. D’autre part, elles sont une composante essentielle de l’affichage de notifications. Pour servir ces deux fonctions, il est indispensable de connaître précisément la position de chaque AOI. Ce positionnement est défini au préalable au moment de la création du scénario. Cette technique est donc particulièrement adaptée aux environnements informatiques où il est possible de définir des AOI statiques en 2 dimensions.
|
Table des matières
I)INTRODUCTION
II) GENERALITES
III) METHODOLOGIE
IV) RESULTATS
V) COMMENTAIRES ET DISCUSSION
VI) CONCLUSION
VII) REFERENCES
ANNEXES
RESUME
