Agents virtuels interactifs et expressifs
Les interfaces permettant aux humains dโinteragir avec les machines ne cessent dโรฉvoluer en proposant des modalitรฉs dโinteraction de plus en plus riches. Les interfaces destinรฉes aux utilisateurs basรฉes sur des lignes de commandes complexes ont ainsi cรฉdรฉ leur place ร des interfaces plus intuitives, en proposant par exemple dโinteragir avec une souris, une interface tactile ou plus rรฉcemment avec des agents virtuels, capables de comprendre et reproduire des comportements humains. Le but de ces agents est de rendre les interactions avec les machines plus naturelles pour lโhumain en proposant des interactions qui intรจgrent une dimension sociale.
Dans (Lugrin, 2021), les auteurs utilisent le terme dโagent social interactif (socially interactive agents) pour dรฉsigner tout agent virtuel ou physique capable de communiquer de maniรจre autonome avec des humains, et capables de communiquer de maniรจre socialement intelligente en utilisant des comportements multimodaux (parole, gestes, expressions faciales . . .). Les auteurs รฉtablissent une terminologie autour de ce concept en se basant sur la littรฉrature issue du domaine de lโinteraction humain-machine. Ils classent ainsi les diffรฉrents types dโagents, selon leur apparence, leur fonction et les modalitรฉs leur permettant dโinteragir avec leur environnement. Dans cette thรจse, nous nous intรฉresserons plus particuliรจrement aux agents virtuels interactifs et expressifs qui interagissent avec un utilisateur humain. Ces agents รฉvoluent dans un environnement virtuel dans un contexte de simulation. Ils proposent une interface interactive permettant ร lโutilisateur dโinteragir avec leur environnement ร travers une ou plusieurs modalitรฉs. Ils sont dits expressifs, car ils sont capables dโexprimer des comportements similaires ร ceux des humains, tels que des expressions faciales, posturales, verbales ou gestuelles.
Patients virtuels
Les agents virtuels sont de plus en plus prรฉsents dans le domaine de la santรฉ. Ils sont notamment utilisรฉs pour simuler des situations pรฉdagogiques permettant la formation du personnel mรฉdical (ou รฉtudiants dans le domaine de la santรฉ) aux interactions avec des patients. On parle alors de patient virtuel. Ces formations nรฉcessitent des scรฉnarios riches, interactifs, personnalisรฉs et qui offrent la possibilitรฉ de faire varier leur difficultรฉ. Certains systรจmes fonctionnent ร lโaide de scripts, permettant de dรฉclencher des comportements prรฉdรฉfinis selon des modalitรฉs prรฉcises et souvent rรฉduites. Ils permettent de simuler des comportements de maniรจre contrรดlรฉe, mais prรฉsentent comme inconvรฉnient principal de manquer de flexibilitรฉ. Dโautres systรจmes utilisent la technique dite du Magicien dโOz (Fraser and Gilbert, 1991), oรน un expรฉrimentateur humain contrรดle les comportements du patient virtuel, et peut sรฉlectionner en temps rรฉel les rรฉactions appropriรฉes pour guider lโinteraction en fonction des choix et du comportement de lโutilisateur. Cโest une technique frรฉquemment utilisรฉe en IHM afin de simuler et dโรฉtudier des interactions alors mรชme que lโon ne dispose pas dโun systรจme complรจtement autonome. Dans la suite du manuscrit, nous utilisons la formulation de patient virtuel contrรดlรฉ pour faire rรฉfรฉrence ร lโutilisation de cette technique. La technique du Magicien dโOz fait donc intervenir un expรฉrimentateur humain et permet donc au systรจme une meilleure adaptation et flexibilitรฉ au contexte, mais rend le systรจme dรฉpendant de la performance de cet expรฉrimentateur et de son point de vue sur la pertinence des comportements dรฉclenchรฉs.
On retrouve enfin des systรจmes basรฉs sur des modรจles automatiques inspirรฉs de thรฉories issues de la psychologie cognitive (Marsella et al., 2010). Ces modรจles automatiques ont pour but de reproduire les mรฉcanismes internes responsables de la gรฉnรฉration de comportements chez lโhumain, en intรฉgrant des concepts tels que les รฉmotions, lโhumeur ou lโempathie. Ils dรฉcrivent ร travers des systรจmes de rรจgles comment les diffรฉrents concepts et composantes interagissent entre eux. Ce type de modรจle permet une grande flexibilitรฉ et lโintรฉgration de nombreuses modalitรฉs dโinteraction. Certains modรจles sont enrichis ร lโaide de techniques de machine learning, qui montrent des rรฉsultats prometteurs. Ces modรจles nรฉcessitent cependant de grandes quantitรฉs de donnรฉes dโentraรฎnement, provenant de donnรฉes dโinteractions rรฉelles, parfois difficiles ร rรฉcolter dans le domaine de la santรฉ. Cโest particuliรจrement le cas pour la rรฉcolte de donnรฉes dโinteraction entre des soignants et des patients atteints de la maladie dโAlzheimer, en raison, entre autres, de lโรฉvolution des troubles associรฉs ร cette maladie et de leur grande variabilitรฉ inter et intra-individuelle (Cummings, 2000). Il est รฉgalement ร noter que pour des raisons dโรฉthique et de confidentialitรฉ, il peut รชtre difficile de rรฉcolter des vidรฉos dโinteractions entre soignants et patients.
Maladie dโAlzheimer et formation du personnel soignantย
Les patients atteints de la maladie dโAlzheimer montrent des rรฉactions รฉmotionnelles et des comportements non-verbaux associรฉs ร des troubles du comportement spรฉcifiques que le personnel soignant doit savoir gรฉrer (apathie, irritabilitรฉ, agressivitรฉ, anxiรฉtรฉ, comportements รฉmotionnels inappropriรฉs) (McKenzie et al., 2011). Ces troubles deviennent plus marquรฉs et plus rรฉcurrents avec lโรฉvolution de la maladie, et peuvent rendre les soins et les interactions avec les soignants plus dรฉlicats (Cummings et al., 1994). Parmi ces troubles, les comportements agressifs et violents sont souvent les plus problรฉmatiques et difficiles ร gรฉrer pour les soignants, et peuvent correspondre ร des menaces, des cris, des insultes ou mรชme des agressions physiques (Patel and Hope, 1993; Cipriani et al., 2013). Ces troubles du comportement associรฉs ร la maladie sont une des sources principales de stress au sein mรชme des soignants professionnels. Ils seraient les plus difficiles ร gรฉrer (Ballard et al., 2000), avec environ un patient sur deux prรฉsentant des comportements difficiles (Everitt et al., 1991). Une รฉtude sur les burnouts des soignants en gรฉriatrie souligne le rรดle protecteur de la formation sur la maladie et ses spรฉcificitรฉs contre les burnouts (Zawieja and Benattar, 2019). Il est aussi recommandรฉ face ร ce genre de patients de prendre conscience de lโimportance de la communication non-verbale et de dรฉvelopper des compรฉtences permettant de lโutiliser de maniรจre appropriรฉe afin de mieux communiquer, rassurer et gรฉrer les patients difficiles (Magai et al., 2002; Wilson et al., 2012). En effet, les patients atteints dโAlzheimer ont รฉgalement des troubles du langage et des difficultรฉs ร comprendre ou ร sโexprimer verbalement. Toutefois, la capacitรฉ ร interprรฉter et produire du langage non-verbal reste fonctionnelle chez ces patients, ce qui fait quโils se reposent essentiellement sur leur langage non verbal, et parfois compensent leur incapacitรฉ verbale par une utilisation accrue du langage non-verbal (Di Pastena, 2014). La formation du personnel mรฉdical aux spรฉcificitรฉs de ces patients se rรฉvรจle cruciale, et il existe donc un besoin dโoutils de formation adaptรฉs ร ce contexte.
Limites des outils de formationย
Dans le domaine de la formation des personnels de santรฉ, la Haute Autoritรฉ recommande de ne pas sโentraรฎner sur un vrai patient la premiรจre fois (Granry and Moll, 2012), et met en avant lโutilisation de la simulation en santรฉย . Le personnel mรฉdical sโentraรฎne alors traditionnellement avec des acteurs humains qui jouent le rรดle de patients dits standardisรฉs (Webster and Dibartolo, 2014). Ceci est coรปteux et limite donc les occasions dโapprendre ร interagir avec des patients. De nombreuses avancรฉes ont รฉtรฉ permises grรขce ร lโutilisation des nouvelles technologies au cลur des activitรฉs pรฉdagogiques. Des supports de formation basรฉs sur des outils multimรฉdias (vidรฉos, cours en ligne) ont ainsi รฉtรฉ dรฉveloppรฉs, mais en ce qui concerne les formations visant ร apprendre ร communiquer avec des patients et ร savoir interprรฉter leurs comportements non-verbaux, ces outils nโoffrent que peu voire aucune interactivitรฉ. Cโest dโautant plus dommage que ces entraรฎnements visent justement ร apprendre ร communiquer avec des patients et ร savoir interprรฉter leurs comportements non-verbaux durant les interactions, par exemple pour des raisons de diagnostic ou de traitement. Une solution apportรฉe par les nouvelles technologies est lโutilisation dโun agent virtuel interactif, exprimant les symptรดmes de la maladie, afin de permettre aux personnels soignants ou aux futurs mรฉdecins de sโentraรฎner dans des conditions proches de la vie rรฉelle. Cette solution, moins chรจre et plus accessible ร un plus grand public, permet de cibler des situations pรฉdagogiquement pertinentes tout en confrontant les utilisateurs ร des comportements verbaux et non-verbaux qui sont censรฉs รชtre proches de ceux des patients. Lโutilisation dโun tel agent virtuel permet, entre autres, de piloter et contrรดler les scรฉnarios dโentraรฎnement plus finement quโen faisant intervenir des patients standardisรฉs humains tout en rรฉalisant la formation dans un environnement maรฎtrisรฉ et sรฉcurisรฉ. Les agents virtuels interactifs, de par leur capacitรฉ ร simuler des interactions sociales, reprรฉsentent donc un outil trรจs pertinent pour la formation du personnel soignant ร interagir avec des patients.
Le projet ANR VirtuAlz
Ma thรจse se dรฉroule dans le cadre du projet ANR VirtuAlzย . Ce projet regroupe plusieurs partenaires : le LUSAGE (Laboratoire dโanalyse des USAges en GErontechnologies) de lโAPHP โ hรดpital Broca ร Paris, qui est coordinateur du projet et expert de la maladie dโAlzheimer, lโISIR (Institut des Systรจmes Intelligents et de Robotique) qui est responsable de la captation des donnรฉes comportementales issues du soignant, le CIREL (Centre Interuniversitaire de Recherche en รducation de Lille) qui est en charge de la dรฉfinition des objectifs et scรฉnarios pรฉdagogiques, la sociรฉtรฉ SimForHealth qui sโoccupe de lโintรฉgration des diffรฉrents modules logiciels, conception et animation du personnage virtuel et enfin le LISN (ex LIMSI-CNRS), qui est le laboratoire dโaccueil pour la prรฉsente thรจse et qui a pour objectif la conception du modรจle pathologique des รฉmotions et des expressions non-verbales dโun patient virtuel. Le but global de ce projet est de crรฉer un patient virtuel interactif qui servira ร former, entraรฎner et sensibiliser les soignants ร lโimportance de lโutilisation des comportements non-verbaux appropriรฉs lors dโinteractions avec un patient atteint dโAlzheimer. Le patient virtuel Alzheimer doit donc รชtre dotรฉ de capacitรฉs dโexpressions verbales (synthรจse vocale) et non-verbales (regard, expressions faciales, gestes). Il devra รฉgalement รชtre capable de dรฉtecter, grรขce ร une camรฉra et un micro, des indices non-verbaux exprimรฉs par lโutilisateur afin que ce dernier puisse apprendre ร mieux interagir en exprimant des comportements non-verbaux adaptรฉs aux interactions avec ces patients. Ces informations seront interprรฉtรฉes par le modรจle informatique qui dรฉterminera alors la rรฉaction comportementale reproduisant des comportements non-verbaux cohรฉrents avec ceux dโun patient atteint dโAlzheimer dans cette situation.
|
Table des matiรจres
1 Introduction
1.1 Agents virtuels interactifs et expressifs
1.2 Patients virtuels
1.3 Maladie dโAlzheimer et formation du personnel soignant
1.4 Limites des outils de formation
1.5 Le projet ANR VirtuAlz
1.6 Problรฉmatique
1.7 Contributions
1.7.1 Mรฉthodologie de conception des interactions
1.7.2 Corpus de donnรฉes annotรฉes
1.7.3 Modรจle COPALZ
1.7.4 Confรฉrences et journaux avec comitรฉ de lecture
1.7.5 Communications orales et posters
1.8 Plan du manuscrit
2 รtat de lโart
2.1 Patients virtuels
2.1.1 Agents virtuels
2.1.2 Application au domaine de la santรฉ
2.1.2.1 Taye Banks : Patiente ร risque suicidaire (OโBrien et al., 2019)
2.1.2.2 Mr Wilson : Patient VIH (Rouleau et al., 2020)
2.1.2.3 Projet SIVIPSY : Patient ร risque suicidaire (Roux et al., 2021)
2.1.2.4 Sick Call Project (Kenny et al., 2010)
2.1.2.5 Projet PHENOVIRT (Dupuy et al., 2021)
2.1.2.6 Projet ACORFORMed (Ochs et al., 2017, 2018)
2.1.2.7 JIM : Patient virtuel Alzheimer (Robinson et al., 2020)
2.1.2.8 Synthรจse de lโรฉtat de lโart sur les patients virtuels
2.2 Thรฉories et modรจles des รฉmotions
2.2.1 Les รฉmotions en psychologie
2.2.1.1 Dรฉfinitions
2.2.1.2 รmotions et expressions faciales
2.2.1.3 รmotions et humeur
2.2.2 Approches et modรจles des รฉmotions en psychologie
2.2.2.1 Approche catรฉgorielle
2.2.2.2 Approche dimensionnelle
2.2.2.3 Approche cognitive
2.2.3 Modรจles informatiques des รฉmotions
2.2.3.1 Reprรฉsentation et interprรฉtation de lโenvironnement de lโagent (Agent-Environment Relationship et Appraisal Derivation Model)
2.2.3.2 Choix du cadre thรฉorique (Appraisal variables)
2.2.3.3 Reprรฉsentation de lโรฉtat รฉmotionnel de lโagent (Affect Derivation/Intensity Model et Emotion/Affect)
2.2.3.4 Consรฉquences de lโรฉvaluation (Affect Consequent Model)
2.2.4 Modรฉlisation pathologique des รฉmotions
2.2.5 Limites de lโรฉtat de lโart
3 Conception des interactions entre une patiente virtuelle Alzheimer contrรดlรฉe et des personnels soignants
3.1 Observations et analyse des besoins
3.2 Spรฉcification du prototype
3.2.1 Description gรฉnรฉrale
3.2.2 Scรฉnario : La prise de mรฉdicaments
3.2.3 Module Utilisateur
3.2.4 Module Wizard
3.2.4.1 Interface graphique
3.2.4.2 Description des actions
3.2.5 Module Animation
3.2.5.1 Dynamique des expressions faciales
3.2.5.2 Description des commandes dโanimation
3.2.6 Communication et log
3.3 Expรฉrimentation de Magicien dโOz
3.3.1 Protocole
3.3.2 Participants et sessions expรฉrimentales
3.3.3 รvaluation du systรจme
3.4 Rรฉsultats : Donnรฉes dโinteraction collectรฉes
3.4.1 Visualisation
3.4.2 Annotations
3.4.3 Analyse
3.4.4 Conclusion
4 COPALZ : Modรจle automatique pour la patiente virtuelle
4.1 Spรฉcification et formalisation
4.1.1 Description gรฉnรฉrale
4.1.2 Dรฉfinitions et concepts
4.1.2.1 Bloc dโinteraction
4.1.2.2 Appraisal frame
4.1.2.3 Appraisal probability frame
4.1.3 Exemple fil rouge
4.1.4 Agent-Environment Relationship / Appraisal Derivation Model
4.1.4.1 รvรฉnements
4.1.4.2 Humeur
4.1.4.3 Pathologie
4.1.5 Appraisal Derivation Model / Appraisal Variables
4.1.5.1 Dรฉfinition du filtre dโรฉvaluation : Appraisal Bias Frame
4.1.5.2 Application du filtre dโรฉvaluation
4.1.5.3 Prise en compte du comportement non-verbal de lโutilisateur
4.1.5.4 Utilisation du P-Corpus
4.1.6 Affect Intensity – Affect Derivation Model / Emotion-Affect
4.1.7 Affect Consequent Model
4.1.7.1 Expression des comportements non-verbaux de la patiente virtuelle
4.1.7.2 Mise ร jour de lโhumeur
4.2 รvaluation du modรจle
4.2.1 Matรฉriel
4.2.2 Mรฉthode
4.2.3 Rรฉsultats
4.2.3.1 Initialisation des paramรจtres du modรจle
4.2.3.2 Comparaison des comportements
5 Discussion
6 Conclusion