Soutenance mémoire
Agents virtuels interactifs et expressifs
Les interfaces permettant aux humains d’interagir avec les machines ne cessent d’évoluer en proposant des modalités d’interaction de plus en plus riches. Les interfaces destinées aux utilisateurs basées sur des lignes de commandes complexes ont ainsi cédé leur place à des interfaces plus intuitives, en proposant par exemple d’interagir avec une souris, une interface tactile ou plus récemment avec des agents virtuels, capables de comprendre et reproduire des comportements humains. Le but de ces agents est de rendre les interactions avec les machines plus naturelles pour l’humain en proposant des interactions qui intègrent une dimension sociale.
Dans (Lugrin, 2021), les auteurs utilisent le terme d’agent social interactif (socially interactive agents) pour désigner tout agent virtuel ou physique capable de communiquer de manière autonome avec des humains, et capables de communiquer de manière socialement intelligente en utilisant des comportements multimodaux (parole, gestes, expressions faciales . . .). Les auteurs établissent une terminologie autour de ce concept en se basant sur la littérature issue du domaine de l’interaction humain-machine. Ils classent ainsi les différents types d’agents, selon leur apparence, leur fonction et les modalités leur permettant d’interagir avec leur environnement. Dans cette thèse, nous nous intéresserons plus particulièrement aux agents virtuels interactifs et expressifs qui interagissent avec un utilisateur humain. Ces agents évoluent dans un environnement virtuel dans un contexte de simulation. Ils proposent une interface interactive permettant à l’utilisateur d’interagir avec leur environnement à travers une ou plusieurs modalités. Ils sont dits expressifs, car ils sont capables d’exprimer des comportements similaires à ceux des humains, tels que des expressions faciales, posturales, verbales ou gestuelles.
Patients virtuels
Les agents virtuels sont de plus en plus présents dans le domaine de la santé. Ils sont notamment utilisés pour simuler des situations pédagogiques permettant la formation du personnel médical (ou étudiants dans le domaine de la santé) aux interactions avec des patients. On parle alors de patient virtuel. Ces formations nécessitent des scénarios riches, interactifs, personnalisés et qui offrent la possibilité de faire varier leur difficulté. Certains systèmes fonctionnent à l’aide de scripts, permettant de déclencher des comportements prédéfinis selon des modalités précises et souvent réduites. Ils permettent de simuler des comportements de manière contrôlée, mais présentent comme inconvénient principal de manquer de flexibilité. D’autres systèmes utilisent la technique dite du Magicien d’Oz (Fraser and Gilbert, 1991), où un expérimentateur humain contrôle les comportements du patient virtuel, et peut sélectionner en temps réel les réactions appropriées pour guider l’interaction en fonction des choix et du comportement de l’utilisateur. C’est une technique fréquemment utilisée en IHM afin de simuler et d’étudier des interactions alors même que l’on ne dispose pas d’un système complètement autonome. Dans la suite du manuscrit, nous utilisons la formulation de patient virtuel contrôlé pour faire référence à l’utilisation de cette technique. La technique du Magicien d’Oz fait donc intervenir un expérimentateur humain et permet donc au système une meilleure adaptation et flexibilité au contexte, mais rend le système dépendant de la performance de cet expérimentateur et de son point de vue sur la pertinence des comportements déclenchés.
On retrouve enfin des systèmes basés sur des modèles automatiques inspirés de théories issues de la psychologie cognitive (Marsella et al., 2010). Ces modèles automatiques ont pour but de reproduire les mécanismes internes responsables de la génération de comportements chez l’humain, en intégrant des concepts tels que les émotions, l’humeur ou l’empathie. Ils décrivent à travers des systèmes de règles comment les différents concepts et composantes interagissent entre eux. Ce type de modèle permet une grande flexibilité et l’intégration de nombreuses modalités d’interaction. Certains modèles sont enrichis à l’aide de techniques de machine learning, qui montrent des résultats prometteurs. Ces modèles nécessitent cependant de grandes quantités de données d’entraînement, provenant de données d’interactions réelles, parfois difficiles à récolter dans le domaine de la santé. C’est particulièrement le cas pour la récolte de données d’interaction entre des soignants et des patients atteints de la maladie d’Alzheimer, en raison, entre autres, de l’évolution des troubles associés à cette maladie et de leur grande variabilité inter et intra-individuelle (Cummings, 2000). Il est également à noter que pour des raisons d’éthique et de confidentialité, il peut être difficile de récolter des vidéos d’interactions entre soignants et patients.
Maladie d’Alzheimer et formation du personnel soignant
Les patients atteints de la maladie d’Alzheimer montrent des réactions émotionnelles et des comportements non-verbaux associés à des troubles du comportement spécifiques que le personnel soignant doit savoir gérer (apathie, irritabilité, agressivité, anxiété, comportements émotionnels inappropriés) (McKenzie et al., 2011). Ces troubles deviennent plus marqués et plus récurrents avec l’évolution de la maladie, et peuvent rendre les soins et les interactions avec les soignants plus délicats (Cummings et al., 1994). Parmi ces troubles, les comportements agressifs et violents sont souvent les plus problématiques et difficiles à gérer pour les soignants, et peuvent correspondre à des menaces, des cris, des insultes ou même des agressions physiques (Patel and Hope, 1993; Cipriani et al., 2013). Ces troubles du comportement associés à la maladie sont une des sources principales de stress au sein même des soignants professionnels. Ils seraient les plus difficiles à gérer (Ballard et al., 2000), avec environ un patient sur deux présentant des comportements difficiles (Everitt et al., 1991). Une étude sur les burnouts des soignants en gériatrie souligne le rôle protecteur de la formation sur la maladie et ses spécificités contre les burnouts (Zawieja and Benattar, 2019). Il est aussi recommandé face à ce genre de patients de prendre conscience de l’importance de la communication non-verbale et de développer des compétences permettant de l’utiliser de manière appropriée afin de mieux communiquer, rassurer et gérer les patients difficiles (Magai et al., 2002; Wilson et al., 2012). En effet, les patients atteints d’Alzheimer ont également des troubles du langage et des difficultés à comprendre ou à s’exprimer verbalement. Toutefois, la capacité à interpréter et produire du langage non-verbal reste fonctionnelle chez ces patients, ce qui fait qu’ils se reposent essentiellement sur leur langage non verbal, et parfois compensent leur incapacité verbale par une utilisation accrue du langage non-verbal (Di Pastena, 2014). La formation du personnel médical aux spécificités de ces patients se révèle cruciale, et il existe donc un besoin d’outils de formation adaptés à ce contexte.
Limites des outils de formation
Dans le domaine de la formation des personnels de santé, la Haute Autorité recommande de ne pas s’entraîner sur un vrai patient la première fois (Granry and Moll, 2012), et met en avant l’utilisation de la simulation en santé . Le personnel médical s’entraîne alors traditionnellement avec des acteurs humains qui jouent le rôle de patients dits standardisés (Webster and Dibartolo, 2014). Ceci est coûteux et limite donc les occasions d’apprendre à interagir avec des patients. De nombreuses avancées ont été permises grâce à l’utilisation des nouvelles technologies au cœur des activités pédagogiques. Des supports de formation basés sur des outils multimédias (vidéos, cours en ligne) ont ainsi été développés, mais en ce qui concerne les formations visant à apprendre à communiquer avec des patients et à savoir interpréter leurs comportements non-verbaux, ces outils n’offrent que peu voire aucune interactivité. C’est d’autant plus dommage que ces entraînements visent justement à apprendre à communiquer avec des patients et à savoir interpréter leurs comportements non-verbaux durant les interactions, par exemple pour des raisons de diagnostic ou de traitement. Une solution apportée par les nouvelles technologies est l’utilisation d’un agent virtuel interactif, exprimant les symptômes de la maladie, afin de permettre aux personnels soignants ou aux futurs médecins de s’entraîner dans des conditions proches de la vie réelle. Cette solution, moins chère et plus accessible à un plus grand public, permet de cibler des situations pédagogiquement pertinentes tout en confrontant les utilisateurs à des comportements verbaux et non-verbaux qui sont censés être proches de ceux des patients. L’utilisation d’un tel agent virtuel permet, entre autres, de piloter et contrôler les scénarios d’entraînement plus finement qu’en faisant intervenir des patients standardisés humains tout en réalisant la formation dans un environnement maîtrisé et sécurisé. Les agents virtuels interactifs, de par leur capacité à simuler des interactions sociales, représentent donc un outil très pertinent pour la formation du personnel soignant à interagir avec des patients.
Le projet ANR VirtuAlz
Ma thèse se déroule dans le cadre du projet ANR VirtuAlz . Ce projet regroupe plusieurs partenaires : le LUSAGE (Laboratoire d’analyse des USAges en GErontechnologies) de l’APHP — hôpital Broca à Paris, qui est coordinateur du projet et expert de la maladie d’Alzheimer, l’ISIR (Institut des Systèmes Intelligents et de Robotique) qui est responsable de la captation des données comportementales issues du soignant, le CIREL (Centre Interuniversitaire de Recherche en Éducation de Lille) qui est en charge de la définition des objectifs et scénarios pédagogiques, la société SimForHealth qui s’occupe de l’intégration des différents modules logiciels, conception et animation du personnage virtuel et enfin le LISN (ex LIMSI-CNRS), qui est le laboratoire d’accueil pour la présente thèse et qui a pour objectif la conception du modèle pathologique des émotions et des expressions non-verbales d’un patient virtuel. Le but global de ce projet est de créer un patient virtuel interactif qui servira à former, entraîner et sensibiliser les soignants à l’importance de l’utilisation des comportements non-verbaux appropriés lors d’interactions avec un patient atteint d’Alzheimer. Le patient virtuel Alzheimer doit donc être doté de capacités d’expressions verbales (synthèse vocale) et non-verbales (regard, expressions faciales, gestes). Il devra également être capable de détecter, grâce à une caméra et un micro, des indices non-verbaux exprimés par l’utilisateur afin que ce dernier puisse apprendre à mieux interagir en exprimant des comportements non-verbaux adaptés aux interactions avec ces patients. Ces informations seront interprétées par le modèle informatique qui déterminera alors la réaction comportementale reproduisant des comportements non-verbaux cohérents avec ceux d’un patient atteint d’Alzheimer dans cette situation.
|
Table des matières
1 Introduction
1.1 Agents virtuels interactifs et expressifs
1.2 Patients virtuels
1.3 Maladie d’Alzheimer et formation du personnel soignant
1.4 Limites des outils de formation
1.5 Le projet ANR VirtuAlz
1.6 Problématique
1.7 Contributions
1.7.1 Méthodologie de conception des interactions
1.7.2 Corpus de données annotées
1.7.3 Modèle COPALZ
1.7.4 Conférences et journaux avec comité de lecture
1.7.5 Communications orales et posters
1.8 Plan du manuscrit
2 État de l’art
2.1 Patients virtuels
2.1.1 Agents virtuels
2.1.2 Application au domaine de la santé
2.1.2.1 Taye Banks : Patiente à risque suicidaire (O’Brien et al., 2019)
2.1.2.2 Mr Wilson : Patient VIH (Rouleau et al., 2020)
2.1.2.3 Projet SIVIPSY : Patient à risque suicidaire (Roux et al., 2021)
2.1.2.4 Sick Call Project (Kenny et al., 2010)
2.1.2.5 Projet PHENOVIRT (Dupuy et al., 2021)
2.1.2.6 Projet ACORFORMed (Ochs et al., 2017, 2018)
2.1.2.7 JIM : Patient virtuel Alzheimer (Robinson et al., 2020)
2.1.2.8 Synthèse de l’état de l’art sur les patients virtuels
2.2 Théories et modèles des émotions
2.2.1 Les émotions en psychologie
2.2.1.1 Définitions
2.2.1.2 Émotions et expressions faciales
2.2.1.3 Émotions et humeur
2.2.2 Approches et modèles des émotions en psychologie
2.2.2.1 Approche catégorielle
2.2.2.2 Approche dimensionnelle
2.2.2.3 Approche cognitive
2.2.3 Modèles informatiques des émotions
2.2.3.1 Représentation et interprétation de l’environnement de l’agent (Agent-Environment Relationship et Appraisal Derivation Model)
2.2.3.2 Choix du cadre théorique (Appraisal variables)
2.2.3.3 Représentation de l’état émotionnel de l’agent (Affect Derivation/Intensity Model et Emotion/Affect)
2.2.3.4 Conséquences de l’évaluation (Affect Consequent Model)
2.2.4 Modélisation pathologique des émotions
2.2.5 Limites de l’état de l’art
3 Conception des interactions entre une patiente virtuelle Alzheimer contrôlée et des personnels soignants
3.1 Observations et analyse des besoins
3.2 Spécification du prototype
3.2.1 Description générale
3.2.2 Scénario : La prise de médicaments
3.2.3 Module Utilisateur
3.2.4 Module Wizard
3.2.4.1 Interface graphique
3.2.4.2 Description des actions
3.2.5 Module Animation
3.2.5.1 Dynamique des expressions faciales
3.2.5.2 Description des commandes d’animation
3.2.6 Communication et log
3.3 Expérimentation de Magicien d’Oz
3.3.1 Protocole
3.3.2 Participants et sessions expérimentales
3.3.3 Évaluation du système
3.4 Résultats : Données d’interaction collectées
3.4.1 Visualisation
3.4.2 Annotations
3.4.3 Analyse
3.4.4 Conclusion
4 COPALZ : Modèle automatique pour la patiente virtuelle
4.1 Spécification et formalisation
4.1.1 Description générale
4.1.2 Définitions et concepts
4.1.2.1 Bloc d’interaction
4.1.2.2 Appraisal frame
4.1.2.3 Appraisal probability frame
4.1.3 Exemple fil rouge
4.1.4 Agent-Environment Relationship / Appraisal Derivation Model
4.1.4.1 Événements
4.1.4.2 Humeur
4.1.4.3 Pathologie
4.1.5 Appraisal Derivation Model / Appraisal Variables
4.1.5.1 Définition du filtre d’évaluation : Appraisal Bias Frame
4.1.5.2 Application du filtre d’évaluation
4.1.5.3 Prise en compte du comportement non-verbal de l’utilisateur
4.1.5.4 Utilisation du P-Corpus
4.1.6 Affect Intensity – Affect Derivation Model / Emotion-Affect
4.1.7 Affect Consequent Model
4.1.7.1 Expression des comportements non-verbaux de la patiente virtuelle
4.1.7.2 Mise à jour de l’humeur
4.2 Évaluation du modèle
4.2.1 Matériel
4.2.2 Méthode
4.2.3 Résultats
4.2.3.1 Initialisation des paramètres du modèle
4.2.3.2 Comparaison des comportements
5 Discussion
6 Conclusion
