Données physiologiques pour des boucles de rétroaction biologique

Données physiologiques pour des boucles de rétroaction biologique

Physiologie et émotions

Les émotions sont universelles, comme l’explique Ekman [2003], mais elles sont aussi idiosyncratiques selon la théorie de Darwin [1872]. Les différents traits de personnalité identifiés par l’Enneagramme des personnalités   ou les différents buts fondamentaux des individus décrits dans la théorie de Reiss et al. [2001] et la pyramide des besoins de Maslow [1943], démontrent bien combien chacun, tout en étant semblable aux autres, en est aussi différent. C’est pourquoi de nombreuses études se sont attelées à essayer de comprendre le lien entre les personnalités émotionnelles des utilisateurs et le niveau d’activité de leur système autonome ou SNA  .

Mehrabian et Russel [1974] développent le modèle PAD (Pleasure, Arousal, Dominance) ou « Plaisir, Stimulation, Domination » [Detandt et al., 2017] pour décrire et mesurer les états émotionnels . Ce modèle utilise trois dimensions numériques pour représenter l’intégralité des états émotionnels. Lang et al. [1990] l’utilisent ensuite pour proposer une théorie sur la physiologie des émotions. De ces études ont émergé de nombreux  travaux sur la catégorisation et la mesure des émotions [Bales, 2001].

Mesures physiologiques 

La compréhension du lien entre l’activité physiologique et l’état psychologique (tel que la peur ou le stress) a suscité de nombreux travaux [Bradley et Lang, 1994; Cacioppo et al., 2007; Cowie et al., 2001]. Il a été démontré que les outils de neurophysiologie peuvent être utilisés pour permettre de mesurer les réponses lorsque des personnes sont engagées dans diverses activités (e.g. prise de décision) ou réagissent à des stimuli (e.g. interface informatique) [Dimoka et al., 2012]. Ils présentent également un cadre théorique encadrant l’utilisation de la neurophysiologie dans l’étude des technologies informatiques. Plus récemment, Gregor et al. [2014] ont montré que l’utilisation d’un électroencéphalogramme permet, dans une certaine mesure, de prédire un comportement utilisateur ou un ressenti.

Si l’utilisation de l’électroencéphalographie semble être une solution prometteuse pour analyser et comprendre les émotions, sa mise en œuvre reste complexe. Ainsi, de nombreux chercheurs se penchent vers la mesure d’autres signaux pour estimer les états émotionnels, tels que la réponse électrodermale ou la conductance cutanée [Dawson et al., 2007; Lang et al., 1993]. Madhuri et al. [2017] présentent un système qui permet d’identifier les émotions basiques en temps réel via l’analyse de l’activité électrodermale : en relevant les données durant une journée et en les comparant avec les retours subjectifs des utilisateurs sur leurs états émotionnels, ils ont été capables d’établir des niveaux seuils leur permettant de classifier les émotions. Cependant l’utilisation de la conductance cutanée uniquement ne permet pas d’obtenir une représentation complète du spectre émotionnel [Mirza-Babaei et al., 2011]. Aujourd’hui, c’est l’activité cardiaque qui demeure l’une des méthodes les plus couramment utilisées, sa validité comme indice de valence et de stimulation ayant été démontrée [Ravaja, 2004]. Stoermer et al. [2000] ont également démontré que la variabilité de la fréquence cardiaque est une mesure puissante et simple à utiliser pour mesurer le niveau de stress.

Certains travaux font un usage conjoint de plusieurs signaux, à l’image de Wiederhold et al. [2002] qui mesurent la variabilité de la fréquence cardiaque, la conductance de la peau et la température corporelle couplées aux technologies du virtuel pour étudier les réponses physiologiques à des expositions à des situations phobiques et non-phobiques. Dans la lignée des travaux de Stoermer et al. [2000], ils démontrent ainsi que les participants à leur expérience ont des réponses physiologiques significatives lorsqu’ils sont exposés à des situations phobiques. Rainville et al. [2006] tentent de créer un modèle de détection d’émotions basiques en étudiant les facteurs cardio-respiratoires et indiquent un taux de détection d’émotion (joie, peur, colère ou tristesse) supérieur à 60%. Ce chiffre, s’il peut paraître faible, illustre pleinement la difficulté d’identifier une émotion de manière fiable.

Traitement des données physiologiques 

L’exploitation des données physiologiques brutes reste encore aujourd’hui complexe à appréhender, rendant incidemment limitée la reconnaissance des émotions.

L’utilisation de l’électrocardiographie pour la détection d’émotions s’est principalement concentrée autour de techniques de filtrage du signal pour l’analyse. Ferreira et al. [2016] étudient ainsi la possibilité d’exploiter le bruit du signal pour essayer d’en extraire des informations qui soient utilisables pour classifier des émotions. Ils confrontent leurs participants à des vidéos induisant des réactions émotionnelles (le dégoût, la peur, ou une émotion neutre), puis leur demandent de compléter un questionnaire sur les émotions ressenties (le Stait-Trait Anxiety Inventory, STAI [D. Spielberger et al., 1983] et le Positive and Negative Affect Scale, PANAS [Watson et al., 1988]) afin de vérifier la validité de l’induction. Leur système de classification retourne des résultats très positifs : sur l’émotion neutre, le taux de détection est parfait (100%), il est de 85% pour la peur et de 79% pour le dégoût. Ils tempèrent cependant leur résultats, en indiquant que s’ils sont très encourageants, la méthode basée sur l’analyse du bruit peut amener à une perte importante d’informations.

Certains travaux récents s’appuient sur des techniques plus avancées de réseaux de neurones et d’apprentissage automatique pour lier réponse physiologique et émotion correspondante. Ainsi, Nakasone et al. [2005] utilisent une catégorisation de la micro sudation via un réseau Bayésien. He et al. [2016] utilisent la mesure de l’activité cardio-respiratoire couplé à un algorithme génétique pour la sélection des fonctionnalités clés (survival of the fittest) et les classent ensuite avec une machine à vecteurs de support. Cela permet d’obtenir une détection forte de la joie, mais des résultats plus mitigés sur les autres émotions basiques (tristesse, colère, plaisir). Anderson et al. [2017] utilisent des algorithmes d’apprentissage automatique pour classifier la stimulation émotionnelle lorsqu’une personne est soumise à 3 stimuli différents (musique, vidéos et jeux) en utilisant la conductance cutanée, l’activité cardiaque et l’électroencéphalogramme. Leur résultats de détection d’émotions sont très élevés pour les stimuli vidéos et musicaux. Ces algorithmes d’apprentissage automatique sont mis en concurrence par Myroniv et al. [2017] pour entraîner le modèle de classification (arbre aléatoire, arbre de décision J48, classification Bayes naïve, machine à vecteurs de support, algorithme des K voisins proches et réseau de neurones perceptron multicouche). Ils présentent aux participants des images induisant de l’émotion (positive, neutre, négative) et tentent de détecter correctement la réponse émotionnelle. Certains algorithmes se montrent très performants (97% de précision pour l’algorithme des K voisins), tout en utilisant des capteurs financièrement abordables.

Si les résultats présentés précédemment semblent très positifs sur la détection automatique d’émotions, il faut garder à l’esprit qu’ils sont obtenus dans des conditions d’expérience adhoc. La relation entre activité physiologique et état psychologique reste pour autant très fortement dépendante des influences environnementales. On peut également observer que si de nombreuses méthodes permettent l’estimation des émotions par la mesure de données physiologiques, aucune ne permet de reconnaître l’ensemble des émotions ; il n’existe à ce jour pas de classifieur universel ni standard absolu [Mauss et Robinson, 2009].

Données physiologiques et expérience utilisateur 

Au delà de la « simple » reconnaissance des émotions, plusieurs études se sont basées sur les travaux d’analyse et de classification des signaux physiologiques pour essayer de mieux comprendre l’expérience utilisateur, d’une manière plus globale, dans le cadre d’interactions homme-machine et de manière plus spécifique dans le jeu vidéo et les environnements immersifs.

Mirza-Babaei et al. [2011] tentent ainsi de quantifier la valeur des données biométriques comme méthode d’analyse de l’expérience utilisateur dans le développement de jeux vidéo. Ils concluent que l’observation permet une meilleure détection des problèmes liés aux mécaniques de jeu, tandis que la physiologie permet une meilleure détection des problèmes de gameplay et d’immersion émotionnelle. Dans leur revue de littérature des méthodes psychophysiologiques utilisées dans la recherche sur les jeux vidéos, Kivikangas et al. [2011] relèvent les avantages d’utiliser des données telles que l’activité musculaire, cardiaque ou la conductance cutanée pour obtenir des informations objectives sur l’expérience utilisateur. Si ces données ont été corrélées à la valence, la stimulation, l’effort cognitif ou encore le stress dans la compréhension de l’expérience de jeu, Kivikangas et al. notent qu’une part importante des recherches se concentre sur la création de systèmes de jeux adaptatifs.

Le lien entre certaines dimensions de l’expérience utilisateur, comme l’engagement et le flow, et les mesures physiologiques a ainsi suscité l’intérêt de la communauté scientifique. Bian et al. [2016], en comparant mesures physiologiques (fonctions cardio-vasculaire et respiratoire ainsi que le sourire du joueur via un électromyographe sur le visage) et données de questionnaire (Flow Short Scale [Rheinberg et al., 2003]), ont déterminé qu’il existe une relation linéaire entre l’activité cardiovasculaire et le flow. Les résultats indiquent qu’une augmentation du rythme cardiaque, une diminution de l’intervalle inter-battement et une augmentation de la variabilité du rythme cardiaque pourrait, de manière significative, prédire une augmentation du flow, tout comme une augmentation du rythme respiratoire. Moghimi et al. [2017] construisent une base d’analyse de données psychophysiologiques permettant d’interpréter leur impact sur l’engagement, l’immersion et les émotions des joueurs en RV. Ils enregistrent les valeurs d’EEG, de conductance cutanée et de rythme cardiaque des joueurs lors d’une partie de jeu en réalité virtuelle. Les participants doivent ensuite évaluer leur expérience émotionnelle moyenne selon la dimension (valence, stimulation et domination) et la catégorie (relaxé, satisfait, heureux, excité, en colère, effrayé, triste, ennuyé). Ils testent différents algorithmes de reconnaissance des émotions (les K voisins les plus proches et la machine à vecteur de support), dont les taux de reconnaissance supérieurs à 90%, suggèrent la possibilité que les signaux physiologiques puissent être utilisés pour la détection de l’expérience émotionnelle en RV.

Table des matières

1 Introduction
1.1 Motivation
1.2 Questions et périmètre de recherche
1.3 Plan du mémoire
2 État de l’art
2.1 Expérience utilisateur
2.1.1 Présence et émotions
2.1.2 De la présence à l’engagement
2.1.3 Agentivité
2.2 Données physiologiques pour des boucles de rétroaction biologique
2.2.1 Physiologie et émotions
2.2.2 Rétroaction physiologique ou biofeedback
2.2.3 Auto-efficacité
2.2.4 Le biofeedback comme interface d’interaction
2.3 Les objets connectés comme plateforme mobile de suivi de données physiologiques
2.4 Résumé de l’état de l’art
2.5 Hypothèses et déroulement des travaux
3 Méthodologie
3.1 Études empiriques
3.2 Typologies des méthodes
3.2.1 Méthodes quantitatives
3.2.2 Méthodes qualitatives
4 Expérimentation 1 : la peur comme mécanique de jeu physiologique en réalité virtuelle
4.1 Résumé
4.2 Objectif et activité proposée
4.3 Matériel et méthodes
4.3.1 Appareillage
4.3.2 Jeu virtuel
4.3.3 Variables et mesures
4.3.4 Procédure expérimentale
4.3.5 Participants
4.3.6 Hypothèses
4.4 Résultats
4.4.1 Contrôle du rythme cardiaque
4.4.2 Utilisabilité perçue
4.4.3 Implication ressentie
4.4.4 Nouveauté
4.4.5 Fiabilité et confort
4.4.6 Jugements subjectif et préférences
4.5 Discussion
4.6 Limitations
5 Expérimentation 2.1 : quantifier le contrôle volontaire du rythme cardiaque
5.1 Résumé
5.2 Objectif et activité proposée
5.3 Matériel et méthodes
5.3.1 Système
5.3.2 Étude utilisateur
5.3.3 Variables et mesures
5.4 Résultats
5.5 Discussion
6 Expérimentation 2.2 : contrôle volontaire de la fréquence cardiaque dans une expérience de réalité virtuelle
6.1 Résumé
6.2 Objectif et activité proposée
6.3 Matériel et méthodes
6.3.1 Appareillage
6.3.2 Influence des données physiologiques
6.3.3 Jeu en réalité virtuelle
6.3.4 Participants
6.3.5 Variables et mesures
6.3.6 Procédure expérimentale
6.3.7 Hypothèses
6.4 Résultats
6.4.1 Utilisabilité perçue
6.4.2 Implication ressentie
6.4.3 Gratification Personnelle
6.4.4 Concentration
6.4.5 Agentivité
6.4.6 Résultats objectifs
6.5 Discussion
6.6 Discussion générale
6.7 Limitations
7 Conclusion

Télécharger le rapport complet