Soutenance mémoire
Intégration multisensorielle dans la perception : approches comportementales et neuropsychologiques
Illusions perceptives intermodales
Vision altérée par l’audition
Les exemples les plus marquants sont les illusions de type ventriloquie et “l’effet McGurk” sur l’identification de paroles audiovisuelles.
– Effet McGurk
L’illusion provoquée par “l’effet McGurk” (McGurk et MacDonald, 1976) est la suivante. Sur un film vidéo, une personne prononce une syllabe : on présente acoustiquement le son “ba” tandis que l’image de mouvement des lèvres correspond à “ga”, ce qui conduit à la perception de “da” (son intermédiaire entre “ba” et “ga”). Ainsi, la non correspondance entre l’audition et la vision nous fournit un percept erroné. Cet effet est particulièrement robuste puisqu’il persiste lorsque les sujets connaissent la nature des informations unimodales (cette illusion peut être testée sur le site : http://www.media.uio.no/personer/arntm/McGurk_english.html).
Ce percept illusoire peut s’expliquer par le fait que les informations auditives et visuelles de la parole dans les conditions habituelles, sont complémentaires et concordantes. L’effet McGurk provient de la non-concordance des informations données par le canal auditif et le canal visuel. Par l’audition, on reconnaît qu’on a une syllabe sonore, c’est-à-dire une syllabe émise lèvres fermées et avec une occlusion de la bouche, ce qui correspond à “ba”. Par la vision, on reconnaît qu’on a une syllabe non-labiale, c’est-à-dire dire une syllabe émise bouche ouverte, ce qui correspond à “ga”. Compte tenu des proximités perceptuelles différentes de ces syllabes dans les deux modalités, et afin de satisfaire à la concordance habituelle des informations bimodales, il s’agit de savoir quelle est la syllabe sonore et non labiale. Cela peut correspondre soit à “da”, soit à “ga”. Il s’agit donc d’un mécanisme décisionnel et l’interprétation la plus cohérente est “da”. Ainsi, l’effet McGurk est une illustration de l’intégration audio-visuelle lors de la perception de la parole. Les expériences menées en imagerie chez l’homme montrent l’implication dans ce phénomène des cortex pariétal, supérieur temporal et des aires visuelles extrastriées (Mottonen et al., 2002 ; Jones et Callan, 2003 ; Sekiyama et al., 2003) et des travaux récents ont aussi mis en évidence l’implication du colliculus inférieur (Champoux et al., 2006).
– Ventriloquie
De façon similaire, la perception d’un mouvement articulatoire des lèvres peut influencer le jugement de la localisation spatiale d’uns source sonore (Driver et al., 1996). Un ventriloque minimise le mouvement de ses lèvres. Ainsi, les seuls indices visuels que le public peut associer avec la parole sont ceux de la marionnette. C’est alors l’information visuelle (mouvement des lèvres de la marionnette) qui l’emporte sur l’information auditive (origine spatiale du son). On dit que la modalité dominante est, dans cet exemple, la vision. Cette notion de ventriloquie est étendue au domaine non-langagier lorsque la perception d’une source spatiale sonore (fixe) est modifiée par la présence d’une information visuelle : la source sonore est perçue comme étant plus proche de la source visuelle qu’elle ne l’est réellement (Bertelson et Radeau, 1981 ; Spence et Driver, 2000 ; Slutsky et Recanzone, 2001). Toutefois, ce biais perceptuel diminue progressivement avec l’éloignement des sources auditive et visuelle (Bermant et Welch, 1976 ; Bertelson et Radeau, 1981). Par exemple, Bermant et Welch (1976) montrent qu’en séparant les sources de 10, 20 et 30°, le biais est respectivement de 57, 17 et 12 %. Autrement dit, plus les stimuli sont éloignés dans l’espace, plus ils ont tendance à être traités comme deux évènements indépendants l’un de l’autre. Plus récemment, Soto-Faraco et ses collaborateurs (2002) ont montré que la perception de la direction d’un son en mouvement peut être influencée par la présentation simultanée d’une information visuelle également dynamique mais non pertinente pour réaliser la tâche. Lorsque les stimuli visuels et sonores avaient des directions opposées, dans 47 % des cas les sujets avaient l’impression que le son suivait la même direction que le stimulus visuel, et ceci bien que la direction du son soit facilement discriminable lorsqu’il était présenté seul. Cette illusion ne se produisait cependant que lorsque les stimuli sonores et visuels partageaient la même orientation, des orientations orthogonales ne permettant pas d’induire un tel phénomène (Soto-Faraco et al., 2002).
C’est également ce qui se passe devant un écran de cinéma, avec l’illusion que le son est émis par la bouche des acteurs plutôt que par les hauts parleurs encadrant l’écran (Klemm, 1909; Thomas, 1941; Radeau, 1994). Cet effet de “capture” de localisation sensorielle par une autre modalité a été retrouvé pour d’autres combinaisons de modalités sensorielles : ainsi, une capture visuelle du toucher a été mise en évidence grâce à un décalage de la vision induit par des prismes (Pavani et al., 2000).
Audition altérée par la vision
Par ailleurs, l’étude de Shams et de ses collaborateurs (2002) montre une illusion visuelle qui n’est pas provoquée par une cible visuelle mais auditive (Shams et al., 2002). L’illusion est la suivante : quand un flash visuel est accompagné de deux signaux sonores, le flash unique est perçu comme étant une série de deux flashs (cette illusion peut être testée sur le site : http://neuro.caltech.edu/~lshams/demo.html). Plus le nombre de “bips” augmente, plus le nombre de flashs perçus est important . L’illusion est plus forte quand le flash est dans la périphérie du champ visuel mais cela fonctionne également pour des présentations fovéales.
La présence d’un son peut également influencer l’interprétation d’un mouvement visuel ambigu. En effet, la présentation sur un écran de deux cibles visuelles avançant l’une vers l’autre peut donner lieu à deux interprétations au moment où elles se rejoignent : soit elles rebondissent l’une contre l’autre et repartent chacune en direction opposée, soit elles se croisent sans changer de trajectoire. Généralement, la deuxième interprétation est privilégiée. Toutefois, si un son bref est présenté au moment où les deux cibles visuelles coïncident, on perçoit un rebond (Sekuler et al., 1997). Ce phénomène s’explique par notre intuition des causes physiques : le son est attribué à l’impact entre les deux objets qui doivent alors rebondir l’un sur l’autre. Notons cependant que la perception de rebond peut également être induite par la présentation brève d’un flash lumineux ou d’une vibration tactile sur le doigt du sujet (Watanabe et Shimojo, 1998). Les auteurs suggèrent que, dans ce cas, les stimuli lumineux ou tactiles jouent un rôle de distracteur attentionnel : l’interprétation de rebond serait due à cette distraction alors que la perception de continuité serait facilitée par l’attention portée à la cible.
Goût altéré par la vision
Enfin, de façon peut être plus anecdotique, il semble que la couleur puisse influencer à la fois nos perceptions gustatives et olfactives. Par exemple, le goût d’une boisson aromatisée à la cerise sera jugé de façon correcte lorsque cette boisson est colorée en rouge mais induira un fort pourcentage de réponses erronées lorsqu’elle est colorée en orange (le goût perçu étant l’orange) (Dubose et al., 1980). De la même façon, des chercheurs ont montré que les descriptions verbales par des œnologues des sensations gustatives sont fortement différentes selon des vins blancs et des vins rouges. Or l’ajout d’un colorant inodore à ces deux types de vin modifie sérieusement cette description (Morrot et al., 2001). Ceci semble indiquer une l’influence de la vision sur la perception gustative.
|
Table des matières
1 Introduction générale
1.1 Intégration multisensorielle dans la perception : approches comportementales et neuropsychologiques
1.1.1 Illusions perceptives intermodales
1.1.1.1 Vision altérée par l’audition
1.1.1.2 Audition altérée par la vision
1.1.1.3 Goût altéré par la vision
1.1.2 Situations non-illusoires
1.1.2.1 Interactions comportementales visuo-auditives
1.1.2.2 Interactions comportementales audio-somatosensorielles
1.1.2.3 Interactions comportementales visuo-somatosensorielles
1.1.3 Attention intermodale et intégration multisensorielle
1.1.4 Les relations temporelles et spatiales dans l’intégration multisensorielle
1.1.4.1 Influence de la disparité temporelle
1.1.4.2 Influence de la disparité spatiale
1.2 Bases neuronales de l’intégration multisensorielle
1.2.1 Neurones multisensoriels
1.2.2 Connectivité corticocorticales des circuits cross-modaux
1.2.2.1 Régions multisensorielles du cortex associatif de haut niveau hiérarchique
1.2.2.1.1 Au niveau du sillon supérieur temporal (STS)
1.2.2.1.2 Au niveau du sillon intrapariétal (IPS)
1.2.2.1.3 Au niveau du cortex frontal
1.2.2.1.4 Au niveau du sillon ectosylvien antérieur (AES) chez le chat
1.2.2.2 Convergence multisensorielle précoce dans le traitement des informations sensorielles
1.2.2.2.1 Traitement des informations visuelles et somesthésiques dans le cortex auditif
1.2.2.2.2 Traitement des informations auditives et somesthésiques dans le cortex visuel
1.2.2.2.3 Activation visuelle et auditive du cortex somatosensoriel
1.2.3 Intégration multisensorielle au-delà du néocortex
1.3 Présentation de la problématique
2 Méthodes : aspects généraux
2.1 Modèles animaux
2.2 Neuroanatomie
2.3 Comportement, psychophysique
2.4 Electrophysiologie : enregistrements neuronaux unitaires
2.5 Protocole incluant des procédures chirurgicales chez le marmouset et le macaque : aspects généraux
2.5.1 Procédures chirurgicales chez le marmouset
2.5.2 Procédures chirurgicales chez le macaque
2.5.2.1 Pré-médication
2.5.2.2 Anesthésie
2.5.2.3 Soin postopératoire
2.5.3 Soin général
3 Travaux expérimentaux
3.1 Partie 1 : Connexions cortico-corticales des aires sensorielles primaires pouvant être impliquées dans l’intégration multisensorielle chez le primate non humain (Callithrix jacchus)
3.1.1 Introduction et mise en place de la problématique
3.1.2 Résultats
3.1.3 Discussion
3.1.4 Article 1 : Connexions hétéromodales soutenant le traitement cortical précoce de l’intégration multisensorielle chez le singe
3.2 Partie 2 : Connexions cortico-thalamiques et thalamo-corticales des aires pariétales chez le primate non humain (Macaca mulatta et Macaca fascicularis)
3.2.1 Introduction et mise en place de la problématique
3.2.2 Résultats
3.2.3 Discussion
3.2.4 Article 2 : Les projections thalamo-corticales et la dualité du pattern des projections cortico-thalamiques du cortex pariétal postérieur chez le macaque
3.3 Partie 3 : Connexions thalamo-corticales des aires auditives, motrices et pariétales chez le primate non humain (Macaca mulatta et Macaca fascicularis)
3.3.1 Introduction et mise en place de la problématique
3.3.2 Résultats
3.3.3 Discussion
3.3.4 Article 3 : Le thalamus : une voie alternative pour l’intégration multisensorielle et motrice ?
3.4 Partie 4 : Etude comportementale multisensorielle et motrice chez le primate non humain (Macaca fascicularis) : tâche de détection de stimuli auditifs et visuels
3.4.1 Introduction et mise en place de la problématique
3.4.2 Matériels et méthodes
3.4.2.1 Animaux et conditions de rétention
3.4.2.2 Habituation
3.4.2.3 Dispositif de fixation
3.4.2.4 Tâche
3.4.2.5 Stimuli
3.4.2.6 Enregistrements des données
3.4.3 Résultats
3.4.4 Discussion
3.4.5 Article 4 : Intégration multisensorielle et motrice pour la détection de stimuli auditifs et visuels chez les primates non humains : données psychophysiques.
3.5 Partie 5 : Enregistrements électrophysiologiques chez le macaque éveillé effectuant une tâche multisensorielle et motrice (Macaca fascicularis)
3.5.1 Introduction et mise en place de la problématique
3.5.2 Matériels et Méthodes
3.5.2.1 Implantation chronique d’une chambre d’enregistrements électrophysiologiques
3.5.2.2 Enregistrements des données
3.5.2.3 Analyse des données
3.5.3 Résultats
3.5.4 Discussion
Conclusion générale
