Une théorie computationnelle de la fonction exécutive préfontale humaine

Le contrôle cognitif représente notre capacité à avoir un comportement intentionnel. Plus précisément, le comportement intentionnel se reflète dans le fait d’agir non pas seulement en réaction aux stimuli extérieurs, mais aussi en fonction de nos buts, de nos croyances, du contexte immédiat et d’indices passés. Le contrôle cognitif humain est caractérisé par la très grande flexibilité cognitive que nous avons et qui nous permet de nous adapter efficacement à de nouveaux contextes ou objectifs.

L’étude des patients présentant des lésions du cortex préfrontal a rapidement permis de mettre en valeur le cortex préfrontal comme le candidat principal pour l’implémentation du contrôle cognitif. Depuis, son implication a été confirmée dans de nombreuses études, comme nous le montrerons dans la première partie de cette thèse. Plus particulièrement, l’existence de représentations hiérarchiques des problèmes de contrôle cognitif a été mise en évidence dans le cortex préfrontal.

Cependant, le cortex préfrontal est également impliqué dans les problèmes d’apprentissage. Dans l’abstract de sa revue sur le rôle du cortex préfrontal dans le contrôle cognitif (2000 [147]), Miller écrit :

Nearly all intended behaviour is learned and so depends on a cognitive system that can acquire and implement the ‘rules of the game’ needed to achieve a given goal in a given situation. (Miller, 2000 [147]) .

Miller souligne ainsi que le système cortical qui implémente le contrôle cognitif doit nécessairement être capable d’apprentissage, puisque tout comportement intentionnel a été appris. Démontrer son rôle dans l’apprentissage des « règles du jeu » a d’ailleurs très largement contribué à démontrer le rôle du cortex préfrontal dans le contrôle cognitif. On voit donc que l’apprentissage et le contrôle cognitif sont liés par leurs bases neurales. Cela semble naturel, vue la dépendance réciproque qu’on peut mettre en évidence entre ces deux processus : si d’une part, l’apprentissage est nécessaire au contrôle cognitif pour l’acquisition des comportements intentionnels, le contrôle semble également nécessaire à l’apprentissage pour les décisions indispensables : exploration des différentes options, arrêt de l’apprentissage à la complétion d’un objectif, décision quant au niveau hiérarchique auquel il est nécessaire d’apprendre (faut-il s’adapter localement, ou apprendre globalement un nouveau comportement ?). . . Pourtant, bien que ces deux processus soient inextricablement liés, les principes d’intégration entre l’apprentissage et le contrôle cognitif dans le cortex préfrontal restent peu connus. En 2008, dans deux revues consacrées à l’organisation hiérarchique du cortex préfrontal, deux auteurs mettent en valeur, dans les questions scientifiques futures, notre absence de connaissance sur l’interaction entre l’apprentissage et le contrôle cognitif, dans le cadre de représentations hiérarchiques :

How are hierarchical representations of behavior learned ? How might such learning yield skills that are useful across tasks, supporting later learning ? What are the relevant neural mechanisms ? Are computational techniques for hierarchical reinforcement learning potentially relevant in addressing these questions ? (Botvinick, 2008 [24]) .

How are novel tasks and rule structures acquired within this architecture ? (Badre, 2008 [10]) .

Trois systèmes neuraux sont essentiels au contrôle cognitif et à l’apprentissage. Comme ceux-ci seront largement évoqués plus loin, nous commençons par une courte présentation du cortex préfrontal, des ganglions de la base et du système des neurotransmetteurs.

Le cortex Préfrontal (PFC) Le cortex préfrontal se situe dans le lobe frontal du cortex. Il regroupe les aires de Brodman (BA) 8,9,10,32,44,45,46 . Il représente chez l’homme environ un tiers de la surface totale du cortex, cette proportion cortex préfrontal/cortex étant la plus importante de l’ensemble des mammifères, à égalité avec les grands singes (Semendeferi et al, 2002 [195]). C’est probablement la région qui a évolué le plus tardivement au cours de l’évolution (Jerison et Zaidel, 1994 [117]). C’est aussi une des parties du cerveau qui continue à se développer le plus tard, jusqu’à 20 ans (Sowell et al, 1999 [198]).

Le cortex préfrontal est largement connecté avec les aires associatives, à l’exception de sa partie la plus rostrale, le cortex fronto-polaire, BA 10 (Petrides et Pandya, 2002 [169]). Il a également une très forte connectivité interne, locale ou entre différentes aires.

On distingue différentes aires fonctionnelles qui seront évoquées précisément plus tard. On propose ici simplement un résumé simplifié des rôles fonctionnels de différentes régions. Le cortex préfrontal dorso-latéral est impliqué dans la sélection de tâches (Miller et Cohen, 2001 [148]). Le cortex préfrontal médial, en particulier le cortex cingulaire antérieur, joue un rôle dans la motivation pour le contrôle (Ridderinkhof et al, 2004 [177], Rushworth et al, 2004 [180], 2007 [182]). Il est aussi connu pour réagir aux erreurs, à l’incertitude ou au conflit cognitif. Le cortex orbito frontal évalue la valeur d’actions ou d’objets (O’Doherty et al, 2001 [157], Wallis et al, 2007 [210]). Le cortex frontopolaire permet la mise en attente d’une tâche pendant la réalisation d’une autre (Koechlin et al, 1999 [131]).

Les ganglions de la base et le thalamus Le cortex préfrontal est également connecté de manière essentielle avec les structures sous-corticales . ll existe en particuliers cinq circuits parallèles partant d’une aire particulière du lobe frontal, se projetant sur un noyau du striatum, puis sur le pallidum et finalement sur le thalamus, avant de revenir en boucle sur le point de départ (Alexander et al, 1986 [4], 1990 [3], Cummings et al, 1995 [57]). Les ganglions de la base jouent donc un rôle essentiel, probablement d’intégration et de filtrage de l’information, en relation directe avec le PFC. Les ganglions de la base comprennent plusieurs noyaux distincts, notamment le striatum (comprenant le noyau caudé, le putamen et le noyau accumbens), le pallidum, la substance noire, et le noyau sub-thalamique (Meininger, 1983 [146]).

Les neuromodulateurs On connaît quatre systèmes de neuromodulateurs agissant sur le cerveau . Les neuromodulateurs sont produits par des neurones sous-corticaux ayant la spécificité de projections très vastes sur le cortex et les structures sous-corticales, permettant de supposer qu’ils sont impliqués dans des rôles peu spécifiques. Ces neuromodulateurs sont
– La Dopamine (DA). La dopamine est produite dans l’aire tegmentale ventrale (VTA) et la Substantia Nigra, pars compacta (SNc). Elle se projette essentiellement vers le striatum et la partie médiale du cortex préfrontal, mais également vers d’autres parties du cortex préfrontal. La dopamine est impliquée de manière essentielle dans le traitement de la récompense et dans l’apprentissage (Schultz et al, 1997 [192]).
– La Sérotonine (5-HT). La sérotonine est produite dans le noyau raphé et se projette vers l’ensemble du cortex, des structures sous-corticales et du cervelet. La sérotonine est impliquée dans le traitement des punitions et des délais de récompense (Doya, 2002 [73], Daw et Doya, 2006 [60])
– La Noradrénaline, ou Norépinéphrine (NE). La Norépinéphrine est produite dans le locus coeruleus et se projette vers l’ensemble du cortex, des structures sous corticales et du cervelet. Elle est impliquée dans l’attention et le contrôle (Aston Jones et Cohen, 2005[6]).
– L’acétylcholine (ACh). L’acétylcholine est produite par différents noyaux sous-corticaux, notamment le septum, et se projette vers l’ensemble du cortex et des structures souscorticales. Elle est impliquée dans le contrôle de l’équilibre entre maintenir en mémoire ou mettre à jour la mémoire (Doya, 2002 [73]).

Table des matières

INTRODUCTION
1 Comment l’apprentissage par renforcement se rapproche du contrôle cognitif
1.1 Apprentissage et ganglions de la base : le cadre de l’apprentissage par renforcement
1.1.1 Cadre formel
1.1.2 Dopamine et Ganglions de la Base
1.2 Apprentissage et cortex préfrontal
1.2.1 Cortex préfrontal et apprentissage par renforcement : l’apprentissage pour le contrôle
1.2.2 Exploration et incertitude dans l’apprentissage
1.2.3 Cortex préfrontal et apprentissage de règles : le contrôle pour l’apprentissage
2 Importance de la hiérarchie dans le contrôle cognitif et l’apprentissage
2.1 Différentes échelles de temps, différentes vitesses d’apprentissage
2.2 Organisation hiérarchique temporelle de la planification
2.2.1 Un exemple : la tour de Londres
2.2.2 Modèles hiérarchiques de la planification
2.2.3 Apprentissage par renforcement hiérachique
2.3 Organisation hiérarchique structurelle de tâches
2.3.1 Représentations hiérarchiques structurelles dans l’apprentissage
2.3.2 Représentations hiérarchiques dans le contrôle cognitif
3 Les task-sets et le task-switching, première brique hiérarchique du contrôle cognitif
3.1 Task-sets et mécanismes de task-switching
3.1.1 Task-sets
3.1.2 Task-switching, switch-cost
3.1.3 Processus de task-switching
3.1.4 Théorie du conflit
3.2 Les mécanismes de switch
3.2.1 Les modèles de gating
3.2.2 La noradrénaline comme signal d’interrupteur
3.2.3 Switch et exploration, rôle de la noradrénaline
CONCLUSION

Télécharger le rapport complet