Codage hippocampique par transitions spatio-temporelles

Formation hippocampique

   L’hippocampe est au coeur des modèles présentés dans cette thèse et constitue une des structures les plus étudiées dans le cadre de la navigation spatiale. L’hippocampe lui-même est composé des différentes régions de la corne d’Amon tandis qu’on parle de formation hippocampique lorsqu’on veut inclure le gyrus dentelé et le subiculum. Le gyrus dentelé reçoit de nombreuses projections de la couche II du cortex entorhinal via la voie perforante. Des connexions provenant des couches profondes existent également [Deller et al., 1996]. La majorité des corps cellulaires dans le gyrus dentelé sont des cellules granulaires. Celles-ci projettent à leur tour de manière exclusive sur la région CA3 de l’hippocampe par les fibres moussues. Outre la voie EC-DG-CA3, il existe aussi une projection directe des couches superficielles du cortex entorhinal vers CA3. Le rôle de l’amygdale dans la consolidation de mémoires à long terme liées à des mécanismes de récompense dans le gyrus dentelé a également été étudié [Almaguer-Melian et al., 2003]. La région CA3 projette à son tour vers la région CA1 en gardant une certaine topologie, par les connexions collatérales de Schaffer. CA3 possède également des collatérales récurrentes, avec des projections locales. Les régions CA3 et CA1 sont composées majoritairement de neurones pyramidaux. Des connexions directes du cortex entorhinal vers CA1 prennent leur origine dans la couche III. Le système complexe de connexions entre le cortex entorhinal, gyrus dentelé et les régions CA3 et CA1 est mieux connu sous le nom de boucle trisynaptique. En supplément de la connexion directe provenant du cortex entorhinal, CA1 reçoit des afférences d’autres structures corticales et sous-corticales, notamment le nucleus reuniens, dont les effets excitateurs ont été démontrés [Morales et al., 2007]. CA1 est la principale structure de sortie de l’hippocampe et possède donc de nombreuses connexions efférentes. Cependant, à l’inverse de CA3, CA1 ne possède pas de collatérales récurrentes. La projection principale se fait vers le subiculum. Parmi les autres connexions partant de CA1, on peut noter celles innervant le striatum (dans les ganglions de la base) et le cortex préfrontal median. Les connexions vers le préfrontal prennent leur origines dans l’hippocampe ventral et se focalisent majoritairement sur les cortex prélimbique et médial orbital [Jay and Witter, 1991].

Corrélats spatiaux des activités neuronales

  L’hippocampe est souvent considéré comme le siège des représentations spatiales de l’environnement dans le cerveau. Cela est du à la découverte des cellules de lieu par O’Keefe et Dostrovsky en 1971 [O’Keefe and Dostrovsky, 1971]. Ces cellules de lieu sont des neurones pyramidaux présents à la fois dans les régions CA3 et CA1. Elles ont de forts corrélats spatiaux et déchargent majoritairement à un endroit précis de l’environnement, leur activité diminuant au fur et à mesure que l’animal s’éloigne de cet endroit. Le gradient d’activité spatiale caractéristique de ces neurones est appelé “champ de lieu” (fig. 1.3). Cette découverte a amené [O’Keefe and Nadel, 1978] à attribuer à l’hippocampe un rôle dans la cartographie spatiale de l’environnement en créant une “carte cognitive”. Cette carte pourrait être utilisée par la suite pour planifier un chemin vers des lieux connus par l’animal. Les cellules de lieu hippocampiques ont des propriétés intéressantes. Lors de la répétition prolongée d’un trajet particulier dans un labyrinthe, les champs de cellules de lieux peuvent avoir tendance à s’étendre légèrement vers l’arrière (ils s’activent plus tôt dans la trajectoire du rat) [Mehta et al., 1997] tandis que, dans certains cas, ils se décalent plutôt vers des zones de récompense [Lee et al., 2006]. Ces données pourraient suggérer un aspect prospectif des activités de cellules de lieu. De plus, la forme des champs de lieux peut être asymétrique. Dans un trajet linéaire répété par un rat, la décharge des cellules de lieu a tendance à être plus faible lors de l’entrée sur le lieu et plus forte lors de la sortie du lieu [Mehta et al., 2000]. On peut distinguer les neurones des régions CA3 et CA1 qui ont des propriétés différentes. Le retour direct de EC sur CA1 joue un rôle dans la stabilisation des champs de lieu dans CA1. Des lésions de la couche III du cortex entorhinal qui projette vers CA1 ont montré un effet sur les champ de lieu dans CA1 (cellules de lieu plus bruitées, moins sélectives spatialement) mais pas dans CA3 [Brun et al., 2008]. De même des changements dans les amers visuels présents dans l’environnement peuvent entraîner des changements immédiat dans le codage spatial au niveau de CA3, tandis que ces changements se répercutent bien plus tard (le lendemain) dans CA1 [Lee et al., 2004]. Enfin une étude récente a montré que les champs dans CA1 étaient moins susceptibles de changer avec l’apparition de nouveaux chemins (des raccourcis) dans un labyrinthe [Alvernhe et al., 2008]. Ces changements sont plus locaux dans CA1 que dans CA3, c’est-à-dire qu’ils touchent majoritairement les cellules de lieu ayant des champs de lieu à proximité des modifications introduites dans l’environnement. De plus, cette étude suggère que les cellules de lieux de CA3 et CA1 ne se contentent pas de donner une information sur la position de l’animal, mais également sur les chemins accessibles dans l’environnement. En effet l’ajout de raccourcis, fait en enlevant des parois transparentes et donc sans changer l’environnement visuel, entraîne de profond changements dans le codage spatial dans CA3 et CA1, même pour des cellules dont les champs sont éloignés de ce nouveau raccourci. Des cellules de lieux ont été enregistrées dans d’autres structures. Les cellules de lieu du cortex entorhinal sont plus bruitées et possèdent des champs plus larges que les cellules hippocampiques [Quirk et al., 1992]. Dans le gyrus dentelé, des cellules répondant aussi bien à la position qu’à la direction de l’animal ont été enregistrées [Jung and McNaughton, 1993]. Leurs champs de lieu sont plus étroits que ceux trouvés dans CA3 et semblent suggérer un rôle du gyrus dentelé dans la transmission à l’hippocampe d’informations spatiales codées sous forme de populations de cellules spatialement très sélectives. La fusion des informations dans CA3 provenant de EC par des voies directes et indirectes, avec un rôle primordial du gyrus dentelé dans la séparation de formes, a été suggérée comme étant la base d’un mécanisme de séparation de formes permettant la facilitation de l’apprentissage dans l’hippocampe [Acsády and Káli, 2007]. Enfin on retrouve d’autres types de cellules avec des composantes spatiales. Le postsubiculum possède des “cellules de direction de la tête” qui réagissent lors que la tête de l’animal est tournée dans une direction particulière (dans un référentiel absolu) [Taube et al., 1990]. Récemment des “cellules de grille” ont été découvertes dans le cortex entorhinal [Hafting et al., 2005]. La particularité de chacune de ces cellules est de décharger non pas dans un seul lieu de l’environnement mais dans une multitude de points qui forment une grille hexagonale (en nid d’abeille) de l’espace. Finalement, des enregistrements ont montré la présence de neurones avec des corrélats spatiaux dans le nucleus accumbens et le noyau caudé [Mulder et al., 2004]. Ces neurones déchargent pendant de longues sections d’un labyrinthe et suggèrent l’implication de ces structures dans la création de “chunks” (ou amas) d’information, utiles pour diriger le comportement de l’animal.

Codage temporel

   [Manns et al., 2007] souligne le rôle de l’hippocampe dans la représentation de séquences d’odeur. En plus du code spatial, il observe un code en population pour des événements olfactifs où les événements les plus rapprochés dans le temps ont le codage le plus proche. De même l’hippocampe semble nécessaire dans des tâches où un animal doit reproduire une trajectoire effectuée dans le sens inverse (même en l’absence d’informations visuelles ou olfactive) [Whishaw and Maaswinkel, 1998]. Ces résultats ont mené certains chercheurs à avoir une vue du cortex entorhinal et de l’hippocampe comme un système ayant un rôle principal dans la mémoire épisodique, plutôt que simplement dans la cartographie de l’environnement [Eichenbaum and Lipton, 2008]. Ainsi le cortex entorhinal porterait des informations sur le contexte temporel en supplément des informations spatiales. [Rondi-Reig et al., 2006] ont montré que la région CA1 jouait un rôle important dans une tâche de navigation dans un labyrinthe en étoile. Celle ci est nécessaire aussi bien pour l’utilisation de stratégies spatiales allocentriques que pour des stratégies égocentriques faisant appel à des aspects de mémoire épisodique. Pour une revue exhaustive des différents mécanismes de traitement temporel dans le cerveau dans des échelles allant de plusieurs dizaines à plusieurs centaines de millisecondes, se référer à [Mauk and Buonomano, 2004].

Anatomie

   Le cortex préfrontal peut être divisé entre plusieurs sous-régions. Dans le cortex préfrontal médian, la partie dorsale inclut les cortex précentraux et cingulaire antérieur tandis que la partie ventrale inclut les cortex prélimbique, infralimbique et médial orbital. Ce sont les régions sur lesquelles je focaliserai mon attention dans cette thèse. Les autres sous-régions incluent les cortex latéral et ventral orbital et la zone agranulaire du cortex insulaire. Ces régions peuvent également être découpées en termes fonctionnels. La partie dorso-médial est plutôt impliquée dans des aspect de mémoire liés à des réponses motrices et au traitement temporel de l’information. La partie ventrale médiale s’occuperait plutôt de la supervision de l’attention et la flexibilité du comportement. Enfin la partie orbito-frontale gère l’apprentissage inversif d’associations stimulus-récompense et les processus de choix dans des tâches avec renforcement retardé. Voir[Dalley et al., 2004] pour plus de détails sur le découpage anatomique et fonctionnel. Le cortex préfrontal reçoit de nombreuses connexions très organisées des ganglions de la base. Il est également connecté de manière réciproque à plusieurs structures telles que le cortex pariétal, les aires corticales sensorielles, la substance noire, l’aire tegmentale ventrale, l’amygdale, l’hippothalamus latéral, le cortex entorhinal et le septum. L’interaction hippocampe-cortex préfrontal est très forte. CA1 et le subiculum projettent uniquement vers les aires infralimbique et prélimbique. Il ne semble pas exister de retour direct du PFC sur l’hippocampe, en revanche le nucleus reuniens (un noyau thalamique) semble jouer le rôle d’interface entre les 2 structures. Il a été montré que le nucleus reuniens avait un rôle excitateur sur CA1 [Bertram and Zhang, 1999] et sur le cortex préfrontal [Prisco and Vertes, 2006]. Le nucleus reuniens servirait également d’intermédiaire pour une influence indirecte du PFC sur CA1 [Vertes et al., 2007].

Table des matières

Introduction
1 Fondements neurobiologiques et éthologiques 
1.1 Région hippocampique 
1.1.1 Anatomie
1.1.2 Corrélats spatiaux des activités neuronales
1.1.3 Multi-modalité
1.1.4 Conditionnement
1.1.5 Codage temporel
1.2 Cortex préfrontal
1.2.1 Anatomie
1.2.2 Contrôle inhibiteur du comportement
1.2.3 Planification, processus cognitifs et adaptation
1.3 Ganglions de la base
1.3.1 Anatomie
1.3.2 Circuit de récompense
1.4 Tâche de navigation continue 
1.4.1 Protocole expérimental
1.4.2 Corrélats spatiaux dans le cortex préfrontal
1.4.3 Activité hors-champ des cellules de lieu
1.4.4 Lien entre l’activité temporelle hippocampique et frontale
1.5 Conclusion
2 Modèles bio-inspirés de navigation et planification en robotique 
2.1 Etat de l’art des systèmes de navigation bio-inspirés 
2.1.1 Modélisation de cellules de lieu
2.1.2 Cartes cognitives et navigation vers un but
2.1.3 Apprentissage temporel
2.1.4 Apprentissage par renforcement
2.2 Fonctionnement de notre modèle 
2.2.1 Apprentissage de cellules de lieu
2.2.2 Transitions et carte cognitive
2.2.3 Apprentissage de séquences temporelles
2.3 Discussion sur les modèles existants
3 Apprentissage temporel de séquences d’événements perceptifs multi modaux 
3.1 Précision et adaptation des prédictions temporelles
3.1.1 Modèle de décomposition spectrale du temps
3.1.2 Apprentissage continu et généralisé
3.2 Utilisation du modèle
3.2.1 Expérience robotique d’apprentissage multi-modal
3.2.2 Compatibilité avec la carte cognitive
3.3 Discussion et applications
4 Codage de l’information temporelle et des buts : interaction hippocampo-corticale 
4.1 Modélisation des interactions hippocampe-cortex préfrontal 
4.1.1 Cadre expérimental : la tâche de navigation continue
4.1.2 Activités hors-champ de cellules de lieu
4.1.3 Sélection de l’action et arrêt du mouvement
4.2 Validation expérimentale 
4.2.1 Expérience en simulation et activités hors-champ
4.2.2 Expérience sur robot réel et interactions Homme-Machine
4.3 Discussion et limitations
5 Ganglions de la base et apprentissage par renforcement 
5.1 Etat de l’art des modèles neuronaux d’apprentissage par renforcement 
5.1.1 Conditionnement et prédiction de récompense
5.1.2 TD-learning et modèles acteur-critique
5.1.3 Sélection de l’action et stratégies multiples
5.2 Modèle de Q-learning utilisant les neurones de transition 
5.2.1 Implémentation neuronale
5.2.2 Modèle biologiquement plausible
5.2.3 Navigation multi-buts
5.2.4 Expériences en simulation
5.3 Apprentissage par renforcement et carte cognitive : complémentarité et coopération
5.3.1 Caractéristiques des deux systèmes
5.3.2 Expériences de coopération et données de lésion
5.4 Discussion 
6 Utilisation de la détection de l’échec dans la modulation comportementale 
6.1 Transitions temporelles et détection de l’échec
6.1.1 Modèle neuronal de détection de l’échec
6.1.2 Intégration dans le modèle des interactions hippocampe – cortex préfrontal – ganglions de la base
6.2 Modulation comportementale immédiate
6.2.1 Tâche de navigation continue et essais d’extinction
6.2.2 Apprentissage d’une ronde avec des points d’arrêt
6.2.3 Navigation multi-buts avec inhibition de chemins
6.3 Modulation comportementale à moyen terme
6.3.1 Modulation des associations transition-action
6.3.2 Apprentissage autonome de la tâche de navigation continue
6.4 Discussion 
7 Vers un modèle générique d’apprentissage de tâches robotiques
7.1 Généralisation à des plates-formes robotiques variées
7.1.1 Planification avec un bras robotique
7.1.2 Intégration bras/robot mobile
7.2 Généralisation des signaux traités 
7.3 Discussion
Conclusion
A Apprentissage temporel de signaux continus
B Outils de simulation de réseaux de neurones
B.1 Interface de conception : Coeos
B.2 Simulateur temps-réel distribué : Promethe
C Plates-formes robotiques
C.1 Robot mobile d’intérieur
C.2 Robot mobile d’extérieur
C.3 Bras robotique

Télécharger le rapport complet