Soutenance mémoire
Par : Martina BARLETTA
L’évaluation de la résolution de coréférence en TAL
Le choix d’une métrique d’évaluation d’une tâche donnée représente un des facteurs qui garantit la comparabilité d’un système ainsi que la reproductibilité des résultats obtenus. Cela constitue donc une étape importante pour la définition des benchmarks d’une tâche donnée. Cependant, dans le cas de la résolution de coréférence, ils existent plusieurs métriques : au moins cinq métriques ont été proposées en contrepartie de la première proposition, faite pour la tâche du MUC-6. En l’état actuel, il n’y a pas encore de consensus défini sur quelle est la métrique la plus adaptée à la tâche (Poesio et al., 2016). Pour les citer brièvement, les métriques recensées sont :
– Le score MUC (Vilain et al., 1995), qui a été la première métrique à être utilisée pour cette tâche. Elle a été conçue sur la base du modèle de la coréférence link-based. Le score MUC compte le nombre minimal de liens qu’il faut insérer ou éliminer lors qu’on compare le résultat d’un système à la référence établie (au gold standard) (Cai & Strube, 2010). Cette métrique ne prend pas en compte les singletons, c’est-à-dire les entités qui ne sont mentionnées qu’une fois dans le texte.
– Le score B³ (Bagga & Baldwin, 1998), qui calcule la précision et le rappel pour chaque mention dans le document , avant d’utiliser ces deux indices pour calculer la précision et le rappel global obtenus sur le corpus. Cette métrique, tout en prenant en considération les singletons, doit être modifiée pour inclure les mentions extraites par le système qui ne sont pas comprises dans le corpus de référence et les mentions du corpus que le système n’a pas détectées.
– La famille de métriques CEAF (Constrained Entity Alignement F-Measure). Proposée par Luo (2005), elle représente la réponse à un défaut de B³, qui prend en considération la même mention plusieurs fois dans le calcul de précision et rappel des mentions. Cette famille de métriques est fondée sur le meilleur alignement possible entre reference entities et system entities.
– Le score MELA (Mention, Entity and Link Average Score) (Denis & Baldridge, 2009) appelé aussi « CoNLL score » car choisi comme score d’évaluation lors des campagnes d’évaluation 2011 et 2012 de CoNLL.
Cette métrique est une moyenne de MUC, B³ et CEAF e,. (Lion-Bouton et al., 2020).
– Le score BLANC (Bilateral Assessment of Noun-PhraseCoreference, introduit par Recasens et Hovy (2011). Ce score est une variation de l’index de Rand, qui prend en considération les mentions isolées (les singletons), tout en gardant la validité du score en leur présence (ce qui fait « gonfler » les scores B et CEAF). Il est doté d’une granularité plus fine qui permet de mieux discriminer entre systèmes (Recasens & Hovy, 2011).
Même si les chaînes peuvent indiquer n’importe quel type de référent, comme une personne, un événement, une organisation ou une période dans le temps, la plupart des auteurs en TAL se sont occupés de l’annotation de chaînes à référent humain ou, au plus, des chaines à référents concrets (Oberle, 2017 : 15) car la détection d’objets abstraits peut s’avérer plus complexe. Dans ce travail, nous allons nous occuper principalement de l’annotation de chaînes à référent animés (car à cause des caractéristiques de notre corpus, nous ne pouvons pas nous limiter aux référents humains, car ils ne représentent pas les seuls acteurs/patientes dans les productions écrites de notre corpus) , et nous allons restreindre ultérieurement le champ de recherche, dans le sens où nous allons concentrer nos efforts sur la détection des chaînes dont le référent principal est donné par les consignes qui dictent le contenu des productions écrites des élèves (cf. Chapitre 1, 3.2 pour la consigne citée ici). Pour cette raison, nous n’allons pas aborder dans ce travail la notion d’entité nommée qui est habituellement un des éléments fondamentaux de chaque système de résolution de coréférences : le choix de restreindre notre champ de recherche sera explicité plus en détail dans la deuxième partie de ce travail lors de la description du fonctionnement de l’outil développé dans le cadre de notre recherche (cf. Chapitre 6).
Ce choix de restreindre le champ de recherche des entités auxquelles les mentions font référence est aussi dû au corpus sur lequel nous allons effectuer nos analyses. Dans le chapitre suivant nous allons introduire le type de textes sur lesquels nous avons prévu d’effectuer nos recherches, c’est-à-dire les textes qui composent un corpus d’écrits scolaires. Ces textes ont la spécificité d’être éloignés de la norme, et donc ils présentent des difficultés pour leurs traitements automatiques.
L’accessibilité des corpus
Comme déjà observé dans un passé récent par M.-F. Elalouf et C. Boré (2007) même si des projets existent dans le domaine des corpus scolaires, les données restent encore difficiles d’accès et peu numérisées (Wolfarth, 2019 : 73; Ponton et al., 2021).
Selon l’état des lieux, très exhaustif, effectué par C. Wolfarth dans sa thèse (2019 : 47-52), confirmé plus récemment par C. Doquet et C. Ponton (2021), les corpus scolaires en français se font toujours rares, et le seul changement est le partage de quatre des corpus faisant partie du projet E-Calm (cf. Chapitre 2, 3.). Cependant, récupérer ces données ou les visualiser en ligne reste toutefois une opération non triviale, sauf dans le cas des corpus que nous allons présenter dans la suite. Sur les 22 corpus recensés pour le français L1 (Wolfarth, 2019 : 47-52), seulement quatre projets ont rendu leurs données publiques. Nous allons voir par la suite de quelle manière ces données ont été recueillies, dans quel but et comment elles sont mises à disposition en ligne.
Toutefois, nous avons aussi pu remarquer que les étapes de transcription et d’annotation des corpus sont quasiment toujours effectuées ou du moins vérifiées manuellement, ce qui ralentit parfois le processus de traitement nécessaire à rendre un corpus public.
Depuis une dizaine d’années différents projets ont tenté de concevoir des corpus scolaires (Elalouf, 2005; Elalouf & Boré, 2007; Garcia-Debanc & Bonnemaison, 2014 ; Boré & Elalouf, 2017) mais la plupart du temps l’accès à ces corpus reste assez restreint sinon impossible. Le premier corpus à être diffusé dans une forme numériquement exploitable, celui de M.-F. Elalouf (2005), a permis d’ouvrir la voie aux corpus qui sont arrivés bien plus tard, associés à des outils numériques de traitement des données bien plus avancés qu’en 2005. Ce corpus était disponible sous forme de CD-Rom. La continuation de ce travail est représenté par le corpus EMA, désormais accessible en ligne (Boré et al., 2018), que nous allons maintenant brièvement présenter. Depuis 2014, différents corpus d’écrits scolaires ont été collectés et mis à disposition, dont au moins quatre conçus dans le contexte du projet E-Calm (financé par l’Agence Nationale de la Recherche et coordonné par Claire Doquet). Ces projets ont permis de récolter et rendre disponible en ligne en libre accès au moins quatre corpus d’écrits scolaires : le corpus Scoledit, qui représente le contexte de notre recherche, le corpus RésolCo (Garcia-Debanc et al., 2017), que nous allons ensuite présenter plus en détail, le corpus Ecriscol (Doquet et al., 2017; Doquet, 2020;) et le corpus Littératie avancée (Jacques & Rinck, 2017). Alors que les deux premiers corpus mentionnés ici ont été sollicités par les chercheurs, les corpus Ecriscol et Littératie avancée ont été collectés de manière écologique. Nous allons décrire ici plus en détail le corpus EMA ainsi que les corpus RésolCo et Scoledit qui sont intégrés au corpus ECalm.
Le corpus EMA
Le corpus EMA (Boré et al., 2018) a été développé par les chercheurs du laboratoire éponyme EMA de Cergy. Dans sa deuxième version, il est constitué de deux dossiers, l’un composé de textes argumentatifs, l’autre de textes narratifs liés à une tâche de lecture faite au préalable dans la classe concernée.
Ce corpus est composé de textes collectés de manière écologique et les choix d’analyse de son sous-corpus de transcriptions suivent les mêmes choix que dans le cas du projet Ecriscol, dirigé par C. Doquet à Paris 3 au laboratoire
Clesthia. Pour chaque production, en effet, sont disponibles son scan, sa transcription, son annotation et ses métadonnées. Comme décrit par M.-L. Elalouf et S. Perrin (2019), l’utilité de ce type de corpus est à rechercher dans le besoin de « développer chez les enseignants une culture de l’écrit scolaire », à laquelle la recherche sur les corpus scolaires peut contribuer. En effet, la possibilité de faire une comparaison entre plusieurs écrits d’élèves peut permettre aux enseignants de se rendre compte des compétences mobilisées par les scripteurs à un certain niveau et pour une tâche prédéfinie, ce qui pourrait aussi mener à une amélioration des critères d’évaluation adoptés par les enseignants (Boré & Elalouf, 2017; Wolfarth et al., 2018). Cette approche du corpus au service de l’enseignement en plus de la recherche est la même que l’on retrouve dans les corpus du projet E-Calm, que nous allons décrire maintenant.
Le corpus Scoledit
Ce corpus représente le contexte de notre recherche et a été conçu par les chercheurs du laboratoire LIDILEM de l’Université Grenoble Alpes. Son but est de suivre de manière longitudinale le développement des compétences d’écriture des mêmes élèves, suivis du CP au CM2. Il représente actuellement un des seuls corpus longitudinal d’écrits scolaires entièrement transcrit et librement accessible en ligne
(Ponton et al., 2021).
Les textes récoltés ont été sollicités par les chercheurs, sur la base de deux consignes de production : une consigne proposée en classe de CP et une deuxième utilisée pour les classes de CE1 à CM2.
Le recueil de CP a été effectué dans le cadre de la recherche Lire-Ecrire au CP (Goigoux et al., 2015). La consigne consiste dans la présentation de quatre images à partir desquelles il est demandé aux élèves de raconter l’histoire du petit chat en 15mn ; ils pouvaient consulter les images à tout moment.
Les corpus d’écrits scolaires en Italie : le corpus CoDiSSc
Plusieurs corpus existent pour l’italien langue étrangère, surtout pour l’italien oral, (nous citons les corpus DILS de Savy et al. (2012), et le LIPS de Vedovelli et al., entre autres). Néanmoins, en l’état actuel, très peu de données ont été récoltées et mises à disposition pour ce qui concerne l’apprentissage de l’écrit des enfants de langue maternelle italienne.
L’un des projets existant en Italie est le projet CoDiSSc (Revelli, 2011).
Ce projet récolte plus de 1200 documents de types différents mais toujours liés au milieu scolaire, rédigés depuis l’Unité d’Italie (1863) à nos jours (Doquet et al., 2021). Ce corpus récolte en majorité des cahiers d’école de sujets variés, mais présente aussi un petit « sous-corpus », beaucoup plus restreint, constitué de documents administratifs à côté des cahiers de textes des élèves, ainsi que des documents produits par les enseignants, comme des registres scolaires ou les relevés de notes des étudiants.
Le but de ce corpus est d’exploiter les cahiers d’écoles récoltés en particulier en Vallée d’Aoste, mais aussi dans trois autres régions italiennes du Nord, afin d’étudier de manière diachronique les caractéristiques principales de « l’italien scolaire » et des modèles langagiers proposés par les enseignants tout au long de cette période (Studi e ricerche del progetto CoDiSSc). L’archive du projet dans son entièreté est visualisable en ligne, sous forme de scan. L’utilisateur peut ainsi naviguer entre différentes périodes et types de documents, qui peuvent être visualisés en plein écran et « feuilletés » numériquement. Des filtres permettent de sélectionner la période souhaitée, ainsi que, entre autres, la présence ou pas d’interventions des enseignants, le contenu du cahier, la région, ville et le niveau scolaire d’origine.
En guise de conclusion sur les corpus scolaires
Pour conclure ce chapitre, nous souhaitons rappeler la contribution fondamentale que les corpus scolaires ont dans la recherche sur le développement de l’écriture. Ces données « tracent des trajets développementaux de l’acquisition de la langue écrite et de ses usages » (Doquet & Ponton, 2021 : 11), en permettant de mettre au premier plan les obstacles persistants dans l’apprentissage et d’effectuer un véritable travail scientifique de modélisation des acquisitions. Cependant, ces corpus restent encore peu développés en nombre et surtout peu accessibles : comme recensé par C. Wolfarth (2019) et remarqué par C. Doquet et C. Ponton (2021), pour les corpus en français langue première, peu de ressources sont accessibles et exploitables pour des traitements automatiques à l’heure actuelle, et encore moins sous forme normalisée, même si trois des corpus faisant partie du projet E-Calm sont déjà à disposition du public et des chercheurs.
Cette pratique de partage des corpus n’est donc « pas encore courante, bien qu’elle soit, pour connaître la réalité des performances des élèves à l’écrit, tout à fait nécessaire. » (Doquet & Ponton, 2021 : 13). Pour combler cette insuffisance dans la quantité des données à disposition, une réponse possible est d’exploiter de manière transversale les ressources à disposition, en mutualisant les corpus existants, les méthodologies et les outils à disposition.
Si des études sur la continuité référentielle ont déjà été effectuées sur le corpus RésolCo, le corpus Scoledit n’a fait actuellement l’objet que de travaux sur l’orthographe. Dans ce travail, nous nous proposons d’apporter notre modeste contribution à la « cartographie de l’emploi des formes linguistiques qui déterminent la cohérence et la cohésion textuelles » (Garcia-Debanc et al., 2021), en réalisant des études sur la construction de la coréférence sur le niveau CE2 du corpus Scoledit, en appliquant certains choix méthodologiques déjà effectués au sein du corpus RésolCo dans notre analyse (cf. Chapitre 4, chapitre 5). Nous proposons d’apporter cette contribution à l’aide d’un corpus longitudinal, en partant d’un corpus de travail de niveau intermédiaire, car nous postulons de pouvoir tracer la variabilité de la composition de ces chaînes entre différents niveaux scolaires.
Approche par règles ou approche symbolique
Comment pouvons-nous décider si un système est intelligent ?
Depuis plusieurs décennies les chercheurs des différentes disciplines (mathématiques, sciences cognitives, informatique, philosophie…) s’interrogent sur les critères de définition de l’intelligence dans le cas d’un système artificiel. Newell (1990) définit de cette manière l’intelligence d’un système : A system is intelligent to the degree that it approximates a knowledge-level system. La notion d’intelligence est limitée pour Newell au niveau des connaissances ou aux niveaux basés sur les connaissances d’un système. Une manière de pouvoir représenter des connaissances complexes, pour permettre à un système de les manipuler, est sous forme de symboles.
L’approche symbolique a été introduite par Newell et Simons (1976) et décrit l’intelligence artificielle comme le développement de modèles qui utilisent la manipulation de symboles, lisibles par l’humain, pour accomplir une tâche donnée. Ces symboles peuvent être représentés à l’intérieur de structures de données définies (listes, arbres, graphes etc.) qui définissent les liens existants entre les symboles. Ce type de systèmes a été souvent utilisé dans le passé et fonctionne au mieux sur des tâches bien définies pour lesquelles on a à disposition des informations claires. Par exemple, la partie d’échecs de Deep Blue contre Kasparov en 1997 est un exemple très connu d’utilisation d’un système symbolique. Un des avantages importants de ce type de système est l’explicabilité des décisions prises par un système et la transparence des étapes du raisonnement, ce qui n’est pas le cas dans les systèmes de machine learning ou dans les systèmes à base de réseaux de neurones.
L’approche symbolique se concentre sur une définition large d’intelligence et de raisonnements abstraits mais elle peut présenter quelques désavantages. En effet, elle obtient des meilleurs résultats avec des problèmes statiques et elle peut rencontrer des difficultés à s’adapter à la volée à un problème dont les informations lui sont inconnues. De plus, elle est plus difficile à maintenir dans le temps, car elle nécessite d’une maintenance continue dans le cas des données qui évoluent. Les systèmes symboliques présentent en fait souvent des bases de connaissances écrites à la main comme bases de leur fonctionnement, et donc une variation de tâche, des données, ou de système de connaissance implique la nécessité de renouveler ces bases de connaissance. Le renouvellement de bases existantes ou la création de nouvelles ressources est un processus parfois onéreux à mettre en place. Pour conclure cette partie introductive, nous pouvons définir les modèles symboliques comme des modèles où les connaissances à la base du système sont formalisées sous forme de règles, écrites à travers des symboles compréhensibles par l’humain. Nous allons ici présenter deux systèmes symboliques développés pour la résolution de la coréférence : le systèmeArkRef (O’Connor & Heilman, 2013) et, pour le français, l’outil ODACR (Oberle, 2017). Systèmes à base de règles pour la résolution de la coréférence : le logiciel ArkRef ArkRef (O’Connor & Heilman, 2013) est un outil développé principalement entre 2009 et 2010. C’est un outil déterministe à base de règles, qui exploite les informations syntaxiques d’un analyseur en constituants et les informations sémantiques d’une composante de reconnaissance d’entités (O’Connor & Heilman, 2013; The ARKref Noun Phrase Coreference System, s. d.). L’architecture de ce système est largement fondée sur la description d’un outil similaire décrit par Haghighi et Klein (2009). Ce système de résolution de coréférence avait constitué un point de comparaison important à l’époque de sa sortie ; il surpassait alors en performance tous les systèmes supervisés et la majorité des systèmes non supervisés proposés jusqu’à cette date. Le système utilisé était composé d’un module syntaxique qui extrait des paires mentionsantécédents sur la base de règles établies en amont et grâce aux informations d’un parseur. Après avoir éliminé certaines paires sur la base de contraintes déterministes, il effectuait des décisions de compatibilité sur la base d’informations sémantiques. La dernière opération consistait dans l’élimination des antécédents incompatibles et la sélection des antécédents restants de manière à minimiser la distance syntaxique entre antécédent et mention (Haghighi & Klein, 2009; Sukthanker et al., 2020). Ce dernier critère de sélection a été montré comme plus efficace que la sélection d’antécédents sur la base de la simple distance de surface (O’Connor & Heilman, 2013).
Approche neuronale
Les systèmes à base de réseaux de neurones constituent actuellement les systèmes les plus développés et utilisés en TAL. Que ce soit dans les outils off the shelf comme SpaCy (cf. Chapitre 5, 4.2) ou GPT-3 , ou sous forme de logiciel user-friendly qu’on utilise dans la vie de tous les jours, les réseaux de neurones sont omniprésents. Ces systèmes se basent sur une architecture complexe formée par plusieurs couches de neurones interconnectés. Ces « neurones », qui sont une formalisation du neurone au sens neurobiologique, sont inspirés du perceptron de Rosenblatt (1957), un automate utilisé comme classifieur linéaire.
Les avantages de cette architecture sont : la capacité presque infinie d’apprentissage de résolution d’une tâche définie et la bonne capacité de généralisation de l’application du modèle appris sur des données jamais « vues » par le système. Parmi les désavantages de ces systèmes, nous pouvons énumérer entre autres : la nécessité d’une grande quantité de données pour pouvoir obtenir un modèle de langue qui soit exploitable car le système a besoin d’accéder à une masse de données importantes pour pouvoir en dégager des lois et des patterns qui soient assez généraux et applicables sur de nouvelles données ; l’exigence d’avoir à disposition une donnée annotée dans le cas de l’apprentissage supervisé, ce qui se traduit par le besoin de ressources et de corpus annotés à l’aide des méthodes symboliques pour pouvoir apprendre à la machine la tâche souhaitée. Enfin, le raisonnement de ce type de système est appelé « boîte noire » car il est très difficile de comprendre les étapes de raisonnement réalisées par la machine lors de la prise de décision (même si plusieurs recherches se penchent en ce moment sur l’interprétabilité des réseaux de neurones profonds, recherches qui comprennent parfois des TAListes) (Fan et al., 2021; Sun et al., 2021; Zhang et al., 2021).
Les premiers systèmes de ce type pour la résolution des coréférences ont été développés pour la langue anglaise avant d’être appliqués à d’autres langues suite à l’apparition de plus grands corpus dans ces langues. C’est le cas du français où les premiers grands corpus annotés en coréférence sont parus entre 2011 et 2020 (nous citons ici seulement Annodis, Ancor et Democrat, et nous allons revenir sur ce dernier par la suite). Plusieurs outils off the shelf sont actuellement disponibles en TAL : certains d’entre eux se servent d’un système à base de réseaux de neurones sous-jacent, comme l’outil neuralcoref.
|
Table des matières
Partie 1 – La coréférence et les écrits scolaires
CHAPITRE 1. DEFINITIONS DE LA COREFERENCE, ENTRE LINGUISTIQUE ET TRAITEMENT
AUTOMATIQUE DES LANGUES
1. LA COREFERENCE. BREF CADRE THEORIQUE
2. LA COREFERENCE EN TAL
3. L’EVALUATION DE LA RESOLUTION DE COREFERENCE EN TAL
CHAPITRE 2. LES CORPUS SCOLAIRES
1. L’ACCESSIBILITE DES CORPUS
2. LE CORPUS EMA
3. LE PROJET E-CALM ET SES CORPUS
4. LES CORPUS D’ECRITS SCOLAIRES EN ITALIE : LE CORPUS CODISSC
5. EN GUISE DE CONCLUSION SUR LES CORPUS SCOLAIRES
CHAPITRE 3. APPROCHES POUR L’ANNOTATION DES COREFERENCES
1. APPROCHE PAR REGLES OU APPROCHE SYMBOLIQUE
2. APPROCHE NEURONALE
3. LE PROJET DEMOCRAT
4. LE PROJET UD COREFERENCES
CHAPITRE 4. LA COREFERENCE EN DIDACTIQUE : UNE QUESTION DE COHERENCE
1. LA COHERENCE TEXTUELLE A L’ECOLE
2. LA COREFERENCE ET LA CONTINUITE REFERENTIELLE DANS LA RECHERCHE SUR LES ECRITS SCOLAIRES
3. VERS UNE APPROCHE OUTILLEE DE L’ANNOTATION DE LA COREFERENCE
Partie 2 – Modélisation de la coréférence dans le corpus Scoledit : méthodologie et hypothèses de travail
CHAPITRE 5. METHODOLOGIE
1. CHOIX DU CORPUS
2. LE ROLE DE LA NORMALISATION DE L’ECRIT POUR LE TRAITEMENT AUTOMATIQUE ET LES CORPUS D’APPRENANTS
3. STRUCTURE DU CORPUS ET PROBLEMATIQUES DE PRETRAITEMENT
4. MODULE DE PRETRAITEMENT
5. MODELISATION DES MENTIONS NOMINALES ET PRONOMINALES : BREF ETAT DES LIEUX
6. LE MODELE ARKREF – MISE A L’EPREUVE DES CRITERES SYNTAXIQUES DE SELECTION DES ANTECEDENTS
7. OBSERVATIONS FINALES ET HYPOTHESES
8. CONCLUSION – POSER LES BASES DE NOTRE METHODOLOGIE DE TRAVAIL
Partie 3 – Conception d’un outil d’aide à la détection des coréférences pour le corpus Scoledit
CHAPITRE 6. PRESENTATION DE DECORSCOL ET DE SON ARCHITECTURE
1. MODULE D’IDENTIFICATION DES MENTIONS : MODELISATION ET REPRESENTATION DES QUATRE PERSONNAGES
2. MODULE DE SELECTION DES MENTIONS PAR RELATIONS SYNTAXIQUES
3. SELECTION DES PRONOMS ET CLUSTERISATION
Partie 4 – Résultats observés grâce à l’outil
CHAPITRE 7. QUELQUES ANALYSES SUR LES RESULTATS OBTENUS GRACE A DECORSCOL
1. PREMIERE ANALYSE : DETECTION DES MENTIONS ET MISE A L’EPREUVE DU MODELE « SANS SEMANTIQUE »
2. DEUXIEME ANALYSE : LE VERBE PRONOMINAL ET LES FORMULES DE DENOMINATION
3. TROISIEME ANALYSE : VERIFICATION DE PROGRESSION THEMATIQUE A THEME CONSTANT
4. DESCRIPTION DES CHAINES DE COREFERENCE : QUELQUES STATISTIQUES SUR LE CORPUS DE TRAVAIL
CHAPITRE 8. RESULTATS GENERAUX ET CONCLUSIONS SUR LE FONCTIONNEMENT DE L’OUTIL
1. PERSPECTIVES DE TRAVAIL ET AMELIORATIONS A APPORTER A L’OUTIL
Conclusion
Bibliographie
Annexes
Télécharger le rapport complet
