Technologies et évaluation formative dans les amphithéâtres 

Télécharger le fichier pdf d’un mémoire de fin d’études

Problématique de recherche et contributions

Les questions de recherche

L’enseignement dispensé à un groupe composé d’une quarantaine d’individus ou plus est toujours d’actualité dans l’enseignement supérieur car il est un des dispositifs les moins coûteux et donc un des dispositifs les plus soutenables à très grande échelle. La question de l’amélioration et de l’adaptation de la pratique d’enseignement dans un tel cadre pour le nouveau public présent dans l’enseignement supérieur est au cœur de notre recherche.
Les systèmes de votes interactifs (SVI) font l’objet d’un grand nombre d’études (Caldwell, 2007; Kay et LeSage, 2009) démontrant les bénéfices de leur utilisation. Les SVI maximisent l’engagement des étudiants (Gauci et al., 2009; Uhari et al., 2003), et les résultats présentés sous forme d’histogrammes donnent à l’enseignant l’opportunité de déclencher et d’arbitrer des discussions constructives entre les étudiants (Gauci et al., 2009). En synthèse, les SVI apparaissent comme un moyen d’introduire de l’évaluation formative dans les amphithéâtres (Kay et LeSage, 2009). Les modalités d’évaluations formatives proposées par les SVI sont cependant limitées par le faible niveau d’interaction autorisé par ces dispositifs : les questions posées à l’aide des SVI ne tolèrent pas de réponses saisies sous forme de texte libre, et les productions écrites ne peuvent donc pas être évaluées dans les processus induits par l’utilisation des SVI. Les contraintes sur les types d’interaction impactent directement la nature des feedbacks fournis par les SVI qui se cantonnent à des indicateurs numériques.
L’apparition dans les amphithéâtres de dispositifs équipés de claviers et connectés à Internet a rendu de nouvelles interactions possibles : les étudiants peuvent utiliser leur smartphone, leur tablette ou ordinateur portable pour échanger ou partager des documents ou messages textuels. Ces nouvelles possibilités ont ouvert la porte à de nouveaux usages dans les amphithéâtres tels que la prise de notes collaborative (Kam et al., 2005) ou le microblogging (Ebner, 2009). Ces usages conduisent à des bénéfices importants pour les étudiants qui peuvent ainsi recevoir des feedbacks produits par les pairs exprimés sous forme textuelle.
Il semble donc possible de tirer partie des fonctionnalités offertes par ces systèmes d’échange et de partage de textes pour dépasser les limites des SVI actuels et concevoir un système d’évaluation formative enrichi utilisable dans les amphithéâtres d’universités. Nos questions de recherche peuvent donc être formulées ainsi :
1. Comment enrichir la mise en œuvre d’évaluations formatives dans le contexte d’un cours en face à face dispensé à un grand nombre d’étudiants ?
2. Comment susciter l’engagement du plus grand nombre d’étudiants dans les activités relatives à ces évaluations formatives ?

La définition du concept d’évaluation d’audience

L’introduction de ce nouveau concept et la description des principaux processus qui le caractérisent permettent de définir de manière claire et précise le périmètre de nos recherches, et offre un cadre plus large pour de recherches futures. Notre système cible enrichissant la mise en œuvre de l’évaluation formative dans le contexte des cours en face à face peut être qualifié de « système d’évaluation d’audience ».

La modélisation standardisée des processus d’évaluation d’audience

Afin de faciliter la lecture, la compréhension et les échanges au sein de la communauté des acteurs concernés par l’évaluation d’audience, nous avons modélisé les processus les plus représentatifs ainsi que le processus en N phases à l’aide du langage standard BPMN 2.0 spécifié par l’Object Management Group 8.

La spécification d’un nouveau processus d’évaluation d’audience

L’enrichissement de la mise en œuvre d’évaluations d’audience a nécessité la conception d’un nouveau processus baptisé « processus en N phases ». Celui-ci, en introduisant le support de nouvelles activités et stratégies caractéristiques de l’évaluation formative, représente la clé de voûte des moyens mis en œuvre pour lever les verrous identifiés.

La conception et la mise en œuvre d’un système d’évaluation d’audience

Le système Tsaap-Notes conçu et développé au cours de nos travaux est un système d’évaluation d’audience implantant le processus en N phases. Tsaap-Notes enrichit de fait la mise en œuvre de l’évaluation formative par rapport aux systèmes existants. Il parvient également à engager la très grande majorité des étudiants qui assistent aux cours utilisant le système.

Évaluation formative vs Évaluation sommative

Sadler (1989) définit l’évaluation formative comme évaluation qui s’intéresse à l’utilisation des évaluations des réponses des étudiants (performances, essais, devoirs) pour façonner et améliorer les compétences des étudiants en court-circuitant le caractère hasardeux et inefficace d’un apprentissage reposant uniquement sur une approche « essai-erreur ».
De manière plus synthétique, dans son projet pour une approche pragmatique de l’évaluation formative (Perrenoud, 1989), Perrenoud définit l’évaluation formative ainsi :
« Est formative toute évaluation qui aide l’élève à apprendre et à se développer, autrement dit, qui participe à la régulation des apprentissages et du développement dans le sens d’un projet éducatif. »
Les évaluations formatives se distinguent des évaluations sommatives ayant pour objectif la mesure du niveau d’atteinte par les étudiants des objectifs d’un programme scolaire (Bloom, 1971). Les évaluations sommatives permettent, à la fin d’une unité d’instruction, de comparer le niveau de l’étudiant à un niveau de référence attendu (Eberly Center, 2015) en vue de l’éventuelle délivrance d’une certification (Sadler, 1989). Wiliam (2007) introduit les expressions « évaluation pour l’apprentissage » et « évaluation de l’apprentissage » 2 pour distinguer respectivement.
Plus récemment, Eberly Center (2015) définit l’évaluation formative de la manière suivante : « L’objectif des évaluations formatives est de mesurer le niveau d’apprentissage des étudiants pour fournir un feedback qui peut être utilisé par les enseignants pour améliorer leur enseignement et par les étudiants pour améliorer leur apprentissage. De manière plus spécifique, les évaluations formatives :
— aident les étudiants à identifier leur force et leur faiblesse et à cibler les sujets qui nécessitent plus de travail ;
— aident les enseignants à reconnaître les difficultés des étudiants et à adresser les problèmes immédiatement. »
Cette définition explicite le rôle clé joué par le concept de feedback au cœur de l’évaluation formative, et corrobore l’idée que les concepts de feedback et d’évaluation formative se chevauchent fortement (Black et Wiliam, 1998).

Indicateurs numériques vs commentaires textuels

Plusieurs études (Black et Wiliam, 1998; Crooks, 1988; Butler, 1987) démontrent l’efficacité supérieure d’un feedback exprimé sous la forme de commentaires textuels par rapport à un feedback exprimé sous la forme d’un indicateur numérique (note chiffrée, score, pourcentage, échelle de Lickert). Butler (1987) indique que les scores peuvent augmenter l’engagement des étudiants mais qu’ils n’améliorent pas leurs performances. Dans cette même étude, Butler montre que les feedbacks fournis sous forme textuelle uniquement ont conduit à des gains de performance, contrairement aux feedbacks fournis sous forme de scores uniquement ou sous forme de scores avec commentaires textuels.
Cette distinction dans la nature des feedbacks exprimés apparaît donc comme un critère discriminant dans les manières de mettre en œuvre l’évaluation formative.

Les conditions d’un feedback efficace

Sadler (1989) identifie trois conditions nécessaires pour que les étudiants tirent un bénéfice d’un feedback dans le contexte d’une tâche d’apprentissage ; il déclare qu’un étudiant doit connaître :
1. ce qu’est une bonne performance (i.e. il doit posséder le concept de l’objectif ou de la norme à atteindre) ;
2. comment se positionne sa performance actuelle par rapport à la bonne performance ;
3. comment agir pour réduire l’écart entre sa performance actuelle et la bonne performance.
Sadler pointe alors le fait que les étudiants doivent être capables d’interpréter le feedback et de faire la connection entre le feedback reçu et les caractéristiques du travail qu’ils ont produit. Il indique que la condition indispensable pour qu’il y ait progrès est que les étudiants arrivent à apprécier la qualité de leur travail à peu près comme un enseignant est capable de le faire – capacité d’auto-évaluation
– et qu’ils soient capables de réguler en continu la qualité de ce qu’ils produisent au moment même où ils produisent. Sadler définit la combinaison de ces capacités comme la capacité d’auto-régulation. L’auto-régulation apparaît donc comme partie intégrante de l’évaluation formative.

L’auto-régulation

Sadler (1989) met en lumière les liens étroits entre feedback et auto-régulation : dans le cadre d’une évaluation formative, quand l’information provient d’un agent extérieur, il s’agit d’un feedback ; quand il s’agit d’une information générée par l’étudiant, il s’agit d’une auto-régulation. Les études postérieures à Sadler (1989) désignent cette information générée par l’étudiant par l’expression feedback interne et définissent de manière plus formelle le processus d’auto-régulation (Butler et Winne, 1995; Nicol et Macfarlane-Dick, 2006).
La Figure 2 illustre le modèle d’apprentissage auto-régulé proposé par Nicol et Macfarlane-Dick (2006). Le système cognitif de l’apprenant dans le contexte d’un apprentissage auto-régulé est composé d’un ensemble de connaissances et de croyances. Ce lot de connaissances et de croyances, couplé à l’activité d’auto-régulation, permet à l’étudiant d’établir des objectifs relatifs à une tâche à accomplir, de définir les stratégies et tactiques pour atteindre ces objectifs, et finalement de produire un résultat observable par l’extérieur. Ce résultat fait l’objet d’une mesure de performance externe menant à la fourniture d’un feedback externe relatif à la tâche à accomplir. Ce feedback, pouvant être fourni par l’enseignant, par un pair ou par tout autre dispositif (comme un ordinateur), modifie le lot de connaissances et de croyances de l’apprenant conduisant à un nouveau cycle de définition d’objectifs, de stratégies et de productions jusqu’à l’atteinte de la performance attendue. Dans ce modèle, le feedback interne intervient à différents niveaux. Il est généré d’une part en réaction au feedback externe, condition indispensable pour que le feedback externe ait une influence sur l’apprentissage (Ivanic et al., 2000) et d’autre part durant le processus d’auto-régulation pendant lequel l’étudiant compare l’avancement de son travail (résultats internes) au regard des objectifs qu’il s’est fixé.
Nicol et Macfarlane-Dick (2006), s’inspirant en partie des conditions énoncées dans Sadler (1989), proposent dans leur étude sept principes incarnant des bonnes pratiques permettant de faciliter l’auto-régulation :
1. clarifier ce qu’est une bonne performance ;
2. faciliter le développement de l’auto-évaluation (réflexion) dans l’apprentissage .

Auto-évaluation et évaluation par les pairs

L’engagement des étudiants dans la pratique de l’évaluation peut prendre la forme de l’auto-évaluation, de l’évaluation par les pairs et de la co-évaluation (Falchikov, 1995). La co-évaluation laissant à l’enseignant l’autorité sur l’évaluation finale est en général pratiquée dans le contexte des évaluations sommatives (Dochy et al., 1999), alors que l’auto-évaluation et l’évaluation par les pairs sont en général sollicitées dans le contexte de l’évaluation formative.

Auto-évaluation

Dans leur revue de 1999, Dochy et al. (1999) définissent l’auto-évaluation comme l’engagement des apprenants à émettre des jugements sur leur propre apprentissage, particulièrement sur leurs productions et sur les résultats de leur apprentissage. L’auto-évaluation est un moyen d’augmenter la participation des étudiants dans leur propre apprentissage (Boud, 2013). Dochy et al. confirment que les auto-évaluations sont principalement utilisées dans le contexte des évaluations formatives afin de favoriser la réflexion des étudiants sur leur propre processus et résultats d’apprentissage. La revue (Dochy et al., 1999) indique que les étudiants sont globalement capables de fournir des évaluations sur leurs productions très similaires aux évaluations proposées par les enseignants. Cependant l’étude pointe l’influence de certains caractères individuels : les meilleurs étudiants ont tendance à sous-évaluer leur production alors que les étudiants plus faibles ont tendance à sur-évaluer leur production. La qualité des prédictions de performances augmente avec le niveau de formation.

Évaluation par les pairs

Dans la revue Topping (1998), l’évaluation par les pairs est définie comme le procédé dans lequel des individus évaluent la quantité, le niveau, la valeur, la qualité ou le succès des productions ou des résultats d’apprentissages de pairs de statuts similaires. Cette définition permet d’exclure les pratiques consistant à rémunérer des étudiants d’un niveau supérieur pour l’évaluation d’étudiants d’un niveau inférieur.
L’étude de 31 publications sur l’évaluation par les pairs (Topping, 1998) indique que pour 18 études, l’évaluation par les pairs s’avère suffisamment fiable et valide ; seulement 7 études ont conclu à un niveau de fiabilité et de validité très faible. Dans tous les cas, Devenney (1989) pointe le fait que la fonction d’évaluation formative portée par l’évaluation par les pairs ne nécessite pas forcément un haut niveau de fiabilité.
En terme d’efficacité, la revue de la littérature de Topping (1998) permet de conclure sur le fait que la simple utilisation de feedbacks quantitatifs (notes chiffrées données à l’aide d’échelles de Lickert) suffit à obtenir des effets positifs sur l’apprentissage tant en terme d’amélioration des résultats aux tests sommatifs qu’en terme de perception subjective des participants. Topping (1998) relève néanmoins le manque d’étude prenant en compte les feedback qualitatifs (commentaires textuels) émis par les pairs.
Notons que ce dernier constat exprimé par Topping peut paraître en contradiction avec les résultats présentés dans le paragraphe 2.3.2. Les gains d’apprentissage présentés par Topping sont observés dans le contexte particulier de l’évaluation par les pairs où les apprenants sont mis en situation d’évaluateurs. Il semble donc que cette position d’évaluateur, plus que le type de feedback émis, permet de rendre compte des gains observés.

Synthèse : éléments de la théorie de l’évaluation formative

Dans la continuité de leur travaux sur plus de deux décennies portant sur l’évaluation formative, Black et Wiliam (2009) proposent une base théorique unifiée de l’évaluation formative. Ce travail conduit à la proposition d’un cadre théorique de l’évaluation formative s’appuyant sur une nouvelle définition.

Nouvelle définition de l’évaluation formative

La définition proposée par Black et Wiliam (2009) met en avant divers aspects de l’évaluation formative déjà présents dans les précédentes définitions mais apportent de nouvelles précisions. Ces nouveaux éléments s’avèrent précieux d’une part pour la constitution d’un cadre théorique de l’évaluation formative, et d’autre part pour sa mise en œuvre concrète.
« Une pratique dans une classe relève de l’évaluation formative quand des preuves concernant le niveau de succès 3 des étudiants sont élicitées, interprétées et utilisées par les enseignants, les apprenants, ou leurs pairs, pour prendre des décisions sur les prochaines étapes d’instruction qui seront probablement meilleures, ou davantage fondées que des décisions qui auraient été prises en l’absence des preuves élicitées. »
Comme cela était déjà sous-tendu dans les précédentes définitions de l’évaluation formative, les preuves collectées doivent être utilisées en terme de prises de décisions concrètes pour qu’il y ait évaluation formative. Le fait que la prise de décision ne soit pas l’apanage de l’enseignant est clairement explicité en mettant en avant le rôle de l’apprenant mais aussi de ses pairs dans ce champ de responsabilité. Cette définition introduit aussi la notion d’incertitude sur les résultats obtenus en utilisant l’adverbe « probablement » comme complément de l’adjectif « meilleur ». Les auteurs insistent sur ce parti pris en rappelant que les interventions les mieux conçues ne mènent pas toujours tous les étudiants à un meilleur apprentissage. Enfin, l’idée que les preuves collectées permettent de prendre des décisions « probablement meilleures » ou « davantage fondées » prend en compte les cas où les informations collectées remettent en question une stratégie d’enseignement ou d’apprentissage, mais aussi les cas où ces informations confortent la stratégie initiale.
Dans la suite du document, l’expression « évaluation formative » fera référence à cette nouvelle définition proposée par Black et Wiliam (2009).

Activités de référence pour l’évaluation formative

Le point de départ du modèle de Black et Wiliam (2009) est la synthèse de travaux antérieurs (Wiliam, 2000, 2007; Black et al., 2003) menant à l’identification de cinq activités pratiquées dans les classes pour la mise en œuvre de l’évaluation formative :
— le partage des critères de succès avec les apprenants (A1) ;
— le questionnement à la classe (A2) ;
— l’évaluation sous forme de commentaires plutôt qu’à l’aide de notes chiffrées (A3) ;
— l’auto-évaluation et évaluation par les pairs (A4) ;
— l’utilisation de tests sommatifs en vue d’usage formatif (A5).
Dans la suite du document, nous désignerons ces cinq activités comme les « activités de référence » de l’évaluation formative.
Bien que ces activités de référence apparaissent liées à l’idée centrale d’évaluation formative, la manière précise dont elles sont liées n’est pas clairement définie ; de plus, il est difficile d’affirmer que ces activités suffisent à couvrir la totalité du champ de l’évaluation formative (Black et Wiliam, 2009). Le modèle théorique présenté dans le paragraphe suivant vise à dissiper ces imprécisions et incertitudes.

Table des matières

Introduction
1 Introduction 
1.1 Cadre scientifique
1.2 Contexte
1.3 Problématique de recherche et contributions
1.4 Organisation du mémoire
I État de l’art 
2 L’évaluation formative 
2.1 Introduction
2.2 Évaluation formative vs Évaluation sommative
2.3 Le feedback
2.4 L’auto-régulation
2.5 Auto-évaluation et évaluation par les pairs
2.6 Synthèse : éléments de la théorie de l’évaluation formative
2.7 Conclusion
3 Technologies et évaluation formative dans les amphithéâtres 
3.1 Introduction
3.2 La méthode d’analyse
3.3 Les Systèmes de votes interactifs
3.4 Les systèmes d’échanges et de partages de textes
3.5 Synthèse de l’étude
3.6 Les verrous identifiés
3.7 Conclusion
II Système d’évaluation d’audience 
4 Modélisation standardisée de processus d’évaluation d’audience 
4.1 Introduction
4.2 Définitions
4.3 Besoin d’un langage commun pour la description des processus
4.4 BPMN, une notation standard pour la description formelle de processus
4.5 Modèles de processus caractérisant un cours en face-à-face
4.6 Modèles de processus d’évaluation d’audience supportés par les SVI
4.7 Le processus d’évaluation d’audience en N phases
4.8 Conclusion
5 Conception et mise en oeuvre du SEA Tsaap-Notes
5.1 Introduction
5.2 Choix d’architecture technique
5.3 Itération 1 – SVI, micro-blogging et prise de notes collaborative : Tsaap-Notes
5.4 Itération 2 – La génération semi-automatique de tests de révisions
5.5 Itération 3 – Le SEA Tsaap
5.6 Conclusion
III Expérimentations 
6 Contexte général des expérimentations 
6.1 Contexte humain
6.2 Contexte technique
6.3 Validité des expérimentations
7 Les résultats d’expérimentations 
7.1 Expérimentation suite à l’itération 1
7.2 Expérimentation suite à l’itération 2
7.3 Expérimentation suite à l’itération 3
7.4 Conclusion
Conclusion et perspectives de recherches
8 Conclusion et perspectives de recherche 
8.1 Les contributions
8.2 Perspectives de recherche
Bibliographie 

Télécharger le rapport complet