Comment l’expérience influence-t-elle certaines composantes de la « sévérité » de l’évaluation 

Comment l’expérience influence-t-elle certaines composantes de la « sévérité » de l’évaluation 

Introduction

  Dans un précédent travail (Guignet, 2014) j’avais observé la progression des notes données par les enseignants et cherché à mettre en relation leurs caractéristiques (moyenne écart type,distribution) avec le nombre d’années d’expérience dans l’enseignement. J’avais remarqué que les caractéristiques des notes issues des tests de six enseignants révèlent une progression : avec les années de pratique, la moyenne des notes attribuées par les enseignants aurait tendance à baisser pour se stabiliser autour de la valeur seuil de 4. Dans le détail ceci s’opèrerait par la tendance à adopter une distribution soit bimodale, soit normale plutôt qu’une distribution « en J ». Ces tendances étaient alors apparues comme contraires à la notion de progrès selon des apports théoriques récents en matière de recherche surl’évaluation (Dubus, 2006), (Kusch, 1995). L’objectif du présent travail est de mieux comprendre certains aspects : comment et pourquoi ces changements s’opèrent.Une réaction courante à la lecture de mon précédent travail est d’exprimer que le jeune enseignant est moins « sévère » que ses pairs plus expérimentés. Mais qu’est-ce qui peut bien se cacher derrière ce « sévère » ? Est-ce uniquement le choix du barème et l’attribution des points qui fait que le « curseur » déplacé vers le bas, fait du coup baisser les moyennes ? Ou d’autres composantes entrent-elles en jeux ? A l’issue d’une première réflexion j’ai émis l’hypothèse que l’expérience permettrait de mieux percevoir, différencier et donc tester des objectifs de niveaux taxonomiques (Bloom 1956, Anderson & Kratwohl 2001) plus élevés et donc contribuer à augmenter la difficulté effective des tests proposés. Les tests devenant plus difficiles, moins d’élèves les réussiraient et donc on verrait les moyennes baisser et les distributions changer. La principale hypothèse de recherche est : « est-ce que les enseignants plus expérimentés examinent des connaissances de niveau taxonomique plus élevés lors de leurs tests ? » Cette hypothèse a pris forme au fur et à mesure que je me rendais compte combien il est difficile de tester effectivement certains niveaux taxonomiques, comme la compréhension par exemple. En effet il n’est pas rare que certains de mes items choisis à la base pour tester la compréhension ne réussissent pas finalement à tester cette habileté.

Informations en lien avec la taxonomie des habiletés cognitives :

  En premier lieu signalons que tous les enseignants on jugé l’épreuve A comme étant beaucoup plus difficile que l’épreuve B. Tous les enseignants ont détecté que l’épreuve B demandait en majorité de la restitution même si ce terme n’a pas toujours été utilisé, les autres manières de s’exprimer décrivent sans équivoque l’habileté de restitution : Les jeunes enseignants parlent aussi de « par cœur », ou de « juste faire print ».La seconde chose qui ressort de manière flagrante est la tendance, conforme aux constats de Mc Milian (2001, cité dans McMilian 2013) à associer les épreuves de type A avec les meilleurs élèves, soit les représentants de la filière pré gymnasiale, appelés VP ou VSB. A l’inverse l’épreuve B est associée aux moins bons élèves, appelés VG, ou VSO, ou encore 111. Il convient de noter cependant que les enseignants 1 et 2 ont réagi d’emblée assez fortement pour mettre en garde contre l’utilisation des épreuves de type A avec les moins bons élèves. Les arguments sont : pour le premier que les questions ouvertes ne sont pas à la portée de ce type d’élève et donc que leur utilisation, outre poser de gros problèmes à la correction, ne fait qu’introduire de la confusion dans leur esprit (interview 1, ligne 41-45). Pour le second il est nécessaire de mettre en confiance ce type d’élève avec des choses à leur portée, ce spécialement en début d’année, afin d’éviter qu’ils se sentent perdus (interview 2, lignes 12 à 14 ; 40 à 43). Il explique cependant qu’il a régulièrement recours à des questions ouvertes qu’il juge plus intéressantes, mais il dit le faire de façon plus guidée et après avoir posé des questions sécurisantes (lignes 72 à 74). En outre, il veille à ce qu’elles ne représentent pas trop de points dans l’épreuve (partie non transcrite).L’enseignant 5 a spontanément exprimé que l’épreuve B convenait mieux à des élèves de voie générale. Les enseignants 3, 4 et 6 ont exprimé que l’épreuve A était destinée plutôt à des VP et l’épreuve B plutôt à des VG lorsque je leur ai posé la question « a quelle classe ces épreuves sont elles destinées ? « . L’enseignante 7 répond avec des précautions :  » peut-être que A plus pour des VP et épreuve B plus VG  » en justifiant : « car c’est plus guidé. » Ici il est intéressant de noter que pour les jeunes enseignants, le fait de demander à des élèves de niveau plus faible des choses faisant appel à l’analyse n’est pas perçu comme une erreur, tout au plus comme un choix.

Constats

   Tous les enseignants interrogés se sont montrés capables de situer correctement le niveau de difficulté des items proposés par les deux épreuves présentées.Les jeunes enseignants connaissent mieux le concept de taxonomie des habiletés cognitives et sont plus à l’aise avec l’analyse d’objets, surtout du point de vue lexical.Les enseignants expérimentés se basent sur une projection faisant intervenir leur expérience professionnelle pour émettre des jugements de valeur concernant l’utilisation de certains types d’épreuves ou de méthodes.En général les enseignants associent les épreuves utilisant les habiletés cognitives supérieures avec les meilleurs élèves ; les enseignants expérimentés mettent en garde contre l’utilisation de telles épreuves avec les moins bons élèves.L’évolution du contexte scolaire a introduit de nouvelles contraintes qui ont conduit les enseignants les plus expérimentés à changer leurs pratiques en cours de carrière.Ces contraintes agissent aussi sur les jeunes enseignants, qui malgré leur souhait de maintenir des ambitions élevées, notamment en relation avec les notions de pédagogie acquises pendant la formation, se voient contraint de satisfaire aux exigences du système. La recherche à permis d’élaborer un modèle, exposé en p.33, capable d’expliquer la corrélation entre sévérité et expérience détectée dans le précédent travail.

Critique

  En premier lieu il faut signaler un lien discutable entre l’étude précédente qui observait une progression des notes en fonction de l’expérience et la présente étude. En effet comme je n’ai pas travaillé avec les mêmes personnes au cours de ces deux études, et que d’autre part, le lien entre l’expérience et la baisse des notes attribuées n’a pas été évalué cette fois-ci, l’hypothèse que tel est toujours le cas n’est que supposée. Au vu du petit nombre de participants, la signification statistique de ces résultats est faible. Je pense cependant que les déductions opérées ont un sens, sens qui a été vérifié à chaque étape du raisonnement. Le modèle proposé, s’il n’a pas la prétention de constituer une règle universelle, n’en est pas moins un outil explicatif intéressant, intégrant de façon cohérente de nombreux facteurs. En second lieu il faut relever la faiblesse de l’hypothèse de travail selon laquelle les enseignants qui sont le plus à l’aise avec l’analyse d’objets sont ceux qui ont la meilleure capacité à mettre effectivement en œuvre des stratégies pour vérifier des habiletés cognitives de niveau taxonomique élevé. L’enseignant 2 est du reste venu mettre cette hypothèse en défaut. Au moment d’opérer les choix méthodologiques, cette hypothèse paraissait raisonnable. D’autres indicateurs ont finalement permis à ce travail de progresser. Pour observer avec plus de certitude quel niveau taxonomique l’enseignant évalue, il faudrait avoir accès : d’une part à des épreuves corrigées et d’autre part, connaître le contenu du cours. En effet il est apparu au cours de ce travail qu’il est difficile de distinguer les différents niveaux taxonomiques sans considérer le processus d’apprentissage et d’évaluation dans son ensemble :
Ce dernier comprend aussi, avant les épreuves d’évaluation :
– Les objectifs d’apprentissages préalablement déclarés aux élèves.
– Le contenu et la forme du cours donné.
– Les méthodes d’entrainements et exercices pratiqués.
– Les méthodes d’attribution de points pratiquées.
Les résultats portant sur les méthodes de fabrication des notes et comprenant la dotation, les critères d’attribution des points et les barèmes n’ont pas pu être exploités tant leur diversité rendait la comparaison compliquée.

Conclusion

  Pour expliquer la tendance à la baisse des notes attribuées par les enseignants au fur et à mesure qu’augmente leur expérience, j’ai cherché à voir dans quelle mesure ceci était attribuable à une augmentation de la difficulté des questions posées lors des épreuves d’évaluation. En particulier, j’ai émis la noble hypothèse que les enseignants plus expérimentés examinent des connaissances de niveau taxonomique plus élevé, car ils en deviendraient plus capables.Après avoir mené des entrevues basées sur l’observation et la discussion d’épreuves d’évaluations fortement typées sur un sujet du domaine des sciences de la nature, j’ai cherché les éléments caractérisant dans le discours d’enseignants de cette branche. L’analyse de ce discours et l’étude des intentions de six enseignants du canton de Vaud possédant des degrés d’expériences variés a montré des tendances inverses à l’hypothèse de départ : d’une part les enseignants peu expérimentés sont à l’aise avec les différents niveaux taxonomiques et se montrent entreprenant pour utiliser et créer des épreuves ayant le potentiel de les tester,d’autre part certains enseignants renoncent avec l’expérience à tester des capacités de niveau taxonomique élevé. Les raisons de cette évolution sont les difficultés que représentent la mise en place et surtout la défense d’un système capable de transmettre et d’évaluer de tels savoirs.Il s’agit donc d’une question de choix plus que de capacité.L’observation fine d’autres facteurs impliqués et perceptibles lors des entretiens conduit à penser que c’est avant tout la gestion du facteur risque qui est déterminante dans l’évolution des choix qu’opèrent les enseignants. Ce qui change avec l’expérience, c’est d’abord que le risque est géré de façon différente : en début de carrière, les enseignants acceptent une prise de risque modérée pour rester proche de leurs valeurs et convictions. L’augmentation de la moyenne des notes attribuées par les débutants apparait d’ailleurs ici comme un moyen de limiter temporairement ce risque. Avec l’expérience les enseignants écartent le risque autant que faire se peut. Dans cette optique, l’utilisation d’épreuves vérifiant principalement la restitution de faits est un moyen économique de minimiser les risques : la cohérence de telles épreuves est facile à établir et à percevoir pour tous les acteurs du système et cette manière de procéder permet d’être facilement « sévère ». Un moyen adopté par d’autres consiste à élaborer, petit à petit, un système complexe et cohérent, avec la stratégie de défense associée. A la lumière de cet exposé se dessine un challenge de taille pour les Hautes 

Table des matières

Introduction
Méthodologie
Cadre théorique
Données
Analyse des données
Analyse et présentation des épreuves retenues :
Analyse des entretiens avec les collègues
Constats
Critique
Conclusion
Annexes
Bibliographie :
Annexe1 : épreuve A
Annexe 2 : épreuve B
Annexe 3 : Questionnaire d’entretien
Résumé :
Mots clés

Télécharger le rapport complet