Changements aux processus & communautés d’apprentissage professionnel

Amélioration professionnelle

Définition du projet et de ses objectifs

Fruit de la présente évaluation, la définition du projet a déjà été abordée à la section 1 CONTEXTE, ainsi qu’à la section 1.2 Raison d’être et stratégie du projet EBP, avec son TABLEAU 1 sur les différentes perceptions de l’étendue du projet. Certains lecteurs auraient mal reçu l’absence d’une description le plus tôt possible de ce dont il s’agit. En effet, un projet est généralement défini avant son évaluation. Mais ici, nous le rappelons encore une fois, c’est l’évaluation qui a cherché à le définir.

Perception et visions variées sur le projet

Nous retenons que la vision des objectifs du projet EBP soit donc variable d’une personne à l’autre.
 Un moyen d’opérer des changements de pratiques, en percolant vers le bas, avec le temps, sans chercher à les mesurer ;  La mesure des résultats de mesures communes pour comparer les pratiques (opinion d’une seule personne !) ;  Une opportunité d’apprendre pour sortir de la routine ;  Un processus d’amélioration professionnel visant, entre autres, une augmentation de la rigueur et une auto-évaluation des pratiques ;  Une communauté de pratiques au niveau des CS ;  Instituer des communautés de pratiques au niveau des écoles (Financement pour libérer les enseignants vers leur communauté de pratique) ;  A ses débuts, le projet s’est impliqué plus au niveau de la formation à l’utilisation des données et des processus associés aux données (Data Literacy). Une fois les intervenants formés, le projet s’est tourné plus vers les pratiques pédagogiques et le support à tous les niveaux du réseau, dans les démarches d’analyse, de gestion stratégique et de communautés de pratiques, parfois touchant des enseignants, mais pas tous. L’ampleur de la couverture du réseau par les pratiques est inconnue.
Le projet EBP, dans sa volonté d’injecter une culture EB, semble donc pertinent dans sa stratégie générale, puis qu’il est notoire qu’une culture ne se change qu’avec le temps, ainsi qu’avec les initiatives individuelles des intervenants à tous les niveaux. Il est cependant pratiquement certain que l’absence d’un cadre d’évaluation aura ralenti l’efficacité du projet à de nombreux niveaux.

 Les réalisations

Le projet a cherché à transférer différentes compétences à tous les niveaux des CS, particulièrement aux conseillers pédagogiques, dans le but d’atteindre les enseignants, pour ultimement avoir un effet sur les résultats des élèves. Ces compétences concordent avec les nouvelles responsabilités des CS que sont : la mise en œuvre des Plans d’engagements vers la réussite avec le Ministère, la mise en œuvre de la gestion axée sur les résultats, ainsi qu’instaurer une culture de prise de décisions fondées sur des données probantes. Outre les rencontres du LDT31, les gestionnaires ont bénéficié en continu d’un support, lors d’exercices administratifs en matière d’analyse de données, d’élaboration de plans stratégiques et de plans d’action. Le projet a aussi permis de financer la libération d’enseignants, leur permettant de participer à des périodes de formation et d’analyse de données axées sur des projets locaux. Enfin, le projet aura contribué à l’amélioration professionnelle au niveau des gestionnaires des CS. Certains répondants rapportent des améliorations des résultats scolaires des élèves, mais reconnaissant un problème d’attribution, considérant quand même que le projet ait certainement contribué à ces résultats. Sur une base d’importance structurelle, le projet a contribué à faire évoluer les compétences nécessaires à l’opérationnalisation des objectifs, conformément aux « attentes et au plan de réussite du ministère, aux plans stratégiques des commissions scolaires, aux directions (organes administratifs) et plans des départements », de même que selon la gestion par résultats, imposée par la Loi sur l’administration publique ;
«C’est généralisé, on doit travailler, c’est plus, on travaille plus comme n’importe comment là, (…) En tous cas, c’était moins solide. Est-ce que c’est seulement l’EB qui a cet impact-là ? Non ! » (entrevue)
Pour une certain pourcentage d’intervenants (pourcentage inconnu), que ce soit de façon directe ou indirecte, le projet semble effectivement avoir fait avancer la cause de l’utilisation des résultats de recherches en pédagogie ou en amélioration professionnelle, ou du moins, aura contribué à un début de révolution, à des niveaux variables, chez différents types d’intervenants. Selon tous les répondants, le projet :  A généré de nombreux avantages valables ;  A généré une évolution des pratiques ; bien que celle-ci soit encore en phases de maturation et de matérialisation ;  Aurait des implantations de pratiques qui auraient débuté ou seraient en voie de l’être ;

Effets du projet – Amélioration professionnelle

Avantages d’amélioration professionnelle soutenus en partie par le projet EBP Augmentation des compétences des CS et écoles, pour opérationnaliser les directives du plan d’éducation ministériel, à partir d’initiatives locales. Plus d’un a mentionné qu’il avait obtenu son poste de direction par les compétences acquises par le projet EBP.
Support pour l’analyse stratégique et les plans d’action
Lire des textes, appliquer de nouvelles informations générales, exercices de modélisation
«Les premières années (…) formation à l’analyse de données et au processus Evidence Based.»
«apprendre les protocoles de la recherche-action»
«l’amélioration professionnelle des conseillers pédagogiques»
Conseillers pédagogiques comme leaders dans leurs CS
Amélioration professionnelle de certains gestionnaires des CS et des écoles
Sortir de l’environnement de travail régulier, partage en groupe, moment propice à la réflexion, opportunité d’apprentissage
«Nous faire avancer sur des concepts liés à la recherche, puis après ça, de nous donner du temps pour un après-midi, pour appliquer ces concepts-là à l’intérieur notre modèle à nous. (…) les lectures qu’on a faites, appliquez-les à votre projet, comment, et puis, ils nous donnent du temps pour faire avancer notre projet, sur place, avec les accompagnateurs qui sont là. Ça c’est une amélioration»
Des guides de formation et de procédures
Plus de lectures sur les pratiques par les intervenants : Des livres distribués et lus par les membres du LDT, qu’ils n’auraient vraisemblablement pas lus autrement : «Some books were also made available to the committee. So, then there’s the understanding or the.., maybe the expectation that, then, you’ll go back home, to your board, and continue.

Effets du projet – Changements de mentalités

Le projet semble avoir inculqué plus de rigueur, un nouveau vocabulaire et une augmentation du réflexe – tant dans les pratiques que dans le discours – d’analyser des données pour soutenir des constats parfois intuitifs ou des hypothèses, pour demander des ressources ou pour prioriser leur utilisation. La mesure des effets de nouvelles pratiques (suite au constat d’un problème), semble encore très faible (conclusions tirées des entrevues, sans précision). Nous pensons que la façon de s’exprimer et le contenu des propos des répondants sont des éléments probants de l’état de la situation, par rapport à l’absence du vocabulaire et des pratiques qui avaient possiblement cour, il y a neuf ans (hypothèse non vérifiée). Voici des avantages de changements de mentalités rapportés par les répondants (TABLEAU 5) :
Avantages de changements de mentalité soutenus en partie par le projet EBP
Les intervenants pensent plus en termes de données plutôt qu’en termes d’impressions ; ils sont plus rigoureux dans leurs tâches et leurs réflexions
Inculquer des notions comme : des buts, des indicateurs SMART32, la gestion de projets, comment suivre des indicateurs, etc.
«L’ensemble des personnes qui participent à EBP travaillent avec plus de rigueur après, parce que ça force à utiliser les données, puis à réfléchir sur qu’est-ce qu’une bonne donnée.»

Changements vers une mentalité analytique qui percole, avec le temps, vers la base (les enseignants): évolution vers une réflexion plus autonome et continue;
Davantage d’analyse ; plus rigoureux
Compétences à tous les niveaux en gestion par résultats (décisions fondées sur les données)
«Se questionner sur nos pratiques» «Les intervenants posent des questions différentes»
Certains commencent à regarder au-delà des résultats académiques, donc aussi les facteurs de risques, facteurs protecteurs, pour le succès des élèves
«Quand il y a des présentations, les gens vont dire, ils vont vulgariser (…) : ‘’vous travaillez avec quelles données, on ne peut pas partir de perception, exemple, climat scolaire, il me semble que les gens ne s’entendent pas ici. OK, où est-ce que tu es allé prendre cette perception-là ? -Ah OK ! Dans TELL THEM FOR ME tu as une question qui dit (…) OK, ça c’est une perception d’accord, mais, quelles données vous avez pour dire ça?’’ Cela fait qu’on voit de plus en plus l’utilisation d’EB ou Data Driven Research, on entend beaucoup… »

Effets du projet – Effet d‘entraînement

Les répondants ont donc une certaine compréhension et une façon de penser de la gestion axée sur les résultats, qui serait potentiellement attribuable à leur implication dans le projet. La présence de ces éléments ne permet cependant pas d’identifier la source de ces changements. Cela est potentiellement dû, en partie, au présent projet, mais aussi à d’autres initiatives. Entre autres et principalement par les rencontres LDT (Lead Data Team, 3-4 fois par an) et l’implantation de communautés d’apprentissage professionnel, même parfois au niveau des écoles, le projet, où il fut plus implanté ou auprès des personnes qui s’y sont impliquées, semble avoir eu un effet d’entraînement et de motivation. Nous ne pouvons cependant identifier l’ampleur de cet effet auprès des intervenant touchés indirectement – s’ils l’ont été – ni encore moins au niveau des enseignants ou des élèves (les contraintes d’évaluation ne permettaient pas d’aller voir plus loin qu’auprès d’intervenants des commissions scolaires). Voici des effets d’entraînements générés par les LDT rapportés par les répondants (TABLEAU 6) :
TABLEAU 6 – Effets d’entraînements des LDT (rencontres du Lead Data Team)
«On doit rapporter au fur à mesure ce qu’on apprend. On doit rapporter à l’ensemble de EBP, à intervalles réguliers (…) présenter ce qu’on fait, puis dire (…) où est-ce qu’on est rendu, nos données c’était ça, on a absorbé telle chose. »
«Travailler ensemble, en dehors de leurs tâches quotidiennes, pour vraiment mener à bien leurs projets de recherche puis, justement, faire du perfectionnement continu, pour arriver à avancer»
«Incidence sur les élèves, les équipes-écoles, je pense que oui, parce que malgré que ça devrait être longitudinal, on voit quand même que les gens dans le projet, améliorent leurs pratiques, ils travaillent avec plus de rigueur. Est-ce qu’on voit une amélioration de leurs pratiques des jeunes dans le EBP: oui ! Est-ce que ça a eu un impact sur les collègues autour ? Pas certain ! »33
«Présenter aux autres groupes ce que nous on fait, donc de faire un lien entre la théorie qui a été apprise et notre pratique pédagogique à l’intérieur du projet que nous on a choisi de mener»
«Que les Équipes-écoles se sentent accompagnées»
Pouvoir libérer les équipes-écoles de leurs tâches quotidiennes, pour justement travailler à la mise en œuvre de ce qu’on leur apprend

Effets du projet – Changements aux processus & communautés d’apprentissage professionnel Pratiquement tous les répondants ont utilisé le support offert par la coordonnatrice et son assistante, entre les séminaires ou au niveau des gestionnaires. Ils disent l’avoir fortement apprécié, comme le fait qu’une personne externe soit intéressée à ce qui se passe à l’interne, ou qu’elle les accompagne dans leurs besoins, en ajoutant de la rigueur. Le projet aurait donc eu un effet sur différents processus et l’implication des personnes, soit : le « travailler ensemble », le « comment travailler ensemble », les choix, ainsi que les processus décisionnels. Le TABLEAU 7 énumère des changements rapportés par les répondants
• Échanges et comparaisons de pratiques, dont du coaching mutuel ; • Échanges et comparaisons de résultats
Mise en œuvre de projets auprès ET PAR les équipes écoles : Participer aux travaux de planification de l’accompagnement des équipes-écoles ou de l’équipe d’un projet
Implication des professeurs Ajuster l’intervention auprès des équipes-écoles
De la formation Accompagnement personnalisé
Faire des choix de pratiques Google Hangout de partage des projets
• Focaliser la démarche • Mieux cibler l’objectif de recherche
• Étudier des données • Choix des données
Dynamiser l’approche Bottom-Up des CS et des écoles anglophones

Effets du projet – Projets & implantations de pratiques spécifiques Le projet, au début axé plus sur l’analytique, a quand-même suivi la demande de soutien générée par les pratiques pédagogiques en vogue. Les dernières années ont donc été plus axées sur des pratiques pédagogiques. Le TABLEAU 8 (page suivante) énumère des projets spécifiques soutenus en partie par le projet EBP.

Projets spécifiques soutenus en partie du projet EBP Le sondage TELL THEM FOR ME qui se fait dans les écoles pour l’intimidation Utilisation des données de l’enquête de l’EQDM (élèves en maternelle) (voir réf. biblio.) Évaluation & amélioration du climat scolaire Utilisation des données de l’enquête TOPO (élèves 6e année de Montréal) (voir réf. biblio.)
Visible Learning, Formative/Summative Assessment
De nombreux sujets de formation (pertinence et utilisation non évaluées)
Évaluations formatives (sensibilisation) (car volume d’utilisation non vérifié)
Un certain nombre de descriptifs d’activités d’apprentissage pouvant être reproduites, présentations PowerPoint, gabarits (templates) ; certains mis sur le site internet (utilisation effective de ces outils non vérifiée)
Response To Intervention (RTI) Decision-Making for Student Success
Prévention/Promotion de la santé Un guide EBP (dans au moins une CS)
Common Formative Assessments Certains projets en cour

Le projet a donc vraisemblablement généré ou a aidé à générer un certain nombre d’effets, ainsi qu’une maturation des pratiques, vers une étendue plus large de leur utilisation dans l’ensemble du réseau. 4.8 Les défis (faiblesses et opportunités d’améliorations) À travers les deux objectifs identifiés dans le cadre de cette évaluation (implantation d’un processus EBP et implantation de pratiques pédagogiques fondées sur les données probantes), le projet ne visait pas directement le niveau des écoles, ni l’implantation réelle de pratiques pédagogiques, et encore moins la mesure des effets sur les élèves ; auprès desquels, il ne se serait pas suffisamment impliqué directement, par des projets soutenus. Le projet était tributaire des initiatives des conseillers pédagogiques et des écoles. Le manque de leadership à tous les niveaux de gestion semble constituer une des raisons du manque d’implantation des pratiques. Nous y ajoutons un manque de planification et de suivi, de même qu’un manque d’aménagement de la charge des enseignants (dans leur horaire limité). Plusieurs répondants ont indiqué la nécessité d’un engagement de tous les intervenants pour matérialiser la mise en œuvre de pratiques et engendrer des effets. La mise en œuvre de pratiques semble inexistante ou seulement en voie de mise en œuvre, bien que, par certains répondants, nous puissions identifier un certain nombre de pratiques qui ont été implantées ; la transmission des connaissances n’a, semble-t-il, pas été effectuée à l’ensemble des enseignants. Il n’y a pratiquement pas eu d’efforts de mesure des effets des pratiques hormis l’analyse des notes des élèves, de fin d’année ou parfois de fin d’étape. L’analyse des résultats pour expliquer les causes des problématiques semble souffrir d’une expertise embryonnaire ou d’un manque de données précises.

Selon les répondants, il n’y a pratiquement pas eu d’efforts de mesure et d’analyse des effets des pratiques, hormis l’analyse des notes de fin d’année – et parfois aussi d’étapes – des élèves. L’analyse des résultats pour en expliquer les problématiques, semble encore souffrir d’une expertise embryonnaire.
Comme pour le reste du projet, le manque de mesures documentées ne permet pas d’avoir un inventaire complet de ce qui a été réalisé. La question est de savoir s’il y a eu des effets, et dans quelle amplitude, sans avoir d’historiques de résultats découlent potentiellement de pratiques ou d’analyses venant du projet EBP. Par ailleurs, la croyance qu’il soit impossible de mesurer les effets dans le domaine de l’éducation, vu le problème d’attribution, face à tant de facteurs identifiés ou non, semble tenace. Les réalisations pour atteindre les enseignants et implanter des pratiques à leur niveau seraient plus en cours de réalisation. Le projet semble en manque d’un cadre d’intervention qui, une fois dupliqué au niveau des enseignants, permettrait l’amélioration professionnelle de ceux-ci, fondée sur l’analyse de leurs pratiques actuelles, ainsi qu’en réponse à des besoins manifestés par des données problématiques, donc leurs élèves. Bien entendu, il faut comprendre que les niveaux d’implantation sont, dit-on, d’un répondant à l’autre, très variables : d’une CS à l’autre et d’une école à l’autre. Il faut en tenir compte dans l’interprétation du présent document. La mise en œuvre de pratiques semble inexistante ou seulement en voie de mise en œuvre (selon de nombreux propos), bien que nous puissions identifier un certain nombre de nouvelles pratiques (parfois par les mêmes répondants). Au sujet de la motivation de tous les intervenants, nous concluons, par de nombreux commentaires reçus, qu’un leadership de tous les niveaux passe par une connaissance et une utilisation de ces pratiques par tous ces niveaux organisationnels : le support politique à la mise en œuvre des pratiques pédagogiques, notamment pour la libération d’enseignants en dépend. Par ailleurs, une large partie du processus EBP ne peut être effectuée que par les enseignants. Par ailleurs, il a été souligné qu’il ne soit pas possible d’imposer des pratiques aux enseignants en leur disant : Maintenant, allez les implanter. Les enseignants assistent à une formation et repartent avec leur propre motivation (schéma 2). Il est difficile de leur imposer les étapes suivantes. (CAP : communauté d’apprentissage professionnel) La culture anglophone est aussi plus bottom-up : l’initiative doit venir de l’école, de sa direction, de ses enseignants. Mais certains rapportent que les enseignant avec des groupes difficiles ne vont pas demander d’aide. De leur côté, certaines CS commencent à comprendre qu’il ferait mieux d’agir de façon ciblée, par manque de ressources, et qu’il serait bon de cibler l’école, et non l’enseignant(e).

Table des matières

RÉSUMÉ EXÉCUTIF
INTRODUCTION
1 CONTEXTE
1.1 Description du projet
1.2 Raison d’être et stratégie du projet EBP
2 DÉFINITION DU MANDAT D’ÉVALUATION
2.1 But et objectifs
2.2 Questions d’évaluation
2.3 Apports de l’évaluation
3 MÉTHODOLOGIE
3.1 Approche évaluative
3.2 Collecte de données
3.3 Analyse de données
3.4 Limites
3.5 Considérations éthiques
4 RÉSULTATS
4.1 Définition du projet et de ses objectifs
4.2 Perception et visions variées sur le projet
4.3 Les réalisations
4.4 Effets du projet – Amélioration professionnelle
1.1 Effets du projet – Changements de mentalités
4.5 Effets du projet – Effet d‘entraînement
4.6 Effets du projet – Changements aux processus & communautés d’apprentissage professionnel
4.7 Effets du projet – Projets & implantations de pratiques spécifiques
4.8 Les défis (faiblesses et opportunités d’améliorations)
5 RECOMMANDATIONS
5.1 Sommaire des résultats
CONCLUSION
ANNEXES

Télécharger le rapport complet