Caractéristiques des modèles de Rasch

Caractéristiques des modèles de Rasch

Approche par compétences

Historique et terminologie
Depuis les années 1970, on assiste, en médecine, à l’émergence du concept de compétences et au développement de l’approche par compétences. Cette approche veut répondre aux inquiétudes de la société quant à la compétence des médecins et aux limites de la pédagogie par objectifs. Cette dernière a apporté une plus grande rigueur dans les dispositifs de formation, mais elle engendre une fragmentation des contenus du curriculum sans exiger l’intégration de ces différents objectifs pédagogiques (Nguyen & Blais, 2007). En 1999, l’Accreditation Council for the Graduate Medical Education, ACGME, définit six compétences générales pour la formation des médecins (ACGME, 2001 ). Depuis 1996, au Canada, le Collège royal des médecins et chirurgiens du Canada décrit sept rôles CanMEDS, que doivent maîtriser les médecins dans l’exercice de leur profession (ou métacompétences), dont le rôle de collaborateur (Frank, 2005). Dans la littérature médicale, il n’y a pas encore de consensus sur le concept de compétence (Albanese, Mejicano, Mullan, Kokotailo, & Gruppen, 2008). Par contre, au sein des sciences de l’éducation, une réflexion a permis d’approfondir la notion de compétence en se basant sur une conception de type systémique. Les milieux pédagogiques francophones ont explicité le caractère holistique et intégrateur des compétences.
Tardif (2006, p. 22) propose une définition de la compétence issue de cette réflexion :
« Un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d’une variété de ressources internes et externes à l’intérieur d’une famille de situations. »
Nous avons choisi cette définition, car elle « représente aujourd’hui la synthèse provisoirement stabilisée la plus aboutie du concept de compétence, en tant que construit théorique et empirique utilisable en éducation, d’une façon générale, et applicable en pédagogie universitaire et en apprentissage des sciences de la santé, plus spécifiquement. » (Nguyen & Blais, 2007)
Cette définition rend compte de la nécessité du contexte, ou famille de situations, pour que s’exerce la compétence. Celle-ci peut se décliner en capacités qui sont des « savoirfaire moyennement complexes, qui intègrent des habiletés (cognitives, affectives, psychomotrices et sociales) et des connaissances déclaratives (contenu disciplinaire ou contenu des domaines d’expériences de vie) » (Lasnier, 2000, p. 63). Concernant l’évaluation des compétences, Tardif insiste sur la nécessité de se baser sur des modèles cognitifs de l’apprentissage d’une compétence qui peuvent être opérationnalisés à l’aide d’indicateurs de développement. En l’absence de ces modèles, il faut alors « construire des modèles théoriques à partir de l’expérience professionnelle et de l’observation quotidienne en planifiant valider ces conceptualisations au fur et à mesure de leur usage et auprès de plusieurs groupes d’élèves et d’étudiants » (Tardif, 2006, p. 83).
Pour soutenir le jugement des professeurs à l’évaluation, il est utile d’élaborer des rubriques (rubrics) également nommées par Scallon (2004), « échelles descriptives globales ». Tardif (2006) les définit comme des critères qui distinguent des niveaux de performance en termes qualitatifs en recourant à des éléments, ou dimensions, jugés essentiels. Une rubrique comprend plusieurs dimensions, précise les situations, détermine les paramètres, ou domaines de ressources à mobiliser et combiner. Il faut préciser les descripteurs et le degré de maîtrise de chaque paramètre. La précision de ces descripteurs doit représenter la complexité des apprentissages et refléter la vision de l’ensemble des professeurs. Il faut éviter d’en former une liste interminable (check-lists).
Dans l’approche par compétences, il y a constamment une alternance entre le global et le spécifique, la compétence et ses composantes. Leach parle de la déconstruction et de la reconstruction de la compétence, qui sont toutes les deux nécessaires dans l’évaluation des apprenants (Leach, 2008). Les échelles descriptives sont globales (holistic rubric) ou analytiques (analytic rubric). Plutôt que de soutenir un jugement global, les échelles analytiques visent un seul critère et apportent une rétroaction détaillée qui favorise la métacognition de l’apprenant. En effet, elles lui permettent de comparer son degré de maîtrise à la description des différents niveaux du critère visé.
Cette recherche s’inscrit dans le domaine de l’approche par compétences au niveau de la conception d’échelles descriptives globales. Elles peuvent faciliter le jugement des enseignants à l’évaluation et favoriser le développement d’aptitudes métacognitives chez les étudiants, c’est-à-dire leurs capacités à planifier leur apprentissage et à s’autoévaluer par la suite (Scallon, 2004).

Notion de standard de formation

Le terme rubrique a aussi un lien avec la notion de standard de formation. Un standard de formation correspond au niveau de performance que les étudiants doivent atteindre pour répondre aux objectifs d’apprentissage. Il peut être présenté sous forme d’échelle descriptive ou de « rubrique » (Scallon, 2004). Le mouvement de développement des standards de formation est établi depuis longtemps dans les pays anglo-américains et aux Pays-Bas. Aux États-Unis, ces standards font référence surtout aux normes liées au curriculum. Cependant, des effets pervers peuvent être observés si les processus évaluatifs se limitent aux normes minimales de ces standards
(Klieme et coll., 2004).En Europe, Klieme et coll. (2004) conçoivent les standards de formation comme reflétant les objectifs de l’éducation. Ils définissent les compétences que les établissements d’enseignement doivent permettre à leurs étudiants d’acquérir. Ces compétences doivent être décrites concrètement pour qu’elles puissent être traduites en tâches ou en activités d’apprentissage, et être évaluées à l’aide de tests ou d’autres outils d’évaluation. La conception des standards de formation nécessite donc l’intégration des objectifs sociaux et pédagogiques, des modèles de compétences basés sur des théories d’acquisition et des procédés relatifs à l’élaboration de tests. Les standards s’appuient sur des modèles de compétence qui distinguent les dimensions essentielles au domaine et décrivent les niveaux de compétence. La description des niveaux de compétence est primordiale pour planifier l’apprentissage ou vérifier l’atteinte de ces compétences. Les standards de formation ont une fonction de rétroaction et d’orientation pour les établissements et les professeurs, mais aussi pour les étudiants et leurs parents. Un standard de formation de qualité doit être clair, applicable et exprimer les conditions minimales pour tous les apprenants. Sans être exhaustifs, ils se concentrent sur le noyau du domaine disciplinaire. Ils renvoient à des compétences acquises de façon cumulative jusqu’à un moment précis. De plus, ils distinguent différents niveaux de compétence qui permettent de comprendre la progression et les trajectoires de l’apprentissage.
Cette conception des standards de formation se retrouve en médecine et est cohérente avec l’approche par compétences. En effet, le Collège royal des médecins et chirurgiens du Canada a organisé, en 2009, une réunion de consensus sur l’approche par compétences : « Collaborators International Competency-based medical education ». Ce groupe a produit une définition de l’éducation axée sur les compétences qui met l’accent sur les résultats et la  compétence des professionnels (Frank, Mungroo et coll., 2010). Ainsi, les apprenants ont besoin de buts clairs et explicites et de jalons (milestone) précis pour soutenir leur progression vers ces buts, en cohérence avec la trajectoire d’acquisition de la compétence. Cette progression de l’apprenant se mesure à chacun de ces jalons par des standards (threshold standards). Par conséquent, la détermination des niveaux de compétence et des jalons demeure une des premières étapes de la planification d’un curriculum selon une approche par compétences (Carraccio, Wolfsthal, Englander, Ferentz, & Martin, 2002; Frank, Snell et coll., 2010). Elle est essentielle pour sélectionner par la suite les activités et les moyens d’apprentissage, ainsi que les outils d’évaluation qui en mesurent la progression. Pour être efficace, l’évaluation, dans une approche par compétences, doit être continue, fréquente, authentique et basée sur des critères reflétant les trajectoires développementales. De surcroît, elle implique la participation active de l’apprenant (Holmboe, Sherbino, Long, Swing, & Frank, 2010). En conséquence, les outils d’évaluation doivent être multiples, comportant aussi des dimensions qualitatives.
Ils sont chacun choisis compte tenu de leurs forces et de leurs faiblesses, afin de couvrir un des différents aspects de l’évaluation. Ces différents outils fournissent les arguments pour démontrer la validité de ce programme d’évaluation (Schuwirth & van der Vleuten, 2012). Au cours d’une évaluation par observation directe, le jugement provenant de l’utilisation d’une échelle descriptive semble supérieur à celui issu d’une échelle numérique (rating scale) ou par catégories (ex. : satisfaisant). En effet, Homlboe et coll. (2010) mentionnent que seule l’échelle descriptive fournit la spécificité de rétroaction qui permet à l’étudiant de déterminer des objectifs d’apprentissage et de s’améliorer. La littérature abonde en articles traitant de la définition des compétences et de ses composantes. La priorité à accorder actuellement vise la détermination des niveaux de compétence et l’élaboration d’outils d’évaluation des compétences (Carraccio et coll. 2002).

Table des matières

Résumé
Abstract
Mots.clés/Keywords
Liste.des.tableaux
Liste.des.figures
Liste.des.sigles,.abréviations.et.glossaire
Remerciements Introduction
Chapitre.1..Problématique.et.recension.des.écrits
Section.1.1.Approche.par.compétences
1.1.1 Historique et terminologie
1.1.2 Notion de standard de formation
1.1.3 Construction d’échelles descriptives globales
Section.1.2.Compétence.de.collaboration
1.2.1 Définitions et terminologie
1.2.2 Adoption d’un curriculum axé sur les compétences à la Faculté de médecine de l’Université de Montréal
1.2.3 Composantes de la compétence de collaboration
1.2.4 Niveaux de compétence
1.2.5 Familles de situations
1.2.6 Indicateurs de la compétence de collaboration
Section.1.3.Analyse.de.Rasch
1.3.1 Caractéristiques des modèles de Rasch
1.3.2 Points de césure (threshold)
1.3.3 Structure des catégories
1.3.4 Adéquation au modèle
1.3.5 Fonctionnement différentiel d’item, FDI
1.3.6 Indépendance locale
1.3.7 Tolérance aux données manquantes et taille d’échantillon
1.3.8 Design du sondage et appariement par calibration concurrente
1.3.9 Utilité du modèle de Rasch dans l’analyse des réponses à un questionnaire de sondage
Section.1.4.Synthèse
Section.1.5.Objectifs
Chapitre.2..Méthodologie
Section.2.1.Formulation.et.détermination.des.niveaux. des.indicateurs.par.le.groupe.d’éducateurs
2.1.1 Projet pilote de l’été 2008
2.1.2 Formulation des indicateurs par les chercheurs
2.1.3 Premier groupe nominal : consensus sur le niveau de chaque indicateur .
Section.2.2.Sondage.sur.les.niveaux.des.indicateurs.auprès.des.enseignants
2.2.1 Construction et mise à l’essai du sondage en ligne
2.2.2 Administration du sondage
Section.2.3.Analyse.de.Rasch
2.3.1 Analyse des réponses au sondage
2.3.2 Répartition des quatre niveaux de formation médicale sur l’échelle linéaire des indicateurs
Section.2.4.Détermination.des.niveaux.des.indicateurs.par.les.éducateurs
Section.2.5 Élaboration.de.l’échelle.de.niveau.de.compétence. et.troisième.groupe.nominal
Section.2.6.Comité.d’éthique
Chapitre.3..Résultats
Section.3.1.Formulation.des.indicateurs.et.détermination.des.niveaux.. par.le.groupe.d’éducateurs
3.1.1 Premier groupe nominal
Section.3.2.Analyse.des.réponses du sondage auprès des.enseignants.cliniciens
3.2.1 Analyse descriptive
3.2.1.1 Caractéristiques des participants
3.2.1.2 Analyse des données manquantes
3.2.1.3 Analyse des fréquences de réponses
3.2.2 Analyse à l’aide du modèle partial credit de Rasch
3.2.2.1 Préparation des données
3.2.2.2 Mesure d’adéquation au modèle
Statistiques générales :
Points de césure (threshold)
Structure des catégories
Adéquation sur le plan des personnes
Adéquation sur le plan des indicateurs
Recherche de fonctionnement différentiel d’item FDI
Recherche de dépendance locale
Fiabilité et relation entre les localisations des indicateurs et des personnes
3.2.2.3 Vérification de la qualité de l’appariement
3.2.2.4 Carte des indicateurs
3.2.3 Carte des points de césure
3.2.4 Répartition des quatre niveaux de formation médicale sur l’échelle linéaire des indicateurs
Section.3.3.Détermination.des.niveaux.des.indicateurs.par.les.éducateurs: deuxième.groupe.nominal
3.3.1 Indicateurs concordants
3.3.2 Indicateurs soumis individuellement au jugement du groupe d’éducateurs
Section.3.4.Synthèse
Section.3.5.Élaboration.de.l’échelle.de.niveau.de.. compétence.de.collaboration
3.5.1 Rédaction de l’échelle et troisième groupe nominal
3.5.2 Échelle de niveau de compétence de collaboration
Chapitre.4..Discussion
Section.4.1.Méthodologie.mixte
4.1.1 Contexte
4.1.2 Avantages
4.1.3 Enjeux
4.1.3.1 Contexte : général ou spécifique?
4.1.3.2 Discordance entre les niveaux retenus par les éducateurs et ceux issus de l’analyse des données du sondage
Le niveau préclinique
La capacité 2: Prévenir et gérer les conflits
Section.4.2.Forces.et.limites
Chapitre.5..Conclusion
Sources.documentaires
Annexes

Télécharger le rapport complet