Qualités psychométriques du TCS

Qualités psychométriques du TCS

Matériels et méthodes

Le projet a été présenté au comité d’éthique de l’université de Montréal. Chaque participant a signé un formulaire de consentement après en avoir compris les termes, avant l’épreuve. La participation à l’étude a été volontaire et aucune rémunération n’a été remise aux participants.

Instrument

L’instrument est un questionnaire écrit, à visée formative, qui sera complété annuellement par les résidents de tous les niveaux, pour permettre de cibler chez ces derniers des lacunes à combler et de documenter leur progression académique.Il a été construit par deux médecins spécialistes en radio-oncologie qui ont décrit des situationscliniques thérapeutiques représentatives de leur domaine, à la lumière des objectifs de formation du programme de résidence. Pour chacune des situations, ils ont énuméré a) les options de traitement valables; b) les éléments pertinents du questionnaire, de l’examen clinique et des examens d’investigation et e) quelle information clinique, positive ou négative, ils recueilleraient pour établir un diagnostic ou pour recommander une option de traitement par rapport à une autre dans la situation donnée. Les items du test ont été construits à partir de ce matériel. Le test consiste à présenter aux examinés une série de 30 vignettes cliniques. Chaque vignette comprend trois items (tableau I). L’item inclut soit une hypothèse diagnostique, une action d’investigation ou une recommandation de traitement qui est d’emblée suggérée au répondant. Ensuite, une information nouvelle (un signe, un symptôme ou un résultat d’investigation) est présentée. La tâche de l’examiné consiste à apprécier, à l’aide d’une échelle de Likert à 5 points, l’influence de ce nouvel élément sur l’hypothèse diagnostique, l’action d’investigation ou sur la recommandation de traitement, selon les cas.Le calcul des scores au TCS tient compte de la variabilité des réponses du panel. Chaque membre répond au test de façon individuelle et les scores sont attribués en fonction des réponses du panel de référence. La réponse choisie par le plus grand nombre de membres du panel (réponse modale) reçoit 1 point. Il peut y avoir plus d’une réponse modale. Pour les autres réponses, le score correspond au ratio entre le nombre de répondants ayant choisi cette option et le nombre de répondants ayant choisi la réponse modale.Un total de 90 items, couvrant les trois domaines d’expertise clinique suivants (30 items par domaine): les néoplasies urologiques, du sein et du poumon, ont été construits. Le score reflète le degré de concordance entre la réponse de l’examiné et celle des experts du panel de référence.La technique du TCS requiert la sélection d’un panel de référence dont les réponses déterminent la grille d’attribution des points. Dans le contexte du TCS, les répondants susceptibles de faire partie du panel sont des praticiens expérimentés dont la présence sur un jury est légitime, considérant le niveau de formation des examinés15. Le critère d’inclusion dans la présente étude a été d’avoir complété avec succès la totalité d’un programme de formation en radio-oncologie.
Les domaines d’expertise choisis pour ce test sont ceux dont la prévalence est la plus forte dans la population. Le but est d’assurer qu’un nombre suffisant de radio oncologues soit considéré spécialisé dans chacun des domaines étudiés (>10 cas traités par année).
Une période de temps suffisante a été allouée à chaque participant pour répondre au questionnaire. Le test a été présenté en français.

Échantillon

L’échantillon est constitué de trois groupes de sujets. Le premier est formé d’externes en médecine et les deuxième et troisième groupes incluent respectivement des résidents en radio-oncologie et des radio-oncologues oeuvrant au Québec.Les externes ont répondu au test immédiatement après une courte présentation des principes de base en radio-oncologie à l’hôpital Notre-Dame, en présence de l’investigateur principal. Les résidents de l’Université McGill et de l’université de Montréal ont répondu au test dans les mêmes conditions. Pour des raisons pratiques, les résidents de l’université Laval à Québec ainsi que les radio-oncologues ont répondu au test de façon individuelle, à un moment qui leur convenait. Chaque répondant a reçu des instructions quant au format particulier du TCS ainsi que la classification de l’AJCC (American Joint Comrnittee on Cancer) des cancers étudiés. Les participants n’ont pas eu recours à d’autres documents de référence.Le test a été administré de nouveau à un sous-groupe de radio-oncologues (9) et de résidents (14), à un intervalle de deux mois.

Analyses statistiques

Calcul des scores TCS Une grille de correction a été établie à partir des réponses de chaque membre du panel de référence et les participants ont été notés selon la méthode des scores combinés. Par exemple, si pour une question donnée, 4 experts ont choisi la réponse +2 et 6, la réponse +1 (total de 10 experts), l’étudiant ayant choisi +1 obtient un maximum de point (6/6 1) et celui ayant choisi +2 obtient 4/6 ou 0,67 point. Un étudiant obtient un score de zéro pour toute autre réponse. Le score est calculé pour chaque item et le score total est la sonme de tous les items ramenée sur 100. Dans le cas des sujets du groupe des experts, le score de chaque répondant a été obtenu en utilisant, comme panel de référence pour la grille de cotation, la distribution des réponses de tous les autres experts à l’exclusion de ses propres réponses.

Analyses préliminaires:

Une analyse d’items a été effectuée afin de détecter les items problématiques. Les items avec une corrélation item-total faible (r < 0,10) et/ou ceux démontrant peu ou pas de discrimination entre les moyennes des trois groupes ont été retirés des analyses statistiques. La normalité des distributions a été évaluée à l’aide du test statistique Kolmogorov-Smimoff. Une analyse de la distribution des scores totaux des sujets de chaque groupe a été effectuée.

Fidélité
Un coefficient de consistance interne alpha de Cronbach a été calculé pour l’ensemble des répondants. Pour évaluer la stabilité temporelle de l’instrument de mesure, une corrélation de Pearson a été calculée entre les scores de l’ensemble des répondants (résidents et panel) ayant complété l’épreuve à deux reprises, puis pour chacun des
groupes pris isolément.

Validité
Un test de Levene a été appliqué pour évaluer l’homogénéité des variances des trois groupes. Pour étudier la validité différentielle du TCS (capacité de discrimination entre les scores des trois groupes), le test non paramétrique de Kruskall-Wallis a été utilisé. Le test non paramétrique de Mann-Whitney a été utilisé pour tester plus spécifiquement la différence entre les scores du groupe de résidents par rapport à ceux du groupe de radio-oncologues, pour tester la différence entre les scores des résidents juniors (Ri à R3) et ceux des résidents seniors (R4, R5 et fellowship) ainsi que pour tester la différence entre les scores des radio-oncologues selon leur nombre d’années de pratique lus de dix ans comparativement à moins de dix ans).Tous les test sont bilatéraux, les valeurs p<0,05 sont considérées statistiquement significatives. Aucune correction pour tests multiples n’a été appliquée. Les résultats des tests ont été traités de façon anonyme. Les analyses ont été effectuées à l’aide de la version 11,0 du logiciel SF88 (Statistical Packagefor the Social Sciences).

Résultats

Participants: 70 externes en médecine, 3$ des 53 résidents (72%) en radio-oncologie et 47 des 62 radio-oncologues (76%) oeuvrant au Québec ont accepté de compléter l’épreuve écrite. 9 radio-oncologues et 14 résidents ont accepté de refaire le TCS une seconde fois.
Les questionnaires de 1 externe, 1 résident et 2 patrons ont été retirés des analyses en raison d’un trop grand nombre de données manquantes. Pour les autres questionnaires, la donnée manquante a été remplacée, le cas échéant, par la moyenne des autres items de cette section du test. Quarante-six données (0,34%) ont été ainsi remplacées. Les questionnaires de 3 patrons ont été retirés des analyses en raison de leurs réponses atypiques, à plus de 2 écarts-types sous la moyenne des membres de ce groupe (figure3, page 26).
70% des résidents étaient de niveau Ri à R3 et 30% de niveau R4, R5 ou en année de sur spécialisation. 15% de tous les résidents (8 des 16 résidents de l’Université McGill) ont refusé de répondre au test en raison d’une barrière de langue. La distribution des radio-oncologues selon leur nombre d’aimées de pratique est présentée au tableau II. 81% de ces derniers ont affirmé avoir une pratique universitaire.

fidélité

Le TCS présente une fiabilité élevée avec un coefficient alpha de 0,90, une fois optimisé par le retrait des items problématiques. Pour l’ensemble des 23 sujets qui ont complété l’épreuve à 2 reprises, la coefficient de corrélation est de 0,71 (p < 0,001). La Validité Les variances des moyennes ne sont pas homogènes (p = 0,016), des tests nonparamétriques ont été utilisés pour évaluer la validité différentielle du TC$. On observe une différence significative (p < 0,001) entre les scores des 3 groupes d’examinés d’expertise différente en radio-oncologie. On observe une différence significative entre les scores des résidents et ceux des experts (Z = -2,564,p = 0,01) de même qu’entre les scores des résidents juniors, de Ri à R3, et ceux des résidents seniors, R4-R5 et fellow (Z = -2,193, p 0,028).La distribution des scores selon le nombre d’années de pratique des radio-oncologues est présentée à la figure 3. De façon globale, on peut voir une tendance à une diminution de la concordance avec le nombre d’années de pratique. Les trois individus retirés des analyses pratiquaient depuis 10 à 15 ans (n 2) ou plus de 20 ans (n 1).
Le test t de student a permis de montrer une différence significative (p = 0,003) entre les scores des radio-oncologues ayant pratiqué la radiothérapie depuis plus de dix ans (79,96 ± 5,75 ) comparativement à ceux ayant moins de dix ans d’expérience (74.42 ± 5,42).Dans la présente étude, la concordance entre les examinés et le panel de référence n’a été évaluée que pour trois domaines spécifiques de la pratique de la radio-oncologie, cependant, des résultats intéressants se dégagent des analyses effectuées. De plus, l’échantillon évalué peut être considéré fortement représentatif de la population étudiée puisqu’il inclut plus de 70% des membres des groupes cibles en radio-oncologie au Québec, ce qui représente une force majeure de l’étude.La fidélité du test est excellente (Cronbach  = 0,90). Il est possible que la bonne fidélité de la mesure soit attribuable, du moins en partie, au grand nombre de membres dans le panel’5. On peut penser que ce facteur influence favorablement la précision de la mesure. Aussi, le nombre appréciable d’items retenus pour les analyses (n = 70) contribue à optimiser la fidélité de la mesure. Ce résultat se compare favorablement aux autres études dans diverses spécialités et se range parmi les meilleurs observés.La fidélité test-retest obtenue pour cette épreuve de 0,71 suggère que le TCS montre une bonne constance dans le temps. Il est très improbable, pour les radio-oncologues, qu’un apprentissage significatif ait été effectué dans cet intervalle de temps de deux mois qui est par contre suffisant pour brouiller l’effet de rappel. Pour les résidents, il est possible que le test ait stimulé l’apprentissage, surtout si le résident effectuait, au moment de l’examen, une rotation dans un des domaines étudiés. Pour ces raisons, il était attendu de retrouver une plus forte corrélation entre les scores des radio oncologues comparativement à ceux des résidents, mais le contraire a été observé. Les intervalles de confiance très larges des coefficients de corrélation calculés témoignent de l’imprécision liée à la petite taille des échantillons et peuvent expliquer ces résultats.

Table des matières

Résumé
Abstract
Liste des tableaux
Liste des figures
Liste des sigles
Liste des abréviations
Introduction
Contexte
Cadre théorique
Qualités psychométriques du TCS
Question de recherche
Article
Introduction
Matériels et méthodes
Résultats
Discussion
Conclusion
Références
Discussion
Conclusion
Références
Annexes
Annexe 1 : Le formulaire de consentement
Annexe 2: Les instructions aux participants
Annexe 3 : Les questionnaires des trois groupes
Annexe 4: Le test de concordance de scripts

Télécharger le rapport complet