Recension des dispositifs pour colliger la preuve de validité

Recension des dispositifs pour colliger la preuve de validité

Les types de validités

La validité est un concept qui a été opérationnalisé de multiples façons, en fonction des objectifs poursuivis. L’état des lieux sur ce sujet proposé par André, Loye et Laurencelle (2015) fait ressortir le caractère polysémique du concept de validité. Sans contester d’autres conceptualisations, cette étude positionne simplement la validité du QuizCI dans son contexte spécifique, pour les usages souhaités. Nous avons à cet effet retenu la typologie de la validité proposée par Laveault et Grégoire(2002)5 afin d’organiser l’information sur la validité. Elle permet de catégoriser les différents types d’arguments et informations destinés à documenter la validité. Aussi, elle permet de positionner la validité de l’instrument dans son contexte empirique, une réalité complexe qui implique différents points de vue.
Laveault et Grégoire identifient les types : (a) validité apparente, (b) validité de contenu, (c) validité en référence à un critère concomitant ou prédictif et (d) validité conceptuelle.Chaque type (apparente, de contenu, en référence à un critère et conceptuelle) regroupe les preuves de même nature. Ainsi, ce cadre permet de systématiser l’organisation de la preuve de validité en fonction de son apport et de mettre en perspective le rôle des différents types de validité au cours du processus de validation. Les preuves peuvent provenir d’arguments théoriques, dégagés de constats logiques; ou encore, elles peuvent être empiriques, soit produites à partir des données collectées avec instrument en question (Laveault et Grégoire, 2002). Ainsi, la typologie de Laveault et Grégoire met en perspective l’apport complémentaire des types de preuves pouvant être apportées tout au long d’une démarche de validation. Plus spécifiquement, elle permet de comprendre la différence ou l’écart dans le caractère convainquant de l’information proposée en regard de la démonstration de validité dans une variété d’études.

La validité apparente

Les arguments en faveur de la validité apparente sont recherchés du côté de la population ciblée par la mesure, par exemple les étudiants qui ont répondu au QuizCI. Les dispositifs retenus sondent l’accueil réservé à l’instrument et la compréhension des formulations ou de la terminologie utilisée. Cette information peut permettre d’améliorer l’instrument ou encore de documenter son acceptation sociale (Laveault et Grégoire, 2002). Les auteurs précisent que l’information obtenue avec ce type de dispositifs doit être mise en contexte avec l’expérience de l’étudiant.

La validité de contenu

Les dispositifs pour produire des arguments en faveur de la validité de contenu font appel à des experts pour savoir si le questionnaire leur paraît valide. L’expert est choisi en fonction de son expertise. Il est souvent invité lors de l’élaboration d’un instrument à réagir à son contenu ou à l’efficacité du format de l’instrument proposé. Il pourra identifier des problèmes dans la formulation des items, dans la structure de l’instrument, suggérer des améliorations quant à la couverture de l’objet mesuré, ou sanctionner l’instrument en regard de son expertise. Cette information contribue à améliorer l’instrument et à obtenir l’assentiment des acteurs intéressés: la reconnaissance des pairs, l’approbation des autorités compétentes ou celle d’interlocuteurs spécialisés (Laveault et Grégoire, 2002). Les auteurs rappellent que l’information colligée avec de tels dispositifs peut être teintée du biais de l’expert consulté.
 

La validité en référence à un critère

La preuve de validité en référence à un critère repose sur l’hypothèse que si un instrument mesure un trait précis et défini, le résultat (score au questionnaire par exemple) devrait être suffisamment corrélé avec le résultat obtenu d’un autre instrument mesurant le même trait ou un trait voisin (Laveault et Grégoire, 2002).
La preuve de validité en référence à un critère concomitant consiste à mettre en perspective des résultats comparables pour un même répondant. Il s’agit par exemple de comparer pour un même groupe l’ordre des scores totaux à deux épreuves censées mesurer la CI. Si le score de l’étudiant occupe sensiblement le même rang dans son groupe dans les deux cas, par exemple le même quartile, cette correspondance constitue un argument en faveur du fait que les deux instruments mesurent le même objet. La preuve de validité en référence à un critère externe peut être illustrée par une droite de régression linéaire. Selon le mode de représentation, si les données des deux instruments présentent des droites identiques ou parallèles (donc avec une pente similaire) ou si les scores pour un même étudiant présentent une intercorrélation suffisante, la concomitance des données peut être établie (Laveault & Grégoire, 2002a, p. 196).
La preuve de validité en référence à un critère peut provenir d’une corrélation entre deux mesures différées dans le temps. L’instrument ainsi validé peut agir alors comme prédicteur. Ainsi, un score permet de prédire un résultat ultérieur. Laveault et Grégoire présentent l’exemple de « prédire la taille à l’âge adulte (critère), par la mesure de la taille de l’enfant à quatre ans (prédicteur) » (Laveault & Grégoire, 2002a, p. 178). Suite à la mesure de ces deux variables auprès d’un grand échantillon, une corrélation significative entre les données constitue un argument en faveur de la validité prédictive des tendances dans la relation perçue entre ces variables. Cette démonstration s’appuie sur la stabilité et la généralisabilité des données (Scallon, 1981).
Cependant, ce type de preuve se constitue avec rigueur et vigilance. Lors de l’usage de ce type de dispositifs, la littérature émet trois mises en garde au chercheur néophyte que nous sommes. D’abord, Laveault et Grégoire (2002a) notent que les inférences faites à partir de la preuve de validité en référence à un critère impliquent des considérations morales, sociales et éthiques, entre autres pour les conséquences du testing sur le sujet. En bref, il faut garder à l’esprit qu’il s’agit d’une généralisation. Par exemple, il serait erroné d’affirmer qu’un enfant petit à quatre ans sera petit adulte. Il a plutôt une certaine probabilité de l’être.
Ensuite, Penta, Arnoud et Decruynaere (2005) soulignent que pour convaincre du caractère stable et généralisable des données, cette preuve requiert un très grand échantillon de données, récoltées en plusieurs temps et auprès d’un grand nombre de sujets provenant de la population visée. Il s’agit d’un résultat pouvant être documenté, par exemple, par une étude longitudinale. Ainsi, ce type de preuve est plus rarement constitué, en raison des ressources et du temps requis pour la colliger.
Finalement, Borsboom, Mellenbergh et van Heerden (2004) ajoutent que les inférences faites à partir d’une table de coefficients de corrélations entre le score total et un autre score reste une preuve insuffisante. Il s’agit d’une preuve circonstancielle et dépendante de l’échantillon en question. Pour que cette preuve soit valide de façon absolue, le chercheur doit avoir établi au préalable des preuves du caractère analogue sur le plan conceptuel des deux corpus de données, ainsi que des preuves du caractère comparable des données d’un point de vue métrique. Ces deux types de preuves relèvent de la validité conceptuelle

Table des matières

Résumé
Abstract
Liste des tableaux
Liste des figures
Liste des sigles
Liste des abréviations
Remerciements
Introduction
Chapitre 1 : problématique
1.1. La compétence informationnelle
1.2. Former à l’usage de la compétence informationnelle
1.3. Question générale de recherche
Chapitre 2 : cadre conceptuel et recension des écrits
2.1. Cadre conceptuel de la validité
2.1.1. Les types de validités
2.2. Recension des écrits étudiant la validité
2.2.1. Les expérimentations québécoises
2.2.2. Les études complémentaires
2.3. Recension des dispositifs pour colliger la preuve de validité
2.3.1. Dispositifs pour constituer la preuve de validité apparente
2.3.2. Dispositifs pour constituer la preuve de validité de contenu
2.3.3. Dispositifs pour constituer la preuve de validité en référence à un critère
2.3.4. Dispositifs pour constituer la preuve de validité conceptuelle
2.4. Buts de la présente étude
2.4.1. Validité apparente et de contenu
2.4.2. Validité en référence à un critère
2.4.3. Validité conceptuelle
2.5. Questions spécifiques de recherche
Chapitre 3 : cadre méthodologique
3.1. Type de recherche et justifications
3.2. Visées de la recherche
3.3. Élaboration du QuizCI
3.3.1 Validité de contenu (interne)
3.3.2 Validité apparente
3.3.3 Validité de contenu (externe)
3.3.4. Résultats sommaires du processus de validation préalable du QuizCI
3.4. Participants
3.5. Les données
3.6. Méthodologies pour documenter la validité conceptuelle
Chapitre 4 : résultats
4.1. Analyse descriptive des données
4.1.1 Distribution des scores totaux
4.1.2. Taille d’échantillon
4.1.3. Homogénéité de la variance
4.2. Analyses et résultats issus de la théorie classique des tests
4.2.1. Difficulté de l’item
4.2.2. Discriminer les étudiants en fonction de leur CI
4.2.3. Cohérence interne
4.3. Analyses et résultats pour documenter le concept de CI
4.3.1. Analyses préalables
4.3.2. Analyse factorielle exploratoire
4.4. Application du modèle de Rasch et informations sur la validité
4.4.1. Postulats de la théorie de réponse à l’item
4.4.2. Processus d’ajustement des données au modèle de Rasch
Chapitre 5 : discussion sur la validité du QuizCI
5.1. Est-ce que le QuizCI réagit en fonction de la mesure captée?
5.2. Est-ce que le QuizCI représente la CI dans sa nature et sa structure conceptuelle?
5.3. Est-ce que les données collectées avec le QuizCI constituent une mesure de la CI?
5.4. Décisions pour l’amélioration de la contribution de l’item à la mesure
5.3. Limites de l’étude
5.4. Prospectives
Conclusion
Les sources documentaires
Annexe 1 : Évaluation de la formation par les étudiant

Télécharger le rapport complet