Soutenance mémoire
L’efficacité de la formation à distance au niveau postsecondaire
CHAPITRE II : MÉTHODOLOGIE
Ce chapitre présente la méthode de recherche que nous avons utilisée et précise ses différents aspects. Ces derniers sont notamment relatifs à la question principale et complémentaire. Ils concernent également la définition, les critiques, les apports de la méga-analyse ainsi que ses démarches particulières. De plus, la stratégie de cueillette des données de même que les critères d’inclusion des méta-analyses au sein de la méga-analyse sont précisés. De même, les méta-analyses correspondant à ces critères sont déterminées et les variables retenues sont justifiées. Pour terminer, nous détaillons la procédure du traitement des données ainsi que le plan de la présentation des résultats.
LA QUESTION DE RECHERCHE
La question principale de recherche se formule comme suit : l’efficacité de la FAD diffère-t-elle selon les avancées technologiques ? La question complémentaire est la suivante : quelles sont les variables qui peuvent influencer l’efficacité de la FAD selon les avancées technologiques ?
MÉTHODOLOGIE
Méthode de recherche : la méga-analyse
Cette rubrique décrit la recherche relative à une méga-analyse, sa définition, son appellation, les critiques qui lui sont adressées, les apports majeurs qu’on lui reconnait et l’ampleur des publications qu’elle génère. Cette section présente également les différents aspects de la démarche méthodologique retenue et la façon dont nous les avons appliqués.
La définition de la méga-analyse
La méthodologie choisie est, rappelons-le, une méga-analyse. Elle se définit notamment par les composantes suivantes : les études primaires quantitatives, la méta-analyse, les effets d’ampleur, et une étape souvent appelée revue systémique. Voyons une à une ces composantes. Nous présentons d’abord par un tableau des opérations propres à chacune ainsi que les résultats découlant de ces opérations. Regardons ensuite une définition globale de la méga-analyse elle-même, ainsi que de ses diverses composantes.
Une méga-analyse est « une synthèse des résultats provenant de différentes méta-analyses. Les résultats ainsi regroupés peuvent être utilisés pour comparer et déterminer les interventions les plus efficaces sur un sujet donné » (Bissonnette et coll., 2010, p.6).
Une méta-analyse, pour sa part, réfère à une « approche qui consiste à rassembler les données issues d’études quantitatives comparables et à les soumettre à nouveau à des calculs statistiques. Elle permet alors d’estimer de façon précise l’ampleur de l’effet d’une intervention et de dégager les tendances qui se dessinent dans les études » (Fortin et coll., 2015, p.78). Elle « regroupe les résultats d’études semblables publiées sur un même sujet dans le but d’utiliser des méthodes statistiques pour résumer et combiner les résultats d’études indépendantes » (Fortin et coll., 2015, p.478).
Les études primaires quantitatives qui sont incluses dans une méta-analyse, et ainsi, dans une méga-analyse, sont des recherches expérimentales probantes portant sur une même thématique. Ces études primaires, de même que les méta-analyses et les méga-analyses, génèrent des effets d’ampleur provenant de traitements statistiques appropriés.
Quant aux effets d’ampleur, ils peuvent représenter l’impact d’une intervention. Toutefois, ils ne sont pas limités à un effet d’intervention, car ils peuvent également représenter tout type de relation entre deux variables (Borenstein et coll., 2016).
Et, il y a aussi l’étape de la revue systémique qui est celle de la collecte et d’un premier traitement de ces études primaires expérimentales probantes. Cette étape fait souvent l’objet d’une publication en soi. Mais, notamment dans le domaine biomédical, elle est également considérée comme une des premières opérations à une méta-analyse78 (Cook et coll., 2010a; Cook et coll., 2010b; Cook et coll., 2008; Schmidt et coll., 2013; Bernard et coll., 2014; Schmidt, 2015).
L’appellation méga-analyse
Si la méthode de recherche choisie est la méga-analyse, il faut noter que l’appellation de cette méthode varie dans les écrits. Souvent, elle se nomme une méta-analyse de deuxième degré. Une distinction doit alors être formulée entre les méta-analyses de premier et deuxième degrés (Borenstein et coll., 2016; Hunter et coll., 2014; Cooper et coll., 2012). Celles de premier degré se voient généralement attribuer l’appellation de méta-analyse et s’appuient sur des études primaires. Celles de deuxième degré correspondent à une synthèse de méta-analyses79. Dans la présente recherche doctorale, l’appellation méga-analyse est considérée comme synonyme de méta-analyse de deuxième degré. C’est notamment pourquoi ces deux appellations sont parfois indistinctement utilisées, notamment dans la prochaine rubrique.
Par ailleurs, la définition de méga-analyse retenue dans la présente recherche correspond également à d’autres appellations, plus rares, soit « network of meta-analyses »80, « meta-meta-analysis »81, « meta-analysis of meta-analyses »82. S’il est important de mentionner ces autres appellations rares pour éviter toute confusion, il faut cependant noter qu’elles ne sont pas adoptées dans notre méga-analyse.
Pour réaliser notre recherche, nous avons arrêté notre choix sur l’appellation de méga-analyse pour des raisons essentiellement pratiques. Elle est la plus succincte. D’ailleurs, l’expression « mega-analysis » est utilisée à maintes reprises. C’est le cas notamment de Kavale et coll. (2011), Bissonnette et coll. (2010), Vieira (2010), Sternberg et coll. (2006), Forness (1997). Elle est également reprise dans les références rapportées par les auteurs ayant emprunté cette méthode de recherche. C’est le cas, entre autres, d’une dizaine de publications internationales récentes ayant cité la méga-analyse de Bissonnette et coll. (2010), lesquelles sont énumérées dans la banque de données Google Scholar.
Très exceptionnellement, le terme de méga-analyse est utilisé, à tort, dans le sens d’une recension systémique des écrits, car elle ne correspond nullement à une méta-analyse de deuxième degré. Par exemple, Lin (2009), malgré le titre de sa publication (« Mega-analysis: distance learning education impact on self-discipline »), propose une revue de littérature incluant des études primaires, et non pas des méta-analyses, comme l’exige une méga-analyse.
Il faut également noter que l’appellation de méga-analyse est parfois utilisée dans un autre sens très différent, et ce, surtout dans le domaine médical. Par exemple, ce nom peut être attribué à une méta-analyse de deuxième degré pour signifier qu’elle emprunte une procédure particulière pour le traitement des données. Cette procédure peut être, par exemple, le retour aux données brutes produites par toutes les études primaires faisant partie de chacune des méta-analyses incluses dans la méga-analyse83. Signalons, tout de suite, que ce sens accordé à l’appellation de méga-analyse ne correspond nullement à celui de notre étude.
Les critiques et les apports de la méga-analyse
Cette méthodologie reçoit sa part de critiques négatives bien que ses apports soient indéniables pour l’ensemble de la communauté scientifique. Cependant, lorsqu’il est question de ces commentaires, les auteurs traitent, de façon conjointe, la réalité des méga-analyses (ou méta-analyses de deuxième degré) ainsi que les méta-analyses de premier degré (Borenstein et coll., 2016; McGahie, 2015; Schmidt et Hunter, 2015; Schmidt et coll., 2013; Cooper et coll., 2012). Voici cinq exemples de ces critiques accompagnées, chacune, d’une contre-argumentation.
Une première critique veut que les recherches relatives aux méta-analyses et méga-analyses occultent la théorie. Toutefois, plusieurs scientifiques en provenance de divers domaines sociaux et médicaux ne sont pas d’accord avec cette critique (Brown et coll., 2013)84. Par exemple, selon Schmidt et coll. (2005), les méga-analyses (méta-analyses deuxième degré) et les méta-analyses de premier degré ne sont pas de simples exercices statistiques. Il s’agit surtout de recherches rigoureuses permettant de cumuler des connaissances de manière à être notamment en mesure de confirmer, d’infirmer et même de proposer des principes théoriques. Ces opérations sont possibles, car ces recherches peuvent aller bien au-delà des résultats des études primaires85.
Une deuxième critique souligne que les recherches relatives aux méta-analyses et aux méga-analyses s’avèrent une source de multiples erreurs, notamment parce qu’elles s’appuient sur des statistiques lesquelles, en soi, ne sont pas une panacée. Mais cette critique est maintes fois rejetée (Borenstein et coll., 2016; Hall et coll., 2016; Kent et coll., 201686; Suggate, 201687; Shachar, 200888). Par exemple, selon Shachar (2008), les mesures en éducation bénéficient largement de ces travaux, et ce, notamment grâce à la comparaison rigoureuse des effets d’ampleur présentés par les études primaires. De même, les résultats des méta-analyses sont plus précis que les études primaires. « Considérant que la méta-analyse crée une étude plus étendue en combinant les échantillons de chaque étude incluse dans la recension d’écrits, le calcul statistique produit une estimation plus précise sur les effets [des interventions] que les résultats provenant d’études individuelles » (Fortin et coll., 2015, p.478).
Une troisième critique mentionne que les méta-analyses et les méga-analyses présentent des résultats relatifs à l’efficacité d’une intervention, mais ne peuvent montrer les raisons explicatives de cette efficacité. Cependant, plusieurs auteurs ne sont pas d’accord avec cette critique. Par exemple, d’après Borenstein et coll. (2016), ces recherches respectent les concepts et les variables des études primaires et, ainsi, font état des divers facteurs de l’efficacité selon que les études primaires, elles-mêmes, comprennent les éléments pertinents.
Une quatrième critique rapporte que les méta-analyses et les méga-analyses s’avèrent une combinaison d’études disparates. Mais cette idée de disparité serait fausse, selon d’autres experts. Si ces recherches fournissent une vue d’ensemble d’études apparemment hétéroclites, elles œuvrent cependant sur une même thématique (Schmidt, 2015; Hunter et coll., 2014; Sung et coll., 201489). Elles présentent une solution très efficace à la gestion des informations abondantes en provenance d’une multitude d’études. Elles s’avèrent également une conclusion pertinente à la grande diversité de recherches (Borenstein et coll., 2016; Santagelo et coll., 201690; Check et coll., 2012; Cooper et coll., 2012; Shachar, 200891).
Finalement, une cinquième critique affirme que les méga-analyses et les méga-analyses sont exclusivement axées sur le passé. Cependant, des chercheurs prétendent que cette utilisation du passé est très proactive. En effet, elle s’avère une manière rigoureuse de tenir compte des avancées pour mieux gérer le présent92 et planifier l’orientation des études nécessaires dans un avenir immédiat (Schmidt, 2015; Tamim et coll., 2011)93.
Au-delà de ces critiques et contre argumentations, les apports de ces recherches sont démontrés, notamment, par l’ampleur des publications qui y sont consacrées. La prochaine rubrique fournit des informations à cet égard.
L’importance de la quantité des publications générées par la méga-analyse
Étant donné la reconnaissance des retombées des méga-analyses (méta-analyses de deuxième degré), et des méta-analyses de premier degré (Borenstein et coll., 2016; Steengerger-Hu et coll., 2014; Hattie et coll., 2013), le nombre de publications qu’elles génèrent ne cesse d’augmenter (Picciano, 201694; Zhu et coll., 201595). D’ailleurs, leur croissance rapide et leur importance grandissante dans divers domaines de recherche leur valent le nom de « meta-analytic big bang » (Shadish et coll., 2015, p.1)96.
La communauté de chercheurs accorde ainsi un très grand intérêt aux méga-analyses (méta-analyses de deuxième degré) et aux méta-analyses de premier degré (Schmidt, 2015; Shadish et coll., 2015; Allen et coll., 2013; Hattie et coll., 2013). C’est notamment ce qui explique que ces méthodes soient si répandues, surtout depuis les années 2000. Seulement dans Google Scholar, il y a au-delà de 2 500 titres relatifs aux méga-analyses (méta-analyses de deuxième degré) et plus de 2 800 000 intitulés qui sont pertinents à des méta-analyses de premier degré. Le nombre de thèses doctorales qui sont reliées à ce type de recherche se situe à près de 1 500. Par exemple, dans la seule banque de données PsycINFO, ces publications des cycles d’études supérieures se chiffrent à 1 311, entre les années 1998 et 2015. D’ailleurs, des séminaires portant spécifiquement sur les méta-analyses (deuxième et premier degrés) sont offerts aux apprenants de troisième cycle universitaire. Ces séminaires aident ces derniers à réaliser leur projet d’étude relatif à l’une ou l’autre de ces deux méthodes de recherche étroitement apparentées (Schmidt., 2015; Hunter et coll., 2014).
Après avoir considéré la définition de la méga-analyse, son appellation, ses critiques et ses apports de même que l’ampleur de ses publications générées, il faut maintenant préciser les différentes démarches méthodologiques à effectuer pour la réalisation d’une méga-analyse.
Les démarches de la méga-analyse
Ces démarches sont identifiées par plusieurs auteurs (Borenstein et coll., 2016; Picciano, 2016; Schmidt et coll., 2015; Hunter et coll., 2014; Cooper et coll., 2012; Crombie et coll., 2009). À la suite de la recension des écrits révélant la pertinence sociale et scientifique de la méga-analyse, et consécutivement à la formulation de la question principale de cette recherche, plusieurs démarches sont proposées par ces auteurs. Elles peuvent être décrites comme suit :
– l’identification des sources de données relatives aux méga-analyses et aux méta-analyses ainsi qu’aux stratégies de cueillette des données;
la recommandation d’une classification de ces sources;
le rappel de la question globale de recherche;
la formulation des questions opérationnelles de la recherche;
la détermination des critères d’inclusion s’avérant la base de la sélection des méta-analyses;
l’identification des méta-analyses retenues pour réaliser la méga-analyse;
la justification des méta-analyses retenues au regard des critères d’inclusion relatifs aux méta analyses à traiter dans la méga-analyse;
le traitement des variables au sein des méta-analyses retenues, soit :
la détermination des critères d’inclusion des variables à considérer;
l’identification des variables retenues;
la justification des variables retenues au regard des critères d’inclusion des variables à considérer;
la procédure du traitement des données et de la présentation des résultats, soit :
le choix du modèle de l’évaluation des effets d’ampleur;
la détermination de l’estimation des effets d’ampleur;
la modalité de présentation des résultats.
L’objet des rubriques ultérieures explicite comment la présente méga-analyse effectue chacune de ces multiples démarches.
Les sources des données relatives aux méga-analyses et méta-analyses et les stratégies de cueillette des données
Une des premières démarches d’une méga-analyse est l’identification des sources de données, relevant à la fois des méga-analyses et méta-analyses, qui soient pertinentes à l’objectif du projet doctoral. Pour l’identification de ces sources, rappelons-le, quatre balayages ont été effectués couvrant les années 2000-2017. Les banques consultées sont les suivantes: Academic Search Premier, Cairn, Current Content Connect, Proquest Disssertations & Theses Full Text Global, Education Source, ERIC, Pascal et Francis, PsyNET.
Le premier balayage concernait l’état des études relatives aux méga-analyses. Il était nécessaire d’aller investiguer à l’aide de différentes appellations utilisées pour désigner une méga-analyse, soit « mega-analysis », « meta-meta-analysis », « second-order meta-analysis ». Les autres mots clés combinés, d’une façon ou d’une autre, à ces trois appellations ont notamment été: « distance education », « effectivenes », « technologies »,
online learning », « internet-based learning», « web-based learning », « web-based instruction » et « computer-based instruction ».
Le deuxième balayage est relatif à l’état des études relatives, non pas méga-analyses, mais aux méta-analyses. Pour ce faire, diverses combinaisons correspondant aux mots-clés suivants ont été effectuées, soit « meta-analysis », « distance education », « effectivenes » technologies », « online learning », « internet-based learning », « web-based learning », web-based instruction », « computer-based instruction ».
Le troisième balayage rapporte l’état des études relatives aux méga-analyses portant sur les variables modératrices de l’efficacité de la FAD selon les avancées technologiques. Ces méga-analyses sont recherchées à l’aide de diverses combinaisons des mots-clés suivants :
« mega-analysis », « meta-meta-analysis », « second-order meta-analysis », « distance education », « effectiveness », « technologies », « online learning », « internet-based learning », « web-based learning », « web-based instruction », « computer-based instruction », « discussion », « interaction », « learning instruction », « teacher’s feedbacks », « collaboration », « self-determination », « self-regulation » et « motivation ».
Le quatrième balayage comprend l’état des études relatives, non pas aux méga-analyses, mais aux méta-analyses portant sur les variables en lien avec l’efficacité de la FAD selon les avancées technologiques. Pour ce faire, diverses combinaisons des mots-clés suivants ont été utilisées. Ils sont identiques au troisième balayage sauf que les mots « mega-analysis », « meta-meta-analysis », « second-order meta-analysis » sont remplacés par « meta-analysis ».
|
Table des matières
INTRODUCTION
CHAPITRE I : PROBLÉMATIQUE, PERTINENCE SOCIALE ET SCIENTIFIQUE
1.1 LA PERTINENCE SOCIALE DE LA RECHERCHE
1.2 LA PERTINENCE SCIENTIFIQUE ET LA PROBLÉMATIQUE : L’ÉTAT DES ÉCRITS SUR L’EFFICACITÉ DE LA FAD SELON LES AVANCÉES TECHNOLOGIQUES
1.2.1 Les diverses conceptions du rôle de la technologie
1.2.2 Des positions discordantes
1.2.3. Les principales théories de la FAD
1.2.4 Des positions ambiguës
1.2.5 L’état de la recherche relative aux méga-analyses et aux méta-analyses en lien avec l’efficacité de la FAD
1.3 LA FORMULATION GLOBALE DE LA PROBLÉMATIQUE
1.4 UNE CLASSIFICATION DES ÉTUDES MÉTA-ANALYTIQUES RELATIVES À L’EFFICACITÉ DE LA FAD SELON LES AVANCÉES TECHNOLOGIQUES
1.4.1 La nécessité d’une classification
1.4.2 Les catégories de la classification
CHAPITRE II : MÉTHODOLOGIE
2.1 LA QUESTION DE RECHERCHE
2.2 MÉTHODOLOGIE
2.2.1 Méthode de recherche : la méga-analyse
2.2.2 Les sources des données relatives aux méga-analyses et méta-analyses et les stratégies de cueillette des données
2.2.3 La nécessité d’une classification
2.2.4 Le rappel de la question principale de la recherche
2.2.5 Les questions opérationnelles de la recherche
2.2.6 La détermination des critères d’inclusion des méta-analyses
2.2.7 L’identification des méta-analyses retenues
2.2.8 La justification de la sélection de ces méta-analyses
2.2.9 Les informations globales relatives aux 16 méta-analyses retenues
2.2.10 Les variables à traiter au sein des méta-analyses retenues
CHAPITRE III : PRÉSENTATION DES RÉSULTATS
3.1 LA PROCÉDURE DU TRAITEMENT DES DONNÉES
3.1.1 Le modèle de l’évaluation des effets d’ampleur
3.1.2 L’estimation des effets d’ampleur qui ont été obtenus dans notre méga-analyse
3.2 LES RÉSULTATS PRINCIPAUX
3.2.1 Les caractéristiques communes aux méta-analyses retenues
3.2.2 Les méta-analyses utilisant la catégorie de technologies PDE
3.2.3. Les méta-analyses comprenant la catégorie de technologies PDE/ODE
3.2.4 Les méta-analyses utilisant la catégorie de technologies ODE
3.2.5 Synthèse des résultats de l’efficacité de la FAD selon les avancées technologiques
3.3.1 Les caractéristiques communes aux variables retenues
3.3.2 Les variables relatives aux stratégies pédagogiques
3.3.3 Synthèse des variables relatives aux stratégies pédagogiques
3.3.4 Les variables relatives aux contenus de cours
3.3.5 Synthèse des variables relatives aux contenus de cours
3.3.6 Les variables relatives aux divers niveaux de la FAD
3.3.7 Synthèse des variables relatives aux divers niveaux de la FAD
3.4 SYNTHÈSE DES RÉSULTATS PRINCIPAUX ET COMPLÉMENTAIRES
3.4.1 Au regard des résultats principaux
3.4.2 Au regard des résultats complémentaires
CHAPITRE IV : DISCUSSION DES RÉSULTATS
4.1 SUR LE PLAN DE LA RECHERCHE
4.2 SUR LE PLAN MÉTHODOLOGIQUE
4.2.1 Les cas à mettre en relief
4.2.2 Les incidences de certains choix méthodologiques
4.3 SUR LE PLAN CONCEPTUEL
4.3.1 L’apport des résultats reliés aux conceptions du rôle de la technologie
4.3.2 Les propositions concernant les théories de la FAD
4.4 SUR LE PLAN DES IMPLICATIONS PRATIQUES
4.4.1 La réalité de la fracture numérique
4.4.2 Le leadership des institutions postsecondaires offrant de la FAD
4.5 SUGGESTIONS POUR DES RECHERCHES ULTÉRIEURES
4.5.1 Relativement à l’identification de stratégies pédagogiques
4.5.2 Au regard de contenus de cours
4.5.3 En lien avec deux groupes d’acteurs de la FAD
4.6 SYNTHÈSE DU CHAPITRE IV
CONCLUSION
RÉFÉRENCES BIBLIOGRAPHIQUES
ANNEXES
Télécharger le rapport complet
