Évaluation du risque de biais

Évaluation du risque de biais

Afin de s’assurer que les résultats issus des études sélectionnées soient valides, une évaluation du risque de biais est recommandée (Higgins et al., 20 Il ; Martin et Renaud, 2013). En effet, différents aspects des études retenues se doivent d’être vérifiés, tant dans la méthode utilisée dans les projets que dans la cohérence entre les objectifs poursuivis et les résultats rapportés. Cette démarche a été réalisée pour chacune des 10 études utilisées aux fins des méta-analyses. Bien qu’ il soit recommandé que celle-ci soit faite par deux personnes différentes (Martin et Renaud, 2013), ceci n’a pu être réalisé dans le présent mémoire. Pour ce faire, une grille d’ évaluation a été construite (Appendice 5) en s’inspirant des critères d’évaluation du risque de biais tels que recommandés par Higgins et ses collaborateurs (2013) dans le document de référence développé en 2005 par la Cochrane Collaboration (Appendice 6). Ainsi, selon ce guide, six biais possibles ont été évalués pour chacune des études :

1) Le biais de sélection: Afin de s’assurer que les caractéristiques des participants soient comparables dans les deux groupes, c’ est-à-dire qu’aucune distinction systématique ,n’existe entre eux et ne viennent biaiser les résultats éventuels de l’étude, il est recommandé que l’ allocation des participants dans les groupes contrôle et recevant l’ intervention soit faite de façon aléatoire. Dans le cas contraire, un biais lié à la sélection des participants serait considéré, ce qui a été le cas lorsque le type de devis n’était pas strictement randomisé, ou que la procédure pour ce faire n’a pas été détaillée dans l’ article.
2) Le biais de performance : Afin de contrôler l’ influence de l’environnement et de l’intervention à l’étude sur les participants afin d’en obtenir des résultats valides, il est nécessaire de s’ assurer que les participants et les intervenants ne sachent pas qui reçoit la dite intervention. Ainsi, il est possible de considérer que les effets observés découlent bien de l’ intervention offerte, et non du fait qu’on pense la recevoir.
3) Le biais de détection : Consiste à vérifier si les outils de mesure utilisés ainsi que les procédures pour ce faire sont les même pour tous les participants, permettant ainsi de s’ assurer que les effets des interventions ne soient pas dus aux modalités de mesures ou à l’ évaluateur lui-même. Ainsi, un biais de détection a été noté concernant les études utilisant des mesures strictement auto-rapportées.
4) Le biais lié à l’ attrition : Permet de constater si les chiffres liés au recrutement et à l’ attrition sont explicités, et ainsi de constater si les données rapportées sont incomplètes.
5) Biais de divulgation des résultats : Permet de déterminer si les résultats attendus correspondent aux questions initialement posées, sachant qu’en général, les résultats statistiquement significatifs ont davantage tendance à être rapporté, tandis que ceux qui ne le sont pas sont passés sous silence.
6) Autre type de biais : concerne tout ce qui pourrait compromettre la crédibilité de la recherche, tel qu’un conflit d’ intérêt éventuel lié aux auteurs ou à la source de financement du projet.

Analyses statistiques

Procédure méta-analytique

L’ analyse des données consiste à effectuer la démarche statistique propre à la métaanalyse, ce qui a été réalisé en 3 étapes, et ce de la même façon dans les deux métaanalyses, afin de répondre à l’ objectif 1 :

1- La taille d’ effet de chacune des études a été calculée afin de déterminer la force et la direction de l’ association entre les interventions et les comportements des enfants (Littell et al., 2008). Pour ce faire, les données statistiques disponibles dans les 10 études utilisables ont été entrées telles quelles dans le logiciel Comprehensive Meta-Analysis sauf dans certains cas (Chaffin et al. , 2004; Linares, 2006; MacMillan et al, 2005 et Thomas et al., 20 Il). Dans ces études, afin de ne pas dédoubler le poids associé à chacune et compte tenu que deux mesures de comportements extériorisés sont présentés, un d combiné entre les deux a été calculé et attribué comme valeur à l’ étude.

2- Ainsi, les tailles d’ effets respectives des études retenues ont été transformées en d de Cohen (Ellis, 2010), cette mesure de taille d’ effet permettant de comparer des effets issus d’études dont les scores ne sont pas rapportés ni mesurés de la même façon (Littell et al. , 2008). Selon Cohen, (1988), il a été considéré qu’un d inférieur à 0,2 qualifie un effet faible, un d entre 0.2 et 0,5 un effet moyen et, si d est supérieur 0,8, l’ effet est important.

3- Un effet global considérant l’ensemble des études retenues a ensuite été calculé(méta-analyse CI: k= ll ; méta-analyse CE: k= 13) dans chacune des méta-analyses, produisant un d global qualifiant l’association entre l’ensemble des interventions et leur effet sur les comportements des enfants, chaque étude se voyant attribuer un poids selon son échantillon. Le mode de répartition aléatoire (randomized effect size) des effets a été sélectionné dans le CMA afin d’ être représentatif de la variabilité potentielle entre les études. Les analyses ont été réalisées en considérant l’étude comme unité de mesure dans le logiciel (Study as unit), puisque les deux sous-groupes représentés dans les études (intériorisés versus extériorisés) ont été traités en deux méta-analyses distinctes.

4- L’ hétérogénéité (Q) entre les études a été examinée afin de déterminer la pertinence d’ étudier l’ impact des variables de modération quant à l’ efficacité globale des programmes d’ intervention sur les PCI et les PCE.

Biais de publication

Afin de vérifier la présence d’un éventuel biais de publication, un diagramme de dispersion en entonnoir a été réalisé à l’ aide du CMA (figure 1), révélant que les études se distribuent symétriquement autour de l’axe vertical. Il n’ y a donc pas de biais de publication.

Données extrêmes

La présence de données extrêmes peut biaiser les résultats méta-analytiques, ce biais a donc été vérifié en calculant les Z de Fischer propres à chaque étude. Toute étude pour laquelle celui-ci serait supérieur à 3.29 ou inférieur à -3.29 représente des données extrêmes. Ce calcul a été fait pour les deux méta-analyses, ne révélant pas de données extrêmes (Appendice 7 et 8).

Analyses additionnelles

L’influence de variables de modération quant à l’efficacité globale des programmes d’intervention sur les PCI et les PCE a été évaluée afin de répondre à l’ objectif 2. Des analyses de modération ont été réalisées pour les variables catégorielles (e.g., spécificité des types de programmes d’ intervention, niveau de comparaison inter ou intra groupe, types de maltraitance, types d’ outil, cibles de l’ intervention). L’influence des variables continues (e.g., n de l’ échantillon, année de publication, nombre de garçons/filles dans l’ échantillon, âge des enfants, durée de l’intervention, nombre d’ intervention) a été testée à l’aide de méta-régressions.

Nombre totale d’études incluses

Après l’élimination des doublons, 1 981 publications ont été répertoriées (Figure 2). Les titres et résumés de chacune ont ensuite été consultés afin de valider leur pertinence Ainsi, 143 articles ont été retenus pour lecture approfondie. De ceux -ci, 131 ne rencontraient pas tous les critères requis: Dans 30 articles, le type de maltraitance principal de l’ échantillon n’ était pas précisé, dans 37, la preuve que des mauvais traitements avaient eu lieu n’ était pas apportée, l’intervention étant de type prévention primaire. Ensuite, 32 études ne rapportaient pas de données relatives aux enfants. Un article était rédigé en arabe, 14 articles ne rapportaient pas d’ intervention (e.g., article théorique, descriptif), 5 références n’ont pas été trouvées, une étude s’ intéressait à des enfants de plus de 12 ans, Il étaient hors-sujet et finalement, une étude était un doublon égaré.

Deux articles ont dû être éliminés bien qu’ ils rencontraient tous les critères d’inclusion. En effet, les données statistiques présentées dans l’ étude de Kolko et al. (2011) et de Timmer, Urquiza, Zebell, et McGrath (2005) n’ étaient pas suffisantes afin de calculer une taille d’ effet. Dans le cas de Kolko et al. (2011), une valeur t ou des corrélations pré-post auraient été nécessaires en complément des moyennes et écarts types pour calculer un d de Cohen. Pour l’étude de Timmer et al.(2005), seules les moyennes pré-post étant présentées, le calcul d’un d était impossible. Ces auteurs ont été contactés afin d’ essayer d’ obtenir des statistiques utilisables, sans succès. Ce sont donc 10 articles qui ont été retenus.

Quant à la pertinence de conserver ou d’exclure une étude, une vérification a été assurée par deux personnes lorsqu ‘ il y avait un doute lié au classement

Table des matières

Remerciements 
Introduction 
Contexte théorique
Maltraitance des enfants
Maltraitance et interventions
Constats
Objectifs de recherche
Hypothèses
Méthodologie
Sources des données et recension
Analyses statistiques
Procédure méta-analytique
Résultats
Sélection des études
Principales caractéristiques des études retenues
Effets principaux
Discussion
Les programmes d’ intervention offerts aux familles suivies en protection de la jeunesse pour N, AP et N-AP sont-ils efficaces pour diminuer les PCI et BCE de ces enfants ? 
Les programmes d’ intervention destinés spécifiquement à la N, à l’AP ou à la N-AP (dits programmes spécifiques) sont-ils plus efficaces que les programmes s’ adressant à toute forme de maltraitance (dits programmes non-spécifiques) pour diminuer les PCI et PCE des enfants victimes de N, d’ AP et de N -AP?
Limites
Conclusion
Références
Appendice 1
Caractéristiques des programmes d’ intervention offerts aux familles négligentes
Appendice 2
Source de la confirmation de la maltraitance
Appendice 3
Experts consultés dans la recherche documentaire
Appendice 4
Grille d’ extraction – Méta analyse
Appendice 5
Grille d’ éval uation des risques de biais
Appendice 6
Cochrane bias too1
Appendice 7.
Vérification de la présence de données extrêmes-Comportements intériorisés
Appendice 8
V érification de la présence de données extrêmes-Comportements extériorisés
Appendice 9
Synthèse des risques de biais associés aux articles retenus
Appendice 10
Extraction des données
Appendice Il
Forest plot des études incluses dans la méta-analyse sur les comportements intériorisés
Appendice 12
Forest plot des études incluses dans la méta-analyse sur les comportements extériorisés

Télécharger le rapport complet