STAGE A LA DIRECTION DE L’EVALUATION D’INDUSTRIE CANADA

STAGE A LA DIRECTION DE L’EVALUATION D’INDUSTRIE CANADA 

Devis Expérimental, Quasi-expérimental et implicite

 Selon le guide d’évaluation des programmes produit par le Secrétariat du Conseil du trésor (2008), la première étape pour démarrer une évaluation est de sélectionner un devis. Selon ce guide, le devis d’évaluation est le modèle logique utilisé pour arriver à des conclusions quant aux impacts du programme. Une série d’indicateur doivent être imaginés pour chaque aspect du devis que l’on souhaite mesurer, et l’évaluation doit déterminer dès le départ quelle sera l’approche utilisée pour interpréter chacun de ces indicateurs (SCT, 2008). L’évaluation cherchant par définition à établir une relation de cause à effet entre un programme et les impacts décrits (Weiss and Rein, 1969), un modèle expérimental visant à isoler les effets d’un programme donné d’autres facteurs ayant pu influer sur les changements sociaux ayant eu lieu en même temps est perçu comme un idéal type au sein de la discipline (Campbell, 1970).

Dans la réalité, l’évaluation se faisant la plupart du temps en milieu organisationnel, donc bénéficiant de ressources financières et humaines limitées (SCT, 2008), l’isolation des effets d’un programme sur la société étant en pratique impossible, et la mesure quantitative de ces changement occasionnant des distorsions par rapport aux impacts réels d’un programme (Weiss and Rein, 1969), l’utilisation d’un devis implicite apparaît le plus fréquent dans la discipline. Au contraire des devis expérimental ou quasi-expérimental, ce devis permet à !’évaluateur de ne mesurer l’état ou la satisfaction de l’utilisateur qu’à postériori (i.e. sans utiliser de groupe de comparaison ni mesurer la situation avant l’intervention du programme) et d’assumer que l’état ou la satisfaction de l’utilisateur ne serait pas le même sans l’intervention du programme, en se basant uniquement sur des témoignages et la supposition raisonnable que la situation ne pouvait pas être la même avant l’intervention du programme (SCT, 2008). Au sujet du devis implicite, le Secrétariat du Conseil du trésor précise : « Dans sa forme la moins crédible, ce devis constitue en demander aux participants d’ils ont aimé le programme. Les témoignages positifs sont offerts comme preuve du succès du programme. Campbell (1977), parmi d’autres, critique cette approche, et suggère plutôt l’utilisation d’un devis quasi-expérimental.

Limites de l’évaluation des programmes publics

 Bien que théoriquement logique et bien implanté au sein des milieux académiques, en relation avec les théories de la Nouvelle Gestion Publique et l’ère de la Nouvelle gouvernance, l’évaluation systématique des programmes publics fait l’objet de critiques dans la mesure où les devis d’évaluation ne sont pas objectifs et sont forcément teintés d’idéologie. Selon Barbara Wake Carrol, la variété des résultats obtenus par les administrations publiques suppose qu’il est très difficile de les évaluer de façon consistante. Elle déplore la prépondérance d’éléments quantitatifs dans les cadres d’évaluation : «il y a deux préoccupations importantes dans l’évaluation des résultats une fois qu’ils ont été mesurés. L’un est la tragédie de la quantification. L’autre est: « de qui provient la perception?». En décidant des résultats à évaluer, les résultats quantifiés vont toujours surpasser les résultats qualitatifs. Le nombre de clients servis devient plus important que la qualité du service. ».Il apparaît donc qu’en dépit d’objectifs louables, certains outils associés à la Gestion axée sur les résultats occasionnent une distorsion entre ces objectifs et les pratiques effectives des gestionnaires.

Dans cette même veine, Bernier, Dupuis et Simard (2006) notent que les études quant au rendement des entreprises publiques sont souvent contradictoires, étant donné que plusieurs cadres d’analyse courants consistent à évaluer « leur rentabilité, leur rendement financier, comme si leur seule raison d’être était économique » (Bernier, 2006 : 313). L’importance des objectifs non-commerciaux comme la création d’emplois ou le développement régional, traditionnellement pris en charge par les organisations publiques, serait souvent occultée dans les analyses de rendement. Ainsi, la gestion axée sur les résultats, en tentant d’augmenter l’efficience des organisations publiques au niveau des organisations privées, occasionnerait également une transformation des objectifs et de la mission de ces dernières.

Concepts liés à l’analyse et au développement des organisations

Cette catégorie de concepts se divisent en deux sous-catégories. La première réfère aux concepts entourant la capacité du gestionnaire à positionner son organisation et à influencer les processus décisionnels dans le contexte plus vaste d’une supra-organisation (le ministère) et de la nécessité d’une collaboration constante avec d’autres organisations ou sous-organisations. La seconde réfère à l’étude de la communication entre le gestionnaire et ses collaborateurs et suggère que pour influencer efficacement ses pairs ou bien utiliser efficacement les ressources humaines dont il disposent, le gestionnaire doit faire preuve d’une compréhension de sa cible d’influence et doit favoriser le consensus et l’atteinte d’objectifs communs. L’ensemble des concepts décrits ci-dessous servent de basent aux recommandations faites à l’organisation, citées en partie 5 de ce rapport.

Table des matières

I INTRODUCTION
II DESCRIPTION DU MANDAT
III PRÉSENTATION DE L’ORGANISATION
IV RECENSION DES ÉCRITS
V MÉTHODOLOGIE
VI RÉSULTATS
VII CONCLUSION
VIII BIBLIOGRAPHIE
ANNEXE

Télécharger le rapport complet