Soutenance mémoire
La mise en œuvre de projet de développement s’accompagne d’études préliminaires et de préfaisabilités avant l’exécution proprement dite. Dans ce cas, on pourrait être sur que le projet va produire de conséquences positives sur le milieu récepteur. Dès que le projet est fini, on peut vérifier si le projet ait l’effet désiré ou non, si l’objectif est atteint, s’il y a changement entre la situation avant projet et après. La pertinence de cette vérification dépend de la méthode utilisée afin qu’on puisse cerner l’impact de projet.
LES APPROCHES POSSIBLES D’EVALUATION
Définition des concepts et techniques pour l’évaluation d’impact
Une évaluation globale se définit dans la littérature comme une évaluation qui intègre le contrôle, l’évaluation du processus, l’évaluation du cout-bénéfice et l’évaluation d’impact. Cependant chacune de ces composantes est nettement différente. Le contrôle aidera à évaluer si un programme est mis en œuvre comme il a été planifié. Un système de contrôle de programme permet la rétroaction continue sur l’état de la mise en œuvre du programme, l’identification du problème spécifique comme ils apparaissent. L’évaluation du processus traite du fonctionnement du programme et se concentre sur des problèmes de prestation de service. Les évaluations cout bénéfice ou de rentabilité évaluent des coûts de programme (monétaire ou non monétaire), en particulier leur relation avec des utilisations alternatives de même ressources et de bénéfices produits par le programme. Et finalement l’évaluation d’impact est destinée à déterminer de façon plus large si le programme a eu l’impact désiré sur des individus, des ménages et des institutions et si ces effets sont attribuables à l’intervention du programme. Les évaluations d’impact peuvent aussi explorer des conséquences imprévues, soit positives soit négatives sur les bénéficiaires. (Source : Evaluation de l’impact de projet de développement sur la pauvreté Manuel à l’attention des praticiens. Banque Mondiale).
Certaines des questions traitées dans l’évaluation d’impact sont entre autre : quel a été l’impact du projet sur les bénéficiaires ? Certaines améliorations ont-elles résulté directement du projet ou bien auraient-elles de toute façon été obtenues ? La conception du programme pouvait-elle être modifiée pour améliorer l’impact ? Les dépenses étaient-elles justifiées ? Ces questions ne peuvent pas, cependant, être simplement évaluées par les résultats d’un projet. D’autres facteurs ou événements peuvent être en corrélation avec les résultats, sans être engendré par le projet. Pour assurer la rigueur méthodologique, une évaluation doit estimer les effets contre factuels c’est-à-dire ce qui sera arrivé si le projet n’avait jamais vu le jour ou ce qui aurait pu arriver. Pour déterminer la comparaison contre factuelle. Il est nécessaire de distinguer l’effet des autres facteurs une tache quelque peu complexe. Cela se fait à travers la comparaison de groupes témoins (ce qui ne participent pas à un programme ou n’en reçoivent de bénéfices) avec les groupes cibles (les individus qui reçoivent l’intervention). Les groupes témoins sont choisis aléatoirement de la même population que les participants au programme tandis que le groupe de comparaison est tout simplement le groupe qui n’est pas pris en compte par l’étude du programme. Les groupes de comparaison aussi bien que les groupes de contrôle devraient rassembler au groupe cible en tous points. La seule différence entre les groupes étant la participation au programme.
La détermination de la comparaison contre factuelle est au cœur de la conception d’évaluation. Elle peut être réalisée selon plusieurs méthodologies regroupées en deux grandes catégories, des conceptions expérimentales (aléatoire) et des conceptions quasi-expérimentales (non aléatoire). Il est cependant difficile de distinguer l’impact de programme des conditions contre factuelles qui peuvent être affectées par l’histoire, la distorsion de la sélection et la contamination .
Evaluation à la base de théorie
La prémisse des évaluations à base de théorie est que les programmes et projets sont basés sur une théorie explicite ou implicite sur comment et pourquoi un programme va réussir. L’évaluation serait alors basée sur l’évaluation de chaque théorie et hypothèse d’un programme pendant la mise en œuvre plutôt qu’à mi-parcours ou après que le projet a été achevée. Dans la conception de l’évaluation, la théorie sous-jacente est présentée en plusieurs micro étapes avec les méthodes ensuite élaborées pour la collecte de données et l’analyse pour le déroulement des hypothèses. Si les évènements ne se passent pas comme prévu l’évaluation peut indiquer avec une certaine confiance ou, pourquoi et comment la défaillance est arrivée. (Source : Evaluation de l’impact de projet de développement sur la pauvreté Manuel à l’attention des praticiens ; Banque Mondiale) .
L’approche met l’accent sur les réponses des participants aux activités de programme. Les théories dirigent l’attention d’évaluateur sur des types d’impacts probables à court et à long terme. Parmi les avantages, il y a d’abord que l’évaluation fourni des indications rapides de l’efficacité de programme pendant la mise en œuvre du projet. S’il y a des défaillances pendant la mise en œuvre, il est possible de les situer le long du parcours L’approche aide à exprimer comment et pourquoi les effets se sont produits. Si les évènements se passent comme prévu l’évaluation peut indiquer avec une certaine confiance comment les effets se sont produits. En suivant l’ordre des étapes, il est possible de suivre à la trace les micros étapes qui ont conduit de ressources du programme jusqu’aux résultats .
Les défauts de l’approche sont semblables à beaucoup d’autres méthodologies, particulièrement : Des hypothèses identifiables et des théories peuvent être en soi complexe Les évaluateurs peuvent rencontrer des problèmes pour mesurer chaque étape, à moins que les données et les instruments corrects ne soient disponibles Des problèmes peuvent surgir dans l’appréciation de l’effort parce que les déclarations théoriques peuvent être trop générales pour permettre une appréciation très nette, et il peut y avoir les problèmes d’interprétation qui rendent difficile la généralisation des résultats.
Un exemple de la technique à base de théorie est piloté par le Département des Opérations et d’Évaluation de la Banque Mondiale pour évaluer l’impact des fonds d’investissement social sur le processus de prise de décision au niveau de la communauté, les structures de pouvoir traditionnelles et les relations et la capacité de la communauté, la confiance et le bien être. Ce sera basé sur la théorie que les groupes prioritaires peuvent efficacement mettre en œuvre un projet, le faire fonctionner et sauvegarder l’investissement créé par le projet. Un jeu des hypothèses principales et des sous hypothèses a été exposé et sera évalué en employant des données existantes d’enquête sur les ménages aussi bien qu’un instrument d’enquête particulièrement conçu pour un échantillon plus restreint et des groupes cibles.
Conception expérimentale
Les conceptions expérimentales également connues comme aléatoires sont généralement considérées comme la plus solide des méthodes d’évaluation. En affectant de manière aléatoire l’intervention parmi les bénéficiaires éligibles, le processus de nomination luimême crée les groupes cibles et les groupes témoins comparables qui sont statistiquement équivalents les uns les autres étant donnés les tailles d’échantillons appropriées. C’est un résultat très positif parce que, dans la théorie les groupes témoins produits par la nomination aléatoire servent comme une parfaite comparaison contre factuelle libre des questions de distorsion de sélection incommodante qui existent dans toutes les évaluations.
Avantages
L’avantage principal de cette technique est la simplicité dans l’interprétation de résultat – l’impact du programme sur le résultat que l’on évalue par la différence entre les moyennes des échantillons du groupe cibles et les groupes témoins. Le fait d’avoir des groupes de contrôle et des groupes cibles a alors permis aux évaluateurs de déterminer clairement l’impact d’un projet.
Inconvénients
En pratique, plusieurs problèmes subsistent : D’abord la simulation de distribution aléatoire peut être contraire à la morale par suite du refus des bénéfices ou services aux membres autrement éligibles de la population pour les objectifs de l’étude. Un exemple extrême serait le refus de traitement médicale qui peut s’avérer être d’importance vitale pour certaine tranche d’une population. Deuxièmement, il peut être politiquement difficile de fournir une intervention à un groupe et pas à un autre. Troisièmement, la portée du programme peut signifier qu’il n’y a pas de groupe de non cible en tant que tels, avec un projet ou un changement de politique qui a une large portée. Quatrièmement, des individus au sein des groupes témoins peuvent changer certaines caractéristiques d’identification pendant l’expérience, ce qui pourrait infirmer ou affecter les résultats. Si, par exemple, les gens se déplacent à l’intérieur et à l’extérieur d’un secteur de projet, ils peuvent s’y déplacer. Alternativement, les gens à qui on a refusé un avantage de programme peuvent le chercher par des sources alternatives ou ceux à qui un programme est destiné peuvent ne pas jouir de l’intervention. Cinquièmement, il peut être difficile d’assurer que la sélection est vraiment aléatoire. Et finalement, des conceptions expérimentales peuvent être coûteuses et prendre beaucoup de temps dans certaines situations, particulièrement dans la collecte de nouvelles données.
La planification rigoureuse peut permettre de surmonter certaines de ce problème dans la mise en œuvre de conceptions expérimentales. La sélection aléatoire de bénéficiaire constitue une voie. Cela peut être pour fournir à la fois un mécanisme d’attribution politiquement transparent et la base d’une conception d’évaluation saine comme le budget où des contraintes d’informations rend souvent impossible d’identifier exactement et d’atteindre les bénéficiaires les plus éligibles. Une deuxième voie se propose d’inclure des groupes témoins dans le programme à une étape postérieur une fois que l’évaluation a été conçue et amorcée. Dans cette technique, le choix aléatoire détermine plutôt quand le bénéficiaire éligible reçoit le programme ou s’il ne le reçoit pas. Finalement la simulation de distribution aléatoire peut être appliquée dans un sous ensemble de bénéficiaires également éligibles, en atteignant tous les candidats les plus éligibles et en refusant les bénéfices au moins éligibles.
|
Table des matières
INTRODUCTION
PARTIE I : LES APPROCHES POSSIBLES D’EVALUATION
CHAPITRE I : Définition des concepts et techniques pour l’évaluation d’impact
1.1. Evaluation à la base de théorie
1.2. Conception expérimentale
1.2.1. Avantages
1.2.2. Inconvénients
1.3. Conception quasi-expérimentale
1.3.1. Avantage
1.3.2. Inconvénient
1.4. Analyse cout-bénéfice et de la rentabilité
CHAPITRE II : Démarches clés dans la conception et la mise en œuvre des évaluations d’impact
2.1. Déterminer l’opportunité d’effectuer une évaluation
2.2. Clarifier les objectifs de l’évaluation
2.3. Explorer la disponibilité des données
CHAPITRE III : Les différents types de méthodes d’évaluation
3-1- Le liste de contrôle
3-2- Le matrice d’impact
3-3- Les méthodes d’aide à la décision
3-3-1-Présentation
3-3-2-Aide multicritères à la décision
3-3-3-Méthode de pondération des critères
3-4- La méthode de collecte de données
3-4-1 Dépouillement de la documentation spécialisée
3-4-2-Etude de dossier
3-4-3-Observation direct
3-4-4-Enquête
3-4-5-Consultation des experts
3-5- La méthode analytique
3-5-1- Analyse statistique
3-5-2-Analyse de l’information quantitative
3-5-3-Utilisation de modèle
3-5-3-1- Modèles de simulation
3-5-3-2-Modèle entrée-sortie
3-5-3-3-modèle microéconomique
3-5-3-4-Modèle macroéconomique
3-5-3-4-Modèle statistique
3-5-4-Analyse cout-avantage cout-efficacité
PARTIE II : LES METHODES APPLICABLES
CHAPITRE I : Avantage et inconvénients de chaque méthode
1-1-Les liste des contrôle
1-2-Matrices d’impact
1-3-Méthodes d’aide à la décision
1-4-Méthode de collecte de données
1-4-1-Dépouillement de documentation spécialisée
1-4-2-Etude de dossier
1-4-3-observation direct
1-4-4-Enquête
1-4-5-Consultation des spécialistes
1-5-Méthode analytique
1-5-1-Analyse statistique
1-5-2-Analyse de l’information quantitative
1-5-3-Utilisation de modèle
1-5-3-1-Modèle de simulation
1-5-3-2-Modèle entrée-sortie
1-5-3-3-Modèle microéconomie
1-5-3-4-Modèle macroéconomie
1-5-3-5-Modèle statistique
1-5-4-Analyse cout-avantage cout-efficacité
CHAPITRE II Quelle méthode pour quel projet ?
CONCLUSION
BIBLIOGRAPHIE
