Pourquoi faudrait-il faire une évaluation d’impact ?

Formulation des théories de changement

DEMARCHE DE MISE EN PLACE

Pourquoi faudrait-il faire une évaluation d’impact ?

Il existe plusieurs raisons argumentant un projet d’évaluation de l’impact – Pour décider s’il faut financer une intervention : une « évaluation à priori » est faite avant la mise en œuvre d’une intervention, pour estimer ses impacts probables et orienter les décisions de financement. – Pour décider s’il faut ou non continuer ou développer une intervention. – Pour apprendre comment répliquer ou augmenter une intervention pilote. – Pour apprendre comment réussir à adapter une intervention réussie à une autre situation. – Pour réassurer les financeurs, y compris les bailleurs de fonds et les contribuables (rendre des comptes en amont) que l’argent est investi sagement – et que l’organisation apprend ce qui fonctionne ou pas et utilise ces informations pour améliorer les décisions de mise en œuvre et d’investissement à l’avenir. – Pour informer les bénéficiaires prévus et les communautés (rendre des comptes en aval) sur la manière dont le programme bénéficie ou non à la communauté et des quelles manières.

Comment réaliser cette évaluation d’impact ?

La démarche empruntée est tirée du travail réalisé par Paul J.Getler, Sebastian Martinez, Patrick Premand, Laura B.Rawlings, Christel M.J Vermeersh dans leur manuel « L’évaluation d’impact en pratique » . Cette démarche suppose le passage par quatre grandes étapes : la construction d’une théorie du changement montrant comment le projet est censé atteindre les résultats espérés, la réalisation d’une chaîne de résultats, la formulation des hypothèses qui seront testées par l’évaluation et la sélection d’indicateurs de performance. Toutes ces étapes contribuent à formuler une question d’évaluation. Il est primordial qu’elles soient considérées dès la conception du projet, en étroite collaboration avec les parties prenantes y compris les décideurs et responsables du projet, dans l’optique d’obtenir une vision commune des objectifs et de la manière de les atteindre. Un tel dialogue permet de forger un consensus sur les principales questions auxquelles l’évaluation répondra et de renforcer les liens entre l’évaluation et la mise en œuvre du projet. Ces étapes sont aussi essentielles pour établir la transparence et les spécificités nécessaires à la réalisation d’une bonne évaluation d’impact.Les évaluations d’impact peuvent être regroupées en deux catégories : les évaluations prospectives et les évaluations rétrospectives. Les évaluations prospectives sont prévues dès la conception du projet et font partie intégrante de sa mise en œuvre. Les données de l’enquête de base (ou enquête de référence) sont collectées avant la mise en place du projet tant pour le groupe de traitement que pour le groupe de comparaison. Les évaluations rétrospectives portent, quant à elles, sur l’impact du projet après la mise en œuvre de celui-ci, les groupes de traitement et de comparaison étant définis ex-post. En général, les évaluations d’impact prospectives donnent des résultats plus solides et plus fiables, et ce pour trois raisons : – En premier lieu, la collecte préalable de données de base (ou enquête de référence) permet d’assurer la mesure des résultats à l’étude. – En deuxième lieu, la définition de mesures pour juger du succès d’un projet dès sa conception permet d’axer non seulement l’évaluation, mais aussi le projet sur les résultats espérés. Nous nous proposons dans le cadre de ce projet d’opter pour l’étude d’impact prospective dans la mesure où l’implémentation de l’ERP n’a pas été finalisée et généralisée.

Présentation de la démarche

La première phase concernera la formulation précise d’objectifs et de questions aux résultats espérés, la deuxième phase présentera la formulation de la théorie du changement, est définie et articulée au sein d’une forme de modèle logique, la chaîne de résultats. La troisième phase identifiera les critères de mesure d’impact ou indicateur de mesure de l’impact. En effet, cette démarche sous-entend une logique couvrant six aspects d’une évaluation d’impact:
– Préciser quelles sont les valeurs pour l’évaluation : qu’est-ce qui sera, ou ne sera pas, considéré comme souhaitable pour ce qui est des processus, des impacts et de la distribution des bénéfices ? – Élaborer et/ou tester une théorie de la manière dont l’intervention est censée fonctionner : on parle parfois de théories du changement, de modèles logique ou de théories de programme. – Mesurer ou décrire les impacts et autres variables importantes, comme les processus et le contexte.
– Expliquer si l’intervention a causé les impacts observés. – Synthétiser les données probantes pour en tirer un jugement évaluatif général. – Rendre compte des résultats et en appuyer l’utilisation.
Notons que lors de l’application des 4 étapes de la démarche nous avons utilisé les méthodes de collecte des données qualitatives. Nous avons opté essentiellement pour les données qualitatives engageant des entretiens semi directif réalisés auprès des responsables et partie prenante du projet. Nous avons recouru à des entrevues avec certains bénéficiaires et d’autres personnes susceptibles de fournir des informations .Bien que les points de vue et opinions issus de ces entretiens et des groupes focaux ne puissent être considérés comme représentatifs de l’opinion de l’ensemble des bénéficiaires du programme, ils sont particulièrement utiles au cours quatre étapes de l’évaluation d’impact.

Présentation des livrables des différentes étapes

Etape 1
Cette étape précisera à quelles questions l’évaluation d’impact veut-elle répondre ? Une évaluation d’impact devrait essayer de répondre seulement à un petit nombre de questions clés. L’évaluation s’intéresse à des questions de haut niveau, pas à des questions particulières qui pourraient être posées dans un entretien ou un questionnaire. Les entretiens réalisés avec les responsables fait ressortir que l’objectif de cette étude d’impact est de traiter la question de quels sont les impacts de ce projet de mise en place d’un ERP sur les résultats de l’OMMP et sur son organisation. En fonction de la réponse apportée une décision sera prise quant à la généralisation de ce projet sur tous les sites et prendre en compte les principales modifications entre un état présent A et un état futur

Etape 2 Formulation des théories de changement

Cet étape consiste à identifier les théories du changement c’est dire décrire la manière dont une intervention est censée produire les résultats espérés. Elle a pour objectif de décrire la logique causale expliquant comment et pourquoi un projet, atteindra les résultats visés. L’existence d’une théorie du changement est fondamentale pour les évaluations d’impact étant donné l’importance qu’elles portent aux relations de cause à effet. La théorie du changement est l’une des premières étapes de la conception d’une évaluation, car elle contribue à la formulation des questions de recherche. Le début du processus de l’implémentation ERP constitue le meilleur moment pour formuler une théorie du changement ; les parties prenantes énonceront leur vision commune du projet. Pour élaborer des hypothèses sur la manière et les raisons de la réussite du projet d’implémentation, nous avons aussi recouru à la méthode d’exploration positive, où des parties prenantes clés essaieront de simuler de moments où le projet fonctionne particulièrement bien puis identifier les changements espérés.

Table des matières

INTRODUCTION GENERALE
SECTION 1 PRESENTATION DE L’ENTREPRISE ET DU CADRE DU PROJET
A] Présentation de l’activité de l’OMMP
B] Contexte de l’intervention
C] Problématique
D] Objectif
SECTION 2 DEMARCHE DE MISE EN PLACE
A] Pourquoi faudrait-il faire une évaluation d’impact ?
B] Comment réaliser cette évaluation d’impact ?
C] Présentation de la démarche
D] Présentation des livrables des différentes étapes
1. Etape 1
2. Etape 2 Formulation des théories de changement
3. Etape 3 : Traduction des Résultats en critères mesurables
4. Etape 4 : Formalisation des indicateurs de mesure d’impact retenus
5. Etape 5 : Formalisation de la matrice d’impact
CONCLUSION GENERALE
BIBLIOGRAPHIE

Télécharger le rapport complet