Les systèmes de suivi-évaluation

 Les systèmes de suivi-évaluation

DÉFINITIONS

Le suivi

Selon l’OCDE, le suivi est un processus continu de collecte systématique d’informations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux parties prenantes d’une action de développement en cours, des élémentssur les progrès réalisés, les objectifs atteints et l’utilisationdes fonds alloués. 5 En pratique, le suivi est une tâche interne, réalisé par des agents qui sont impliqués dans l’exécution des programmes et projets. Il permet d’établir le progrès vers un but et d’identifier en temps opportun les risques et ainsi, les changements nécessaires au plan initial.

L’évaluation

L’évaluation de programme est une démarche rigoureuse de collecte et d’analyse d’information qui vise à porter un jugement sur un programme, une politique, un processus ou un projet pour aider à la prise de décision.6 L’évaluation se distingue du suivi de par sa fréquence, ses méthodes de collecte des données, et ses objectifs. Une évaluation est faite de manière ponctuelle. Elle peut être menée avant, durant ou après une intervention. Elle est soit quantitative et/ou
qualitative, menée en utilisant un devis pré-expérimental, quasi-expérimental ou expérimental.
Elle peut déterminer la pertinence, l’efficacité, l’efficience, l’impact, et la viabilité, d’une
intervention.

Le système de suivi-évaluation

Le mot système selon le dictionnaire. Petit Robert implique un ensemble de pratiques, de méthodes, et d’institutions formant à la fois une construction théorique et une méthode pratique. La terminologie de système de suivi-évaluation est souvent utilisée pour faire référence à l’ensemble des éléments constitutifs d’une activité de suivi ou d’évaluation. Selon Gorgens et Kusek, les systèmes de suivi-évaluation comprennent 12 composantes stipulées comme suie (la liste présentée ici est une traduction libre).
1. Structure et alignement organisationnel pour les systèmes de suivi-évaluation
2. Les capacités humaines pour le suivi-évaluation
3. Les partenariats pour le suivi-évaluation
4. Les plans de suivi-évaluation
5. Les plans de travail de suivi-évaluation budgétisé
6. Plaidoyer, communication et culture pour les systèmes de suivi-évaluation
7. Suivi routinier
8. Enquête périodique
9. Les bases de données utiles aux systèmes de suivi-évaluation
10. La supervision appuyée et l’audit des données
11. L’évaluation et la recherche
12. L’utilisation des données pour améliorer les résultats.
Chacune de ces composantes est essentielle pour former un système de suivi-évaluation efficace. Toutefois, il n’existe pas un système type. Tout dépendamment de la culture organisationnelle et de la stratégie gouvernementale, certaines composantes ont une pondération plus importante que d’autres. Il y a des pays comme le Chili qui vont miser sur des enquêtes rapides alors que d’autres comme la Colombie utilisent de longues évaluations (évaluation légère vs évaluation d’impact).
Nous pouvons aussi définir les systèmes de suivi-évaluation comme des processus de réflexion et
de communication permettant de lier la collecte des données et la gestion des activités, afin d’assurer une reddiÜon appropriée et promouvoir l’apprentissage.9

Le suivi-évaluation et ses applications

Le suivi-évaluation a pour fonction d’appuyer une prise de décision éclairée. Elle permet aux décideurs d’obtenir de l’information de qualité sur des choix à faire. Lorsqu’un gouvernement choisi d’investir 1 milliard US$ dans la construction d’un pont plutôt que dans l’électrification d’un village, il se doit d’avoir des raisons, des explications justifiant son choix. Ceci exige des données de qualité sur l’efficacité et la viabilité d’un tel investissement. Dans une perspective de bonne gouvernance et de gestion axée sur les résultats, les gouvernements ont l’obligation de justifier l’utilisation des fonds publics par des résultats directement imputables aux efforts déployés. Dans ce cas, le suivi-évaluation devient un outil indispensable permettant de mesurer l’atteinte des objectifs préétablis.
Malgré des lacunes en capacité de suivi-évaluation dans les administrations publiques, la pratique de suivi-évaluation se répand assez rapidement. Par exemple, Au Canada, le gouvernement a publié en 2009 la Politique sur 1′ évaluation obligeant les ministères à mener de façonsystématique des évaluations des programmes publics.10 Parallèlement, à l’échelle mondiale, des associations professionnelles d’experts en suivi-évaluation, des centres de formations et de recherche, ainsi que des réseaux, notamment grâce à Internet, se multiplient. Par ce fait même, de nombreuses publications présentent des modèles et approches de suiviévaluation afin d’encadrer la profession (la réalité étant qu’on retrouve encore dans plusieurs pays en développement des cadres occupant des postes de suivi-évaluation sans une formation préalable11). Mais pourquoi de telles multiplications aujourd’hui? Devons-nous vraiment insister
sur le suivi-évaluation dans la gestion des affaires publiques ?
Osborne et Gaebler synthétisent l’importance de suivi-évaluation de la façon suivante :
« Si vous ne pouvez pas mesurer les résultats, vous ne pouvez pas distinguer le succès de l’échec. Si vous ne pouvez pas distinguer le succès, vous ne pouvez pas le récompenser. Si vous ne pouvez pas récompenser le succès, vous récompensez probablement l’échec. Si vous ne distinguez pas le succès, vous ne pouvez en tirer les leçons. Si vous ne distinguez pas 1′ échec, vous ne pouvez pas corriger la situation. Si vous ne pouvez pas démontrer des résultats, vous ne pouvez bénéficier de l’appui de la population.»

Le suivi-évaluation dans un contexte de la gestion axée sur les résultats

Lè suivi et l’évaluation sont principalement des activités de gestion. Elles doivent être liées au contexte de l’organisation qui met en œuvre les programmes et projets publics afin de contribuer à la performance. Ces activités ont été beaucoup poussées depuis l’introduction de la gestion axée sur les résultats. Mais qu’est-ce que la gestion axée sur les résultats? La gestion axée sur les résultats est une stratégie ou méthode de gestion selon laquelle une organisation veille à ce que ses procédés, produits et services contribuent à la réalisation de résultats clairement définis. 13 Ladéfinition d’une logique d’intervention dims une approche GAR devient primordiale. Selon l’OCDE, la GAR fait référence aux 5 principes suivants:
• Axer le dialogue sur les résultats à toutes les étapes du processus de développement.
• Aligner la programmation, le suivi et l’évaluation sur les résultats.
• Assurer la simplicité des méthodes de mesure et des rapports.
• Axer la gestion sur l’obtention de résultats, plutôt que de gérer par résultats.
• Utiliser l’information relative aux résultats pour l’apprentissage et la prise de décisions.
La GAR repose sur une planification et une programmation qui définissent les orientations stratégiques, les déclinent en objectifs spécifiques et les traduisent en indicateurs de performance.
La place du suivi-évaluation dans une approche GAR introduit la maîtrise de la théorie de changement, c’est-à-dire, la définition d’une feuille de route à un résultatquelconque à travers une initiative définie. La gestion des programmes et projets publics se fait suivant un modèle logique qui exige de définir une chaîne de résultats allant des intrants, des activités, des extrants, des effets et des impacts. Ainsi, il faut se doter de ressources permettant de suivre le progrès vers l’atteinte des objectifs stratégiques (ressources humaines, financières et technologiques).
D’après les 5 principes de la GAR définis par l’OCDE, le suivi-évaluation est un noyau de la gestion sans lequel les décisions se prennent de façon arbitraire et la gestion devient un jeu de hasard. Schématiquement, le système de suivi-évaluation est un sous-ensemble de la GAR. Kusek et Rist affirment que le suivi et l’évaluation doivent être présents pendant tout le cycle de vie d’un programme, projet ou politique.
Apprendre et comprendre la place et l’importance qu’occupent les activités de suivi-évaluation dans le cycle de gestion permet aux parties prenantes de mieux programmer ces activités. C’est 14 OCDE, Les bonnes pratiques émergentes pour une gestion axée sur les résultats de développement (http://www.mfdr.org/sourcebook/Versions/MIDRSourcebookFrenchFeb2006.pdf)
aussi un point de. départ de l’institutionnalisation de suivi-évaluation dans la mesure où les informations issues des activités de suivi-évaluation sont directement liées ou transmises aux instances de prise de décision. Au Canada, le système de suivi-évaluation place le sous-ministre d’un département fédéral ou d’une agence comme le responsable des activités de suiviévaluationet le rend redevable devant le comité parlementaire. 17 Le système canadien est en effet un exemple du lien qui existe entre la gestion en général et le suivi-évaluation en particulier. Le sous-ministre, étant l’autorité responsable de la programmation et la mise en œuvre des politiques publiques, porte aussi la responsabilité de mesurer leurs performances. Selon l’Institut, introduire le suivi-évaluation dans un contexte de la GAR permet de le placer dans le cycle de planification et de gestion des programmes/projets publics.

Le choix de ce qu’il faut suivre et évaluer

Suivre et évaluer sont des activités exigeantes en termes de temps, et de ressources (humaines, technologiques et financières). Ainsi, il est impossible de tout suivre et évaluer. Par conséquent, des choix doivent être faits sur les indicateurs qui renseignent le plus adéquatement au sujet du progrès d’une activité et l’atteinte des résultats escomptés. De plus, le suivi et l’évaluation doivent être encadrés pour assurer la qualité. L’expérience de l’Institut montre que les systèmes de suivi-évaluation sont souvent déficients d’indicateurs appropriés. Pour choisir ce qu’il faut suivre et évaluer, les trois points suivants sont importants :
> Le choix des indicateurs de performance
> Le plan de suivi-évaluation
> Le suivi de la performance
Capitaliser sur ce qu’il faut suivre et évaluer est une manière d’éviter «le piège fréquent qui consiste à rassembler trop de données de qualité limitée et à ne pas les analyser. » . Mais comment pouvons-nous nous assurer que l’information recueillie est suffisante, et pertinente? Plusieurs institutions ont développé des approches et techniques permettant de faire le choix de ce qu’il faut suivre et évaluer.et comme on verra dans les sections suivantes, une grande partie des techniques proposées sont tirées des travaux publiés par des institutions internationales comme l’IF AD, le PNUD, la Banque Mondiale ainsi que de l’expérience de l’Institut.

Comment faire pour choisir les indicateurs de performance?

Un indicateur se définit comme toute mesure significative, relative ou non, utilisée pour apprécier les résultats obtenus, l’utilisation des ressources, l’état d’avancement des travaux ou le contexte exteme Les indicateurs sont aussi pris comme des variables quantitatives ou qualitatives qui fournissent un moyen simple et fiable de mesurer ce qu’on a atteint, de mettre en lumière les changements liés à une intervention, ou de mesurer la performance d’une organisation en regard des réalisations prescrites.20 Pour un résultat quelconque, il peut y avoir plusieurs indicateurs, mais le choix de l’indicateur le plus approprié n’est pas une chose facile. Ainsi, il convient d’établir des critères de choix afin d’assurer qu’un indicateur soit représentatif d’une situation et qu’il sera possible de le documenter régulièrement (il ne sert à rien d’avoir un indicateur raffiné, mais qui coûte cher et qu’on ne sera pas capable de documenter.)
En somme, un indicateur doit être simple, fiable, pertinent, mesurable et significatif.
Il existe d’autres critères tels que ceux proposés par Schiavo-Campo (voir Kusek et Rist) et qui
·sont souvent utilisés pour évaluer la qualité d’un indicateur de performance. Ces critères
couramment connus sous 1′ acronyme anglais CREAM peuvent être traduits de manière suivante :
• Clair ( Clear): précis et sans ambiguïté
• Pertinent (Relevant): Convient au sujet en question
• Économique (Economie): Disponible à un coût raisonnable
• Adéquat (Adequate): fournit une base suffisante pour évaluer la performance • Apte au suivi (Monitorable): susceptible d’être validé de façon indépendante.
Au-delà de ces critères, le choix d’un bon indicateur dépend du jugement porté par les décideurs et de la façon dont ces dernières se serviront de ces critères pour la prise de décision. En fait, depuis la publication des critères CREAM en 1999, plusieurs organisations les ont adoptés et adaptés à leur situation. L’Institut IDEA International propose dans ses formations l’usage de CREAM+ et non pas CREAM tout court. La différence est qu’au lieu de dire qu’un indicateur est adéquat, on parlera d’un indicateur assignable. Ici le critère «Assignable» indique un indicateur qui est sous la responsabilité d’une structure/personne en charge du système et le signe plus (+).est ajouté pour dire qu’un indicateur doit être d’une valeur ajoutée au système de suivi-évaluation.
Par ailleurs, Peter Drucker propose l’approche SMART, des critères adoptés entre autres par le PNUD, et l’UNESCO et qui représentent un indicateur spécifique (specifie), mesurable (measurable ), réalisable (Attainable ), pertinent (Relavant), et assorti d’un délai (Trackable )_
Certaines institutions, par contre, utilisent les critères SMARTuniquement pour la sélection des
cibles. C’est le cas de l’Institut qui publie l’usage des indicateurs CREAM+ .et des cibles SMART.
 Le plan de suivi-évaluation
Un plan désigne un ensemble des dispositions arrêtées en vue de l’exécution d’un projet (dictionnaire Petit Robert). Si l’on prend le suivi-évaluation comme un projet de collecte, d’analyse ét .de diffusion d’information sur la performance, le plan de suivi-évaluation peut se définir comme un recueil de recettes pour la mise en place et la maintenance d’un système de suivi-évaluation. La référence au recueil de recettes indique tout simplement que le plan de suivi-évaluation doit décrire, étape par étape, le comment du suivi-évaluation. Un ministère quelconque qui se donne,  par exemple, l’objectif de produire un rapport annuel de performance dans son cadre de suivi évaluation ne peut pas réaliser cet objectif sans désigner l’équipe qui s’en chargera, les outils qui seront nécessaires, les échéanciers établis, le coût impliqué, la manière dont ce rapport sera présenté, etc. Tous ces éléments, si définis et documentés, constituent le plan.

Table des matières

Sommaire exécutif
1: DESCRIPTION DU MANDAT
1.1 Introduction
1.2 Présentation du client
1.3 Le mandat et ses objectifs
1.4 Les résultats attendus
1.5 Démarche proposée
1.6 Plan de travail initial et ajustement
2 : CADRE THEORIQUE
2. 1 Introduction
2.2 Définitions
2.3 Le suivi-évaluation et ses applications
2.3:1 Le suivi-évaluation dans tm contexte de la gestion axée·sur les résultats
2.3.2 Le choix de ce qu’il faut suivre et évaluer
2.3.3 Les systèmes de suivi-évaluation
2.3.4 L’évaluation et la qualité des données
2.3.5 La communication pour la prise de décision
2.4 Conclusion
3 : CONTEXTE ET APPROCHE MÉTHODOLOGIQUE UTILISÉE POUR LE DÉVELOPPEMENT D’UN GUIDE DE FORMATION
3.1 Contexte
3.2 Approche pédagogique et description du guide de formation
3.3 Évaluation de l’intervention et recommandation
3.4 Conclusion
Bibliographie

Télécharger le rapport complet