Réalisation d’un cadre d’évaluation pour la mesure du programme Levier

Résultats

Les résultats du mandat confié dans le cadre de ce stage sont effectivement en lien avec le livrable qu’il fallait produire, à savoir, le cadre d’évaluation

Les données tirées de la documentation sur le programme et celles recueillies suite aux entrevues ont permis de faire resso11ir les informations des plus pe11inentes. L’analyse de ces informations a servi à retenir la raison d’être à savoir que:

• Les transformateurs adhèrent aux normes parce que leurs clients l’exigent.

• Les transformateurs adhèrent aux normes pour faciliter la vente de leurs produits. Lors de l’évaluation en 2017, il sera possible de faire des analyses de triangulation entre les diverses données quantitatives et qualitatives.

Il est important de souligner qu’au vu de notre collecte d’information, il s’agit d’une évaluation de programme qui s’attarde sur la mise en oeuvre du projet. L’effet du programme s’avère relativement de courte durée suite à l’adhésion aux nom1es des entreprises de transformation .

Portées

Le devis proposé pour l’évaluation du programme Levier pourrait être réalisé seulement à la fin du programme. Toutefois, il y aura un suivi qui sera fait progressivement durant la mise en oeuvre du programme. Il est important de souligner qu’il y a un gain à débuter la collecte d’information plus tôt, car cela pe1met de proposer des modifications en vue d’améliorer et d’asseoir le progranune.

De même, en échangeant avec les bénéficiaires plus tôt, ceux-ci ont une meilleure mémoire des événements et répondent de façon plus précise à nos questions. Les étapes suivantes au cadre d’évaluation (sondage) pourront être confiées à une firme externe afin d’assurer une critique nécessaire au processus d’évaluation. La firme retenue devra suivre la méthodologie présentée dans le cadre d’évaluation afin de produire des résultats fiables, utiles et pe11inents. Enfin, l’analyse des effets des premiers projets financés pourrait amener les gestionnaires du progranune a effectué des ajustements, soit au fonnulaire d’inscription, au processus pour traiter les demandes, aux documents requis avant le versement de l’aide ou au programme lui-même (selon les besoins). La production de rapport d’étape s’avère un outil d’apprentissage pour tous les intervenants.

Autres considérations

Il n’y aura pas de calcul d’effet, comme dans une démarche de coût-bénéfice. Cela parce que la raison d’être amène une diversité de projet. L’analyse coût-bénéfice est déjà un défi méthodologique, il n’y a pas de gain à le faire pour plusieurs sous-groupes de projets ayant des logiques différentes. Ainsi, l’évaluation permettra de constater à quel point les projets se sont déroulés comme prévu. La présence d’effet en lien avec la raison d’être du programme sera notée, et un résumé pour l’ensemble sera produit.

Limites

La principale contrainte que subira l’évaluation dans la recherche du meilleur devis possible est la difficulté d’obtenir des données financières auprès de la clientèle.

Les entreprises sont réticentes à fournir ce type d’informations si elles n’y sont pas obligées. Il ne sera pas possible d’utiliser un devis comparant les revenus des entreprises avant et après l’adhésion à une norme, ainsi que la part de ces revenus provenant de contrats nécessitant cette nonne.

Par ailleurs, il est difficile de répertorier la liste des entreprises détenant ce1iaines ce1iifications. Cela réduit les chances de créer un groupe contrôle. Dans le cas où une liste d’entreprises certifiées serait accessible, il serait possible de communiquer avec celles n’ayant pas été subventionnées dans le but d’effectuer des comparaisons qualitatives, ainsi que des comparaisons basées sur le temps nécessaire pour compléter le processus de ce1iification.

En outre, une évaluation de programme pose toujours la question de l’attribution des effets. Il est toutefois rare de constater des « modifications significatives et durables » chez « un nombre impo1iant de bénéficiaires », tout en pouvant attribuer ses bienfaits directement au programme évalué par une logique de cause à effet. Les impacts de ce niveau impliquent la pmiicipation de beaucoup d’intervenants, souvent sur le long terme, pour qui le programme n’est qu’un facilitateur8• Plus l’on s’éloigne de l’action directe du programme, plus son impact est dilué. En fin de compte, pour que les «impacts »durables se produisent, il faut que le milieu s’approprie la démarche au-delà de l’effet incitatif du programme9. Dans le cas d’un programme comme Levier, la recherche d’effets attribuables au programme se limite à l’attitude des participants directement touchés par le programme. S’ils ont posé les actions qui sont en lien logique avec le but du programme et avec les impacts recherchés, l’action est un succès10 • Les données en lien avec les actions des participants sont complétées avec un suivi de l’évolution de leur projet, pour voir si leur situation a évolué dans le sens souhaité, même s’il n’est pas possible d’attribuer toute l’évolution au programme.

Table des matières

Introduction
Al- Revue de littérature
1)-Planification d’évaluation pour répondre à un besoin
2)- Planification d’évaluation au sens d’une gestion de projet
3)- Planification d’évaluation pour le choix d’une méthodologie
4)- Devis d’évaluation
a- Les protocoles expérimentaux
b- Les protocoles pré expérimentaux
c- Les protocoles quasi-expérimentaux
5)- Évaluation du MAPAQ (devisutilisé)
a- Cas du programme Proximité
BI- Présentation de l’organisation
1)- Présentation de l’unité d’accueil
2)- Description du programme
3)- Historique et contexte
a- Modèle causal
b- Modèle logique
Cl- Cadre d’évaluation du programme
1)- Questions d’évaluation
2)- Outils de collecte des données
3)- Échantillon
4)- Devis d’évaluation
5)- Résultats
6)- Portées
a- Autres considérations
7)- Limites
8)- Livrable
9)- Échéanciers
Conclusion
Bibliographie
Annexes

Télécharger le rapport complet