Soutenance mémoire
Télécharger le fichier pdf d’un mémoire de fin d’études
Synthèse et analyses des expériences européennes
Les différences importantes de contexte entre les pays européens ont fait qu’ils ont abordé les questions liées à la MDE de manière très diverse. Certains ont cherché à reproduire le modèle réglementaire américain. Mais la plupart ont commencé à structurer leur approche plus tardivement, dans le courant des années 1990, du fait de la croissance des préoccupations environnementales et des engagements associés, puis de l’ouverture progressive des marchés de l’électricité et du gaz.
Malgré leurs différences, les approches des pays européens peuvent être regroupées en trois grandes logiques8, qui permettent de dégager les besoins globaux en évaluation qui ont été associés aux activités de MDE.
Nous présentons ci-après ces grandes logiques, avant de résumer les principales réponses apportées à l’échelle européenne aux besoins d’évaluation correspondants.
Contrairement aux expériences américaines largement analysées dans la littérature, les expé-riences européennes sont relatées par des sources plus dispersées et peu de synthèses existent leur sujet. C’est pourquoi nous avons choisi de conserver en annexe l’étape intermédiaire de nos travaux d’analyse sur ces expériences (cf. Annexes A.2).
Synthèse sur les approches des activités de MDE en Europe
L’étude d’Irrek et Thomas [2002] fournit une vue détaillée des principaux programmes d’EE-DSM 9 réalisés en Europe. Ils font ressortir l’importance des différences de contextes natio-naux pour bien comprendre les conditions de réussite/échec de ces programmes et pour ana-lyser leurs résultats. Ils soulignent aussi l’inégalité des résultats obtenus et des retours dis-ponibles selon les pays. L’Annexe A.2.1 présente les contextes et les approches des activités de MDE en Europe. Nous en résumons ici les principales analyses concernant le lien entre les approches choisies pour les activités et les cadres d’évaluation mis en place.
Logique d’engagement de moyens : des systèmes aux résultats variables, avec une pratique faible de l’évaluation
Dans une logique d’engagement de moyens, les décideurs (gouvernement, utilités, agences publiques chargées des questions d’efficacité énergétique) s’engagent sur une enveloppe financière utilisée pour réaliser ou faire réaliser des programmes d’efficacité énergétique, soit directement, soit par appels d’offre (exemple en France des accords ADEME-EDF ou ADEME-Régions). Dans ce cas, l’évaluation est d’abord utilisée pour justifier les dépen-ses engagées, et les rapports d’évaluation font surtout ressortir les moyens mis en œuvre. Les impacts en termes d’économies d’énergie ou de réduction de la charge, quand ils sont estimés, le sont le plus souvent ex- ante, et les évaluations ex- post restent très rares. D’où le constat évoqué ci-dessus d’Irrek et Stefan sur la difficulté de trouver des informations documen-tées sur les résultats réellement obtenus.
Trois de ces guides ont déjà été abordés lors de l’analyse des expériences américaines (IPMVP et guide californien) et européennes (guide européen). Deux autres viennent s’y ajouter et correspondent à une optique internationale dans le but d’évaluer des programmes intervenant dans le cadre du protocole de Kyoto (guide MERVC et guide de l’AIE).
L’IPMVP est un protocole pour la mesure et la vérification des économies d’énergie. Il est à ce titre une référence internationalement reconnue, notamment par les autres guides de référence. Il décrit de manière concrète quatre alternatives pour déterminer les économies d’énergie (cf. section A.1.1.3 de l’Annexe A.1.1).
Il apporte ainsi une contribution majeure sur la question des méthodes de collecte de don-nées (notamment sur les questions d’instrumentation) et de calcul des économies. Son but est de proposer des solutions adaptées au suivi de contrats passés par des ESCo.
L’IPMVP se situe au niveau d’une opération élémentaire. Il est en ce sens très adapté pour des opérations où le contact avec les organismes ou les personnes qui réalisent les actions est di-rect (par ex. audit énergétique d’une entreprise). En revanche, il ne répond pas aux questions posées par l’évaluation d’opérations dont le public visé est plus large (par ex. programme de MDE à l’échelle d’une région).
De plus, il reste concentré sur la dimension récapitulative de l’évaluation. Il n’aborde pas les questions d’effet d’aubaine et d’analyse de la logique d’intervention.
Le guide MERVC [Vine 1999] : pour les projets pour Kyoto
Le guide MERVC a pour but de proposer des bases méthodologiques pour l’évaluation et la validation de projets de MDE dans le cadre des mécanismes prévus par le protocole de Kyoto (mise en œuvre conjointe et développement propre). Il se situe à un niveau d’intervention correspondant à des programmes nationaux. Il reprend l’IPMVP comme base pour l’évaluation d’actions réalisées dans un bâtiment ou un groupe limité de bâtiments.
Il donne de plus un aperçu d’autres méthodes de collecte de données et de calcul d’im-pacts (émissions de CO2 et bilan économique) pour évaluer des projets à cible plus large (par ex. à l’échelle d’un pays), en citant leurs avantages et inconvénients. Il traite aussi de la ques-tion de l’effet d’aubaine et fait la distinction entre les impacts bruts et nets.
Il définit un processus global à travers l’estimation, le suivi, l’évaluation, le rapport, la vérifi-cation et la certification des résultats. Mais il reste concentré sur la dimensaion récapitulative de l’évaluation et les aspects de justification. Il ne traite pas de l’analyse de la logique d’inter-vention.
Un apport majeur de ce guide est son approche de la qualité de l’évaluation, d’une part pour l’affichage du niveau de précision des résultats et d’autre part par une logique de garantie qua-lité de la préparation et réalisation de l’évaluation.
Le guide européen [SRCI 2001] : comprendre et bien planifier une évaluation
Le guide européen correspond à une approche plus pédagogique. Il permet de se familiari-ser avec les concepts clés liés à l’évaluation ainsi qu’avec les principales méthodes de collecte et d’analyse de données.
Un apport majeur de ce guide est de fournir un processus détaillé pour préparer et planifier des évaluations (cf. section A.2.2.5 de l’Annexe A.2.2).
Il se situe principalement à un niveau d’intervention correspondant à des programmes natio-naux. Cependant il reste relativement méthodologique, en particulier concernant la quantifica-tion des résultats. C’est un bon support pour aider à la définition de méthodes d’évaluation, mais il ne permet pas seul de pouvoir réaliser directement une évaluation.
Le guide californien [TecMarket Works 2004] : la « bible » des experts
Le guide californien adopte une approche systématique, quasi encyclopédique. Il fournit ainsi un état de l’art très détaillé et pointu pour presque toutes les questions clés de l’évalua-tion. En ce sens il constitue une « bible » pour les experts en évaluation.
Son utilisation demande donc déjà d’avoir un certain niveau de connaissance et compétence dans le domaine. Son annexe C fournit des conseils plus « pratiques » pour planifier l’évalua-tion (par exemple dans l’optique de la rédaction d’un cahier des charges). Mais le guide ne propose pas de méthodes « clé en main » directement opérationnelles. Il regroupe tous les dé-tails permettant à un expert de proposer la méthode la plus pertinente dans l’état actuel des connaissances, mais il n’est pas adapté pour être utilisé par des acteurs de terrain.
Le guide de l’AIE [Vreuls 2005a] : vers une approche plus opérationnelle
Le guide de l’AIE est une sorte de compromis entre le guide européen et le guide californien.
Dans son premier chapitre il propose une synthèse sur les éléments clés de l’évaluation de programmes d’EE-DSM. Puis il décline ces sept éléments pour les quatre grands types de pro-grammes identifiés avant d’aborder la question des programmes combinés.
Sans fournir de méthodes clés en main, il propose des éléments opérationnels adaptés à ces types de programme (cf. section A.3.1.2 de l’Annexe A.3.1).
D’autre part, un apport majeur de ce guide est contenu dans son volume II qui présente de manière détaillée les expériences d’évaluation des six pays ayant participé à cette étude.
Il se situe à un niveau d’intervention correspondant à des programmes nationaux, et en ce sens il est surtout destiné aux experts des organismes en charge de la MDE dans chaque pays.
Chaque guide définit son approche de l’évaluation par rapport à des types d’activités en parti-culier.La définition préalable de critères de segmentation est important pour la description des opérations évaluées, afin d’expliciter les objectifs de ces opérations, et d’en déduire les objec-tifs d’évaluation. Nous détaillons ce point dans la sous-partie II.2.2.
L’importance croissante de l’analyse de la logique d’intervention
Les travaux sur l’évaluation des activités de MDE se sont d’abord concentrés sur les aspects de quantification des résultats, notamment dans une optique d’analyse coûts / bénéfices. Mais les questions de causalité (entre les actions et leurs résultats) ont amené aussi à s’intéresser aux questions d’analyse de la logique d’intervention.
Cette analyse se base sur une description fine des mécanismes mis en jeu, notamment au tra-vers de l’étude du domaine d’action (cible, acteurs, etc.) et des hypothèses sur les effets atten-dus (par ex. barrières à surmonter). Ceci est traité plus en détails dans la partie III.2.
Une évaluation bien planifiée est une évaluation bien intégrée
Tous les guides le rappellent : il est essentiel de prévoir l’évaluation dès la conception de l’opération. Elle est alors mieux ciblée, plus efficace et moins coûteuse. Et cela atteste aussi souvent la qualité de l’opération.
De plus, l’évaluation doit être intégrée au cycle global des politiques d’action. En particulier, sa planification doit être en accord avec les échéanciers de décision.
Enfin, l’évaluation ne doit pas être pensée ponctuellement mais de manière continue, dans l’optique d’un processus de capitalisation d’expérience et d’amélioration continue.
La collecte de données : le cœur du problème
La collecte des données nécessaires est l’étape clé de l’évaluation. Les guides de référence ne donnent pas directement de listes mais permettent d’identifier quelles sont les données néces – saires selon les cas. Cependant la question de la mise en œuvre de leur collecte reste ouverte. Il faut d’abord distinguer les sources de données propres à l’opération évaluée, dites sources primaires, et les sources générales, dites sources secondaires.
Pour les sources primaires, les types « classiques » de méthodes de collecte de données sont : suivi de l’opération, enquêtes, audits ou inspections sur site, relevés ou facturation des consommations, mesures directes. Même si ces techniques sont bien connues, il n’existe pas d’analyse disponible sur leurs coûts et efficacité. Un parallèle avec des techniques commerciales et de marketing pourrait être intéressant.
Pour les sources secondaires, les fiches par pays du volume II du guide de l’AIE en rassem-blent les principales selon chaque pays.
Les modèles de calcul : deux grandes catégories, physiques et statistiques
Même si les guides les abordent parfois différemment, l’ensemble des modèles de calcul peu-vent être regroupés en deux catégories : physiques et statistiques.
Les modèles physiques cherchent à établir des formules pour calculer directement les éco-nomies d’énergie à partir des paramètres physiques mis en jeu. Les modèles statistiques cher-chent à déduire les économies d’énergie à partir des données de consommations globales d’énergie en comparant le scénario de l’opération à un scénario de référence.
|
Table des matières
Introduction
Contexte et questions identifiées
Objet et objectifs de la thèse
Approche retenue et plan de la thèse
Précisions terminologiques
Chapitre I – Les activités de Maîtrise de la Demande en Energie et leur évaluation : état de l’art
I.1 Synthèse et analyses des expériences aux Etats-Unis
I.1.1 Programmes de « resource acquisition » et évaluations basées sur la mesure et vérification ex post avec l’IPMVP
I.1.2 Programmes de transformation de marché et évaluations basées sur des indicateurs intermédiaires et sur l’analyse de la logique d’intervention
I.1.3 Vers un équilibre entre les deux approches, aussi bien pour les programmes que pour leur évaluation
I.1.4 Principales conclusions à partir de l’étude du cas de la Californie
I.2 Synthèse et analyses des expériences européennes
I.2.1 Synthèse sur les approches des activités de MDE en Europe
I.2.2 La construction d’une approche d’évaluation « bottom-up global »
I.2.3 L’exemple du Danemark
I.2.4 Conclusions sur les expériences européennes
I.3 Où en est-on de l’évaluation des activités de MDE ?
I.3.1 La problématique de l’évaluation des activités de MDE
I.3.2 Les réponses apportées par les guides de référence
I.3.3 Les questions qui demeurent et la place de l’évaluation dans le domaine des activités de MDE
Chapitre II – Les activités de MDE au niveau local et leurs rapports avec l’évaluation
II.1 Contexte des activités de MDE au niveau local en France
II.1.1 Les principales caractéristiques du contexte national français
II.1.2 Perspectives des activités de MDE au niveau national et besoins en évaluation
II.1.3 Quel rôle de l’échelon local dans les politiques énergétiques ?
II.1.4 Les principaux éléments du contexte local des activités de MDE en France et leur rapport à l’évaluation
II.2 Caractérisation des opérations locales de MDE en France
II.2.1 Inventaire des opérations locales de MDE en France
II.2.2 Caractérisation des opérations locales de MDE par des critères de segmentation : lien avec l’évaluation et la dimension locale
II.3 Etude des pratiques d’évaluation au niveau local
II.3.1 Approches françaises de l’évaluation des activités de MDE au niveau national
II.3.2 Etudes de cas de retours d’expérience d’opérations locales de MDE
II.3.3 Conclusions issues d’autres expériences marquantes de MDE locale en France
II.3.4 Compléments à partir d’analyses d’expériences européennes de MDE locale
II.4 Conclusions sur la problématique de l’évaluation d’opérations locales de MDE et éléments de structure pour des méthodes opérationnelles
II.4.1 Les différentes approches d’évaluation et leur articulation avec les autres outils pour les politiques énergétiques locales
II.4.2 Les besoins et spécificités de l’évaluation au niveau local
II.4.3 Conclusions pour le développement de méthodes d’évaluation d’opérations locales de MDE
Chapitre III – Développement de méthodes d’évaluation d’opérations locales de MDE pour le contexte français
III.1 Présentation de la méthodologie proposée
III.1.1 Principes de la méthodologie
III.1.2 Procédure pour la définition d’une méthode opérationnelle
III.1.3 Structure et composition d’une méthode
III.2 Analyse de la logique d’intervention
III.2.1 Intégrer les pratiques d’évaluation au processus de l’opération
III.2.2 Les points clés de l’analyse de la logique d’intervention
III.2.3 Les objectifs les plus courants à évaluer
III.2.4 Récapitulatif des points importants de l’analyse de la logique d’intervention
III.3 Méthodes de calcul pour quantifier les économies d’énergie
III.3.1 Calcul des économies d’énergie unitaires annuelles
III.3.2 Calcul des économies d’énergie nettes totales
III.3.3 Incertitudes et qualité des résultats
Chapitre IV – Exemples appliqués de méthodes opérationnelles d’évaluation d’opérations locales de MDE
IV.1 Evaluation des opérations de promotion des LBC : exemple d’une méthode validée
IV.1.1 Analyse de la logique d’intervention
IV.1.2 Méthode de calcul
IV.1.3 Test de la méthode
IV.2 Evaluation des opérations de substitution des halogènes : une possibilité de méthode dérivée
IV.2.1 Exploitation des retours d’expérience sur les opérations de substitution des halogènes
IV.2.2 Comparaison avec les opérations de promotion de LBC
IV.3 Evaluation des opérations de sensibilisation dans les bâtiments tertiaires : limites du processus de capitalisation d’expérience
IV.3.1 Présentation du type d’opération
IV.3.2 Eléments concernant l’analyse de la logique d’intervention
IV.3.3 Eléments concernant les modèles de calcul
IV.3.4 Mise en pratique sur une opération pilote
Conclusions et perspectives
Conclusions générales
Perspectives
Télécharger le rapport complet
