La règle de mesuredes taux de conformité des critères : Mettre en place une pondération entre les items

Les clients de la mesure

Le Pôle Qualité de la DTER Rhône Alpes produit des mesures de la qualité à l’usage de clients, externes et internes, dont les attentes sont différentes :
La Région Rhône-Alpes, les établissements SNCF, et les pilotes des axes TER.
A ces trois principaux clients de la mesure s’ajoute l’AFNORqui est l’organisme de certificationhabilité à certifier NFle service fourni aux voyageurs.

La Région, client externe

La Convention de gestion du service public régional du transport ferroviaire de voyageurs et son Cahier des Charges, signés le 13 mars 2002, décrivent les droits et obligations de la Région en ce qui concerne le TER.
Il définit les domaines et exigences de qualité de service et les conséquences financières qui y sontliées (pénalités ou bonus/malus).
« domaines » de la qualité de service ont été définis en accord avecla Région :
1. Non réalisation dela desserte
2. Ponctualité des circulations
3. Qualité des « services trains »
4. Qualité des « services gares »
5. Respect du calendrier de la remise à la Région des documents convenus.
Les domaines 2, 3, et 4 fontl’objet d’un système debonus-malus. Ce sont également eux qui sont évalués via le système de mesure de la qualité du Pôle Qualité de la DTER.
La non réalisation del’offre fait également l’objet de pénalités sans faire pour autant partie de ce que la Région définie comme « qualité de l’exécution du service ».
Pour ce qui est des domaines 3 et 4, la SNCF s’engage sur la base d’objectifs de qualité de l’exécution du service en matière de confort, de propreté, d’accueil, de capacité, d’information des voyageurs et de disponibilité des équipements.
Le tableau suivant récapitule les 4 premiers domaines et les systèmes d’intéressement financiers qui leurs sont appliqués.
L’enjeu économique représenté par ces systèmes d’intéressement peut être très important. En conséquence, les objectifs contractualisés avec la Région RhôneAlpes sont déclinés dans les contrats des axes TER, ainsi que pour l’ensemble de l’activité TER de façon à générer du bonus, ou aumoins à éviter les malus et les pénalités.
La principale source des mesures sur laquelle est basé le système d’intéressement, constituée par les enquêtes, est définie dans le cadre de la Convention avec la Région. De même, tout le système de mesure, mis en œuvre depuis 1997 dans l’ensemble de la région, est contractualisé avec l’Autorité Organisatrice et constitue un élément du cahier des charges.
L’évaluation de la qualité de service est donc laissée à la charge de l’exploitant.
Mais la Région se réserve la possibilité de réaliser des contrôles par elle-même.
Les résultats de la qualité sont présentés à la Région sous forme de tableaux de bord produits par le Pôle Qualité. Ces tableaux exposent les niveaux atteints par chacun des critères portant sur l’exécution du service (confort, propreté, accueil, capacité, information des voyageurs et disponibilité des équipements) pour les trains, cars et les 3 types de gares (PAPU, GM, GG).

Les établissements de la SNCF, client interne principal actuel

Ce sont des centres de responsabilité qui ont pour fonction principale de produire des éléments de service, chacun dans leur domaine particulier.
Depuis quelques années, les rapports entre établissements, et entre la DTER et les établissements, sont l’objet de contrats.
Les objectifs de cette contractualisation sont d’intéresser les établissements aux résultats du TER, de rendre leurs rapports plus clairs, et d’augmenter la traçabilité des taches effectuées.
Des contratslient également les établissements aux directions d’axes. Ces contrats comprennent des niveaux de qualité qu’il faut que les établissements respectent. Les « Chargés d’axe »(qui sont les pilotes des axes TER ; voir ciaprès) sont responsables, entre autres, des objectifs de certification et de qualité de service.
Tous les résultats des items mesurés aux cours des enquêtes qualité sont transmis aux établissements. Les mesures transmises sont soit réunies sous forme de critères similaires à ceux pris en compte pour la région, soit précisées par item.
Dans le cas des gares, tous les résultats des items mesurés sont connus des établissements et précisés soit gare par gare soit par EEX, ou pour l’ensemble des gares de Rhône Alpes.
Pour ce qui est des trains, les résultats sont présentés soit par ECT, soit par EMMpour toutes les mesures les concernant, ou pour l’ensemble des trains de Rhône-Alpes.
Les mesures qualité permettent aux établissements de situer le niveau de qualité de leur production et de déterminer les actions correctives qu’ils peuvent mettre en place. Chaque établissement rédige des plans d’actions qualité selon ses propres besoins et son mode de fonctionnement.
Ces mesures sont aussi à la base des relations contractuelles entre la DTER et les établissements, et doivent devenir une base du dialogue de gestion.

Les pilotes des axes TER, clientinterne principal futur

Le projet « Pilotage par axes »est en préparation depuis début 2003. Il a été lancé officiellement le 23 janvier 2004.
Le Projet Industriel SNCF, document national de référence de la SNCF pour la période 2003-2005, inscrit le management par lignes du TER en première place dans la liste des 9 objectifs fixés aux activités TER en France.
Le pilotage par axe consisteà découper la région en axes, axes placés sous la responsabilité de directeurs d’axes etde chargés d’axesauxquels sont assignés des objectifs commerciaux et de production. En complément de ces objectifs, la dédicace des moyens par axe est sans doute une évolution incontournable.
Un axe est constitué d’unportefeuille d’Origine-Destination (OD), d’un portefeuille de trains ou de cars, d’une liste de gares. 24 axesont été définis sur la région Rhône-Alpes, ainsi que 10 regroupements d’axes. Ces axes et leurs regroupements sontles bases du pilotage par axes.

L’AFNOR

L’Association Française de NORmalisationest l’organisme habilité à délivrer la certification NF Service. AFNOR est le membre français du CEN (Comité européen de Normalisation) et de l’ISO (International Organization for Standardization) et assume les responsabilités attribuées à la France à ce titre.
AFNOR CERTIFICATION est l’une des deux filiales commerciales d’AFNOR.
Elle représente 70 % du volume total des certifications de produits et services en France. AFNOR CERTIFICATION a développé une offre de certifications très large illustrée par les marques NF, NF Service, ..
La marque NF est une marque collective de certification. Elle garantit la qualité et la sécurité des produits et services certifiés. La marque NF garantit non seulement la conformité aux normes en vigueur, mais aussi à des critères de qualité supplémentaires correspondant aux besoins des consommateurs.
Les démarches de certification NF Service ont été menées en Rhône-Alpes simultanément au développement par l’AFNOR de la norme expérimentale X PX 50 – 805, puis sur celle de la norme européenne NF EN 13816.
Cette norme constitue la partie visible et démontrable de toute théorie visant à placer le client au centre des préoccupations de l’entreprise de transport. Elle est complétée par le Règlement de certification générique NF 281 « Transport de voyageurs », et le Règlement de certification spécifique NF 235 « Service de transport régional et départemental de voyageurs ».
Seule l’AFNOR peut certifier « NF Service »les services fournis par la SNCF.
Dans le cadre des démarches de certification menées sur les axes TER de RhôneAlpes, AFNOR CERTIFICATION est amenée à auditer une fois par an les services de la SNCF concernés par la certification. Ses contrôles portent sur :
ƒ La réalisation du service et son respect des niveaux d’exigence fixés en terme de qualité de service dans les référentiels de services.
ƒ La maîtrise de tous les processus se rapportant à la qualité.
Dans le cadre du premier type de contrôle, certains résultats de la mesure de la qualité sont communiqués à l’AFNOR et à ses auditeurs. Ces résultats sont mesurés selon des exigences et pour des types de critères précisés par l’AFNOR dans ses normes et règlements de certification.

Traitements pour les pilotes des axes certifiés

Les pilotes des axes TER sont concernés au premier chef par ce que l’on appelle les « résultats pondérés en flux clients ». Ceux-ci correspondent aux résultats mesurés dans le cadre des processus de certification NF Service.
Comme on l’a noté précédemment, « Une extraction d’une partie des items de mesure de ces enquêtes et une pondération par les flux de clients de ces extractions permettent de constituer un résultat pour chaque critère du recueil des engagements de service dans le cadre du processus de certification ».
Ces critères pris en compte dans le cadre des processus de certification portent sur les mêmes réalités que ceux reconnus par la Région, et peuvent être réunis au sein des mêmes familles. Mais ils sont plus segmentés et ne portent pas strictement les mêmes appellations. Ils ne reprennent donc pas forcément les mêmes items.
On a déjà vu que les critères dans le cadre de la certification sont rendus obligatoires par les règlements des normes pour un certain nombre d’entre eux, et choisis en fonction des particularités des axes pour les autres.
Les critères dits « obligatoires »du règlement NF 235 dans le cadre des « Lignes de transport régional de voyageurs par combinaison des modes routiers et ferroviaires » sont au nombre de quinze. Et cinq critères dits « spécifiques imposés »sont également définis par l’AFNOR.
S’y ajoutent les critères « spécifiques non imposés »et les critères
« complémentaires » dont le contenu comme la mesure dépendent des rédacteurs du référentiel.
La principale différence entre les résultats tels qu’ils sont utilisés pour les démarches de certification, et les autres types de résultat est que les premiers sont pondérés en flux clients. Il s’agit d’une exigence de l’AFNOR.
Ainsi, pour traduire le niveau d’exigence en flux de voyageurs, et à partir des comptages voyageurs réalisés tous les ans sur les axes, l’ensemble des résultats exprimés en taux de conformité est traduit en « pourcentage de voyageurs qui disposent du service de référence ». C’est à dire que, pour chaque critère, le nombre de clients ayant rencontré un service conforme est rapporté au nombre de clients moyen total de la gare, du train ou du car.
Les « résultats pondérés en flux clients »sont mesurés pour tous les axes mais ne sont présentés que pour les axes certifiés ou en cours de certification, et ne sont disponibles que de façon semestrielle.
On remarque que les mesures de la qualité sont l’objet de traitements différents selon les clients auxquels elles s’adressent. Et que ces traitements ont des impacts importants soit en terme de résultats (pondérations), soit en terme de présentation. Mais de cette façon, on se donne aussi les moyens de satisfaire les attentes différenciées de nos clients.
En effet, il serait sans doute improductif de vouloir uniformiser le système de mesure et ses productions. Les résultats de la qualité, tout en étant présentés sous la forme de critères plus ou moins nombreux ou sur des périmètres différents sont toujours représentatifs de la même réalité de la qualité du service rencontrée sur le terrain.

Les présentations des résultats de la mesure

Les résultats de la mesure de la qualité sont, le plus souvent, présentés sous forme de tableaux de bord, car leur objectif est d’aider à piloter ou à contrôler la qualité des services fournis par l’activité TER.
Comme on l’a vu précédemment, ces tableaux sont différents selon les destinataires de la mesure : précision des contenus, critères pris en compte, ou périmètres et périodicité.

Pour la Région

Après le traitement des résultats de chaque vague de mesure (quatre vagues pour les trains et deux pour les gares), la Région reçoit les résultats de la performance des cinq critères gares et des quatre critères trains qui l’intéressent. Ces résultats sont présentés sous forme de tableaux.
Ces tableaux de bord sont accompagnés des graphes présentant les évolutions des performances des critères sur plusieurs trimestres ou semestres.
Des commentaires accompagnent cette présentation afin d’expliquer sommairement l’origine des résultats atteints qu’ils soient supérieurs ou inférieurs aux objectifs.

Un principe de base de la mesure de la qualité

Il semble donc logique de définir ce qu’est la qualité de service à partir des attentes et besoins des clients.
Et le principe de vision client correspond au faitde toujours prendre en compte ces attentes et besoins de nos clients, tantdans les engagements que nous prenons que dans la façon dont nous ne mesurons le niveau de qualité et en exprimons les résultats.
En application de ce principe, le système de mesure de la qualité de la DTER est conçu pour correspondre à la vision que peut avoir le client lors de ses déplacements sur l’axe, dans les gares et à bord des trains et des cars. Ainsi, la périodicité de la mesure, le choix des éléments mesurés, le respect de parcours de mesure dans les gares et le système d’agrégation des résultats sont des éléments qui tendent à rapprocher le plus possible l’enquêteur, et les utilisateurs de la mesure, du client.
Les attentes et besoins des clients doivent être caractérisés à travers un nombre limité d’indicateurs.
Il faut veiller à ne pas tomber dans un excès consistant à vouloir détailler au maximum les attentes et besoins des clients jusqu’à différencier des circonstances qui, en fait, n’ont que peu d’impacts.
En revanche, les caractéristiques représentant les attentes et besoins des clients étant, en matière de services, subjectives, on ne peut pas se contenter de ne disposer que d’un seul indicateur.
L’un des enjeux du principe de vision client consiste donc dans le fait de trouver un juste équilibre entre des systèmes de mesure trop simples ou trop complexes.
Sur cette base, notre système de mesure de la qualité doit en outre prendre en compte le fait que la mesure doit, d’une part, être utile pour le pilotage de l’axe (actuellement, notre système de mesurée st jugé suffisamment précis et représentatif pour constituer un réel outil d’aide à la décision pour les directions des axes), et d’autre part,être efficace par rapport à son coût.

Le contenu des enquêtes

Le principe de vision client est appliquéau contenu des enquêtes qui sont, on l’a vu, la principale source de la mesure de la qualité. Et au sein de celui-ci, on peut différencier l’impact de ce principe sur la structure des enquêtes et sur les items choisis pour caractériser le service.

La structure des enquêtes

Ces enquêtes sont constituées d’un certain nombre d’items de mesure, c’est à dire de caractéristiques dont on mesure la conformité.
Il existe cinq types d’enquête : pour les trains, les cars, les PAPU, les Gares Moyennes, et les Grandes Gares.
Le nombre d’items pris en compte par ces enquêtes va de 29 à 92. Les items eux mêmes changent ainsi que leur définition lorsque l’on passe d’un type d’enquêtes à un autre.
Ces items sont organisés au sein des enquêtes en fonction des zones enquêtées et des critères pris en compte par la Région.
Les enquêtes sont donc d’abord structurées en fonction des différents endroits où les clients sont amenésà se déplacer :
Ainsi, pour les gares par exemple, sont distingués : les abords, le hall, la salle d’attente, le lieu de vente, les quais, les voies…
De cette façon, on cherche à caractériser l’ensemble des situations dans lesquelles le client peut se trouver au cours de son parcours dans les trains ou gares SNCF. Cette structuration des enquêtes defaçon géographique est renforcée par le fait que les enquêteurs disposent aussi de « Plans d’observation » qui leurs précisent un parcours client type à respecter (2.3.2. Les plans d’observation).
Ensuite, au sein de chacune de ces zones, les items sont partagés entre les différents critères reconnus par la région.
Ces critères structurant les enquêtes sont peu nombreux car on sait que les clients jugent le service qui leur est fourni par la SNCF sur la base de ces critères relativement simples. Ces critères englobent plusieurs caractéristiques similaires du service. Ainsi, le critère de propreté dans tel ou tel zone d’une gare peut porter, par exemple, sur les murs, les vitres, le sol,..

Les items

Le choix du nombre d’items composant les enquêtes et de leurs définitions en terme de conformité, non conformité, et non observabilité est issu d’un chantier lancé en 1997 : le chantier « Performance Qualité ».
Nous présenterons dans une première partie ce chantier et le choix des items de mesure qui en a découlé. Puis nous étudierons les méthodes de définition du contenu de ces items.
Dans chacun de ces deux cas, nous étudierons de quelle manière le principe de Vision Client a été respecté.

Le chantier « Performance Qualité »

Un nombre d’items variable par type d’enquêtes sert à mesurer la conformité des critères importants pour les voyageurs.
Cette réflexion dont l’objectif était de faire un «choix d’indicateurs élémentaires et agrégés, pertinents, répondant aux objectifs qualité définis dans la
Convention de Gestion des Services publics »a été menée dansle cadre du chantier « Performance Qualité ».
Pour mener celui-ci à bien, on s’est basé sur, d’une part le baromètre client 96, et d’autre part sur les indicateurs qualité existants. Ces derniers ont été complétés de façon à caractériser les critères définis enaccord avec la Région.
Dans le cadre de ce chantier, des indicateurs à la fois significatifs, peu nombreux, compréhensibles, et quantifiables ont été recherché.
Suite à cette réflexion, la Région a validé les enquêtes comportant ces items.
Depuis lors, des items de mesure supplémentaires ont été ajoutés à la liste existante, en fonction des exigences des règlements des normes de l’AFNOR, ou selon les créations et les évolutions des référentiels de service. Le principe de vision client a été respecté dans le choix des items, car ils ont été sélectionnés de façon à être simples et compréhensibles tout en étant en nombre suffisant pour caractériser dans son ensemble le service fourni aux clients.
Ces items ont été choisis de façon à ne pas être déconnectés du ressenti que peuvent avoir les clients.

L’organisation des enquêtes

Au delà de leur contenu, les enquêtes sont aussi réalisées de façon à respecter dans leur organisation le principe de vision client à travers le respect de vagues de mesure, de plans de charge et de plans d’observation.
Le plan d’observation a pour objectif de fixer aux enquêteurs, pour chaque gare moyenne ou grande gare où ils sont amenés à enquêter, un parcours client à respecter.
Le plan de charge, quant à lui, définit pour chaque gare moyenne ou grande les plages horaires durant lesquelles doivent se dérouler les enquêtes et par qui elles doivent être menées.
Ces plans de charge et plans d’observation sont définis en fonction des habitudes des clients et de façon à placer l’enquêteur dans la situation d’un client tout en lui précisant au maximum la façon dont il doit enquêter.

Les plans de charge

Les plans de charge sont utilisés par le Pôle Qualité pour encadrer dans le temps les enquêtes menées dans les GG et GM.
Ainsi, on s’assure que les enquêtes sont étalées dans le temps de façon homogène, et à même de représenter les grands flux de déplacement des voyageurs circulant dans les gares

Table des matières
MOTS CLES
RESUME
REMERCIEMENTS
TERMINOLOGIE
LISTE DES ABREVIATIONS
CONTEXTE
INTRODUCTION
PARTIE 1 : LA MESURE DE LA QUALITE
1.1. Objectifs et enjeux
1.1.1. Objectifs de la mesure de la qualité
1.1.2. Enjeux de la mesure de la qualité
1.2. Les clients de la mesure
1.2.1. La Région, clientexterne
1.2.2. Les établissements de la SNCF, client interne principal actuel
1.2.3. Les pilotes des axes TER, client interne principal futur
1.2.4. L’AFNOR
1.3. Méthodes et outils du système de mesure
1.3.1. Les sources de la mesure
1.3.2. Les méthodes de traitement des mesures
1.3.3. Les présentations des résultats de la mesure
PARTIE 2 : LE PRINCIPE DEVISION CLIENTS 
Applications en Rhône-Alpes
2.1. Un principe de base de la mesure de la qualité
2.2. Le contenu des enquêtes
2.2.1. La structure des enquêtes
2.2.2. Les items
2.2.2.1. Le chantier « Performance Qualité »
2.2.2.2. La définition des items
2.3. L’organisation des enquêtes
2.3.1. Les vagues de mesure
2.3.2. Les plans d’observation
2.3.3. Les plans de charge
2.4. Les règles de traitement de la mesure
2.4.1. Des réponses binaires
2.4.2. Le choix des critères
2.4.3. Calcul des taux deconformité
PARTIE 3 : QUELLES EVOLUTIONS EN RHÔNE-ALPES ?
3.1. Les remarques des auditeurs
3.1.1. Remarques sur lefonctionnement du système de mesure
3.1.1.1. Le critère Information en situation perturbée
3.1.1.2. Le critère Ponctualité
3.1.1.3. Le critère Propreté des modules
3.1.1.4. La règle de mesure des taux de conformité des critères
3.1.1.5. L’inexistence de seuils de non-conformité ou non observabilité
3.1.2. Remarques sur l’utilisation et la représentativité de la mesure
3.2. Des systèmes de mesure différents
3.2.1. La certification des lignes de transport en commun TCL
3.2.2. La certification des Grandes Gares : CALIGO
3.2.3. La certification dans les autres régions SNCF
3.3. Pistes d’amélioration
3.3.1. Le critère Information en situation perturbée
3.3.2. Le critère Ponctualité
3.3.3. Le critère Propreté des modules
3.3.4. La règle de mesuredes taux de conformité des critères : Mettre en place une pondération entre les items
3.3.5. L’inexistence de seuils de non-conformité ou non observabilité : Supprimer des grilles certaines possibilités de non observables
3.3.6. Représentativité de la mesure
3.3.7. Personnalisationdes référentiels deservice
CONCLUSION GENERALE
ACQUIS PERSONNELS
LISTE DES ANNEXES 
BIBLIOGRAPHIE

Télécharger le rapport complet