Le ministère des transports (MTQ)

Rapport de stage évaluation de programmes

Méthodologie de recherche et d’intervention

L’analyse du comportement du coefficient de variation et la rédaction d’un rapport d’analyse sur sa pertinence dans la détection des comportements non concurrentiels dans les contrats de construction au Québec ont constitué la principale activité du stage. Elle représente ainsi la majorité du livrable, en plus d’autres activités d’analyses secondaires.

Tout au long de la période de stage, j’ai pu compter sur l’aide et orientations des analystes de la Direction de l’analyse de marché et du coordonnateur de la Direction (le mandant). Des rencontres et discussions informelles sont tenues avec les collègues impliqués, respectivement en lien avec le traitement des données, le logiciel de traitement des données (SAS), l’application de tests statistiques et leur interprétation (statisticiens de la Direction), mais aussi en lien avec le développement d’autres méthodes de détection de la collusion dans les contrats accordés par le Ministère. Une rencontre, formelle, est tenue mensuellement avec tous les membres de la Direction de l’analyse de marché, où chaque membre de l’équipe expose ses mandats et leur état d’avancement, tout en exposant les problèmes rencontrés pour ensuite discuter des pistes de solutions. Lors de cette rencontre mensuelle, le directeur de la DAMR et le coordinateur de la direction de l’analyse de marché résument l’essentiel de leurs rencontres avec la directrice générale de la DGSMARC et autres directions générales et territoriales.

De façon concrète, ces rencontres m’ont permis :
 de mieux saisir la nature des problèmes de collusion que le Ministère souhaite détecter, et les outils déjà en place permettant le maintien de la concurrence sur le marché;  de comprendre la nature des outils que cherche le Ministère à appliquer (simples d’utilisation et dans la limite des données disponibles);  de comprendre la particularité de certains contrats (selon la nature des travaux et la situation géographiques des directions territoriales).

Afin de répondre adéquatement à la question posée dans le rapport, une analyse de la littérature scientifique traitant de la question du coefficient de variation a été le point de départ pour bien saisir le comportement de l’outil analysé et documenter sa pertinence dans la détection de comportements non concurrentiels dans le monde. Un processus de recherche documentaire est alors mis en place. La revue de littérature a été réalisée à partir de recherches sur internet et dans des banques de données pertinentes à ce sujet (articles publiés dans des revues scientifiques internationales). Cette revue m’a permis de mieux cerner l’outil analysé, son fonctionnement et champ d’application, mais aussi les avantages et les limites de son application. Elle m’a amplement servie dans l’interprétation des résultats des analyses des données du Ministère et l’élaboration du livrable. De plus, cette méthode de la recension des écrits est avantageuse dans la mesure où elle permet de recenser les cas réels où la collusion a été analysée et expliquée par ce coefficient, et ainsi servir de support pour justifier le recours du Ministère à de telles mesures ou outils d’analyse.

L’ensemble des données quantitatives utilisées pour la réalisation de ce mandat sont disponibles dans les systèmes ministériels en gestion contractuelle. Ces données comportent les statistiques des soumissions de tous les appels d’offres pour la période allant de 1989 à 2018. Les traitements et analyse des données concernaient uniquement les données contenues dans le système le plus récent du Ministère (2006 à 2018). Les analyses ont été par la suite étendues pour englober les données extraites de l’ancien système (de 1989 à 2006). Comme les donnes se trouvaient dans deux systèmes différents, un effort de traitement et de ventilation a été nécessaire, notamment pour combiner les données réparties dans les deux systèmes et constituer une seule base de données. Pour mener à bien ce processus, cette étape s’est faite avec l’aide continuelle de l’analyste de la Direction responsable de la gestion de l’information et du traitement des données extraites des systèmes du Ministère. Le traitement des données est réalisé avec le logiciel SAS 9.4. L’échantillon constitué comporte les données des appels d’offres publics pour les contrats de construction, ventilées par nature des travaux et les différentes régions administratives au Québec. Le mandat consiste aussi à faire l’implémentation du coefficient de variation si les résultats d’analyse sont probants et permettent de déterminer un seuil de référence assurant la séparation entre les appels d’offres suspects et non suspects avant la conclusion du contrats. Le principe consiste à mettre en place un système d’alertes informatisé qui se déclenche automatiquement à chaque fois que le coefficient de variation, calculé pour chaque appel d’offres, est inférieur à ce seuil. Cela permettra aux récepteurs de l’alerte de prendre les mesures nécessaires afin de maintenir la concurrence dans le processus d’octroi de contrats au Ministère (ouverture d’enquêtes par les instances de la concurrence).

La réalisation des autres activités d’analyse, notamment le suivi des résultats des appels d’offres des contrats de construction et de viabilité hivernale du Ministère par directions territoriales, s’est fait à l’aide des orientations du coordonnateur (mandant) et du gestionnaire de la Direction. Plusieurs versions ont été faites tout au long de la période et des améliorations ont été apportées en conséquence, que ce soit pour la plateforme de présentation des résultats que pour les analyses de ces résultats. Les données utilisées pour ces analyses sont disponibles dans le système de suivi des informations contractuelles (SIC) où les extractions sont effectuées aux deux semaines. Enfin, le dernier mandat assurant le suivi des entreprises inscrites au RENA qui ne doivent pas se retrouver dans la liste des entreprises soumissionnant au Ministère s’est fait sur la base de la liste disponible sur le site de l’Autorité des marchés publics (AMP) et des données du Ministère extraites mensuellement du Système de suivi des informations contractuelles.Sachant que je n’avais aucune connaissance préalable sur les méthodes de détection de la collusion, c’est surtout à partir des lectures des documents recensés que j’ai pu réaliser le mandat principal de mon stage, en plus des orientations des membres de l’équipe de l’analyse de marché. Par contre, comme approche d’analyse de ces méthodes et d’intégration à mon milieu de travail j’ai pu utiliser des notions acquises à l’ENAP. Le cours « Méthodes de recherche et d’intervention en milieu organisationnel » (ENP7304) m’a été très utile dans la réalisation de mes trois mandats. Il m’a familiarisé avec les techniques de collecte et d’analyse de données nécessaires au développement des trois livrables. En effet, ce sont presque toutes les étapes vues dans le cadre de ce cours qui ont été appliquées, notamment pour réaliser mon livrable principal. Après description de la problématique de recherche, une recherche bibliographique est entamée afin de dresser un portrait de la situation problématique et de l’état des connaissances actuelles sur le sujet. Pour la collecte de données, j’ai expérimenté deux types de collectes de données qui sont l’entretien semi-dirigé et le questionnaire, alors que pour mon expérience pratique en entreprise, l’essentiel des données utilisées sont disponibles dans les systèmes de l’organisation. De plus, le devis de recherche précisait les éléments nécessaires à la mise en œuvre de l’étude proposée ainsi que sa planification, alors que le livrable de mon stage consiste à mettre en œuvre la méthode et analyser ses résultats en fonction de la réalité de l’organisation. Aussi, le cours « Gestion de projets » (ENP7866) m’a permis de savoir comment mener un mandat à terme, à savoir la planification des tâches d’un mandat et son suivi jusqu’à production du livrable.

Toutefois, le processus théorique de gestion de projet n’a pas été suivi à la lettre durant mon stage car je n’avais pas à gérer un projet en tant que tel (en termes de gestion d’un budget et de maîtrise des coûts, de respect des délais de réalisation, de gestion des risques, …etc.) mais à expérimenter une méthode et à développer un outil de travail permettant de faire le suivi. Au début de mon stage, un calendrier des activités à réaliser a été dressé, mais qui n’a pas été respecté vue qu’il m’était difficile de faire son suivi au fur et à mesure d’avancer dans les tâches des mandats confiés. Cela n’a pas empêché de faire une planification des tâches à réaliser de façon à respecter les délais de réalisation des livrables et la durée de mon stage. Le cours « Tableau de bords, outil de suivi de gestion et de programmes » (ENP7363) m’a particulièrement été utile dans la réalisation des tableaux de suivi des résultats des appels d’offres, comme moyens de suivi permettant une reddition de comptes rigoureuse et régulière des contrats de construction et de déneigement. En fait, ces tableaux de suivi des résultats sont des tableaux opérationnels qui permettent aux différents utilisateurs d’apprécier la situation à partir des résultats et analyses y figurant, pour ainsi faire le suivi et localiser les situations problématiques afin d’agir en conséquence. Même si le développement de ces tableaux ne répond pas au processus de développement d’un tableau de bord théorique (tableau des préoccupations et indicateurs, fiches indicateurs, pages ventilées, page synthèse, et tableau de suivi décisionnel), leurs finalités coïncident en ce sens qu’ils permettent de mettre en évidence les résultats obtenus, les écarts et les tendances dans un but de suivi et de gestion. Enfin, le cours « Gestion par résultats » (ENP7332) m’a aidé dans la production de livrables répondants aux exigences de performance dans la production des résultats auxquels la gestion publique doit répondre en continu. En effet, dans le contexte de l’émergence du management axé sur les résultats et la performance, à la suite de l’adoption de la Loi sur l’administration publique (LAP) en 2000 qui a amorcé une large diffusion de l’évaluation du rendement et de la performance dans les organisations québécoises, la priorité est accordée à la qualité des services aux citoyens, à l’optimisation des moyens et ressources, et à la reddition de comptes. Ces trois notions sont largement utilisées dans l’organisation où mon stage a été effectué. En effet, un des objectifs de la Direction (DAMR) est de veiller au maintien du niveau de la concurrence dans les marchés en limitant tout comportement pouvant limiter le jeu de la concurrence, dans le but d’optimiser l’utilisation de l’argent des contribuables par une gestion efficace et économique des ressources utilisées (faire recours à des méthodes efficaces de détection des comportements irréguliers, simples et pas coûteuses), tout en s’assurant d’offrir des services de qualité aux citoyens. Il est aussi question de s’assurer de la pertinence des indicateurs de gestion, qui constituent un préalable à la mesure du rendement et à la gestion de la performance. Toutes ces pratiques lui permettent de concrétiser son engagement à atteindre ses cibles de résultats prédéfinis, et ainsi assurer une reddition de comptes efficace, qui constitue une étape importante de la gestion par résultats. En fait, durant la période de mon stage, j’ai eu l’occasion d’assister à la rencontre de la Direction générale (DGSMARC), qui se tient deux fois par an pour en discuter des résultats obtenus par les différentes directions la constituant, du niveau d’atteinte des cibles de résultats et des défis et cibles futures de chacune des directions (évaluation des résultats et suivi continu de l’évolution des cibles).

Recension des écrits

Cette recension des écrits a pour but de mettre en lumière les connaissances théoriques et applications empiriques reliés à la question de détection des comportements non concurrentiels dans les marchés. En effet, la littérature sur les méthodes de filtrage et de détection de la collusion est vaste, mais notre objectif se limite à exposer les éléments de pertinence du filtre par « coefficient de variation » ainsi que ses limites dans la détection de la collusion. Il s’agit de mettre en évidence la valeur ajoutée de cette méthode, désormais régulièrement utilisée dans la détection des complots de truquage des offres.
La littérature empirique suppose que de faibles valeurs du coefficient de variation indiquent une rigidité des prix, ce qui correspond à un comportement d’offres suspect. Plus précisément, la diminution non temporelle des valeurs du coefficient de variation est considérée comme une indication de périodes de collusions, et vice versa. Il est important de mentionner que la plupart des études portant sur le coefficient de variation, et sur les filtres de variance de façon générale, concernent des marchés pour lesquels des informations préalables sur la présence de collusion sont disponibles.

Pertinence du coefficient de variation

De nombreuses études ont conclu à la pertinence du coefficient de variation dans la détection des périodes d’activités de cartels. Elles trouvent des éléments à l’appui des hypothèses selon lesquelles la moyenne augmente et la variance diminue pendant la période de l’entente par rapport aux périodes antérieures et postérieures (Bolotova et al.2008). Aussi, dans le cadre d’un cartel en activité, le fait d’empêcher de nouvelles firmes d’entrer dans le marché ou de recruter de nouvelles entreprises est susceptible de réduire la variation des prix (Connor. 2004). D’autres études soulignent que l’impact des chocs de coûts sur les prix est atténué et prend plus de temps à passer en période d’entente. En effet, comme les cartels sont conscients de l’incidence de la trajectoire de leurs prix sur les convictions et probabilités de détection, ces mouvements de prix sont tempérés. Ainsi, la variance des prix est plus faible en période d’entente (Harrington. 2006). Une des études pionnières dans l’analyse du comportement du coefficient de variation arrive à conclure que la variance des prix enregistre une baisse importante durant la période de l’entente. Le comportement du coefficient de variation enregistre ainsi des tendances différentes entre les périodes de collusion et de concurrence. Il est aussi constaté que ce changement significatif des prix ne pouvait être expliqué par un changement de coûts (Abrantes-Metz et al. 2006).

Limites du coefficient de variation

Toutefois, certaines études sont arrivées à des résultats mitigés. L’application du coefficient de variation n’a pas toujours permis d’identifier les complots potentiels dans le cas de certains
marchés. De tels résultats peuvent s’expliquer soit par l’absence de collusion dans ces marchés ou par l’échec de la méthode à identifier de tels comportements (Abrantes-Metz et al. 2006). Par contre, quand l’information sur la présence de la collusion dans le marché est disponible et que le coefficient de variation n’arrive pas à détecter cette collusion, les résultats sont interprétés comme étant la conséquence de la période particulièrement longue du cartel, ou par le fait que les ententes de collusion sur ces marchés n’incluent pas toutes les entreprises, n’ont pas un contrôle total sur le prix, ou que des chocs anormaux sur l’offre ou sur les coûts ont une incidence sur les résultats du marché (Bolotova et al. 2008). Les filtres de variance peuvent alors conduire en erreur dans la détection de comportements collusoires. En effet, comme la faible variance des prix est un synonyme manifeste de l’activité d’un cartel, les cartels peuvent procéder par manipuler les prix pour augmenter la valeur de la variance (Crede. 2016). D’où l’importance de ne pas utiliser ces outils statistiques de manière isolée.

Table des matières

Introduction
1. Description de l’organisme d’accueil et du mandat
1.1. Le ministère des transports (MTQ)
1.2. Le mandat
2. Méthodologie de recherche et d’intervention
3. Recension des écrits
3.1. Pertinence du coefficient de variation
3.2. Limites du coefficient de variation
3.3. L’importance de jumeler le CV avec d’autres filtres
4. Résultats
4.1. Retour sur la méthodologie de recherche
4.2. Description des résultats par rapport à la problématique
4.2.1. Livrable principal
4.2.1.1. Le filtre par coefficient de variation
4.2.1.2. Le filtre de distance relative
4.2.1.3. Détection de la collusion partielle
4.2.2. Autres activités
5. Recommandations
Conclusion
4 Bibliographie
Annexes

Télécharger le rapport complet