Introduction.

1Les multiples évaluations, analyses stratégiques et audits de performance effectués chaque année aux Pays-Bas poursuivent un double objectif. S’ils visent principalement à apporter une contribution à la reddition de compte sur les politiques suivies, il faut aussi que les résultats des évaluations permettent de tirer des enseignements et, par là même, d’améliorer la qualité de ces politiques et/ou leur mise en œuvre. La réalisation effective de ce double objectif dépend dans une large mesure non seulement de l’angle d’approche ou de la définition de l’évaluation à effectuer, mais aussi de la qualité de son exécution et de la formulation des conclusions et recommandations.

2Mon propos est de décrire la manière dont le ministère des Finances et la Cour des comptes – les deux organes de l’État qui se trouvent au sommet de la pyramide en matière d’évaluation – donnent forme concrète à leurs analyses stratégiques. Quelles sont les prémices, les procédures et les garanties qui président à la sélection des audits, à la recherche de la qualité et de la fiabilité des résultats, à l’utilisation des informations stratégiques et au reporting sur les résultats de leurs travaux ? Et quels enseignements tirent-ils des évaluations des audits de performance et études d’efficacité auxquelles ils ont procédé récemment ? Telles sont les questions auxquelles je m’efforcerai d’apporter une réponse dans les pages qui suivent, avant de conclure en proposant quelques pistes d’amélioration pour l’avenir.

I. ÉVALUATIONS DES POLITIQUES ET ANALYSES STRATÉGIQUES AU NIVEAU DE L’ADMINISTRATION CENTRALE AUX PAYS-BAS

3Les pouvoirs publics s’acquittent-ils convenablement de leur tâche et les résultats obtenus sont-ils à la hauteur des objectifs fixés ? C’est cette question qui sous-tend nombre d’études d’évaluation au sein de l’administration centrale. Les concepts d’évaluation des politiques et d’étude d’évaluation recouvrent un large éventail d’activités et de procédures. Evert Vedung décrit brièvement l’évaluation comme étant une appréciation rigoureuse du mérite, de la valeur et de l’utilité de l’administration, des performances et des résultats des interventions publiques1. Les principaux objectifs de l’évaluation sont, d’une part, l’estimation et l’appréciation préalables des effets des politiques publiques (évaluation ex ante) et, d’autre part, la détermination et l’appréciation a posteriori des politiques et de leurs effets (évaluation ex post).

4L’évaluation des politiques répond à un double objectif. Si elle vise principalement à apporter une contribution à la reddition de compte sur les politiques publiques, il faut aussi que les résultats de l’évaluation permettent de tirer des enseignements et, par là même, d’améliorer la qualité de ces politiques et/ou leur mise en œuvre. Il s’agit d’apporter une contribution à l’amélioration des politiques et de leur mise en œuvre2. Aux Pays-Bas, l’évaluation des politiques publiques a toujours été fortement placée sous le double signe de la reddition de compte et de la maîtrise des dépenses publiques. Le ministère des Finances a joué un rôle majeur dans l’introduction des rapports de performance et des études d’évaluation. Dès 1971, le ministère décidait l’adoption de trois instruments complémentaires : l’analyse des politiques publiques, le budget de performance et les estimations pluriannuelles. C’est à cette époque également que fut mise en place la Commission pour le développement de l’analyse des politiques publiques (la Commission Coba)3.

5Pourtant, dans les années quatre-vingt, la Cour des comptes constate que « l’État déploie relativement peu d’activités systématiques d’évaluation des dépenses publiques »4. L’administration centrale manque d’informations sur la mise en œuvre, les résultats et les effets des politiques publiques. Et, dans la moitié environ des cas où des études d’évaluation sont effectuées, les résultats n’en sont pas exploités. Face à cette situation, le gouvernement décide que l’évaluation sera désormais un élément indissociable de tout processus d’action publique5. La réglementation est modifiée, les ministères se voient obligés d’intégrer des rapports annuels dans leurs budgets, et les études d’évaluation seront désormais pilotées au niveau des ministères : c’est le début d’une phase d’amélioration qui débouche sur une modification de la loi relative à la comptabilité publique, les responsabilités en matière d’études d’évaluation étant désormais inscrites dans la loi. Depuis 1994, les ministres ont l’obligation de soumettre périodiquement leurs politiques à des études d’efficience et d’efficacité6.

6Un élément caractéristique de la situation aux Pays-Bas, c’est que les études d’évaluation périodique sont toujours liées à l’application d’indicateurs de performance. Depuis le début des années quatre-vingt-dix, on recourt à cet effet à la publication de « chiffres-clés », qui éclairent quantitativement les principaux effets et performances des politiques suivies. La mise en place de l’opération VBTB (De l’approche budgétaire à l’obligation de reddition de compte sur les politiques publiques), visant à intégrer informations stratégiques et informations financières dans les documents budgétaires, a donné une impulsion nouvelle, dès 1999, au développement d’objectifs stratégiques et des indicateurs correspondants7. Il s’agit désormais, dans la phase d’élaboration du budget, de répondre aux trois questions suivantes.

1. Quels sont nos objectifs ?
2. Comment allons-nous les réaliser ?
3. Quel va en être le coût ?

7Au rapport annuel, ensuite, d’apporter une réponse à trois autres questions :

1. Avons-nous atteint nos objectifs ?
2. Avons-nous réalisé ce que nous nous étions proposé de faire ?
3. Le coût de notre action correspond-il à ce que nous avions prévu ?

8Dans son rapport par pays consacré aux Pays-Bas, le FMI affirmait en 2006 que la décision prise par les Pays-Bas d’instaurer une journée (le troisième mercredi de mai) où tous les ministères présentent leur rapport annuel à la Chambre des Représentants mérite d’être suivi au plan international8. Et ce qui constitue peut-être le plus beau compliment pour une initiative émanant de l’administration centrale, c’est que les communes néerlandaises sont nombreuses à avoir adopté le principe des trois questions pour l’élaboration de leur budget.

9Au niveau international, l’évaluation des politiques publiques a connu un essor considérable depuis les années quatre-vingt-dix, grâce à l’application de méthodes issues des principes de la « nouvelle gestion publique » telles que le logic modeling et l’evidence-based policy (voir le site http://www.evidencenetwork.org). Les programmes structurels de l’Union européenne sont soumis à une obligation d’évaluation axée sur la fixation d’objectifs et le recours à des outils permettant de les réaliser (voir le site http://www.evalsed.info).

10L’opération VBTB s’inscrit dans une tendance internationale qui consiste à vouloir axer davantage la gestion et les politiques sur les résultats. Globalement, il s’agit pour les organes des pouvoirs publics de commencer par formuler des objectifs pour en orienter ponctuellement la mise en œuvre. Le type, la quantité et la qualité des performances – la construction d’une digue par exemple, mais aussi la mise en place d’un mécanisme de subvention ou l’inspection de travaux exécutés par des tiers – doivent avant tout servir l’impact sociétal souhaité. Les évaluations s’inscrivent dans le prolongement des résultats fournis par les instruments de surveillance. Par ailleurs, les évaluations périodiques laissent – ou pourraient laisser – davantage de place à une réflexion critique sur l’utilité et la nécessité des objectifs fixés et des indicateurs de performance9.

11Le nouveau système d’études d’évaluation en vigueur depuis 2006 définit l’étude d’évaluation ex post comme l’examen périodique de l’efficience et de l’efficacité des politiques, une distinction devant être faite entre l’audit de performance, qui est une évaluation de la politique au niveau des objectifs généraux et opérationnels, et l’étude d’impact ex post, qui consiste à mesurer l’impact net de la politique.

12Le principe de l’évaluation quinquennale de la politique n’en reste pas moins d’application10. De même, le lien étroit est maintenu entre l’évaluation des politiques, d’une part, et le modèle de pilotage et la systématique budgétaire axés sur les résultats, mis en place par l’opération VBTB, de l’autre.

Les quatre piliers de l’évaluation : sélection des audits, qualité de la mise en œuvre, utilisation des informations stratégiques disponibles, reporting.

13Qu’est ce qui fait la qualité d’une évaluation ? De façon générale, on peut affirmer qu’une bonne évaluation est celle qui fournit au bon moment des réponses fiables aux questions pertinentes qui se posent en matière d’efficacité et d’efficience des politiques publiques. De façon plus spécifique, une bonne évaluation satisfait en outre aux critères suivants : elle s’inscrit dans le prolongement des conclusions et données de performance fournies par les mécanismes de surveillance ; l’indépendance – ou au contraire l’implication – de l’évaluateur doit être clairement établie ; l’évaluation a été réalisée au moyen de méthodes et de techniques appropriées ; et les principaux acteurs concernés sont connus. Enfin, et c’est presque évident, l’accessibilité et la qualité du rapport d’évaluation doivent être garanties11.

14Chronologiquement, ces différents critères de qualité interviennent dans l’ordre suivant :

• sélection et planification : quelle politique soumettons-nous à une évaluation, à quel moment et en fonction de quels paramètres ? ;
• qualité et fiabilité : quelles méthodes et techniques peuvent garantir un haut niveau de fiabilité, en combinaison avec quel type de collecte des informations ? Quel degré d’implication d’évaluateurs indépendants est-il susceptible de contribuer à la fiabilité de l’évaluation ? ;
• utilisation des informations stratégiques disponibles : quels résultats de performance (y compris ceux d’évaluations antérieures) peuvent être utilisés ? ;
• rapport d’évaluation : quelle forme de reporting choisir pour que les résultats de l’évaluation aient le plus de chances d’être exploités ?

15La première démarche de toute évaluation est d’en déterminer l’objectif et la principale perspective. S’agit-il de juger de l’efficacité de la mise en œuvre d’une politique ou de l’efficience même de cette politique ? S’agit-il d’analyser des problèmes spécifiques connus de mise en œuvre ou de se faire une idée plus précise de l’efficacité de tout un programme ? Tel ou tel objectif existant ou telle ou telle ambition de performance doivent-ils être considérés comme des prémices ou y a-t-il au contraire besoin d’une réflexion critique sur le bienfondé de ces prémices pour réaliser la politique considérée ? Autant de questions auxquelles il n’est pas toujours facile de répondre, mais qui sont néanmoins capitales pour le succès de l’évaluation.

16Quels sont le thème et les questions qui sont au centre de l’évaluation ? Ce n’est que lorsque la réponse à cette dernière question est connue – et tout évaluateur expérimenté sait combien les possibilités de choix et de combinaisons de choix sont nombreuses – que l’on pourra déterminer les méthodes et les techniques appropriées.

17Une fois déterminés l’objectif, la perspective, le thème et les méthodes, le projet ou le plan d’évaluation peuvent être établis, une attention particulière devant être accordée au reporting et aux principaux risques pendant la phase de mise en œuvre, sans oublier par ailleurs le facteur coûts, car il n’est pas rare qu’il y ait un écart entre ce que l’évaluateur souhaite et ce qui est financièrement et matériellement possible.

18Se pose alors la question de savoir si l’évaluation doit être effectuée en interne ou s’il est préférable de l’externaliser. Les arguments en faveur de l’externalisation ne manquent pas : insuffisance de connaissances et manque d’expérience en matière d’évaluation, notamment au niveau des méthodes et des techniques ; garantie d’impartialité des évaluateurs ; manque de temps et insuffisance de moyens. L’argument le plus souvent avancé aux Pays-Bas est la volonté d’éviter toute apparence de risque de confusion d’intérêts : comment invoquer de façon crédible les résultats d’une évaluation si les responsables d’une politique procèdent eux-mêmes à son évaluation ? Mais les évaluations en interne ont aussi des avantages, le principal étant une beaucoup plus grande implication des évaluateurs et donc des chances beaucoup plus grandes que les résultats de l’évaluation aient un impact direct.

19Dans un cas comme dans l’autre, il est bon de commencer par établir des termes de référence spécifiant les principaux objectifs, prémices et exigences de l’évaluation12. Il s’agit notamment de définir l’objectif de l’évaluation, les questions auxquelles une réponse doit être apportée, les méthodes et techniques à utiliser, le nombre et la nature des personnes à interroger, le mode de coordination (et son intensité) entre prestataire et donneur d’ordre, et enfin la manière dont les résultats de l’évaluation seront rendus publics. En cas d’évaluation externalisée, les termes de référence peuvent être utilisés pour le lancement de l’appel d’offres. En cas d’évaluation en interne, l’établissement des termes de référence contribue à garantir la rigueur nécessaire dès le début du processus d’évaluation. En cas de doute, rien de tel pour éviter les déconvenues que de faire appel à des consultants ou à d’autres experts.

20Les différents aspects évoqués ci-dessus – sélection et planification des évaluations, recherche de la qualité (fiabilité), utilisation des informations stratégiques disponibles et reporting – font tous partie intégrante des audits de performance du ministère des Finances et des études d’efficacité de la Cour des comptes des Pays-Bas.

II. AUDITS DE PERFORMANCE DU MINISTÈRE DES FINANCES

Qu’est-ce qu’un audit de performance ?

21L’audit de performance est un outil qui a été introduit aux Pays-Bas au terme de cinq années d’expérience du système budgétaire VBTB. Une évaluation à mi-parcours avait conduit à la constatation que si les évaluations des politiques publiques étaient certes nombreuses, elles faisaient généralement trop peu de place à l’analyse des problèmes, aux effets des politiques menées et à la garantie d’impartialité13. Les audits de performance devaient remédier à ces insuffisances.

22La nouvelle réglementation prévoit que l’audit de performance doit se focaliser sur les objectifs opérationnels de la politique considérée, qu’il doit avoir lieu périodiquement pour chaque objectif et que l’angle d’approche adopté doit avoir un caractère fondamental14. Les audits de performance doivent avoir une finalité pédagogique et contribuer à la reddition de compte sur la politique menée15.

23Tout audit de performance doit comporter un certain nombre d’éléments simples mais fondamentaux, à savoir :

• une description et une analyse du problème qui a donné lieu à l’adoption de la politique concernée ;
• une description et une motivation du rôle de l’administration centrale ;
• une description des objectifs stratégiques faisant l’objet de l’audit ;
• une description des instruments utilisés et une analyse de leur impact pour le citoyen ;
• une description des budgets engagés16.

Sélection des audits.

24La responsabilité de programmer les audits de performance relève de la compétence des ministres. Chacun d’entre eux doit stipuler dans son budget que l’utilité, la nécessité, l’efficacité et l’efficience de tous les domaines d’action publique de son ministère sont évaluées, périodiquement et dans le prolongement de leur mise en œuvre, dans le cadre d’un audit de performance. Cette approche systématique de la programmation de l’évaluation doit contribuer à une utilisation efficace des instruments d’évaluation. La direction des Affaires économiques et financières de chaque ministère établit généralement une programmation complète pour l’évaluation et l’audit des politiques du ministère. Les critères qui président à cette programmation sont les suivants : chaque politique (c’est-à-dire chaque objectif opérationnel inscrit au budget) doit être évaluée « avec une certaine régularité », les évaluations doivent s’inscrire dans le prolongement de la mise en œuvre de la politique correspondante, il doit y avoir besoin d’une impulsion stratégique (nécessité de changement), il faut que des informations soient disponibles, et il faut pouvoir disposer des moyens d’évaluation nécessaires. Enfin, la sensibilité politique des dossiers est également prise en compte17.

25Une des caractéristiques des audits de performance est qu’ils posent systématiquement la question de l’utilité et de la nécessité de la politique publique considérée : ils vérifient explicitement l’analyse du problème, l’actualité de l’objectif de la politique et les arguments avancés pour justifier l’intervention de l’État (pourquoi est-ce à l’État de s’attaquer au problème, et non pas au secteur privé ou aux communes, par exemple ?). Le règlement d’évaluation périodique prévoit à cet effet le questionnaire suivant, à appliquer dans tout audit de performance18.

• Quel est le problème qui est (ou a été) à l’origine de la politique considérée ? Ce problème se pose-t-il toujours aujourd’hui ?
• Quelle est la cause du problème ?
• Pourquoi les pouvoirs publics considèrent-ils qu’il leur appartient de résoudre le problème ?
• Pourquoi la responsabilité de résoudre le problème relève-t-elle du pouvoir central (et non pas des collectivités territoriales ou de l’Union européenne) ? Comment la responsabilité de l’État a-t-elle été concrétisée et pourquoi ?
• Quel objectif les pouvoirs publics ont-ils formulé pour la résolution du problème ?
• Quels sont les instruments déployés ? Quelle est leur cohérence ? Y a-t-il redondance ? Que sait-on de la mise en œuvre de la politique et de l’efficacité de la gestion ?
• Quels sont les effets des instruments déployés sur les objectifs formulés (résolution du problème) ? Les instruments déployés dans d’autres domaines d’action publique ont-ils également des effets notables sur les objectifs formulés ? Quels sont les effets secondaires de la politique, positifs ou négatifs ?
• Comment le volume des budgets affectés à la politique a-t-il été déterminé ? Et sur la base de quels arguments ?

Recherche de la qualité.

26Le règlement d’évaluation périodique dispose que les informations stratégiques (provenant d’une évaluation ou d’un audit) doivent satisfaire aux conditions suivantes.

1. Les informations stratégiques ont été recueillies au sein du ministère de façon ordonnée, vérifiable et rigoureuse ; on considère que tel est le cas :
   • si les responsabilités et les compétences ont été soigneusement définies dans le processus d’élaboration de la politique ;
   • si le processus d’élaboration de la politique peut être reconstitué après coup ;
   • si les informations stratégiques résultant du processus d’élaboration de la politique ont été intégrées de façon complète et exacte dans le budget et le rapport annuel ;
   • si l’impartialité des études d’évaluation et des analyses de gestion a été garantie conformément aux dispositions de l’article 6 du règlement.
2. Les informations stratégiques sont compatibles avec les données financières du budget ou du rapport annuel.
3. Les sources des informations stratégiques sont clairement indiquées19.

27Le règlement d’évaluation périodique prévoit également la possibilité pour le ministre, dans certains cas spécifiques, de s’entendre avec la Chambre des Représentants sur la fixation d’exigences de qualité complémentaires. Le règlement part en effet du principe qu’il n’est pas possible de prétendre à une exactitude et une clarté intégrales des informations stratégiques. L’exposé des motifs du règlement indique qu’il pourra toujours y avoir des résultats divergents, même si l’on recourt à des méthodes et techniques reconnues pour la réalisation de l’audit. Évoquant l’exemple de la réduction du nombre d’élèves par classe et celui du solde UEM, l’exposé des motifs affirme qu’il n’est pas possible de se prononcer de manière générale en matière d’exactitude et de complétude20.

28Le recours à des experts indépendants occupe une place centrale dans les dispositions du règlement d’évaluation relatives à la garantie de qualité. Par experts indépendants, le règlement entend des experts qui « n’assument aucune responsabilité à l’égard de la politique publique à évaluer et dont on est en droit d’attendre un jugement impartial ». Le règlement prévoit que le donneur d’ordre doit pouvoir justifier, si on le lui demande, que les experts concernés satisfont effectivement à ces conditions. Les modalités d’implication des experts indépendants doivent être consignées dans le rapport d’évaluation ou le dossier d’évaluation.

Utilisation des informations stratégiques disponibles.

29Les audits de performance ont le caractère d’études de synthèse, c’est-à-dire qu’ils sont réalisés autant que possible sur la base d’études d’efficacité et d’efficience existantes et d’études, globales ou partielles, de l’efficacité de la gestion. Le règlement d’évaluation fait même une place centrale à l’utilisation d’évaluations ex ante et ex post. L’existence d’informations stratégiques constitue très logiquement un critère pour la programmation d’un audit : si on manque d’informations, de données de performance ou de connaissances suffisantes sur la réalisation de l’objectif de la politique ou son impact ou sur le fonctionnement d’instruments d’évaluation, on peut commencer par restaurer le « chaînon manquant » avant de lancer l’audit.

Reporting.

30Le règlement d’évaluation contient peu de dispositions sur l’établissement des rapports d’évaluation. La plupart des rapports d’évaluation fondent leurs conclusions sur la définition du problème et la finalité de l’évaluation et comprennent un résumé. Les audits de performance sont accompagnés de la réaction du ministre concerné. Les rapports font aussi des recommandations pour la politique future. L’utilité directe des audits s’en trouve ainsi accrue, les enseignements à en tirer étant appelés à jouer un rôle majeur dans le débat entre le ministre et la Chambre des Représentants.

III. ÉTUDES D’EFFICACITÉ DE LA COUR DES COMPTES

Qu’est-ce qu’une étude d’efficacité ?

31Aux termes de l’article 85 de la loi néerlandaise relative à la comptabilité publique, la Cour des comptes est compétente pour vérifier l’efficacité et l’efficience de la politique. Par « efficacité », la Cour des comptes entend l’affectation de crédits appropriés pour atteindre le résultat escompté. Par « efficience », elle entend la réalisation effective du résultat escompté. Dans ses études d’efficacité, la Cour des comptes vérifie avant tout si la mise en œuvre est en phase avec la politique fixée, en se focalisant sur les questions suivantes.

• Quelle est la politique publique et quels sont les crédits engagés pour cette politique ?
• Quels sont les résultats de la politique ? La politique fixée est-elle effectivement mise en œuvre, et l’est-elle convenablement ?
• En cas de décalage entre politique et mise en œuvre, quelles sont les causes de la mauvaise exécution de la politique ?

32Afin de pouvoir bien délimiter le cadre et la portée de ses études d’efficacité, la Cour des comptes applique depuis quelques années une approche basée sur le principe des écarts. On commence par définir le problème qu’était censée résoudre ou maîtriser la politique publique considérée, puis on examine quels étaient les objectifs de cette politique pour la société. C’est le premier écart : celui entre problème à résoudre et politique mise en œuvre. Le second écart est celui qui sépare la politique de sa mise en œuvre effective. Il s’agit de déterminer le décalage entre résultats escomptés et résultats réalisés21.

Sélection des études.

33Le premier critère qui préside à la sélection des études par la Cour des comptes est la plus-value qu’une étude d’efficacité peut présenter par rapport aux connaissances existantes et à d’autres évaluations effectuées à d’autres niveaux. La Cour examine ensuite le bénéfice concret de la politique publique considérée pour le citoyen, les entreprises et l’environnement naturel ; il s’agit de savoir si la politique satisfait à un besoin réel. C’est pour cette raison que la programmation des études d’efficacité et la définition de leurs objectifs sont établies en fonction de la dernière phase du cycle des politiques publiques : il faut que le besoin de mener une politique donnée soit dicté par un problème qui se pose dans la société, étant entendu que les résultats de la politique mise en œuvre doivent résoudre ou maîtriser le problème. Les résultats de l’étude annuelle de légalité pèsent également lourd dans la sélection.

34La Cour des comptes applique par ailleurs les critères suivants pour la sélection des politiques publiques à évaluer22.

• L’existence de chaînes complexes : la Cour des comptes concentre ses études d’efficacité sur les politiques dont l’élaboration et la mise en œuvre supposent une chaîne complexe, faisant intervenir, par exemple, plusieurs ministères ou plusieurs niveaux des pouvoirs publics.
• L’existence de risques : plus il y a de risques qu’une politique publique soit problématique au niveau de la légalité, de l’efficacité et de l’efficience, plus il y a de raisons de la soumettre à une étude d’efficacité.
• Les interventions structurelles : les diverses études d’efficacité doivent permettre de dégager des tendances, permettant à leur tour à la Cour de proposer des pistes d’amélioration de telle ou telle structure du système administratif ; pour ce faire, il peut y avoir besoin d’une combinaison d’études en profondeur, d’études interministérielles et d’études au niveau de l’ensemble des politiques publiques.
• L’intérêt financier : la Cour des comptes concentre ses activités d’évaluation sur les politiques publiques qui ont de lourdes implications financières.

Recherche de la qualité.

35Pour un organisme de contrôle comme la Cour des comptes, la qualité du « produit fini » est une condition sine qua non de fiabilité de l’institution. Aussi la qualité est-elle l’objet d’une attention constante. La Cour fait une distinction entre « qualité stratégique » et « qualité technique ». La Cour entend tout d’abord que les résultats des travaux qu’elle produit soient exploitables et utiles : ils doivent pouvoir contribuer à l’amélioration du fonctionnement et des performances de l’État et des organes qui y sont liés (c’est la qualité stratégique du produit fini), ce qui suppose une bonne sélection des politiques à soumettre à une étude d’efficacité. Ensuite, la Cour entend que ses conclusions soient argumentées, accessibles, cohérentes et objectives (c’est la qualité technique du produit fini).

36La Cour des comptes s’efforce de garantir la qualité de son action par l’utilisation de procédures et de codes clairement définis. Outre le code de déontologie, toutes les exigences de qualité et procédures internes sont consignées dans des directives et instructions internes, comme le rapport Contrôle de la qualité des études d’efficacité23. Les critères de qualité de la Cour sont la validité et la fiabilité, la cohérence, l’accessibilité et l’objectivité.

37Toute étude d’efficacité de la Cour des comptes contrôle l’action des pouvoirs publics en fonction de certaines normes. Parfois ces normes sont clairement définies, dans la loi ou une réglementation. Dans d’autres cas, les choses sont moins évidentes, notamment lorsqu’il s’agit d’efficacité et d’efficience des politiques. Aussi la Cour des comptes a-t-elle rassemblé depuis quelques années toutes les normes qu’elle applique dans une banque de données numérisées qui peut être consultée par tous les agents de la Cour et qui doit améliorer la cohérence entre les diverses études d’efficacité.

38Au terme de la première phase de l’étude – la collecte matérielle des informations –, les résultats sont consignés dans un rapport d’étape qui est soumis, pour vérification, aux parties ayant fait l’objet de l’étude. Ensuite sont rédigées des conclusions et recommandations, lesquelles sont soumises aux ministres concernés pour leur permettre de faire connaître leur point de vue.

Utilisation des informations stratégiques disponibles.

39La sélection des études d’efficacité est dictée, nous l’avons dit plus haut, par la plus-value qu’elles présentent par rapport aux informations dont on dispose déjà. L’existence d’informations stratégiques et la qualité de ces informations conditionnent donc explicitement la programmation des études d’efficacité. La Cour des comptes examine par ailleurs si le ministre dispose d’assez d’informations fiables pour pouvoir suivre le processus de mise en œuvre de la politique.

Reporting.

40Les résultats des études d’efficacité effectuées par la Cour des comptes sont en principe publics. Ils sont publiés dans des rapports présentés au Parlement. Chaque rapport comporte deux parties. La partie A (qui compte généralement une vingtaine de pages) fait état des principales conclusions et recommandations adressées aux responsables. Quant à la partie B (qui peut compter jusqu’à une centaine de pages), elle contient toutes les données matérielles : faits et chiffres, mais aussi, de plus en plus, informations graphiques, illustrations et cartes géographiques.

IV. ÉVALUATION DES AUDITS DE PERFORMANCE ET DES ÉTUDES D’EFFICACITÉ

Évaluation des audits de performance du ministère des Finances.

41Dans les années qui ont suivi l’introduction des audits de performance, la Chambre des Représentants a exprimé des doutes quant aux garanties qu’ils présentent en matière de valeur intrinsèque et de sérieux. Les audits de performance fournissaient-ils vraiment assez d’informations fiables sur l’efficacité et l’efficience des politiques publiques pour permettre au Parlement d’exercer sa fonction de contrôle de l’exécutif ? Le Parlement demanda donc, par lettre, au ministre des Finances de veiller à éliminer les risques signalés. Celui-ci fit savoir dans sa réponse qu’il estimait que le recours, dans des conditions réelles de fiabilité, à des experts indépendants constitue une condition indispensable pour pouvoir dresser un tableau exact et complet des points positifs et négatifs des politiques publiques24. Pour le ministre, il importe que la Chambre des Représentants puisse se faire une idée précise du rôle joué par les experts indépendants dans l’élaboration du rapport d’audit ainsi que du jugement porté par ces experts sur la version définitive du rapport.

42Cette correspondance entre le ministre des Finances et le Parlement a notamment donné lieu à une réflexion sur la nécessité de renforcer le règlement d’évaluation périodique de 2006, sur la base d’une analyse d’un grand nombre d’audits de performance. Une évaluation a donc été effectuée en 2008 par un cabinet de consultants externes, encadré par une commission indépendante présidée par un expert indépendant. La conclusion de l’évaluation, qui a porté sur 23 audits et au cours de laquelle toutes les parties intéressées ont été entendues, était que l’introduction des audits de performance a permis de réaliser des améliorations sur certains points. Un grand nombre des personnes interrogées a ainsi indiqué que l’audit de performance est un instrument approprié pour évaluer l’efficacité et l’efficience des objectifs opérationnels inscrits au budget. Depuis que des audits sont effectués, les ministères ont davantage pris conscience de l’importance qu’il y a à tenir compte, dès le début de tout processus d’action publique, de la mesurabilité des effets nets de la politique.

43Un certain nombre de possibilités d’amélioration ont été identifiées au niveau de la sélection, de la qualité et de l’utilisation des informations stratégiques. C’est ainsi que l’on a constaté que, même si un audit n’est effectué que sous réserve de disposer de suffisamment d’informations, on assiste à une accumulation d’évaluations, d’analyses stratégiques, d’audits de performance et d’autres instruments produisant tous des informations stratégiques. Il y a donc absence totale de synergie, faute d’une utilisation adéquate des informations stratégiques existantes et d’une orientation des audits sur les aspects insuffisamment mis en lumière lors d’évaluations antérieures. On a également constaté que les audits d’efficacité ne conduisent qu’à une réduction très faible du nombre des indicateurs de performance ou des évaluations. Dans un petit nombre de cas seulement, l’audit conduit à une évolution des conceptions25. Par ailleurs, la moitié seulement des audits planifiés sont réellement effectués.

44Le ministère des Finances conclut que la sélection doit être améliorée. S’inspirant de l’exemple de certains ministères, il va mettre en place une planification globale des évaluations, les audits de performance devant servir de « boussole » pour les autres évaluations26. Cette planification doit s’inscrire dans le cadre des politiques publiques et tous les intéressés doivent s’engager à s’y tenir. Le ministère des Finances cherche aussi à mieux programmer les évaluations en fonction de la demande pour qu’elles soient davantage en phase avec les besoins. Le ministre des Finances va s’entendre avec la Chambre des Représentants pour arriver à un meilleur alignement des audits de performance sur les besoins exprimés par la Chambre27.

45Plusieurs ministères ont révélé dans l’évaluation que l’impact de la mise en œuvre des audits est souvent sous-estimé : il faut généralement plus de temps et plus de personnel pour les mener à bien. L’échec d’un audit est souvent dû à l’insuffisance de personnel engagé pour le mettre en œuvre. Par ailleurs, si les hauts fonctionnaires n’y mettent pas du leur et si le feed-back est inexistant, les enseignements d’un audit sont presque par définition totalement nuls28.

46En ce qui concerne la qualité, l’évaluation conclut notamment que les audits de performance ne permettent pas de se faire une idée suffisante de l’effectivité de la politique ni de l’adéquation entre les fonds investis et les résultats et les effets de la politique engagée29. Dans biens des cas, la plausibilité – qu’est-ce qui permet d’affirmer que la politique a des effets ? – n’était pas établie et il manquait une analyse de la théorie sous-tendant la politique (logique d’intervention)30. Le ministère des Finances s’efforcera de pallier cette lacune en rendant obligatoire une telle analyse et en donnant des directives sur la manière de déterminer les effets des politiques publiques31.

47Même si les audits font aujourd’hui davantage appel à des experts indépendants, le rôle de ces derniers reste mal établi. « Du fait du rôle fragmentaire et peu clair qui leur est dévolu, les experts indépendants ne se considèrent pas comme étant responsables de la qualité de l’audit »32. La situation pourrait être améliorée en associant les experts indépendants à l’audit dès le début et en intégrant explicitement leurs commentaires dans le rapport final. Le ministère des Finances ne fait pas le choix de confier aux experts indépendants une espèce de mandat ou une liste de vérification comportant les points à prendre en compte en matière de contrôle de la qualité. L’évaluation conclut que la seule véritable possibilité d’amélioration sur ce point est de joindre les commentaires des experts indépendants aux rapports d’audit.

48Le ministre des Finances n’est pas convaincu que le seul moyen d’évaluer les politiques de façon exacte et complète soit de confier les études d’évaluation à des tiers. « L’externalisation n’est qu’une option parmi d’autres et ne suffit pas à garantir l’impartialité de l’évaluation des politiques publiques. »33 Le ministre considère que l’externalisation pure et simple des évaluations comporte le risque que les ministères se sentent trop peu concernés par le processus d’évaluation : « Les chances que des conclusions particulièrement utiles soient réellement exploitées s’en trouveraient réduites et leur impact pédagogique resterait limité »34.

Revue par les pairs des études d’efficacité de la Cour des comptes.

49Une des questions le plus souvent posées aux agents de la Cour des comptes est celle de savoir qui contrôle le contrôleur. Ou, en paraphrasant : qui évalue l’évaluateur ? Cette question n’est plus sans réponse depuis 2007. En effet, une équipe d’auditeurs des cours des comptes du Royaume-Uni, de la Nouvelle-Zélande, de l’Afrique du Sud et de la Norvège a examiné si la qualité des travaux de la Cour des comptes des Pays-Bas est suffisante, si les travaux de la Cour ont un impact réel, quelles sont les possibilités d’amélioration, mais aussi quels enseignements les cours des comptes d’autres pays pourraient tirer de l’expérience des Pays-Bas.

50L’équipe d’évaluation a analysé six études d’efficacité et d’efficience publiées par la Cour en 2005-2006 et deux études d’impact. Elle a également étudié toutes les procédures écrites en vigueur à la Cour et a conduit des entretiens approfondis tant avec plusieurs auditeurs qu’avec les trois membres de la Cour des comptes des Pays-Bas, ainsi qu’avec des députés, des fonctionnaires de divers ministères et d’autres personnes intéressées.

51La conclusion majeure de la revue des pairs est que la Cour des comptes des Pays-Bas fonctionne dans le respect de normes professionnelles internationales et qu’elle fournit au Parlement des informations objectives et fiables sur le fonctionnement et les performances des pouvoirs publics néerlandais. « Les résultats de la revue des pairs attestent que les rapports de la Cour des comptes des Pays-Bas en matière d’études d’efficacité satisfont aux conditions reconnues comme s’appliquant aux études d’efficacité et d’efficience et qu’ils fournissent au Parlement des informations objectives et fiables sur les performances de l’administration publique. »35 Il apparaît en outre que le choix des thèmes d’évaluation est étroitement lié à la stratégie et aux choix stratégiques de la Cour des comptes et que l’effectivité et l’efficience de la mise en œuvre de la politique « bénéficient de toute l’attention qu’elles méritent »36.

52Selon l’équipe d’évaluation, les rapports examinés étaient bien structurés et les principales conclusions apparaissaient clairement. Les interlocuteurs de la Cour des comptes – Chambre des Représentants, ministères et organismes publics autonomes – ont émis un avis favorable sur les rapports de la Cour, les trouvant efficaces, équilibrés et bien argumentés. La Cour des comptes devrait néanmoins essayer d’améliorer la présentation de ses rapports en faisant un meilleur usage des applications graphiques.

53L’équipe d’auditeurs a encore pointé d’autres possibilités d’amélioration. La première recommandation qu’elle a faite à la Cour a été de l’inviter à intégrer dans les rapports une justification méthodologique. La Cour avait du reste déjà l’intention de le faire : depuis 2007, tous les rapports publiés comprennent un exposé descriptif des méthodes et techniques utilisées pour l’étude. Les évaluateurs ont aussi constaté que les auditeurs recueillent parfois une quantité énorme d’informations. Ils estiment que le recours à des études de cas doit aller de pair avec une stricte sélection, l’utilisation de sources complémentaires (comme les études d’évaluation effectuées pour d’autres cas) et une grande rigueur dans les conclusions, des conclusions qui doivent cadrer avec l’objectif et le contenu de l’étude de cas. Les auditeurs ont constaté que la Cour des comptes sait maîtriser ces risques. Ils ont indiqué par ailleurs que la Cour pourrait parfois chercher à combiner davantage modèles qualitatifs et modèles quantitatifs. Ils ont néanmoins l’impression, sur la base des entretiens qu’ils ont conduits et de la documentation qu’ils ont étudiée, que la Cour des comptes a une préférence pour les études qualitatives.

54La revue des pairs recommande de mieux planifier les études d’efficacité, de façon plus réaliste, en tenant compte notamment de leur portée. Trois des études analysées avaient un champ d’application assez étendu, ce qui rend difficile pour les auditeurs de déterminer la nature et le volume des informations à recueillir, le temps que prendra l’étude, les normes spécifiques à appliquer, la meilleure manière de mener les études de terrain et, enfin, les effectifs qui seront nécessaires37.

55L’équipe d’évaluation estime qu’il faut exiger des auditeurs un plan plus détaillé faisant notamment état des aspects suivants :

• la structure et l’objet de l’étude (matrice de conception), avec une description cohérente de la relation entre objectifs, normes et informations concrètes, méthodes à utiliser et résultats escomptés ;
• les lieux à visiter et les personnes à consulter ;
• les instruments qui seront utilisés (enquêtes, entretiens, analyses d’informations) ;
• les normes appliquées.

56Un des résultats majeurs de la revue des pairs a été le constat de l’existence de différences de perception sur le partage des responsabilités en matière de contrôle de la qualité et de respect des procédures prescrites, le niveau de certitude quant à la mise en œuvre des contrôles de qualité étant variable. Ce constat a conduit à l’adoption d’une approche mieux définie des notions de contrôle de la qualité et de garantie de qualité. On examine désormais, étape par étape, sur la base de critères de qualité, si l’étape suivante du processus d’évaluation peut être engagée. En plus du contrôle hiérarchique normal (par le responsable de l’étude), on a également prévu un contrôle horizontal (par des collègues) et des révisions « à chaud » par un agent de contrôle de la qualité doté d’un statut indépendant. Les critères de qualité spécifiés dans les directives pour le contrôle de la qualité font l’objet en ce moment d’une redéfinition, plus pointue, sur la base des normes internationales.

V. DES PISTES D’AMÉLIORATION POUR L’AVENIR

57Je me suis attaché à décrire la manière dont le ministère des Finances et la Cour des comptes des Pays-Bas positionnent et concrétisent leurs études d’évaluation. L’un comme l’autre ont tiré des leçons de l’expérience dans le domaine de la sélection des audits, de la recherche de la qualité, de l’utilisation des informations stratégiques et de l’efficacité du reporting.

58Pour améliorer la sélection des audits, le ministère des Finances applique désormais une approche intégrale pour sa programmation, et ce dans une plus grande concertation avec le Parlement. La Cour des comptes opte, elle, pour la poursuite et, là où cela s’impose, le renforcement d’une programmation axée sur les problèmes qui se posent dans la société. Pour l’amélioration de la qualité, le ministère des Finances s’emploie à préciser le rôle des experts indépendants, tandis que la Cour des comptes s’engage dans la voie de l’innovation et d’un contrôle de la qualité plus rigoureux au niveau interne. Dans les audits de performance, l’utilisation des informations stratégiques disponibles devra surtout être améliorée par une planification intégrale. La Cour des comptes considère, quant à elle, que sa force réside dans la plus-value qu’elle offre par rapport aux informations existantes. Sur le plan du reporting, les innovations sont surtout le fait de la Cour des comptes : les rapports comprennent systématiquement deux parties distinctes, consacrées l’une aux conclusions et recommandations, l’autre aux informations et données factuelles, le recours à l’infographie s’est généralisé, la Cour a publié un dépliant d’information et même des informations audiovisuelles.

59Bien que le ministère des Finances et la Cour des comptes n’aient pas le même statut et qu’il y ait de grandes différences entre audits de performance et études d’efficacité, les deux institutions continueront à se focaliser dans l’avenir sur leur double mission : aider à tirer des enseignements de l’expérience et à rendre des comptes. Parallèlement, des changements s’annoncent, suivant deux orientations : premièrement la mise en place d’un phasage dans les évaluations et deuxièmement l’analyse critique des avantages et inconvénients des indicateurs de performance et des objectifs.

Phasage.

60La Cour des comptes envisage la mise en place d’un système de phasage dans les études d’efficacité. La première phase consisterait à confronter la demande de politiques (quels sont, par exemple, les besoins en places de crèche dans telle ou telle région ou en investissements dans tel ou tel secteur ?) avec les résultats escomptés par les pouvoirs publics et leurs partenaires et ceux qui ont été effectivement réalisés. Pour qu’une politique soit réellement efficace, il faut que les résultats soient conformes à la demande. Si l’offre de places de crèches ou de crédits de subvention diffère sensiblement de la demande, on peut y trouver une première explication pour des résultats décevants de la politique mise en place.

61Après avoir évalué la concordance, ou le déséquilibre, entre offre et besoin de politiques, on peut passer à la seconde phase qui consiste à en chercher l’explication. Pour ce faire, il importe d’examiner si l’écart existait déjà au niveau des résultats escomptés ou s’il ne s’est manifesté que par la suite, pendant la mise en œuvre de la politique considérée. Partant du principe que la phase d’élaboration de la politique précède sa mise en œuvre, il s’agit avant tout de trouver la réponse à la question de savoir quel mécanisme, quelle décision a conduit à la concordance ou au déséquilibre entre la politique menée et le besoin de cette politique, ce qui suppose une étude : 1) de la qualité de l’analyse stratégique ex ante ; 2) des objectifs, des données de performance et des indicateurs utilisés ; 3) de la concertation menée avec les parties intéressées ; 4) du processus final de prise de décision.

62Ensuite, et c’est la troisième phase, on peut examiner si l’écart au niveau de la mise en œuvre doit être pris en compte dans l’évaluation. En effet, si l’offre a été mal planifiée, mais qu’elle a ensuite été mise en œuvre conformément à la planification, il ne sert à rien de chercher à savoir s’il y a eu des problèmes spécifiques de mise en œuvre. Pareille démarche n’est pertinente qu’à partir du moment où, alors qu’il y avait concordance entre offre et demande dans la planification, il y a eu dysfonctionnement au stade de la mise en œuvre des services ou de la livraison des produits. À ce moment-là il apparaît que le système (c’est-à-dire les pouvoirs publics et leurs partenaires stratégiques) n’a pas été à la hauteur de ses ambitions et la question se pose de savoir ce qui n’a pas bien fonctionné et pour quelles raisons. C’est alors « l’ouverture de la boîte noire » qui doit permettre de déterminer ce qui a posé problème dans le pilotage, les processus de production et la fourniture de prestations. Nous nous efforçons ainsi d’appliquer un système de phasage logique dans nos évaluations, passant de la prise en compte de « l’écart au niveau de la programmation » à celle de « l’écart au niveau de la mise en œuvre ».

Analyse critique des avantages et inconvénients des indicateurs de performance.

63Aux Pays-Bas, les études d’évaluation s’inscrivent, nous l’avons dit plus haut, dans un modèle de pilotage et une systématique budgétaire plus larges et axés sur les résultats. Tant les audits de performance que les études d’efficacité se fondent sur des données de performance et des objectifs. Je pense que dans les années à venir les évaluations devront davantage servir à soumettre à un examen critique la valeur des informations stratégiques. Il s’agit d’apporter une réponse à un certain nombre de questions. Quelle est la pertinence des données de performance et des objectifs ? Est-ce qu’ils reflètent réellement l’essence du problème ? Et, surtout, quels sont les avantages et inconvénients de l’utilisation de ces indicateurs ? La réponse à ces questions doit permettre de faire des coupes sombres dans la forêt des indicateurs pour ne conserver que les plus utiles.

64Mais il y a encore autre chose. Un des pièges des indicateurs de performance et du système des objectifs est la surrégulation des processus de mise en œuvre. Ces processus peuvent alors se trouver réduits à être de simples mécanismes de pilotage automatique ne laissant plus aucune place aux spécialistes. Ces dernières années, tant le Bureau du plan social et culturel et le Conseil du développement social que la Cour des comptes ont mis en garde contre ce danger aux Pays-Bas. L’année dernière encore, le Conseil scientifique de la politique gouvernementale concluait que la qualité de la prestation de service pâtit d’un excès d’obligations de reddition de compte et d’un trop grand écart entre politiques publiques et mise en œuvre de ces politiques.

65La systématisation des audits de performance contribue à la réduction du nombre d’indicateurs : la qualité du processus de prise de décision dans les politiques publiques pourra être améliorée si les questions majeures des audits de performance sont posées en amont du processus et que des enseignements sont tirés lorsque les résultats ne répondent pas aux attentes.

En guise de conclusion.

66Comme le dit Thomas A. Schwandt, il ne faut jamais oublier, lorsqu’on étudie la question de la complexité, que : « We are self-interpreting, meaning-making beings, and the task of interpreting the value of our activities and actions is always contingent, complex, contested, and never finished »38. Ce qui ne signifie du reste pas que l’appréciation d’objectifs et d’instruments stratégiques n’engage pas les évaluateurs. Stern l’exprime très bien lorsqu’il affirme qu’il ne s’agit pas uniquement, dans les études d’évaluation, de reddition de compte et d’apprentissage, mais aussi de rendre des comptes sur les processus d’apprentissage. « We are moving from a period in which we were "learning to be accountable" into an era in which the executive should be held "accountable for learning". The way in which policy actors organise and use learning experiences becomes part of being responsible and, hence, accountable. »39 Il est certain que les études d’évaluation jouent un rôle indispensable dans ce processus.