L’Évaluation : Nécessité ou gadget ?
p. 1-17
Texte intégral
L’évaluation est désormais une obligation constitutionnelle.
1La consécration institutionnelle de l’évaluation depuis le 23 juillet 2008 devrait ouvrir la voie à des pratiques riches et diversifiées. L’évaluation est désormais constitutionnelle : l’article 47-2 de la Constitution prévoit explicitement que « la Cour des comptes assiste le Parlement dans le contrôle de l’action du Gouvernement. Celle-ci assiste désormais le Parlement et le Gouvernement dans le contrôle de l’exécution des lois de finances et de l’application des lois de financement de la sécurité sociale mais aussi dans l’évaluation des politiques publiques. Par ses rapports publics, elle contribue à l’information des citoyens ».
2Nul ne peut ignorer la loi.
3L’Assemblée nationale consacre désormais une semaine par mois au contrôle et à l’évaluation des activités gouvernementales ou des politiques publiques, pratique qui est en cours d’expérimentation.
4Par-delà le changement constitutionnel, les bases de l’évaluation sont inscrites dans la modernisation de l’État depuis 2006. En effet la LOLF prévoyait en créant des programmes que ceux-ci soient évalués. Elle supposait aussi que chaque programme soit déroulé selon ce que l’on appelle communément la chaîne des résultats, c’est-à-dire la nécessité de mettre de la cohérence entre les finalités, les objectifs à atteindre, et la façon de mesurer et d’évaluer les résultats ainsi que d’instituer une réflexion sur la meilleure stratégie de mise en œuvre. Elle était aussi sous-tendue par une forte volonté de responsabilisation des fonctionnaires, donc par une déconcentration forte des moyens vers les unités responsables de leurs résultats et de leur gestion. Ce sont là les prémisses nécessaires d’une « culture de l’évaluation » afin que les fonctionnaires se préoccupent non pas seulement de leur activité mais aussi de ce qu’elle apporte aux citoyens et à la société dans son ensemble. C’est ainsi que cela s’est passé dans d’autres pays de l’OCDE. En France, nous ne sommes pas encore à ce niveau de changement des esprits et des pratiques. Espérons que l’esprit de la LOLF s’incarnera de plus en plus. De même la révision générale des politiques publiques, comme l’indique son intitulé même, suppose une évaluation régulière et systématique des politiques publiques.
5Ce nouveau contexte donne d’autant plus d’actualité aux travaux de ce livre qui se veut un panorama international présentant les enjeux et les acquis de l’évaluation afin de montrer la vivacité de cette pratique.
Les convergences internationales.
6Des conclusions communes se dégagent de l’ensemble des textes. La première convergence, la plus fondamentale, se trouve dans ce que l’on attend de l’évaluation. S’agit-il de blâmer, de repérer les principaux dysfonctionnements ou bien d’améliorer tant la performance au quotidien que les politiques publiques, dans un souci constructif ? Ce projet peut paraître plus modeste et moins médiatique, mais ne poursuit pas la même finalité. Ceci pourrait se nommer l’« évaluation-compréhension », ce qui ne signifie pas l’évaluation indulgence, ni l’évaluation capturée par des intérêts particuliers. Il est nécessaire de définir précisément le sens qu’on donne à l’évaluation avant de s’y lancer. Cherche-t-on une évaluation qui se veut jugement ? Cherche-t-on une évaluation dont le but est de comprendre les phénomènes observés et notamment les écarts entre les objectifs et les résultats ? Cette dernière acception ne suppose pas nécessairement de jugement direct sur les services et les personnes, mais sur les modalités de mise en œuvre, les stratégies, les systèmes d’incitation, la logique des acteurs, la pertinence des objectifs au regard des résultats, etc. En fait, le mot évaluation est moins chargé de l’idée de « jugement de valeur » dans d’autres langues que la nôtre. L’évaluation se rapproche ainsi de la prospective : comprendre ce qui s’est passé – ou se passe – pour répondre à des questions importantes pour l’avenir et pour l’action.
7En ce sens, il n’y a pas adéquation totale entre l’évaluation des performances (qu’il est en général assez facile d’attribuer à un organisme public) et l’évaluation des impacts, car les impacts ne sont jamais ou rarement le fait d’un seul acteur : ils ne lui sont pas imputables. N’est imputable que ce que sur quoi l’on a des leviers d’action (ou moyens d’action) effectifs. Cette distinction est plus claire à l’étranger que dans nombre de débats français, notamment autour de la LOLF. Il a en effet été demandé simultanément aux ministères de fixer des indicateurs socio-économiques (donc ne relevant pas de leur seule responsabilité) et de pouvoir s’en montrer responsables (cf. la contribution de Maurice Baslé). Il manque ici une jonction que les autres pays appellent chaîne de résultats ou logique d’intervention, qui explique comment l’on passe des objectifs généraux à des actions concrètes et grâce à quels leviers d’action. Cela pourrait aller sans dire, mais il a fallu vingt ans au Royaume-Uni pour parvenir à analyser non seulement les services délivrés par les administrations mais aussi leur contribution aux impacts réels des politiques publiques. Pour prendre l’exemple le plus caricatural, il a fallu faire accepter aux ministres, au ministère des Finances et aux fonctionnaires le fait que l’on ne peut ni rendre le ministère de l’Emploi responsable du taux de chômage ni s’abstenir d’analyser sa performance en la matière.
8De plus cette attitude positive est moins évidente à tenir qu’il n’y paraît. Un évaluateur qui va sur le terrain pourra être légitimement choqué par ce qui dysfonctionne et en faire état. Repérer qui travaille mal est plus simple que de comprendre les mécanismes qui font que des situations apparemment aberrantes perdurent, ou encore de comprendre et de mettre en valeur ce qui marche bien. L’évaluation doit aussi valoriser ce qui est positif. Une telle analyse suppose plus de distance, de temps et de travail et une approche systémique.
9La deuxième convergence réside dans le fait que l’évaluation ne peut se faire sans la collaboration des évalués et des parties prenantes pour obtenir les informations pertinentes et connaître les jeux d’intérêt existants autour de la politique mise en œuvre. Plus fondamentalement, l’évaluation doit gérer non seulement des faits mais aussi des perceptions (cf. la contribution de Nicoletta Stame). Si les perceptions n’évoluent pas, les conclusions de l’évaluation resteront lettre morte (« On ne change pas l’État par décret »). On entend souvent dire, pour discréditer l’évaluation, qu’il y aurait autant de points de vue que d’experts. Mais avoir une diversité d’analyse n’est pas en soi antidémocratique, au contraire. L’important est de trouver des modes de dialogue non antagonistes qui permettent de rechercher des solutions plutôt que d’affirmer des positions. Par ailleurs, l’évaluation doit atteindre une dimension aussi objective que possible. Il n’y a donc pas d’évaluation sans faire confiance à la connaissance, tout en sachant que cette dernière n’est jamais monolithique, que la vérité n’est pas unique ! Là réside l’équilibre difficile, mais en même temps productif, de l’évaluation. Car la production de conclusions aussi fondées que possible permet l’apprentissage de ces conclusions par les acteurs responsables de la politique. L’évaluation est donc un travail de conciliation entre la production de données objectives et les « représentations » des acteurs sociaux. Ni l’un ni l’autre ne suffisent pourtant. Car, lorsque des préjugés sont fortement établis, il est nécessaire de les comprendre avant de fonder les arguments qui permettront de les démonter. La problématique de l’évaluation est l’antithèse de la culture du rapport. L’évaluation cherche à développer ce que l’on appelle parfois « l’apprentissage collectif ». Pour y parvenir, il faut utiliser les chiffres et les études pour faire évoluer les modes de travail des partenaires de la politique mise en œuvre avant même que le rapport d’évaluation ne soit remis. L’évaluation est alors une sorte de propédeutique à la décision. Ceci n’équivaut pas à une recherche de consensus à tout prix, l’évaluation ne diminue pas la nécessité de l’arbitrage et de la construction d’un intérêt général.
10La troisième convergence est celle de la nécessité d’approches pluridisciplinaires. Cette conclusion commune aux textes réunis dans cet ouvrage ne relève pas d’un tropisme œcuménique mais du fait que la vie elle-même, les comportements humains sont mus par des considérations de différents niveaux et ne sont pas unilatéraux : considérations économiques, protection de son intérêt propre, mais aussi valeurs qui nous dépassent, paradigmes non formulés, cultures, symboliques qui nous meuvent, normes sociales…
11L’interdisciplinarité n’est donc pas un acte de bonne volonté entre les disciplines mais un fait lié à la compréhension du caractère multiforme tant des motivations humaines que des problèmes à résoudre (même une évaluation de la comptabilité publique mettra en évidence des valeurs et des choix implicites, que l’on pense au décalque de la notion de juste valeur utilisée dans le privé).
12Le temps des gadgets à la mode est donc révolu : les analyses coûts-avantages, les « random control trials », etc., ont leur place, mais pas toute la place.
13De plus, la volonté de comprendre nécessite que la conduite des évaluations ne soit pas de la compétence d’un seul corps ou d’une seule spécialité ou technicité et que les disciplines appelées à y contribuer soient différentes selon les questions à résoudre. Par exemple, savoir pourquoi l’argent injecté dans les ZEP n’améliore pas les résultats des élèves demande de l’analyse sociologique, des enquêtes auprès de tous les intéressés (enfants, parents, professeurs, élus) et une aptitude à évaluer les modalités pédagogiques. On est loin de l’image du haut fonctionnaire qui, parce qu’il a été recruté selon des critères très sélectifs, est supposé être omniscient. Comment savoir alors quelles disciplines sont nécessaires ? Pour faire ces choix, il faut faire appel à toutes les techniques d’analyse des politiques publiques qui en font émerger les composantes et permettent ainsi de dégager les méthodes pour les évaluer.
14Pour raccourcir les délais d’appel à ces compétences diverses au bon moment selon les besoins, une bonne façon de procéder est de passer un marché pluriannuel incluant une série d’experts par domaines de compétences, à qui le maître d’ouvrage peut ensuite faire appel très rapidement de gré à gré.
L’évaluation et les pratiques connexes.
15Les disciplines qui contribuent à cerner les résultats de l’action publique doivent se conjuguer et non s’ignorer, tel est l’un des messages forts de cet ouvrage.
16La première question, presqu’obligatoire, est de savoir ce qu’est l’évaluation comparée aux autres disciplines existantes. Le texte d’Annie Fouquet nous permet de clarifier ce que chaque discipline apporte à l’autre.
17Tentons des définitions simples et qui ne dévalorisent aucune pratique existante à ce jour. Il s’agit ici de traiter, en tentant de ne pas céder au jargon, essentiellement de trois activités : le pilotage de la performance, les audits de performance et l’évaluation. Ces activités se recouvrent en partie, mais elles sont cependant identifiables, ne serait-ce que par les différentes communautés professionnelles qui s’y reconnaissent. Chacune multiplie ses formes d’exercice et se cherche en évoluant. Il peut arriver de ce fait que des praticiens de deux professions définissent leurs activités réciproques de façon contradictoire, qu’un même mot recouvre des réalités différentes, ou même qu’on ne sache pas encore nommer certaines pratiques nouvelles.
18Le pilotage de la performance vise l’amélioration continue de la politique examinée, en comparant les objectifs et les résultats atteints. Les systèmes comptables jouent à cet égard un rôle décisif. Le pilotage de la performance (performance monitoring) est une extension des systèmes d’information de suivi. Cette activité porte une attention particulière aux résultats obtenus, par exemple grâce à des tableaux de bord traditionnellement élaborés par les contrôleurs de gestion, et qui se concentrent sur les produits et services délivrés par les organisations publiques.
19L’audit de performance recherche et identifie des dysfonctionnements des organisations et en examine les causes, avec notamment le souci de savoir qui est l’auteur de la performance ou de la non performance, en vue d’apprécier le fonctionnement des institutions concernées. Pour autant que des questions sur les résultats réels de l’action publique soient soulevées par les travaux, l’audit de performance se contente généralement d’hypothèses explicatives plutôt que d’analyses approfondies, faute de temps et d’équipes à même de les réaliser.
20L’évaluation se préoccupe moins de juger les institutions que d’améliorer les politiques. Elle peut cependant aller jusqu’à questionner la raison d’être des actions publiques qu’elle examine. Elle étend ses analyses aux impacts avec une réelle exigence méthodologique. L’évaluation des politiques publiques (Policy and program evaluation) prend son origine dans la recherche en sciences sociales et dans son application à la (re)définition des politiques et des programmes publics.
21Ces trois disciplines ne sont pas opposées mais complémentaires. Le pilotage est nécessaire car faute de continuité de chiffres et de données, audit et évaluation sont obligés de reconstruire « l’histoire » de la mise en œuvre des actions publiques, ce qu’elles ont beaucoup de peine à faire rétrospectivement. La qualité des mécanismes de suivi et de gestion est donc essentielle. L’audit de performance et l’évaluation des politiques sont aussi complémentaires dans le sens où le premier cherche à imputer les problèmes identifiés aux institutions qui en sont responsables tandis que la seconde analyse des impacts qui relèvent le plus souvent d’une responsabilité partagée. Si c’est le cas, ceci suppose un apprentissage collectif et la création d’un savoir commun entre les différents acteurs responsables d’une même politique.
22Le rythme des activités crée à l’évidence une différence. L’audit de performance et l’évaluation des politiques sont réalisés occasionnellement ou à des intervalles de temps de plusieurs années. Ils ont de ce fait la possibilité de réaliser des analyses plus difficiles, d’envisager des remises en cause plus profondes et de conduire à des réformes plus substantielles, toutes choses qu’il est moins facile de faire dans une démarche d’amélioration en continu. À l’inverse, le pilotage de la performance a un meilleur potentiel de mobilisation des acteurs, une capacité d’alerte avancée et une congruence avec la temporalité courte des mandats électoraux, toutes choses qu’on ne peut pas attendre d’un exercice qui intervient tous les cinq ans ou même plus rarement. C’est pour cela que les différentes disciplines qui ont trait aux résultats devraient travailler ensemble. Or, comme on le sait, rapprocher des milieux professionnels est l’exercice le plus difficile car chacun craint de perdre son territoire.
Quand peut-on vraiment parler d’évaluation ?
23La définition de l’évaluation ne fait pas encore l’objet d’un consensus, probablement en raison de l’histoire des pays. Ce livre permet de savoir que chacun est d’accord pour y voir l’analyse de l’efficience (ratio moyens/résultats), de l’efficacité (degré d’atteinte des objectifs) et de la pertinence (qu’est-ce que de bons ou de mauvais résultats nous apprennent sur la pertinence des objectifs, voire sur leur nécessaire reformulation). Le texte d’Annie Fouquet est une aide précieuse à la compréhension des concepts et des enjeux de l’évaluation. Pour autant, la communauté internationale parle en réalité de la même chose en employant des mots différents, ce qui ne peut qu’induire des quiproquos. Ainsi Peter van der Knaap voit-il avant tout dans l’évaluation des études, basées sur une méthodologie rigoureuse, qui donnent des indications sur les résultats obtenus mais n’entrent pas dans l’explication des processus qui y ont mené, de leurs causes éventuelles ni de la question fondamentale « aurait-on pu faire autrement ? ». Ces questions relèvent, selon lui, de l’audit de performance. En France, les définitions sont exactement inverses : le constat des données et les hypothèses sur leur existence relèvent de l’audit tandis que l’évaluation est la démarche la plus large et la plus englobante. Gageons que des débats internationaux, organisés par les sociétés d’évaluation notamment, permettront de lever ces ambiguïtés. Cette confusion entre les différentes méthodes soulève pourtant un point important car dans la vision des audits de performance menés par les cours des comptes, il est affirmé qu’elles seules peuvent poser des questions de remise en cause fondamentales des politiques tandis que les ministères, attachés à ce qu’ils ont créé, seraient voués à des évaluations relevant plus de l’amélioration des dispositifs et processus. Ce partage des rôles est-il exact et fructueux ? Il y a là, semble-t-il, matière à conduire une évaluation des différentes pratiques évaluatives.
24Pour autant, il existe un point commun entre les auteurs : l’évaluation commence avec la question du « pourquoi ». Pourquoi les choses fonctionnent ou ne fonctionnent pas ? Pourquoi les résultats que l’on attendait n’ont pas été atteints ? Pourquoi le réel échappe à nos prévisions ? Pourquoi la rationalité des objectifs et des chiffres ne résume qu’une petite part de la richesse des pratiques des fonctionnaires ?
25Certes, de nombreux débats méthodologiques montrent la difficulté d’une « preuve » scientifique de la raison d’être de ce « pourquoi ». Le texte de Jan-Eric Furubo le montre bien. Mais, parfois il faut être aussi humble que les sciences exactes et accepter que, même si l’on ne peut tout expliquer, la mise en évidence de certaines logiques d’action constitue déjà un progrès énorme par rapport à une situation où rien n’est vérifié. Par exemple, une politique est lancée à partir d’une hypothèse, cette hypothèse était-elle la bonne ? Il est accepté comme un fait acquis que les dégrèvements fiscaux amèneraient les entreprises à agir différemment : est-ce le cas ? Le contrôle de gestion ne peut à lui seul assumer cette tâche car il est continu alors que rechercher les causes suppose des enquêtes qui ne peuvent être permanentes, même si elles gagnent à être réitérées.
26Pour autant la causalité ne relève pas de la boîte de Pietri. Sans même faire appel aux différentes distorsions de l’expérimentation dans la vie réelle (effet Hawthorne, etc.) tout phénomène a plusieurs causes ; pour autant la pratique d’une évaluation en continu, par exemple en matière d’emploi, permet d’attribuer certains effets à certaines causes. Le fait que les évaluations soient répétées et comportent des comparaisons avec d’autres politiques publiques dans d’autres pays permet d’améliorer l’approche de la causalité.
27Approcher les causes, interroger les théories d’action qui ont présidé à la politique constituent des progrès même si ces projets ne relèvent pas d’un rêve de scientificité pure, que même feu Heisenberg trouverait obsolète.
L’évaluation, est-ce des études ou de l’action ?
28Ce livre aborde aussi une question controversée de l’évaluation, ce que Véronique Chanut appelle « l’évaluation dans l’action ». Pour certains l’évaluation n’a pour rôle que de donner des faits, des chiffres et des études aussi objectifs que possibles, sans entrer dans la décision, tandis que la révision des politiques publiques poserait des questions plus fondamentales pouvant remettre en cause l’existence ou les objectifs des politiques publiques (cf. l’article de Peter van der Knaap). Cette différence vient probablement du fait que certaines évaluations n’ont été que des travaux confiés à des experts, sans processus de participation des acteurs de la politique et des commanditaires. À l’inverse d’autres pensent que l’évaluation est aussi un processus d’apprentissage au cours duquel le fait même d’évaluer doit amener à convaincre les acteurs de faire évoluer leurs pratiques ; l’apprentissage (« le volet démocratique ») prévaut, si l’on peut dire, sur le rapport. Les recommandations d’une évaluation dans l’idéal devraient être intégrées dans l’action, avant même que d’être rendues publiques. Cela ne suppose aucun affadissement du travail de l’évaluateur ; car dans les pays étrangers les désaccords entre les évaluateurs et les évalués sont débattus, s’il s’agit d’une politique publique, devant une commission spécialisée du Parlement à moins qu’ils ne soient rendus publics.
Comment concilier faits et perceptions ?
29Pour autant ce débat entre l’évaluation « scientifique » et l’évaluation « participative » est loin d’être clos. En réalité trois niveaux se dégagent :
30Le premier niveau est celui de la production de savoirs, donc de faits, de données, d’études aussi rigoureux que possible. Certes il y eut une approche selon laquelle seules les perceptions et l’apprentissage primaient mais, s’agissant de politiques publiques il est nécessaire de disposer de données incontestables qui permettent de désamorcer des débats par trop idéologiques. On peut par exemple postuler que la drogue est la principale source de délinquance ou que des policiers armés sont plus efficaces que non armés : est-ce vrai ou faux et dans quelles circonstances ? Certaines questions sont trop importantes pour être laissées à la subjectivité pure. La LOLF a eu la vertu d’expliciter une conception de la performance publique, et plus particulièrement la conception de l’État que tous les dirigeants aimeraient voir fleurir : des objectifs de politique publique sont démocratiquement définis au sommet en même temps que les ressources pour les atteindre sont fixées et attribuées. Des indicateurs mesurent leur degré de réalisation et les coûts associés. Puis les objectifs descendent par gravité d’échelon en échelon dans la hiérarchie administrative, jusqu’aux objectifs individuels de chaque fonctionnaire, par rapport auxquels il va être évalué et rémunéré. Remontent alors de la base les indicateurs lui vont s’agréger en indicateurs de performance nationaux permettant au Parlement de constater l’efficacité, l’efficience et la qualité de service de l’administration avant de voter le budget suivant. Cette vision rejoint celle du « management cockpit », où le manager dispose en temps réel des paramètres essentiels sur la performance de son entreprise et la gouverne comme un avion.
31Le second niveau est celui des acteurs, réalité que Véronique Chanut explique remarquablement. Les acteurs ont des intérêts et des représentations. Or les représentations ne se laissent pas déconstruire par un travail « rationnel » mais par leur prise au sérieux et une heuristique du débat et par la construction d’une vision partagée. R. Boudon nous l’a tant répété : si des peuplades croient qu’en priant la pluie va arriver, un raisonnement qui montre que la pluie n’a aucun lien avec les prières ne les convaincra pas, car ils trouveront toutes les explications (on n’a pas assez bien prié par exemple) pour maintenir leurs croyances fondamentales. La complexité des acteurs traduit également la complexité des politiques publiques actuelles qui, quels que soient les régimes constitutionnels, sont partagées entre une multiplicité d’acteurs autonomes (État, collectivités locales, associations) qui constituent autant de territoires à défendre : une évaluation ne peut plus jouer de l’autorité simple mais de la négociation et de la mise en évidence de ce que chacun à y gagner.
32Comme le souligne Jean-René Brunetière, dans la plupart des politiques de l’État, la performance est le résultat d’une coproduction entre 65 millions de Français et 2,5 millions de fonctionnaires. Entre l’élève et le professeur dans l’éducation, entre l’avocat et le tribunal dans la justice, entre le patient et l’hôpital dans la santé… Mais il y a coproduction aussi entre administrations elles-mêmes et avec des organismes publics (et parfois privés) divers : la sécurité routière engage la police et la gendarmerie, la justice, mais aussi les secours d’urgence, les services routiers, les Mines, les auto-écoles et les services du permis de conduire. Il y a peu de politiques de l’État qui n’engagent qu’une administration et qui lui soient entièrement imputables. Oublions l’image d’une administration de l’État délivrant à elle seule des produits et services à des consommateurs passifs : presque toutes les activités répondant à ce profil ont été décentralisées ou privatisées.
33Toute évolution de politique nécessite donc un minimum de consensus social, et une compréhension accordée de la partition à jouer. À un état instantané de l’opinion (surtout en démocratie) correspond un spectre limité d’évolutions politiques possibles. On ne peut faire l’économie du passage par l’imaginaire collectif1. Ce n’est qu’en faisant évoluer l’imaginaire des acteurs qu’on va pouvoir fonder des évolutions novatrices des stratégies publiques et de leur réalisation. L’homme n’est pas un chien de Pavlov et il faut un minimum de rencontre entre les visions des parties prenantes pour que l’action collective ordonnée devienne possible.
34Le troisième niveau est celui du non directement mesurable. Une part de l’activité est traduisible en objectifs chiffrés, et ses résultats sont réductibles à des indicateurs, objet de géométrie, mais une autre part, parfois la plus significative, est objet de finesse, matière à appréciation comportant une part irréductible de subjectivité. Notamment, dans toutes les activités de régulation et d’arbitrage qui font le quotidien de l’action de l’État, les indicateurs peinent à dire la justesse des arbitrages, la pédagogie qui les entoure, le sens de la procédure. Plus ou moins grande sévérité, posture vis-à-vis de l’interlocuteur, échelle des critères de jugement ou de choix, interprétation du principe d’égalité face à des situations différentes, qualité d’écoute et de compréhension des situations, d’animation et de gestion des rapports de force, c’est en définitive tout cela qui fait le cœur de la mission publique, plus encore que le nombre d’actes, les délais de traitement et toutes les choses qu’on peut compter (et dont il n’y a pas lieu de nier l’importance). Cet impalpable, ce non chiffrable est souvent le cœur de la valeur de l’action publique et de ce qu’elle apporte à la société et aux citoyens.
35Peut-on imaginer un lieu commun à l’ensemble de ces exigences ? L’évaluation ne met pas en évidence d’un côté des vérités et de l’autre des conclusions fausses, mais des données et des arguments dont certains sont plus fondés que d’autres. Le débat qui en résulte doit donc tenir compte des limites des conclusions et l’arbitrage décisionnel relèvera du moins mauvais choix. C’est une attitude de modestie qui contraste avec une certaine arrogance quant à la définition de l’intérêt général, souvent d’abord défini par les fonctionnaires, sans démarche de vérification ni de conviction des acteurs. L’évaluation est alors dans un équilibre difficile entre le positivisme et le constructivisme, entre la preuve et la construction de l’argumentation.
Les enjeux de l’analyse des politiques publiques et de leur amélioration.
36Le livre entre aussi dans des questions méthodologiques complexes, mais utiles. Elles concernent la façon de concilier la nécessaire rationalisation gestionnaire et la diversité croissante des réponses de mise en œuvre des politiques publiques. La rationalisation gestionnaire, appelée aussi chaîne des résultats, logique d’intervention ou cadre logique, permet de collationner des données comparables afin de s’interroger sur les résultats des politiques publiques, comme nous l’explique le travail de Maurice Baslé. Elle consiste à assurer le lien logique, la cohérence entre les finalités générales, les objectifs pragmatiques des actions publiques, à s’interroger sur les processus de mise en œuvre et la façon de les évaluer et de les mesurer. À dire vrai, beaucoup de pays considèrent cette démarche comme le cœur d’une évaluation ex ante. Cette rationalisation, fut-elle simplificatrice, est nécessaire à la capture de données nationales.
37Dans le même temps, la mise en œuvre des politiques publiques s’appuie de plus en plus sur la diversité car c’est en prenant en compte les spécificités locales, celles des jeux et des intérêts des acteurs, que l’on a le plus de chances que les actions publiques soient mises en œuvre selon les objectifs prévus, ce que souligne Nicoletta Stame.
38La diversité est causée par la nécessité de concilier la rationalisation gestionnaire centrale et la spécificité croissante des contextes locaux et des attentes des citoyens. Les politiques publiques sont mises en œuvre dans le cadre de dispositifs de plus en plus complexes, mobilisant des modes de gestion parfois sophistiqués, et associant de nombreux acteurs publics et privés : État, organismes sociaux, collectivités territoriales, entreprises, associations, sans compter les bailleurs de fonds internationaux. Chacun de ces acteurs exerce sa part de responsabilité, en partenariat avec d’autres. Chacun a son propre mode d’organisation et d’action, ses règles administratives et comptables, sa culture même. L’évaluation est là pour rendre compte de la chaîne complexe de l’action publique.
39De fait les citoyens demandent plus au secteur public qu’au secteur privé : ils attendent un service non pas uniforme, abstrait mais des solutions adaptées à leurs problèmes spécifiques. La loi va d’ailleurs en ce sens, comme en témoignent les exemples du RSA et de l’allocation handicapée. La décentralisation accentue la diversité des politiques publiques car elle permet des mises en œuvre différentes d’un endroit à l’autre, sans qu’aujourd’hui il soit possible de comparer les pratiques ni les éventuelles incidences qu’elles ont sur les objectifs recherchés. La France est une nation de plus en plus diverse.
40Le citoyen est en fait pris dans un dilemme : entre le mythe égalitaire fondateur de la société française et le fait qu’il recherche la solution la plus adaptée à son problème, dans un environnement où l’administration peut être elle-même plus sensible aux procédures qu’aux résultats réels de son action.
41Cette complexité représente un redoutable défi pour la transparence de l’action publique. Le citoyen doit-il être victime de la diversité qui, si elle n’est pas évaluée, devient opacité ? N’est-il pas en droit d’attendre que la puissance publique lui garantisse l’éducation de ses enfants, la sécurité sur les routes, l’accès aux soins, la prise en charge des aînés, l’accompagnement de l’activité économique de son pays, sans qu’il soit obligé de démêler lui-même quels organismes, quelles procédures, quels dispositifs contractuels y ont concouru ? La diversité de la mise en œuvre des politiques publiques a plusieurs conséquences :
- elle ne suit pas nécessairement la chaîne de résultat ;
- elle ne donne pas de chiffres agrégeables ;
- elle est souvent peu connue par les administrations centrales.
42Mais dans ce cas, comment concilier cette diversité réelle avec le reporting sur des données nationales et donc la capacité à rectifier des politiques publiques ? La plupart des pays sont conscients de cette contrainte. Pourtant, à ce jour, ils n’ont pas trouvé de réponse. Plutôt que des mécaniques linéaires entre objectifs, indicateurs et résultats, on voit se profiler des modèles reposant sur des dynamiques d’apprentissage rapides, de capitalisation de l’information, de réseaux actifs. C’est ce que nous apprend le texte de Joan Subirats.
43Ce modèle est très bien décrit dans le texte de Daniel Racher. L’évaluation dont il s’agit est celle de l’action en faveur des enfants en bas âge ayant des difficultés de santé et sociales. Le programme a déjà été évalué deux fois en dix ans. Ce texte montre l’utilité de l’évaluation, qui, en l’occurrence a été conduite par un organisme indépendant, l’OFSTED (équivalent d’une Inspection générale de l’Éducation nationale) mais en étroite collaboration avec tous les partenaires impliqués dans la politique. Les évaluations ont permis d’améliorer tant les processus de mise en œuvre que les objectifs de la politique, et ce de façon décisive. La principale difficulté a résidé dans les réactions de la presse qui, lors d’une évaluation, ne s’empare parfois que des conclusions négatives et non des leçons positives, ce qui peut mettre l’existence même du programme en danger par simple effet de rumeur.
44C’est là qu’apparaît la portée démocratique de l’évaluation. Elle ne peut réussir qu’en transcendant les frontières des institutions, des intérêts professionnels et corporatistes, des incompréhensions de langage entre métiers différents c’est-à-dire en établissant sur une question des bases communes, un langage partagé, un commencement de « bien commun ».
45Enfin le texte de Jan-Eric Furubo nous invite à une modestie optimiste. Il éclaire le fait que dans des sociétés réelles les rapports de causalité ne sont pas aussi certains que dans une boîte de Pietri, que les objectifs des politiques publiques sont rarement univoques voire cohérents, que les processus de mise en œuvre sont largement imprévisibles. Et pourtant l’évaluation est possible : non en donnant des réponses « absolues » à toute question mais en permettant modestement de comprendre les résultats et les processus qui y ont abouti.
L’évaluation comme éthique.
46Cette éthique commence par la question de l’indépendance de l’évaluateur. Chacun conçoit que des pressions et censures en cours d’évaluation ou à la fin de cette dernière sont antinomiques avec le concept même d’évaluation et que les dispositifs, lettres de mission, situations statutaires doivent être sans ambiguïté à cet égard.
47De façon semblable l’indépendance est souvent assimilée à la capacité de poser des questions qui sortent des paradigmes de pensée habituels, c’est-à-dire des hypothèses de théories d’action qui paraissent évidentes à tout le monde mais mériteraient vérification (par exemple que les défiscalisations marchent mieux que les subventions, que le congé maternité et le congé parental doivent être dissociés). Ce sont des questions que les partenaires directement impliqués dans la politique ne seraient pas à même de se poser, car lorsque l’on se bat au quotidien pour faire réussir des actions publiques il est extrêmement difficile de se poser simultanément des questions sur leur pertinence.
48Pour autant le débat sur évaluation externe/interne n’est pas apaisé : l’équilibre entre l’indépendance de l’évaluateur et la coopération avec l’évalué est-il nécessaire ? L’indépendance est indispensable car toute évaluation suscite des jeux de pression pour en censurer certaines conclusions (ou, plus naïvement, pour ne pas poser les questions qui dérangent). À l’inverse la coopération avec l’évalué est aussi indispensable. Néanmoins, il n’y a pas égalité entre indépendance et externalité absolue de l’évaluateur d’un côté et apprentissage et évaluation par les acteurs eux-mêmes de l’autre. Une dose d’externalité est toujours nécessaire, ne serait-ce que pour mettre en question des paradigmes implicites que les acteurs, ne peuvent « démonter » seuls. À l’inverse, l’association des parties prenantes, en plus du fait qu’elle a un effet d’apprentissage, permet de mieux comprendre et connaître les enjeux en présence et donc de ne pas se laisser « capturer ». C’est probablement sur ce point que les mentalités ont encore le moins évolué, l’idée demeurant que plus on est loin des acteurs sociaux, moins l’on sera manipulé par eux, alors que l’analyse des politiques publiques montre pourtant nombre de politiques « captives » (e.g. autoroutes) sans pour autant qu’il y ait jamais eu collusion d’intérêts entre acteurs.
49Qu’en conclure ? Que cette capacité de poser des questions – ce que les Anglo-Saxons appellent « think laterally » (penser latéral) – ne connaît pas de réponse universelle : chaque évaluation doit trouver son « pantaleone », son naïf qui sait poser les questions que personne n’attend.
50La vraie complexité est donc celle de l’attitude de l’évaluateur qui doit chercher à comprendre de façon presque empathique les raisons qui ont amené les acteurs à prendre telle ou telle décision ou à mettre en place tel ou tel dispositif. En même temps, il doit garder l’indépendance nécessaire pour échapper aux chausse-trapes de la manipulation comme des faux consensus et être capable de poser des questions inédites, nouvelles, décapantes. En cela, si la pratique du contrôle et de l’évaluation n’est pas la même, il y a néanmoins une communauté de démarche qui devrait traverser les deux exercices. Ce n’est pas la complexité de la méthodologie qui est le critère dirimant. Certes, évaluer l’efficience de l’informatisation de l’administration est moins complexe que de savoir si une police doit être armée ou non (ce qui suppose des groupes témoins, des suivis statistiques des résultats, des analyses de cultures, du temps), mais nous commençons à maîtriser les méthodologies différentes liées à la complexité des questions posées. Adopter la bonne attitude, trouver le juste équilibre face à un problème rencontré est par contre un art difficile. C’est cet aspect et cette difficulté à surmonter que le texte de Jean-René Brunetière nous permet de comprendre.
51L’évaluation est une pratique de courage, de travail et d’ascèse. Si l’on croit trop au paradigme de l’intelligence, qui pourrait se résumer par « en fonction de mon recrutement et de mon expérience, nul besoin de rassembler des chiffres, des études et de vérifier mes hypothèses » en ce cas nul besoin d’évaluation. De même si l’on ne croit ni en la perfectibilité humaine, ni en la capacité d’apprendre et en la remise en cause de situations acquises, là non plus l’évaluation ne peut agir car les données fournies ne convaincront pas. L’évaluation relève de la rationalité des preuves mais également de la dialectique du débat social : à ces deux niveaux elle devrait, à terme, contribuer au bien commun.
Notes de bas de page
1 Sur ce rôle de l’imaginaire collectif, produit de l’action passée et matière première de l’action future, voir L’imaginaire collectif, Florence Giust-Desprairies, Édition érès, 2003.
Auteur
Sylvie Trosa travaille sur l’évaluation depuis près de 30 ans. Elle a commencé en ce domaine en dirigeant le service de l’évaluation du ministère de l’Équipement, chargé à la fois de conseiller et d’évaluer les actions de modernisation des services (1988-1990). Elle a également été rapporteur général adjoint du Conseil scientifique de l’évaluation et rapporteur général du Conseil national de l’évaluation. En Australie elle avait la responsabilité de la sous-direction de l’Évaluation (compétente pour tous les ministères) située au sein du ministère des Finances. Elle est actuellement chargée de mission à l’évaluation auprès du secrétariat général de la Cour des comptes. Elle a publié un ouvrage comparatif sur l’évaluation (L’évaluation, éditions Idep, Paris, 2004) et abordé longuement cette question dans un autre ouvrage Pour un management post bureaucratique, Éditions L’Harmattan, 2007
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Gouverner les territoires
Antagonismes et partenariats entre acteurs publics
Giuseppe Bettoni (dir.)
2011
Les réorganisations administratives
Bilan et perspectives en France et en Europe
Julien Meimon (dir.)
2008
Évaluer les politiques publiques pour améliorer l’action publique
Une perspective internationale
Sylvie Trosa (dir.)
2009
Économie sociale et solidaire
De nouveaux référentiels pour tempérer la crise
Florence Jany-Catrice, Nicolas Matyjasik et Philippe Mazuel (dir.)
2014
L’éthique de la gestion publique
Stratégies nationales et internationales de prévention de la corruption
Marcel Guenoun et Jean-François Adrian (dir.)
2016
Économie sociale et solidaire et État
À la recherche d’un partenariat pour l’action
Jean-Claude Barbier (dir.)
2017
L’avenir des administrations locales en Europe
Leçons tirées de la recherche et de la pratique dans 31 pays
Geert Bouckaert, Sabine Kuhlmann et Christian Schwab (dir.)
2018
Faire preuve par le chiffre ?
Le cas des expérimentations aléatoires en économie
Arthur Jatteau
2020
Encyclopédie du management public
Manel Benzerafa-Alilat, Danièle Lamarque et Gérald Orange (dir.)
2022