Pourquoi l’évaluation a-t-elle tant de mal à tenir ses promesses ?
p. 137-153
Texte intégral
1Le débat sur les apports potentiels de l’évaluation et sur les raisons pour lesquelles on n’y recourt pas toujours ne date pas d’aujourd’hui, loin s’en faut. Il y a 40 ans déjà, ces questions étaient très présentes dans la littérature sur l’évaluation qui en était, elle, à ses débuts1. Aujourd’hui, la question de l’utilisation et de l’influence de l’évaluation dans différents processus domine largement cette littérature2. Cela est manifeste dans plusieurs chapitres de l’ouvrage Evaluation Roots : Tracing Theorists Views and Influences3 et dans le débat actuel sur la question des « preuves »4.
2Toutefois, il convient de préciser qu’aujourd’hui, à la différence de ce qui a pu se passer auparavant, le débat s’appuie largement sur des données empiriques. Il y a vingt ans, seuls quelques pays avaient développé une pratique de l’évaluation. La situation a évolué, car désormais, pour de nombreux pays, il serait à peine concevable de lancer une politique publique d’envergure en faisant l’impasse sur l’évaluation et le flux continu de données qu’elle produit. Il suffit pour s’en convaincre de considérer le foisonnement des domaines concernés par l’évaluation et des instances ad hoc, l’importance des budgets qui y sont consacrés et le nombre d’évaluations qui sont conduites5.
3Pourtant, malgré l’absence de données précises (qui, en soi, pose problème), il est possible d’affirmer, sans grand risque d’erreur, que l’importance accordée à l’évaluation et, plus globalement, aux données d’évaluation, s’est nettement accrue. Cela tient principalement au rôle d’impulsion joué par l’Union européenne dans ce domaine. Ailleurs, la Banque mondiale, l’OCDE et d’autres institutions ont très souvent joué un rôle similaire. Au Canada et aux États-Unis, les autorités fédérales, dans une démarche de responsabilisation de l’exécutif, ont adopté la mesure de la performance et la gestion axée sur les résultats, qui ont entraîné une demande d’évaluation accrue. Dans leur analyse comparative qui vient de paraître, Bouckaert et Halligan montrent que la mesure de la performance est devenue une pratique à la fois plus répandue et plus intensive6. Ce phénomène s’est accompagné de ce que l’on pourrait appeler une institutionnalisation et une consolidation des systèmes d’évaluation. Aujourd’hui, les processus budgétaires, les systèmes de comptabilité et d’établissement des états financiers et, enfin, les procédures de réexamen de divers programmes et politiques intègrent une forte composante d’évaluation. Il y a près de vingt ans déjà, Hans Ulrich Derlien évoquait ce processus d’institutionnalisation dans la première étude comparative de l’évaluation7 et ce thème est aussi au cœur de l’étude From studies to Stream8.
4Malgré cette expansion des données d’évaluation, les décideurs se plaignent souvent de ne pas avoir assez de données à leur disposition. Ce paradoxe n’est qu’apparent. En effet, les décideurs politiques n’obtiendront jamais assez de données à leur goût et il est probable que cela constituera toujours un motif de plainte de leur part. Les raisons en sont très simples : une décision se prend pour l’avenir. Les décisions des politiques ne portent pas sur les mesures qu’ils auraient dû prendre cinq ans auparavant, mais sur des programmes, activités et autres qui auront des incidences sur l’avenir. Or, par définition, on en sait toujours trop peu sur l’avenir.
5Cela étant, on ne peut pas se contenter de cette réponse au vu de l’expansion des données d’évaluation et de la mise en place de structures institutionnelles chargées d’élaborer ces données et de les diffuser auprès des décideurs. À différentes reprises, les réformes institutionnelles ont trop attendu de l’évaluation. Les architectes de ces réformes et les professionnels de l’évaluation n’ont pas toujours bien saisi ce que les données d’évaluation pouvaient apporter aux processus politiques et administratifs. D’une certaine manière, nous n’avons pas tiré tous les enseignements de notre propre pratique de l’évaluation. Précisément, notre contribution s’intéressera à la question de savoir ce que cette pratique peut enseigner.
6Avant cela, examinons brièvement ce qu’est l’évaluation.
7Les lecteurs ont probablement conscience qu’il n’existe aucune définition unique de l’évaluation qui fasse autorité. Par conséquent, il est vain de prétendre indiquer de manière précise les activités qui peuvent être qualifiées d’évaluation. Il est également manifeste que le terme d’évaluation est, au fil du temps, utilisé de manière de moins en moins rigoureuse, voire abusive9, parce qu’il a de fortes connotations positives.
8Le terme d’évaluation n’a pas les mêmes connotations selon les pays, qui ont chacun leur histoire et leur contexte propres. Dans nombre de pays, l’évaluation est assimilée à une analyse rétrospective, conception avec laquelle nous sommes plutôt d’accord, mais dans l’Union européenne, il arrive aussi que ce terme désigne une analyse prospective10. Ainsi, en 1995, Chelimsky a écrit que « désormais, on évalue à la fois a priori et a posteriori »11.
9La majorité des évaluateurs reconnaissent également qu’il convient de distinguer évaluation et description pure. Ainsi, il est difficile de qualifier d’évaluation les statistiques descriptives en tant que telles, même si ces dernières, dont la pratique remonte à plus de deux siècles dans de nombreux pays, peuvent représenter une partie importante de l’évaluation et, souvent, influent largement sur notre conception de la société et notre définition des problèmes sociaux. Quoi qu’il en soit, les statistiques sur les conditions de logement ou sur le nombre d’étudiants dans les différentes filières d’enseignement, pour ne citer que ces exemples, ne sont pas considérées comme de l’évaluation.
10On peut également se poser la question de savoir s’il est nécessaire que le jugement porté sur une situation empirique ou une relation causale découle de l’application d’une méthode (scientifique) donnée pour qu’il soit qualifié d’évaluation. Pour constituer une évaluation, il ne suffit pas qu’une analyse d’un problème social soit associée à un jugement, très négatif ou très positif, sur une politique gouvernementale. En d’autres termes, pour qu’il y ait évaluation, il doit y avoir examen rigoureux des mérites et de la valeur de l’objet évalué12. Qui dit évaluation dit, d’une façon ou d’une autre, qualité du processus d’évaluation et du produit correspondant.
11Cela étant, même lorsque la distinction est faite entre évaluation et description, on ne peut pas considérer que l’évaluation est plus ou moins synonyme de toutes les formes de production de connaissances émanant des universitaires, des consultants, etc. S’il n’y a aucun doute sur le caractère systématique et le sérieux des travaux de ces deux catégories d’acteurs, il n’en reste pas moins que l’évaluation se distingue par une autre caractéristique : il s’agit d’une activité exploratoire portant sur quelque chose qui a une finalité et une intention particulières. Nous nous proposons d’illustrer cette affirmation par quelques exemples.
12Une évaluation peut porter sur un programme qui fait appel à une nouvelle méthode pédagogique destinée à améliorer les compétences en lecture des élèves. Un chercheur pourra s’intéresser à l’identification des facteurs qui influent sur ces compétences, sans que cela soit lié à une quelconque initiative gouvernementale, déjà lancée ou en projet. Dans ce type d’étude, le chercheur peut être amené à poser des questions sur les interactions entre les différentes parties du cerveau, les mouvements oculaires, etc. Le fait qu’une étude soit susceptible – ou ait pour objectif – d’être utilisée pour calibrer telle ou telle action gouvernementale ne lui vaut pas pour autant automatiquement le qualificatif d’évaluation. Une étude peut être motivée par la simple curiosité envers les mécanismes sociaux, psychologiques ou physiques. Elle peut aussi avoir pour motivation l’acquisition de connaissances exploitables dans un contexte politique.
13On peut étudier de nombreux facteurs à l’origine de la disparité des compétences en lecture sans avoir en tête des initiatives destinées à améliorer ces compétences, mais on peut le faire aussi dans l’objectif d’acquérir des connaissances qui pourront ensuite être utilisées pour calibrer des interventions. Plus concrètement, on peut parfaitement étudier les liens entre obéissance, autorité et propension à la violence dans le cadre de différentes expériences sans pour autant avoir l’intention d’utiliser les résultats de ces travaux pour agir contre le harcèlement à l’école (phénomène de bullying). Cela dit, indépendamment de la question de l’intention, ces études peuvent se révéler utiles dans le débat sur les moyens d’influer sur des comportements comme le harcèlement, et ce n’est pas parce qu’elles seront utilisées à ces fins que l’on pourra parler d’évaluation dans le cas des études de différents phénomènes sociaux et psychologiques. Nous pensons, en particulier, à l’étude de Durkheim sur le suicide13, à la célèbre étude de Milgram14 sur l’obéissance ou à l’étude de Rosentahl et Jacobon sur l’importance des attentes des enseignants15. Les évaluations motivées par le souhait d’acquérir des connaissances sur les effets et les causes d’une initiative donnée peuvent, néanmoins, poser les mêmes questions.
14En résumé, l’évaluation :
- doit aller au-delà de la simple description et comporter, d’une manière ou d’une autre, une part d’explication et de jugement ;
- doit être menée avec rigueur ;
- est liée à une initiative ou action ayant une finalité et une intention.
15Bien évidemment, la finalité et l’intention peuvent avoir une valeur morale différente. À l’instar de Weiss et bien d’autres, j’ai la conviction que les évaluateurs s’emploient à mettre leurs connaissances au service de la société ou, pour le dire comme Mark, Henry et Julnes16 : « La raison d’être de l’évaluation […] est de contribuer indirectement à l’amélioration de la société en apportant du sens à l’action des institutions démocratiques qui ont la responsabilité directe de définir en quoi consiste cette amélioration et de s’employer à l’atteindre17 ».
16Cette raison d’être place la question de l’utilisation au cœur du débat sur l’évaluation, plus encore peut-être que pour toute autre forme de production de connaissances. Si elle n’est pas utilisée d’une manière ou d’une autre, l’évaluation perd sa justification. Nous allons à présent proposer cinq leçons à retenir pour être plus réalistes sur ce que l’évaluation peut apporter aux décideurs et comprendre que l’on ne peut pas tout en attendre pour améliorer la société.
Leçon 1 : Ne pas trop attendre de l’évaluation pour l’établissement de liens de cause à effet.
17Souvent, l’évaluation est entreprise dans le but d’établir des liens de cause à effet, mais aussi les liens entre, d’une part une initiative donnée, un programme ou des activités quelconques et, d’autre part un phénomène sur lequel les pouvoirs publics ont cherché à influer au moyen de ce programme ou de ces activités. Il peut s’agir d’un programme visant à réduire le nombre d’accidents de la circulation et le tabagisme ou à améliorer la situation sanitaire chez les jeunes élèves. Dès lors, la question se pose dans les termes suivants : le programme a-t-il effectivement diminué le nombre d’accidents de la circulation, a-t-il conduit à une baisse du nombre de fumeurs, a-t-il amélioré la situation sanitaire des jeunes élèves ? Tel est le type de questions rétrospectives que nous posons lors d’une évaluation, car nous pensons que la réponse qui y est apportée est une aide à la décision quant à la physionomie future de ces programmes.
18L’étude du lien entre l’action des pouvoirs publics et ses effets sur la société amène à se poser trois questions.
19Comment la situation a-t-elle, dans les faits, évolué ? En d’autres termes, a-t-on assisté à une amélioration de la situation sanitaire, à une baisse du nombre d’accidents de la circulation, à l’arrêt, chez certains, du tabac ?
20Dans quelle mesure cette évolution est-elle due ou peut-elle être attribuée aux programmes ?
21Ces observations peuvent-elles guider les décisions futures ? En d’autres termes, est-il possible d’utiliser ces informations rétrospectives, aussi fiables soient-elles, pour élaborer des initiatives (gouvernementales) qui portent sur l’avenir ?
22Cette contribution n’abordera pas la première question, car, en réalité, elle relève de la statistique. Il apparaît évident que le niveau descriptif peut se révéler difficile à traiter, ne serait-ce que d’un point de vue pratique. D’un autre côté, nous n’hésitons pas à affirmer que, dans la plupart des pays européens, la production statistique présente un tel niveau de qualité qu’elle est à même de décrire des évolutions sociétales majeures, dans le domaine de la protection sociale, de l’éducation ou du développement industriel, par exemple.
23Répondre aux deuxième et troisième questions pose, en plus des problèmes pratiques, des problèmes théoriques fondamentaux qui, du reste, sont débattus sensiblement dans les mêmes termes depuis au moins deux siècles. Ainsi, dans son célèbre ouvrage A book of logic18 (1843), Mill traite la problématique des effets dans des termes sensiblement identiques aux ouvrages contemporains consacrés à l’évaluation.
24L’économiste suédois et prix Nobel, Gunnar Myrdal, a bien décrit, il y a plus de soixante-dix ans, les problèmes fondamentaux auxquels on se heurte immanquablement dès lors que l’on cherche à mesurer des effets. Pour lui, étudier les effets de la réglementation doit consister à étudier les événements économiques, a priori différents, qui résulteraient d’une réglementation différente. Par conséquent, il y a lieu de spécifier également cette norme de comparaison qu’est l’autre réglementation. Toujours selon Myrdal, tout discours sur les effets sera vide de contenu s’il ne porte pas sur la différence entre deux séries d’événements déclenchées par des mesures réglementaires différentes19.
25On ajoutera que le débat des dernières années sur l’utilisation des preuves dans l’évaluation porte largement sur cette problématique20. Il nous faut bien accepter que nos possibilités de débattre de la manière d’isoler les effets d’une action des autres facteurs à l’œuvre sont limitées. Nous reviendrons ultérieurement sur ce point dans cette contribution. Indépendamment de l’aspect théorique du débat, la pratique de l’évaluation démontre les limites que rencontre notre volonté d’établir le lien causal entre telle ou telle initiative et telle ou telle évolution. Les analyses conduites par la Campbell Collaboration et par d’autres organisations rejoignent cette conclusion.
26On peut, néanmoins, reconnaître les difficultés sans pour autant tirer un trait définitif sur la pratique de l’évaluation. Cela aurait été le cas si nous avions considéré l’évaluation comme une simple étude des effets ou si l’évaluation n’avait consisté qu’à établir le lien causal entre, d’une part, le programme ou l’intervention et, d’autre part, l’évolution effective de la situation.
27Nous ne contestons pas que ces questions sur la causalité sont parfois importantes. Toutefois, la pratique de l’évaluation montre que cet exercice peut aussi répondre à bien d’autres questions. L’évaluation peut nous aider à poser des questions essentielles sur le fondement théorique de telle ou telle intervention ou à comprendre les hypothèses sur lesquelles les interventions se fondent. L’évaluation peut également renseigner sur la mise en œuvre concrète d’un programme et faire apparaître les différents problèmes rencontrés au cours de ce processus.
28Ce débat sur l’importance des données rétrospectives relatives au lien de causalité entre programmes et effets nous amène à notre troisième question. Imaginons à présent que nous vivions dans un monde idéal et que nous soyons donc en mesure d’établir des liens de causalité et d’affirmer, par exemple, qu’une dépense d’un million d’euros a fait évoluer tel ou tel phénomène de 10 %. Mais, rapidement, se posera alors la question de savoir dans quel sens ces données devraient influer sur les décisions futures. Le problème, naturellement, est qu’il ne suffit pas de savoir que telle ou telle intervention a eu cet effet. Il est, par ailleurs, indispensable de savoir quels aspects de l’intervention ont été à l’origine de chaque partie de l’effet mesuré. Mais même là, la validité de ces informations n’est garantie que dans certaines circonstances bien précises. Le lien de causalité observé de manière rétrospective dépend de nombreux facteurs, qui sont de plus évolutifs. Bien sûr, ce problème se pose de manière plus aiguë dans un contexte dynamique, qui est précisément le type de contexte dans lequel s’élaborent souvent les politiques. L’action politique est souvent une réponse à un événement nécessitant une intervention, mais le problème est que l’événement en question influe aussi sur d’autres forces et facteurs sociaux qui, à leur tour, influent sur la réalité.
29Par conséquent, ce n’est pas tant l’importance du rôle que telle ou telle intervention a joué qui nous intéresse qu’une compréhension plus approfondie des mécanismes sociétaux. Cela nous amène à la question de l’articulation entre l’évaluation et d’autres formes de production de connaissances.
Leçon 2 : Être précis et fiable.
30Nous devons reconnaître que de nombreuses évaluations conduisent à des conclusions vagues, souvent erronées, auxquelles on ne saurait se fier aveuglément. En effet, toutes ces conclusions ne présentent pas le même degré de précision et de fiabilité.
31Ainsi, un programme peut produire ses effets de manière plus ou moins immédiate. Dans notre exemple traitant de la santé des jeunes élèves, nous pouvons imaginer une mesure consistant en la publication d’une brochure soulignant l’importance de se laver les mains ou de se brosser les dents. Un premier effet est obtenu lorsque les enfants rapportent la brochure chez eux, la montrent à leurs parents et la lisent, etc., tandis que l’effet à plus long terme se traduit par l’adoption de nouvelles habitudes qui vont améliorer l’hygiène dentaire et la santé des personnes concernées pour le reste de leur existence.
32Il est plus facile de mesurer les effets sur le court terme (les écoliers ou leurs parents ont-ils lu la brochure ?) que ceux qui se produisent à plus longue échéance, à l’issue d’un enchaînement de plusieurs événements liés par un lien de causalité.
33Il convient, en outre, de distinguer les mesures très simples des programmes qui s’appuient sur de nombreuses composantes distinctes. Dans notre exemple, la publication de la brochure est une mesure simple, qui cependant pourrait faire partie d’un programme bien plus complexe, prévoyant des visites de médecins et d’infirmières dans les écoles, l’organisation de campagnes de dépistage, etc.
34La précision et la fiabilité des données d’évaluation ne peuvent donc être abordées sans distinguer plusieurs cas de figure. Deux approches peuvent ainsi être opposées. La première s’intéresserait à l’impact final d’un programme très complexe et faisant appel à de nombreuses composantes. La deuxième porterait, à l’inverse, sur l’évaluation des effets à court terme d’une mesure donnée. Nous pourrons certainement, dans ce cas, rassembler des données fiables et plutôt précises, alors que dans la première approche, tout élément de causalité pouvant être mis en avant pour expliquer les effets du programme complexe serait imprécis et probablement peu fiable.
35Nous pouvons conclure ce point en affirmant que, si les évaluations ne lèvent pas toutes les incertitudes entachant la prise de décision, elles nous aident quelquefois à cerner lesdites incertitudes.
Leçon 3 : Les données d’évaluation ont un rôle variable suivant le contexte de prise de décision.
36Cette leçon est partiellement liée à la précédente. Chaque contexte de prise de décision requiert des informations différentes et n’implique pas les mêmes exigences en termes de précision et de fiabilité des données.
37Dans nos considérations exposées plus haut quant à l’utilisation de l’évaluation, nous avons eu tendance à englober toutes les modalités de prise de décision, sans distinguer de besoins particuliers quant aux données d’évaluation. Ainsi, lors des réformes budgétaires entreprises par de nombreux États au cours des années 1980 et 1990, le débat portait souvent sur les besoins d’information liés au processus budgétaire, sans tenir compte du fait que le processus faisait intervenir des modalités et des contextes de prise de décision extrêmement variables.
38Nous pouvons utiliser ici l’image d’une échelle à une extrémité de laquelle se trouvent les décisions de calibrage ou d’ajustement de mesures, dans le cadre d’un programme déjà lancé qu’il convient d’améliorer au fil des années. Ce programme doit, certes, être adapté à de nouveaux destinataires ou à des situations inédites mais, pour l’essentiel, son application suit son cours.
39À l’autre extrémité de cette échelle se trouve la démarche de refonte totale d’une intervention ou d’un programme et la remise en cause des soubassements stratégiques, voire de l’existence d’un programme et des objectifs associés.
40Les informations requises varient radicalement selon l’extrémité de l’échelle et le contexte de prise de décision considérés. Dans le premier cas, le décideur a besoin d’un apport régulier de données qui concernent le plus souvent les résultats obtenus, afin de s’assurer de l’efficacité d’un programme ou de l’application de mesures. De telles informations peuvent en général être fournies par l’entité qui est, elle même, chargée de mettre en œuvre le programme. En outre, pour revenir un instant sur la leçon antérieure, ajoutons que l’on peut attendre de ces données qu’elles soient à la fois précises et fiables.
41Dans le second cas, les décisions peuvent impliquer un changement plus radical de politique, voire l’abandon d’un programme. Elles doivent être prises sur la base de données qui informent le décideur sur d’autres stratégies possibles, d’autres moyens d’atteindre les objectifs fixés ou de nouveaux objectifs envisageables. Le décideur doit donc voir au-delà du programme en cours et, à cet égard, les entités chargées de mettre en œuvre ce programme ne sont peut-être pas les mieux placées pour fournir les informations attendues. Le décideur peut faire appel au monde universitaire ou consulter divers travaux de recherche afin d’élargir son champ de connaissances. Dans cette démarche, il doit accepter l’idée que les informations qu’il rassemble ne soient pas des plus précises et s’apparentent quelquefois davantage à des hypothèses de travail.
42La recherche de nouvelles stratégies pour l’avenir dépasse donc la simple recherche des données issues de l’expérience acquise et de programmes déjà conduits. Il s’agit également de consulter d’autres sources de connaissances plus généralistes et d’en évaluer l’apport potentiel.
43Nous en arrivons à un point important de notre propos, qui concerne le rapport entre les données d’évaluation et les autres formes d’acquisition de connaissances. Nous avons tenté plus haut de définir l’évaluation comme une activité exploratoire portant sur une initiative ou une action, en cours ou au moins en projet, ayant une finalité et une intention particulières. De toute évidence, la conception d’une initiative fait appel à des connaissances procédant de diverses sources. Lorsque le décideur souhaite identifier les conditions de la bonne mise en œuvre de stratégies ou d’initiatives, ou les possibles conséquences de celles-ci, l’évaluation représente une source d’information certes importante, mais cohabitant avec d’autres. Par exemple, dans le cas d’une série de mesures concernant le marché du travail, il va sans dire que le décideur ne peut se contenter des données d’évaluation de programmes antérieurs : il doit se référer à une somme de données scientifiques plus générales.
44Or, certaines évaluations peuvent constituer une partie de cette somme. Ainsi, une évaluation portant sur des campagnes de sensibilisation peut s’inscrire dans les recherches sur le niveau d’information des individus et leur comportement. Lorsque le décideur s’interroge sur l’« état de l’art » pour déterminer quelle mesure pourrait influencer les comportements, les réponses émanant de la communauté des chercheurs peuvent s’appuyer en partie sur des évaluations antérieures. Pour cela, chaque évaluation doit être conduite et formulée de manière à pouvoir rattacher les données qu’elle produit aux connaissances déjà disponibles dans le domaine de recherche concerné.
Leçon 4 : Préciser le rôle des objectifs.
45Un grand nombre de réformes administratives conduites ces dernières décennies sont parties du principe qu’il convient d’associer des objectifs précis aux différentes politiques publiques. En effet, la présence de tels objectifs est essentielle à l’évaluation des politiques en question. Il n’est pas rare d’entendre l’argument suivant : « Il faut commencer par évaluer le niveau d’atteinte des objectifs, notamment quant à ceux qui sont de nature politique ». Une telle affirmation, empreinte de bon sens, a largement influencé la doctrine de la nouvelle gestion publique21.
46Cependant, de nombreux auteurs ont contesté cette importance accordée aux objectifs. Ainsi, dans les années 1970, Egon Guba et Yvonna Lincoln ont-ils préconisé une approche ouverte et inductive de l’évaluation22. Plus tard, Scriven a pour sa part proposé une évaluation dégagée de tout objectif qu’il appelle « Goal Free Evaluation ».23
47Nous constatons que ces critiques n’ont pas eu d’effet réel sur la pratique de l’évaluation. Cela tient probablement, au moins pour partie, au fait que la quasi-totalité des pays qui ont adopté ou développé une culture de l’évaluation au cours des années 1990 (ou depuis lors) l’ont fait en réponse à des pressions extérieures24. Ces pressions émanaient en particulier de l’OCDE, de l’Union européenne ou de la Banque mondiale et l’adoption d’une culture de l’évaluation permettait d’adhérer aux principes innovants et rationnels en matière de gestion publique que prônaient ces organisations.
48Ces grands principes, popularisés sous diverses appellations telles que la gestion par objectifs, la budgétisation axée sur la performance ou la gestion axée sur les résultats, se rattachaient souvent à ceux de la nouvelle gestion publique.
49Toutes ces approches partent de l’hypothèse qu’il est possible de maintenir une distinction entre les buts (les finalités) et les moyens. La séparation entre l’exécutif (qui prend les décisions politiques) et la sphère administrative (qui décide de la manière d’atteindre les objectifs) n’a rien d’une nouveauté. Dans son essai de 1887, fréquemment cité, Wilson affirmait que si « les grandes orientations de l’action gouvernementale ne relèvent pas de l’administration », en revanche « la mise en œuvre des mesures concrètes qui en découlent revient à l’administration »25. Cette question reste au centre des réflexions actuelles qui estiment que c’est au gestionnaire de choisir les moyens d’atteindre les objectifs établis au niveau politique. Le choix des moyens à mettre en œuvre pour atteindre les objectifs relève plus de l’administration, voire d’une réflexion scientifique, que du politique.
50Lane souligne que l’argument philosophique contre la séparation du politique et de l’administration est extrêmement fragile, de la même façon qu’il est impossible de bien faire la séparation entre diverses notions26, telles que :
- objectifs versus moyens ;
- valeurs versus faits ;
- choix versus instruments de mise en œuvre ;
- normes versus circonstances réelles ;
- directives versus réalité.
51Au cours du siècle dernier, ces oppositions ont été au cœur de nombreux débats, auxquels ont pris part des chercheurs tels que Dahl et Waldo. Lane souligne, d’ailleurs, que « ces contradicteurs dont Waldo n’est qu’un exemple parmi tant d’autres ne pourront que constater, pour étonnés qu’ils soient, que la nouvelle gestion publique a fait sienne(s) cette ou ces distinction(s).
52L’accession de l’administration au statut de profession, voire de science sociale, a permis de mettre en évidence son rôle dans toute société démocratique : c’est notamment le système administratif qui permet aux instances politiques d’un État de mettre en œuvre les mesures promises aux électeurs. Mais cette évolution repose également sur l’idée qu’il est possible d’évaluer les interventions et d’adopter une perspective qui serait, en quelque sorte, étrangère à toute notion de valeur. Même si cette idée est, comme nous le disions, apparue il y a fort longtemps, elle a été, ces dernières décennies, abondamment promue par des organisations comme l’OCDE et la Banque mondiale. Leur message repose en partie sur la notion selon laquelle les processus décisionnels sont alimentés par les données d’évaluation portant sur l’efficacité des mesures et des programmes en termes de coûts, de réalisation, de résultats atteints, etc. Les décideurs peuvent donc utiliser ces informations pour ajuster divers programmes, tandis que la production de données au fil de l’eau confirme la pertinence de certaines initiatives ou conduit à en remettre d’autres en question. Dans tous les cas, il s’agit d’atteindre la meilleure efficacité possible au regard des objectifs définis.
53L’importance accordée aux objectifs dans une évaluation traduit donc une certaine vision de l’administration et de ses rapports avec la sphère politique. Elle reflète également un manque de compréhension des processus politiques, lesquels reposent souvent sur des compromis. Ainsi, des responsables politiques peuvent approuver une mesure alors qu’ils conservent une vision différente des finalités essentielles de celle-ci et, réciproquement, d’autres acteurs peuvent avoir des objectifs différents de ceux sur lesquels les responsables politiques se sont accordés. Il convient donc de rester ouvert à des « visions des objectifs » différentes de celles officiellement proclamées.
54En outre, une évaluation fondée sur les objectifs peut aisément faire l’impasse sur la mesure des effets collatéraux. En effet, une attention exclusivement portée aux objectifs peut laisser de côté les incidences collatérales d’une initiative et n’en mesurer que les aspects positifs.
Leçon 5 : Prendre en compte les valeurs et les systèmes.
55Si nous analysons le développement de la démarche d’évaluation, nous constatons que les données liées à l’évaluation sont plus proches d’un flux continu d’informations que d’études distinctes27. De nombreux pays se sont dotés de systèmes chargés d’élaborer ces données28 qui fonctionnent bien souvent à partir d’hypothèses concernant les causes du changement. Malheureusement, la plupart des systèmes d’évaluation reprennent les hypothèses déjà retenues pour concevoir le programme ou l’initiative qu’ils doivent évaluer. Les données d’évaluation ainsi obtenues confirment donc souvent l’intérêt des mesures appliquées, ne serait-ce que par défaut de questionnement critique.
56Considérons ainsi que des décideurs choisissent de lancer une campagne de sensibilisation pour convaincre les propriétaires d’investir dans de nouveaux systèmes de chauffage domestique qui permettent de réduire les émissions de dioxyde de carbone. Ces décideurs estiment que de tels investissements augmenteraient si les propriétaires étaient mieux informés de leur effet sur la réduction des émissions de dioxyde de carbone. Le système d’évaluation mesurera donc le changement dans le niveau d’information des propriétaires et conclura, si ce niveau a augmenté, à l’efficacité des efforts de sensibilisation. Tout cela est parfait, à condition toutefois que la relation de causalité présupposée entre le niveau de connaissance et la décision d’investir existe réellement. Car, malheureusement, la validité de l’hypothèse n’a pas été établie et l’évaluation peut générer de multiples données qui concluent, à partir d’une hypothèse non validée, au succès du programme. Dans le pire des cas, l’hypothèse est fausse et le programme n’est pas efficace en dépit de toutes les conclusions élogieuses de l’évaluation.
Conclusion.
57Dans le titre de notre contribution, nous nous interrogions sur les raisons pour lesquelles les promesses de l’évaluation sont si difficiles à tenir. Tout d’abord, nous constatons qu’il est malaisé de définir ces promesses avec précision. Toutefois, différentes réformes administratives – la budgétisation par programmes dans les années 1960, l’introduction de la « nouvelle gestion publique » dans les années 1980 ou, plus récemment, les initiatives de modernisation de l’administration – ont promu l’idée que les données d’évaluation pouvaient faciliter la prise de décision à tous les niveaux concernés.
58Au premier abord, cette idée est d’une grande banalité, l’importance des données d’évaluation allant de soi. Cependant, à mieux y réfléchir, la pratique de l’évaluation a permis d’identifier un grand nombre de limites et de conditions préalables concernant l’utilité des données d’évaluation. Dans certains cas, ces données peuvent même constituer un frein à la remise en cause d’initiatives ou d’interventions.
59Il est donc temps d’envisager une évaluation de la démarche évaluatrice elle-même, notamment en raison des montants désormais consacrés à celle-ci.
60Nous avons tenté dans la présente contribution de mettre en avant quelques enseignements qui, nous l’espérons, trouveront un accueil favorable dans un pays reconnu par tous les spécialistes comme un pionnier en matière d’évaluation.
61Ces leçons pourraient éventuellement être résumées en quelques messages clés, tels que : adopter des objectifs réalistes, reconnaître l’existence de limites théoriques et garder à l’esprit que l’évaluation n’est qu’un moyen parmi d’autres d’acquérir les connaissances nécessaires pour concevoir de nouvelles interventions publiques.
Notes de bas de page
1 Suchman Edward A., Evaluative Research, New York, Russel Sage Foundation, 1967 ; Weiss Carol H. « Utilization of Evaluation : Toward Comparative Study » in Carol H. Weiss (dir.), Evaluating Action Programs : Readings in Social Action And Education, Boston, Allyn and Bacon Inc., 1972 ; Patton Michael Q., Utilization Focused Evaluation, Beverly Hills, Sage, 1978.
2 Kirkhart Karen E., « Reconceptualizing Evaluation Use : An Integrated Theory of Influence » in Valerie J. Caracelli and Hallie Preskill (dir.), The expanding Scope of Evaluation Use, New Directions for Evaluation, n° 88, San Francisco, Jossey-Bass Publishers, 2000 ; Stame Nicoletta, « Introduction. Streams of Evaluative Knowledge » in Ray C. Rist, Nicoletta Stame (dir.), From Studies to Streams, New Brunswick, Transaction Publishers, 2006 ; Weiss Carol H., Murphy-Graham Erin, Petrosino Anthony et Gandhi Allison G., The Fairy Godmother – and Her Warts American Journal of Evaluation, vol. 29, n° 1, 2008.
3 Alkin Marvin C., Evaluation Roots. Tracing Theorists’ Views and Influences, Sage, Los Angeles, 2004.
4 Donaldson Stewart I., Christie Christina A., Mark Melvin M., What Counts as Credible Evidence in Applied Research and Evaluation Practice, Sage, Los Angeles, 2009.
5 Cf. à ce sujet Furubo Jan-Eric, Sandahl Rolf, Rist Ray C., International Atlas of Evaluation, New Brunswick, Transaction Publishers, 2002 ; Varone Frédéric, Jacob Steve, Lieven de Winter, « Polity, Politics and Policy Evaluation in Belgium » in Evaluation, vol II (3), 2005.
6 Bouckaert G., Halligan J., Managing Performance, Comparisions, Londres, Routledge, 2008.
7 Derlien H. U., « Genesis and Structure of Evaluation Efforts in Comparative Perspective » in R. C. Rist (dir.), Program Evaluation and the Management of Government – Patterns & Prospects across Eight Nations, Transaction Publishers, New Brunswick, 1990.
8 Stame N., Rist R. C. (dir.), From Studies to Streams, New Brunswick, Transaction Publishers, 2006.
9 Dans ce débat sur la définition de l’évaluation, nous avons repris les éléments échangés avec Ove Karlsson, professeur à l’Université de Mälardalen, dans l’introduction de l’ouvrage Evaluation : Seeking Truth or Power, dont la publication est prévue en 2010 chez Transaction Publishers, sous la coordination de Pearl Eliadis, Jan-Eric Furubo et Steve Jacob (dir.).
10 Summa Hilkka, Toulemonde Jacques, « Evaluation in the European Union : Addressing Complexity and Ambiguity » in Jan-Eric Furubo, Ray C. Rist, Rolf Sandahl, (dir.), International Atlas of Evaluation, New Brunswick, NJ, Transaction Publishers, 2002, p. 410.
11 Chelimsky E., « L’évaluation législative aux États Unis », Contrôle parlementaire et évaluation, contributions recueillies par A. Delcamp et alii (dir.), Les études de la Documentation française, 1995, p. 189.
12 Vedung Evert, Public policy and program evaluation, Londres, Transaction Publishers, 1997, p. 3.
13 Durkheim Emile, Suicide : A study in sociology, The Free Press, New York, 1979.
14 Milgram Stanley, « Behavioural Study of Obedience », Journal of Abnormal and Social Psychology, 67, 1963, p. 371-378.
15 Rosenthal Robert et Jacobson Leone, Pygmalion in the classroom, New York, Irvington Publishers, 1968.
16 Mark Melvin M., Henry Gary T., Julnes George, Evaluation : an Integrated Framework for Understanding, Guiding, and Improving Policies and Programs, San Francisco, Jossey-Bass, 2000.
17 Idem, p. 7.
18 Système de logique déductive et inductive, 1843. Traduction française réalisée par Louis Peisse à partir de la 6e édition britannique de 1865, Paris, Librairie philosophique de Ladrange, 1866.
19 Myrdal Gunnar, Finanspolitikens ekonomiska verkningar, SOU 1934, 1, 1934.
20 Donaldson Stewart I., Christie Christina A., Mark Melvin M., What Counts as Credible Evidence in Applied Research and Evaluation Practice, Sage, Los Angeles, 2009.
21 Pollitt Christopher, The Essential Public Manager, Maidenhead, Berkshire, Open University Press, 2003 ; Lane J. E., New Public Management, Londres, Routledge, 2000.
22 Guba Egon. G, Lincoln Yvonna S., Effective Evaluation, San Francisco, Jossey-Bass Publishers, 1981.
23 Scriven Michael, Evaluation Theasures. Fourth Edition, Newbury Park, Sage, 1991.
24 Furubo Jan-Eric, Sandahl Rolf, Rist Ray C., International Atlas of Evaluation, New Brunswick, Transaction Publishers, 2002, p. 16.
25 Wilson Thomas Woodrow, « The principles of public administration » ; Political Science Quarterly, 2, 1887.
26 Lane J. E., New Public Management, Londres, Routledge, 2000, p. 28.
27 Stame Nicoletta, « Introduction. Streams of Evaluative Knowledge » in Nicoletta Stame, Ray C. Rist (dir.), From Studies to Streams, New Brunswick, Transaction Publishers, 2006.
28 Furubo Jan-Eric, Leeuw Frans, « Evaluation System. What are they and Why Study Them », Evaluation, vol. 14, n° 2, 2008.
Auteur
Jan-Eric Furubo dispose d’une ample expérience en tant qu’évaluateur, puisque qu’il travaille sur le sujet depuis les années 1970. Dans les années 1990, il a dirigé, au sein de la Cour des comptes suédoise, un service chargé pour l’essentiel de mettre en place les capacités d’évaluation du pays et de concevoir les stratégies correspondantes au sein de l’exécutif suédois. Plus récemment (2006-2008), il a été le secrétaire principal d’une commission gouvernementale chargée de définir les nouvelles politiques en matière d’administration en Suède. Jan-Eric Furubo, membre de l’International Evaluation Research Group, est l’auteur de nombreux articles et publications consacrés à l’évaluation et aux rapports entre budgétisation et évaluation. Il est coauteur de l’International Atlas of Evaluation paru en 2002 et de l’ouvrage Evaluation : seeking Truth or Power (à paraître). L’un de ses articles a été publié fin 2006 dans le Handbook of Public Policy Analysis : Theory, Politics and Methods. Récemment, il a collaboré à un article consacré aux systèmes d’évaluation publié dans la revue Evaluation.
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Gouverner les territoires
Antagonismes et partenariats entre acteurs publics
Giuseppe Bettoni (dir.)
2011
Les réorganisations administratives
Bilan et perspectives en France et en Europe
Julien Meimon (dir.)
2008
Évaluer les politiques publiques pour améliorer l’action publique
Une perspective internationale
Sylvie Trosa (dir.)
2009
Économie sociale et solidaire
De nouveaux référentiels pour tempérer la crise
Florence Jany-Catrice, Nicolas Matyjasik et Philippe Mazuel (dir.)
2014
L’éthique de la gestion publique
Stratégies nationales et internationales de prévention de la corruption
Marcel Guenoun et Jean-François Adrian (dir.)
2016
Économie sociale et solidaire et État
À la recherche d’un partenariat pour l’action
Jean-Claude Barbier (dir.)
2017
L’avenir des administrations locales en Europe
Leçons tirées de la recherche et de la pratique dans 31 pays
Geert Bouckaert, Sabine Kuhlmann et Christian Schwab (dir.)
2018
Faire preuve par le chiffre ?
Le cas des expérimentations aléatoires en économie
Arthur Jatteau
2020
Encyclopédie du management public
Manel Benzerafa-Alilat, Danièle Lamarque et Gérald Orange (dir.)
2022