Avantages et inconvénients des différentes méthodes d’évaluation : comment choisir ?
p. 35-55
Texte intégral
1Après des années d’expérimentations et de réformes inspirées du concept de « New Public Management » (nouvelle gestion publique), on constate que les choses ne fonctionnent pas comme prévu, que les résultats ne correspondent pas aux attentes, que chaque politique publique produit de multiples effets, attendus ou pas, positifs et négatifs. Nombreux sont donc ceux qui se demandent ce qui fonctionne, voire si quelque chose fonctionne. Et encore une fois, comme dans les années 1970 lorsque la sphère politique semblait surprise des « effets pervers » des réformes1, on se demande si les problèmes ne résideraient pas non seulement dans les politiques publiques à évaluer, mais aussi dans la façon dont elles sont évaluées. Ceci a conduit2 à un débat salutaire sur les approches en matière d’évaluation. Dans les années 1970, cela s’est traduit par une guerre des méthodes, quantitatives contre qualitatives, et par une confrontation des approches expérimentales, prospectivistes et constructivistes3. Ces dernières années, face à la multiplication des nouvelles approches, comme l’évaluation fondée sur la théorie et l’évaluation participative4, on assiste à la réapparition des approches expérimentales et quasi expérimentales. Mais tandis que l’on cherchait auparavant une solution politique (réduire les dépenses publiques et rétablir la suprématie du marché, solutions qui semblaient rendre l’évaluation superflue), nous assistons aujourd’hui à un mouvement politique qui investit directement le domaine de l’évaluation, mouvement dit des « politiques publiques fondées sur l’évidence empirique » (evidence-based policy). En sont l’expression : la Campbell Collaboration (Royaume-Uni) qui s’occupe principalement de programmes sociaux ; les centres d’étude spécialisés dans l’analyse contrefactuelle des politiques publiques en faveur de l’emploi ; la directive du ministère américain de l’Éducation qui engage les chercheurs à employer les essais contrôlés randomisés (randomized control trials) dans leurs études sur l’école ; les initiatives comme la 3IE (International Initiative for Impact Evaluation – initiative internationale pour l’évaluation d’impact) qui préconisent les mêmes méthodes pour l’évaluation des programmes de développement et de coopération internationale.
2Les diverses solutions de politiques publiques fondées sur l’évidence empirique (evidence-based policy) ont en commun une même manière de :
- concevoir la politique publique comme une intervention ciblée ;
- se concentrer sur l’évaluation des effets et des impacts ;
- donner la priorité aux méthodes d’évaluation, ordonnées selon différents degrés de « robustesse » ;
- généraliser les effets positifs.
3Cette offensive a évidemment provoqué une levée de boucliers et suscité un vigoureux débat qui s’est, pour l’heure, arrêté sur l’aspect de l’acceptabilité ou du moins sur la préférence méthodologique. Par exemple, en ce qui concerne les programmes de développement, un débat a vu le jour sur les alternatives aux méthodes robustes au sein du NONIE (Network of Networks on Impact Evaluation)5.
4Ainsi, le débat provoqué par la décision du ministère américain de l’Éducation est très significatif. Les principales thèses soutenues dans ce débat concernent :
- la nature des faits et les critères de jugement à utiliser : valable ? crédible ?6 ;
- la cohérence entre evaluandum et méthode d’évaluation7. Il a été objecté que les méthodes considérées comme les meilleures étaient adaptées pour les programmes simples, dans des contextes standardisés, mais pas pour les programmes complexes ou pour les politiques publiques. Dans le même temps, la distinction faite par Rogers8 entre les modèles logiques simples (selon une logique linéaire objectifs-moyens-résultats), compliqués (quand il existe de multiples niveaux de gouvernement, de sites et d’agences ; des pistes causales simultanées ; des pistes causales alternatives) et complexes (quand il existe des causalités réciproques et des seuils de rupture, des effets émergents) est venue étoffer le raisonnement sur les modèles logiques à la base de l’évaluation.
5Comme dans tous les débats, les parties se sont rarement rapprochées. Toutefois, il y a eu d’intéressantes tentatives visant à faciliter la confrontation et à la rendre plus raisonnable, notamment le travail de Donaldson, Christie et Mark9, et plus particulièrement la synthèse de Mark qui cherche à expliquer les diverses positions dans le but d’améliorer les termes du débat.
6Les problèmes politiques soulevés sont véritablement brûlants et la mission même de l’évaluation est de tendre vers une amélioration des politiques publiques. Aussi l’occasion est-elle bonne d’élargir la discussion à tous les éléments caractéristiques des politiques publiques fondées sur l’évidence empirique (evidence-based policy). En effet, le risque est grand que ce débat se limite aux méthodes, se traduisant alors en une énième version du grand débat entre les méthodes quantitatives et les méthodes qualitatives (une nouvelle Methodenstreit ou querelle de méthode). Cela n’améliorerait certainement pas notre compréhension du fonctionnement des politiques publiques. Les autres aspects du débat méritent également que l’on s’y arrête :
- qu’est-ce qu’une politique publique ? ;
- que signifie évaluer les effets ? ;
- comment est-il possible de généraliser les résultats, les bonnes pratiques, etc. ?
7En effet, s’agissant des politiques publiques fondées sur l’évidence empirique (evidence-based policy), il faudrait prendre en considération les deux termes : non seulement l’évidence empirique, mais aussi les politiques publiques ; non seulement quelle politique publique doit être fondée sur les faits (son fonctionnement), mais aussi comment nous concevons une politique publique pour pouvoir ensuite dire qu’elle est efficace. Et peut-être le mérite de ce débat réside-t-il dans la mise en évidence de ce problème, alors qu’il n’était pas considéré comme tel. Pendant longtemps, on a pensé que l’objectif de l’évaluation était simplement d’identifier les méthodes d’étude par rapport à un objet (l’intervention) conçu d’après le modèle que Crozier10 définit comme « le triangle au centre de chaque décision administrative : objectifs-moyens-résultats ». Et trop souvent, on a considéré les points d’articulation de la politique publique de manière linéaire : décision mise en œuvre-évaluation (théorie du cycle de la politique publique). Quitte à se lamenter ensuite sur l’infaisabilité de l’évaluation quand la politique publique ne suit pas ces règles (comme cela est presque toujours le cas) : quand les objectifs ne sont pas clairs, quand la mise en œuvre ne s’effectue pas au moment prévu, quand il n’existe pas de données de suivi, etc. De là découle toute la problématique de l’« évaluateur méthodologiste », portant sur la description des objectifs et des résultats au moyen d’indicateurs, de modèles de la qualité, de reconstruction sémantique, etc.
8Il existe pourtant de nombreuses approches d’évaluation, qui s’appuient sur diverses méthodes d’étude (employées isolément ou conjointement), elles-mêmes cohérentes avec le mode de conception et de réalisation des politiques publiques et avec le rôle que l’on attribue à leur évaluation. Les modes de conception des politiques publiques se différencient sur un point : le poids accordé à la mise en œuvre, phase pendant laquelle se déroulent des faits qui influencent le résultat (les effets) d’une politique publique. Ces faits peuvent être considérés de différentes manières : marginalement, parce qu’ils étaient prévus (la mise en œuvre est une simple mise en pratique), comme une simple composante de l’évaluation (l’évaluation du processus) ou encore comme le point de départ de la redéfinition et de l’évaluation du programme.
9Récemment, d’importantes contributions sont venues étoffer le débat sur les diverses approches d’évaluation. Shadish, Cook et Leviton11 ont défini les aspects constitutifs d’une théorie de l’évaluation (comment concevoir la programmation sociale, l’utilisation de la connaissance, comment attribuer une valeur, comment se construit la connaissance, la pratique d’évaluation). Alkin12 a cherché à distinguer les composantes majeures de l’évaluation, sur lesquelles les principaux auteurs se sont penchés : valeurs, méthodes, théories. Mais les questions soulevées dans le débat actuel renvoient à un autre aspect crucial : l’inspiration disciplinaire des différentes manières de concevoir les politiques publiques. Les politiques publiques fondées sur l’évidence empirique (evidence-based policy) se réfèrent à un modèle épidémiologique (la Campbell Collaboration qui passe les politiques sociales au crible de la méta-analyse s’inspire du modèle de la Cochrane Collaboration qui a créé les méta-analyses dans le domaine épidémiologique) et diffèrent des modèles traditionnels de science politique sur lesquels, jusqu’à maintenant, s’est fondée à l’évaluation.
10Dans cet article, nous nous proposons de distinguer divers moyens de lier l’évaluation (logique, objectif, méthodes) à l’analyse de la politique publique selon divers schémas conceptuels et disciplinaires : nous découvrirons ainsi que l’évaluation puise son identité de science sociale pratique dans le rapport qu’elle entretient avec toutes les autres sciences sociales, sans distinction.
I. LES MODÈLES INSPIRÉS DE L’ÉPIDÉMIOLOGIE
11Il s’agit du modèle « clinique » (clinical trial – essais cliniques). La politique publique est considérée comme un traitement apporté à une population cible pour obtenir un résultat déterminé (changement de comportement, diminution des préjudices), de la même manière qu’en épidémiologie on étudie un remède (médicament, intervention) pour lutter contre une maladie13. Le traitement est testé sur un groupe expérimental, un autre groupe de contrôle recevant dans le même temps un placebo. Patton compare cette approche à l’agronomie et à ses expérimentations classiques sur les cultures14.
12Cette conception métaphorique de la politique publique porte en soi l’idée que l’explication causale de l’efficacité d’un traitement est fondée sur la démonstration de la séquentialité entre le traitement et l’effet (l’effet s’est produit car il a été précédé d’un traitement) et qu’il n’est pas nécessaire d’ouvrir la « boîte noire » du rapport moyens-résultats pour en découvrir la raison. Mais surtout, elle porte en soi l’idée que l’intervention est une action qui se déroule dans un milieu stable, selon un modèle logique linéaire simple.
13Ce mode de pensée se caractérise par le fait que :
- la politique est conçue comme un traitement destiné à une cible ;
- l’évaluation étudie les effets du traitement ;
- l’objectif de l’évaluation est, en général, de distinguer ce qui fonctionne bien, à partir des connaissances accumulées au moyen des méta-analyses, conduites selon des protocoles précis ;
- les protocoles prévoient un classement des méthodes selon leur « robustesse » : les plus robustes sont les évaluations quantitatives (en ordre décroissant : les expérimentations, les quasi-expérimentations et les sondages) et les moins solides, les évaluations qualitatives (entretiens, études de cas, observations des participants)15.
14La logique de l’évaluation, derrière cette approche, est celle de l’analyse contrefactuelle : pour vérifier l’effet d’une intervention, il faut étudier la différence entre ce qui est arrivé au groupe cible et ce qui serait arrivé sans intervention. Pour cela, il faut réussir à vérifier l’effet net, c’est-à-dire celui qui est effectivement attribuable à l’intervention, compte non tenu des progrès qui auraient de toute façon été enregistrés et des facteurs contextuels qui pourraient influencer le résultat (et menacer la validité de l’évaluation). Si l’on réussit à démontrer que l’intervention a réussi dans la mesure attendue, on peut alors affirmer qu’elle fonctionne et le décideur est invité à la poursuivre ; dans le cas contraire, on conseille de ne pas gaspiller l’argent public.
15Conformément à cette logique, dans la pratique de l’évaluation :
- l’expérimentation devrait être initiée dès le lancement de l’intervention, avec la constitution immédiate du groupe expérimental et du groupe de contrôle et l’observation des deux groupes. Il existe évidemment des problèmes éthiques (comment choisir les membres de l’un et l’autre groupe ?), mais il est possible d’y remédier au moyen de techniques aléatoires ou par le biais des tests en « double aveugle » (les personnes observées ne savent pas à quel groupe elles appartiennent : chose facile avec l’administration d’une pilule, un peu moins si le programme prévoit des actions concrètes en faveur de publics cible) ;
- si cela n’est pas possible, on peut employer des méthodes statistiques quasi expérimentales, fondées sur le rapprochement des unités statistiques (matching pairs), sur le modèle de la discontinuité de la régression, etc.16 ;
- l’évaluation est faite a posteriori : même si l’on observe l’intervention tout au long de son existence, il faut néanmoins attendre de connaître tous les effets avant de former un jugement ;
- l’évaluation est faite par des experts observateurs extérieurs : par définition, il ne doit y avoir aucune implication des parties prenantes, l’inverse pouvant être considéré comme une menace pesant sur la validité interne, ce qui provoquerait l’effet Hawthorne17 et d’autres distorsions ;
- si l’on peut être sûr d’avoir démontré un effet positif, il est possible de généraliser ce résultat à d’autres contextes similaires. Il faut tenir le contexte sous contrôle, car il ne doit pas influencer le résultat.
16Selon cette approche, qui ne traite pas directement du mode de décision, une fois les résultats de l’action connus, les décideurs pourraient/devraient prendre des décisions en conséquence. Comme on le voit, il ne s’agit pas seulement d’avoir confiance en l’utilisation « instrumentale » de l’évaluation, mais aussi d’attribuer à l’évaluateur un rôle plus important aux fins de la prise de décision.
17À son tour, la mise en œuvre est simplement considérée comme la « dose » administrée par le responsable (technicien, administrateur, opérateur), selon des instructions précises : si l’on en administre peu en respectant les instructions, l’intervention n’aura pas l’effet escompté ; si l’on en administre assez mais en ne respectant pas les instructions, les choses ne se déroulent pas correctement ; si l’on en administre trop, même en respectant les instructions, il y aura un effet de rejet. Certains auteurs emploient le terme « efficace » (efficacious) pour se référer à un traitement qui respecte les instructions (à la différence du terme « performant » (effective) qui se rapporte à la réalisation de l’objectif du point de vue du bénéficiaire) : par exemple, pour évaluer si une mesure en faveur de l’emploi incite bien les employeurs à embaucher des jeunes chômeurs, il faut vérifier si les classements sont faits de manière impartiale, rapidement, si les subventions sont attribuées promptement, etc.
II. LES MODÈLES INSPIRÉS DES SCIENCES POLITIQUES
18Ici, effectivement, nous avons deux modèles, et non un seul. On pourrait dire que le premier se réclame de la « rationalité absolue ou synoptique », tandis que le second se réclame de la « rationalité limitée ».
La rationalité synoptique.
19Ce mode de pensée partage avec l’approche des politiques publiques fondées sur l’évidence empirique (evidence-based policy) la volonté de fournir des démonstrations « robustes » de ce qui fonctionne en général. Mais il s’en différencie par le rôle qu’il attribue au mode de décision et par le rapport qu’il crée avec les autres phases de la politique publique. Les politiques publiques sont des décisions prises par des responsables politiques dans le but de résoudre un problème public au moyen d’instruments (ou interventions) qui garantissent une optimisation des ressources de la part des administrateurs (processus) en vue d’obtenir les résultats souhaités pour les destinataires.
20Cette conception s’accompagne de deux principaux corollaires : en premier lieu, la théorie des phases de la politique ; en second lieu, la manière dont le rapport politique/administration s’articule.
21Dans la théorie des phases de la politique18, il existe un développement linéaire, temporel, de la décision à la mise en œuvre et à l’évaluation. Il s’agit de phases distinctes, avec un rapport de causalité entre elles : la décision engendre la mise en œuvre qui, à son tour, engendre l’évaluation. La mise en œuvre ne serait donc pas autre chose que l’exécution d’une action (variable indépendante) dont les objectifs, fixés par les décideurs, doivent être clairs et traduisibles en indicateurs ; elle se déroulerait selon des directives claires transmises par une autorité administrative. L’objet de l’évaluation serait de relever si les résultats de l’action (variable dépendante) correspondent aux objectifs.
22En toute cohérence, il y aurait une séparation nette entre politique et administration : la décision serait de la compétence de la sphère politique, qui ne doit pas s’immiscer dans la mise en œuvre des politiques publiques, tandis que cette mise en œuvre relèverait des administrateurs, compétents et indépendants. Cette organisation se justifierait, entre autres, par la nécessité d’éviter les ingérences politiques dans l’administration. Elle s’articulerait, par exemple, autour des récentes réformes administratives en matière de gouvernance publique, visant à établir les limites de la présence d’une figure politique (le directeur de cabinet d’un ministre) et le point de départ de la hiérarchie administrative (directeur général dans un ministère)19.
23Tous ces présupposés ont fait l’objet de nombreuses critiques20. Les discussions ont plus particulièrement porté sur la thèse de la séparation entre décision et mise en œuvre qui reproduit celle entre sphère politique et administration (pour une critique de cet aspect, voir le classique Waldo21). Ceci étant, cette manière de concevoir les politiques publiques est à la base des réformes mises en œuvre dans de nombreux pays industrialisés (New Public Management), selon les lignes directrices de l’OCDE, de l’UE et d’autres organisations internationales.
24Toutes ces directives et tous ces règlements nécessitent une grande quantité d’évaluations « ex ante », d’études d’impact, d’évaluations d’impact, etc. conduites par des évaluateurs extérieurs et indépendants. Et ce sont eux qui font survivre les approches dominantes de l’évaluation, l’« évaluation fondée sur les objectifs » (dans la critique qu’en fait Scriven22), l’évaluation « programmée » (dans la critique qu’en fait Stake23).
25Cette approche de l’évaluation est bien consciente de la complexité du contexte dans lequel se font les interventions, la prise de décisions et la mise en œuvre de celles-ci. On estime d’ailleurs que le rôle de l’évaluateur dans l’élaboration des modèles logiques de la théorie du programme est de réduire cette complexité afin de la maîtriser.
26Les méthodes d’évaluation tendent donc à définir et mesurer les éléments identifiés : objectifs, moyens (et processus), résultats. À cette fin, l’effort principal consiste à traduire de tels éléments en indicateurs, les modèles d’évaluation prenant souvent la forme de listes d’indicateurs, parfois subdivisées en indicateurs de contexte, d’intrants, de processus, de produits24.
27Le traitement des données recueillies se résume à une simple corrélation entre les facteurs. Plutôt que de réussir à expliquer pourquoi un intrant donné permet d’obtenir un résultat déterminé, on se limite à identifier les corrélations entre les divers éléments de contexte, d’intrants, de processus et de résultats. En effet, étant donné la complexité de la situation dans laquelle évoluent les programmes, il est rarement possible d’attribuer les effets à une politique publique (une intervention – et seulement celle-là – a produit tel résultat), ce qui serait le but de rendre compte (accountability) propre à toute évaluation. Il faut donc se limiter à l’étude de ce qui a contribué à produire un effet ou, peut-être, une simple corrélation.
28Tout comme la théorie des phases de la politique, la différence entre évaluation du processus et évaluation de l’impact a suscité de longs débats, comme s’il pouvait s’agir de deux moments séparables. Mais, comme l’ont fait remarquer Manski et Garfinkel25, il s’agit en réalité d’une distinction illégitime : on ne peut pas juger d’un impact si l’on ne connaît pas le processus qui a permis de l’obtenir ; on ne peut pas se limiter à une évaluation du processus s’il n’a pas de conséquence sur le résultat. C’est la célèbre observation de Suchman26, selon lequel l’échec d’un programme peut dépendre de l’insuccès de son exécution (il a été mal appliqué) ou de l’insuccès du programme lui-même (les faits prévus ne se sont pas vérifiés), qui est à l’origine de cette distinction. Toutefois, l’intention de l’auteur n’était certainement pas d’aboutir à une séparation rigide, mais de comprendre les divers champs d’action de l’évaluateur.
29Par voie de conséquence, on cherche à ce que les exécutants mettent correctement en pratique les décisions prises par l’autorité administrative (« sound and efficient management » – gestion rigoureuse et efficace – et concepts similaires). Il ne reste plus à l’évaluation qu’à vérifier si c’est le cas, en utilisant, lorsque c’est possible, divers « dessins d’évaluation » : analyses contrefactuelles, recueil systématique d’indicateurs d’objectifs, de processus et de résultats, techniques de recueil des données au moyen de questionnaires et d’entretiens. Naturellement, pour cela, l’évaluateur doit être extérieur au contexte qu’il évalue et indépendant.
La rationalité limitée et l’approche incrémentale.
30Le modèle de la rationalité limitée est né de la constatation que les choses ne se passent jamais comme le prévoit le modèle de la rationalité synoptique (chose que bon nombre d’évaluateurs sont disposés à admettre) mais que cela est quand même raisonnable. Selon ce mode de pensée, les choses ne se déroulent pas selon la linéarité prévue par la rationalité absolue : les objectifs ne peuvent pas être clairs car ils représentent un moyen terme entre les intérêts de nombreux décideurs ; il serait impossible (et bloquant) de chercher à obtenir toutes les informations nécessaires avant de prendre une décision ; on ne cherche pas à obtenir un résultat « optimum », mais on se contente du « satisfaisant » ; on procède de manière incrémentale ; le contexte influence de manière considérable la mise en œuvre d’une intervention. Il s’agit donc d’une approche des politiques publiques fondée sur le gradualisme, l’incrémentalisme, le « muddling through »27, les rationalités cachées28, le fait de « placer les solutions avant les problèmes »29.
31Malgré tout, les décisions sont prises, les programmes sont mis en œuvre et il est possible d’en évaluer les résultats. En conséquence, il faut s’équiper pour développer des schémas d’évaluation qui réussiront à saisir ce mode de fonctionnement différent des politiques publiques. Le défi est grand pour l’évaluation, qui doit se défaire de ses certitudes et rompre avec l’habitude de reporter les responsabilités sur autrui (« c’est la faute des politiques publiques qui ne peuvent pas être évaluées »).
32Selon ce mode de pensée, la mise en œuvre est considérée comme le moment où le programme, au contact de différents contextes, est redéfini. Cela renvoie au rapport interactif qui existe entre les phases de la politique publique : dans les situations complexes qui caractérisent les interventions sociales (plusieurs niveaux de gouvernance, dimensions multiples des problèmes et nécessaire intégration des politiques publiques, présence de nombreux acteurs sociaux dans une situation différente, superposition de divers intervenants), un certain degré d’incertitude est attendu ; mettre en œuvre signifie réinventer plutôt que d’appliquer servilement une série d’orientations et de directives dictées par l’administration centrale30. La remise en cause de la linéarité définie par la théorie des phases de la politique publique s’apparente donc à un défi lancé au mythe de la séparation entre sphère politique et administration31.
33Les études sur la mise en œuvre auxquelles nous nous référons ont été élaborées à partir des problèmes posés, dans les années 1970, par l’exécution des programmes fédéraux américains de la Great Society (Grande Société). Elles ont identifié deux grands processus survenant durant l’exécution. Le premier est le processus de « mutation »32 : lorsque l’on passe d’un niveau de gouvernement à un autre, d’une administration d’exécution à une autre, sont à l’œuvre des acteurs capables de bloquer ou d’orienter dans une direction donnée l’exécution des politiques publiques, en en modifiant les contenus et en en redéfinissant les objectifs. Le second est le processus d’« adaptation »33 : l’exécution d’une intervention au niveau local peut se faire de manière différente d’un site à l’autre, selon le contexte, la disposition des acteurs, les cultures organisationnelles, etc. À ce propos, Berman34 fait la distinction entre la macro-mise en œuvre et la micro-mise en œuvre.
34Les partisans de l’approche de l’évaluation fondée sur la théorie35 ont clairement reconnu et revendiqué leur parenté avec cette manière de concevoir les politiques publiques. Carol Weiss36 s’est clairement identifiée au mouvement des études d’analyse des politiques publiques conduites par Lindblom et par Wildavsky. Ray Pawson37 fait explicitement référence au même type de littérature (Weiss, Mintzberg, Lindblom). Les approches de l’évaluation fondée sur la théorie ont modifié le cadre de référence et la manière de procéder de nombreux évaluateurs.
35Pawson définit les programmes sociaux comme des « systèmes complexes plongés au milieu de systèmes complexes »38 et en dessine l’anatomie39 : les interventions sont des théories ; les interventions sont actives ; les chaînes d’interventions sont longues et comportent de multiples acteurs ; les chaînes d’interventions ne sont pas linéaires ni unidirectionnelles ; les interventions sont enracinées dans des systèmes sociaux multiples ; les interventions sont perméables et facilement empruntables ; les interventions sont des systèmes ouverts et modifient leurs conditions de fonctionnement initiales.
36Si les objectifs sont confus et si les directives en termes d’exécution ne sont pas claires, il faut reconstruire les théories de fonctionnement possible : ce sont des théories de portée moyenne (Merton), fondées sur l’identification des mécanismes. Mais ces théories ne sont pas seulement celles qui peuvent se cacher dans les plis des documents officiels (écrits au moment de la décision), mais également celles qui sont construites petit à petit par différents acteurs au cours de la mise en œuvre, moment où, justement, les programmes sont redéfinis.
37Le mode de traitement de ce qui survient pendant la phase de mise en œuvre est différent selon les auteurs. Pour Weiss40, il faut développer aussi bien une théorie de la mise en œuvre (à savoir ce qui survient entre les exécutants du programme, et entre eux et les bénéficiaires) qu’une théorie du programme (les mécanismes sociaux, psychologiques, économiques, etc. par lesquels les bénéficiaires du programme modifient leur comportement). Pour Pawson, on pourrait dire que l’attention portée à ce qui survient pendant la phase de la mise en œuvre est implicite dans la manière de considérer le contexte comme une réalité stratifiée, faite des habitudes et comportements de tous ceux qui sont impliqués, des exécutants aux diverses parties prenantes et aux bénéficiaires, et de leurs interrelations. Et le contexte n’est pas un élément gênant à garder sous contrôle, mais l’ensemble des relations sociales qui réagissent au programme.
38Il faut donc chercher à comprendre ce qui est véritablement survenu, indépendamment de ce que l’on attendait, et pourquoi : quels mécanismes, de quel type, font fonctionner les programmes, comment, dans quels contextes ? Pawson et Tilley41 font allusion à la recherche de la « causalité génétique » qui s’oppose à la « causalité séquentielle » de ceux qui s’inspirent du système épidémiologique.
39En conséquence, le « dessin d’évaluation » sera orienté afin de chercher à identifier les théories, les mécanismes et les contextes par le biais de toutes les méthodes d’étude possibles, quantitatives ou qualitatives, inspirées par une logique expérimentale ou herméneutique ; aucune méthode n’est privilégiée, mais toutes les méthodes peuvent être employées si l’on accorde de l’attention aux fins heuristiques que l’on se fixe. La distinction entre l’utilisation des variables modératrices (plus adaptées pour identifier les corrélations liées aux conditions de l’intervention) et celle des variables médiatrices (plus adaptées pour identifier les facteurs de contexte qui peuvent amorcer les processus évolutifs) en est un exemple typique42.
40Ceci renvoie à la question de l’évidence empirique et de la possibilité de généraliser les résultats de l’évaluation. La question à laquelle on peut répondre n’est pas de savoir « ce qui fonctionne bien partout », mais « ce qui fonctionne mieux, où, dans quelles circonstances et pourquoi ». Évidemment, on ne nie pas la possibilité de tirer d’une évaluation des indications utilisables ailleurs ; mais on pense que, pour qu’elles aient une quelconque utilité, les leçons à tirer doivent faire référence aux possibles contextes dans lesquels les programmes ont été exécutés. C’est sur cela que Pawson a fondé sa critique des méthodes de méta-analyse conduites par la Campbell Collaboration. Au recueil de faits cumulatifs sur les effets d’un type d’intervention donné, validé par la normalisation des protocoles, Pawson oppose la méthode de la « synthèse réaliste » qui s’appuie sur la confrontation des mécanismes et qui s’inspire plutôt de la recherche de la vérité par le biais d’une remise en cause continue des théories susceptibles d’expliquer les résultats obtenus par les programmes dans des circonstances données. Et pour marquer davantage la différence, il se réfère justement à Campbell et à sa méthode d’étude fondée sur l’idée que la connaissance est le résultat d’un processus social dans lequel les acteurs se défient pour prouver la validité de leurs théories (« organized distrust produces trustworthy reports », des rapports crédibles basés sur un scepticisme organisé, Campbell43). C’est la raison pour laquelle, selon Pawson44, « Campbell serait préoccupé de voir que la méta-analyse puisse certes être conduite avec une grande précision, mais indépendamment de ce qui s’est réellement produit lors de la mise en œuvre ».
III. QUELLE ARTICULATION ENTRE LES POLITIQUES PUBLIQUES ET LES DIFFÉRENTES APPROCHES DE L’ÉVALUATION ?
41Jusqu’à présent, la recherche en matière d’évaluation n’a pas correctement mis en lumière ces différences, en particulier parce qu’il est difficile de se démarquer de l’adhésion initiale au paradigme de la rationalité synoptique. Mais je crois que l’importance des thèmes soulevés avec l’avènement des politiques publiques fondées sur l’évidence empirique (evidence-based policy) et la diffusion des évaluations effectuées sur la base des réformes prônées par le New Public Management nécessite de s’interroger sur ce qui se cache derrière l’idée qu’il faut faire de « bonnes évaluations » ou employer des « méthodes solides ».
42Notre bref « travelling » nous a montré que les thèmes soulevés (Qu’est-ce qu’une politique publique ? Que signifie l’évaluation des effets ? Comment peut-on généraliser les résultats ?) ont reçu un traitement différent à l’intérieur de cadres de référence aux origines disciplinaires très diverses (voir le tableau récapitulatif ci-après). Ici, nous entendons simplement rappeler certaines conséquences inhérentes aux principales différences et qui concernent la manière de traiter ces thèmes.
La politique publique.
43L’objet de l’évaluation, c’est-à-dire la politique publique, est le point de départ. Le problème est de savoir comment la définir, comment la circonscrire, étant donné sa complexité et le fait qu’elle comporte tant d’aspects et touche tant d’acteurs. Les approches qui s’inspirent des politiques publiques fondées sur l’évidence empirique (evidence-based policy), et qui considèrent celles-ci comme un traitement, sont en mesure de contrôler la complexité. Mais, dans le même temps, elles limitent aussi beaucoup l’éventail des politiques publiques pouvant être évaluées, quitte à tenter de tout réduire au rang de traitement. Les approches qui s’inspirent de la rationalité synoptique, au contraire, adoptent une démarche normative et définissent ce que devraient être les politiques publiques : si les objectifs étaient clairs, ils pourraient être classés par ordre de priorité en fonction de leurs aspects et l’on pourrait élaborer les politiques publiques de façon à ce qu’elles s’intègrent aux diverses composantes d’un programme (les modèles logiques « compliqués » dont parle Rogers45). Les approches relevant de la rationalité limitée se proposent, elles, d’affronter la complexité en partant de ce qui réussit dans le monde réel et en cherchant à suivre les processus émergents et les points de rupture avec leurs modèles « complexes ».
Le contexte.
44Ici surgit le problème de l’influence des facteurs extérieurs au programme. Pour les approches qui s’inspirent des politiques publiques fondées sur l’évidence empirique (evidence-based policy), le contexte constitue une gêne qui empêche la généralisation : il doit donc être sous contrôle, rester inerte. Les approches relevant de la rationalité synoptique sont plus attentives au contexte, surtout parce que c’est de là que viennent les principaux facteurs d’incertitude qui mettent en péril les modèles normatifs. Elles tendent donc à considérer le contexte comme un ensemble de variables modératrices, qui doivent entrer dans le choix du programme à exécuter. Dans les approches fondées sur la rationalité limitée, au contraire, le contexte joue un rôle actif : il est considéré comme un ensemble de relations entre sujets qui réagissent aux programmes et il devient donc partie intégrante des programmes.
La mise en œuvre.
45Pendant longtemps, ce thème a été négligé et considéré comme secondaire par rapport à celui de la décision. Toutefois, de plus en plus de personnes se sont rendu compte que la mise en œuvre est pour le moins une phase fondamentale de la politique publique. Dans les approches qui s’inspirent des politiques publiques fondées sur l’évidence empirique (evidence-based policy), on cherche à la neutraliser : le modèle expérimental s’intéresse à l’« avant » et à l’« après », mais pas au « pendant » ; et l’on tend à considérer pour acquis le fait qu’il y a une seule manière juste (et facile) d’administrer le traitement. Les approches relevant de la rationalité synoptique, au contraire, ont tiré de la théorie des phases et de la séparation entre sphère politique et administration le modèle des rapports « optimaux » entre décision et mise en œuvre, quitte à attribuer, de plus en plus souvent, la cause de l’échec des programmes à la mauvaise mise en œuvre. Ce sont les approches s’inspirant de la rationalité limitée qui donnent la plus grande importance à la mise en œuvre car elles y voient un principe actif : celui qui met un programme en œuvre n’est pas un exécutant, mais quelqu’un qui, même dans une faible mesure et en dépit d’innombrables conflits, peut exercer une forme de pouvoir discrétionnaire (on pense au « street-level bureaucrat » (bureaucrate de terrain) décrit par Lipsky46).
L’effet.
46Découvrir quels effets sont obtenus et s’ils sont positifs ou négatifs, tel est le but de toute évaluation. Ces derniers temps, divers courants ont insisté sur l’évaluation de l’impact : d’une part, certains ont eu la sensation que les programmes ne produisaient pas d’effets positifs ou qu’ils n’en produisaient aucun ; d’autre part, certains ont eu la sensation que de nombreuses évaluations se limitaient à décrire des processus d’exécution, sans s’occuper des résultats obtenus par les politiques publiques47. Les approches qui s’inspirent des politiques publiques fondées sur l’évidence empirique (evidence-based policy) tentent de découvrir l’effet net et l’effet moyen d’un ensemble de programmes similaires. Et elles le font indépendamment de la manière dont ces effets sont produits. Les approches fondées sur la rationalité synoptique tentent également de découvrir l’effet moyen, mais elles cherchent à comprendre si l’effet correspond à l’objectif. Et si ce n’est pas le cas, elles sont plus susceptibles d’en attribuer la faute aux processus d’exécution. Les approches fondées sur la rationalité limitée, au contraire, considèrent les effets comme un résultat à découvrir, qui peut amplement varier en fonction des contextes, des programmes et des mouvements survenus pendant la mise en œuvre.
Notes de bas de page
1 En France, cette question a été étudiée par le sociologue Raymond Boudon, auteur de Effets pervers et ordre social, Paris, PUF, 1977.
2 C’est à cette période qu’ont été élaborées différentes approches d’évaluation : « sur mesure, en fonction du programme » (Rossi P., Freeman H., Evaluation. A Systematic Approach, Beverly Hills, Sage, 1982) et « constructiviste » (Guba E., Lincoln Y., « Fourth Generation Evaluation » in Palumbo D. J. (dir.), The Politics of Program Evaluation, Thousand Oaks, Sage, 1987).
3 Stame N., « Tre approcci principali alla valutazione : distinguere e combinare » in M. Palumbo, Il processo di valutazione : decidere, programmare, valutare, Milan, Angeli, 2001.
4 Fettermann D. M., Kaftarian S. J., Wandersman A. (dir.), Empowerment Evaluation, Thousand Oaks, Sage, 1996.
5 NONIE (Network of Networks on Impact Evaluation) subgroup 2, Impact Evaluation Guidance, http://www.worldbank.org/ieg/nonie/docs/NONIE_SG2.pdf.
6 Donaldson S. A., Christie C. A., Mark M. M. (dir.), What Counts as Credible Evidence in Applied Research and Evaluation Practice ?, Los Angeles, Sage, 2008.
7 Chelimsky E., « Factors Influencing the Choice of Methods in Federal Evaluation Practice », in Julnes G. et Rog D. (dir.), Informing Federal Policies on Evaluation Methodology : Building the Evidence Base for Method Choice in Government, New Directions for Evaluation, n° 113, San Francisco, Jossey Bass, 2007.
8 Rogers P., « Using Programme Theory to Evaluate Complicated and Complex Aspects of Intervention », in Evaluation, vol. 14, n° 1, 2008.
9 Donaldson S. A., Christie C. A., Mark M. M. (dir.), What Counts as Credible Evidence in Applied Research and Evaluation Practice ?, Los Angeles, Sage, 2008.
10 Crozier affirme que les gestionnaires publics s’occupent seulement du rapport entre les objectifs et les moyens, personne ne se préoccupant des résultats, d’où sa proposition sur l’évaluation : Crozier M., État moderne, État modeste, Fayard, Paris, 1987, p. 250.
11 Shadish W., Cook T. et Leviton L., Foundations of Program Evaluation, Beverly Hills, Sage, 1991.
12 Alkin M., Evaluation Roots, Thousand Oaks, Sage, 2004.
13 Oakley (An infrastructure for assessing social and educational intervention : the same or different ?, School of Public Policy, University College, Londres, juillet 1999) fait toutefois une distinction entre le traitement médical qui considère les corps comme des objets et le traitement des politiques sociales qui prend en compte les interactions entre les personnes.
14 Patton (Utilization-focused Evaluation, Beverly Hills, Sage, 1978) fait la distinction entre les sciences naturelles, qui engloberaient l’évaluation expérimentale s’inspirant des méthodes agronomiques, et les sciences humaines (anthropologie), qui englobent les approches constructivistes. À son tour, Tilley (Realistic Evaluation : an Overview, Communication à la conférence fondatrice de la Danish Evaluation Society, 2000) a contesté l’idée selon laquelle la méthode scientifique correspondrait à ce que prônent les disciples de Campbell (expérimentateurs plus ou moins orthodoxes, jusqu’à ceux de la Campbell Collaboration), en invoquant au contraire une univocité de la méthode scientifique qui rapproche la théorie de Campbell de l’épistémologie de Popper (ingénierie sociale fragmentaire). De la même manière, Pawson (« Would Campbell be a member of the Campbell Collaboration ? » in The Evaluator, Londres, 2004) s’est demandé, par provocation, si Campbell aurait adhéré à la Campbell Collaboration et il a répondu que non, rappelant que Campbell avait travaillé une trentaine d’années à une approche qu’il avait nommée « épistémologie évolutive ».
15 Ce classement implique aussi une préférence disciplinaire la statistique étant le pôle positif (reine des méthodes quantitatives) et l’anthropologie le pôle négatif (reine des méthodes qualitatives).
16 Campbell D. T., « Reforms as experiments », American Psychologist, n° 24, 1969.
17 Un groupe observé n’a pas le comportement qu’il aurait en temps normal, la différence étant directement fonction de l’intensité de l’observation.
18 De Leon P., « The Stages Approach to the Policy Process : what has it done ? Where is it going ? », in Sabatier P. A. (dir.), Theories of the Policy Process, Boulder C. O., Westview, 1999.
19 D’Alessio G., L’amministrazione come professionne. I dirigenti pubblici tra spoils system e servizio ai cittadini, Bologne, Il Mulino, 2008.
20 Sabatier P.A., « The Need for Better Theories », in idem, (dir.), Theories of the Policy Process, Boulder CO., Westview, 1999 ; Owens S., Rayner T., Bina O., « New Agendas for appraisal : reflections on theory, practice and research », in Environment and Planning A, vol. 36, 2004.
21 Waldo D., The Administrative State, New Brunswick NJ, Transactions Publishers, 2007.
22 Scriven M., Evaluation Thesaurus, Newbury Park, CA, Sage, 1991.
23 Stake R., Program evaluation, particularly responsive evaluation, occasional paper n° 5, College of Education, Western Michigan University, 1975.
24 Le cas du modèle CIPP (Context, Input, Processes, Products – contexte, intrants, processus, produits) est un bon exemple. Conçu (Stufflebeam D. L., Evaluation as enlightenment for decision-making, Occasional Paper, Colombus, Ohio : Evaluation Center, Ohio State University, 1968) pour évaluer les programmes scolaires innovants, il est devenu une simple base de données de contrôle dans de nombreux systèmes nationaux d’évaluation des écoles.
25 Manski C. F., Garfinkel I., « Introduction », Evaluating Welfare and Training Programs, Cambridge, Mass., Harvard University Press, 1992.
26 Suchman E. A., Evaluative Research. Principles and Practice in Public Service and Social Action Programs, New York, Russel Sage Foundation, 1967.
27 Lindblom C. E. et Woodhouse E. J., The Policy-Making Process, 3e éd., Englewood Cliffs, NJ, Prentice Hall, 1993.
28 Hirschmann A., Exit, Voice, and Loyalty : Responses to Decline in Firms, Organizations, and States (Face au déclin des entreprises et des institutions), Harvard University Press, 1970.
29 Wildavsky A., Speaking Truth to Power, New Brunswick NJ, Transactions Publishers, 1978. À ce sujet, voir aussi Lippi A., La valutazione delle politiche pubbliche, Bologne, Il Mulino, 2007.
30 Palumbo D. J., Harder M. A., « Redefining Policy during Implementation », in Palumbo D. J., Harder M. A (dir.), Implementing Public Policy, Lexington, Mass., Lexington Books, 1981 ; Sharp E. B., « Models of Implementation and Policy Evaluation : choice and its implications » in Palumbo D. J. et Harder M. A. (dir.), Implementing Public Policy, Lexington, Mass., Lexington Book, 1981.
31 Wildavsky A., Speaking Truth to Power, New Brunswick NJ, Transactions Publishers, 1978.
32 Pressman J. R., Wildavsky A., Implementation : How Great Expectations in Washington are Dashed in Oakland, Berkeley, University of California Press, 1974.
33 Sorg J. D., « Pursuing policy optimization by evaluating implementation : notes on the state of the art », in Palumbo D. J., Harder M. A. (dir.), Implementing Public Policy, Lexington, Mass., Lexington Books, 1981.
34 Berman P., « The Study of Macro- and Micro-Implementation », in Social Policy, vol. XXVI, n° 2, printemps, 1978.
35 Les approches de l’évaluation fondée sur la théorie sont nombreuses, avec, notamment, la theory driven evaluation de Chen et Rossi (« Issues in the Theory-driven Perspective », in Evaluation and Program Planning, vol. 12, 1989), la theory-based evaluation de Carol Weiss (« Theory-based Evaluation : Past Present and Future », in Rog D. J. (dir.), Progress and Future Directions in Evaluation, « New Directions for Evaluation », n° 76, San Francisco, Jossey-Bass, 1997) et la realistic evaluation de Pawson et Tilley (Realistic Evaluation, Londres, Sage, 1997). J’ai traité ces différences dans « Theory-based evaluation and varieties of complexity », in Evaluation, vol. 10, n° 2004. Voir aussi Biolcati « Meccanismi e valutazione », in Rassegna Italiana di Valutazione, n° 41, 2009. Il faut ici absolument mettre en évidence le raisonnement de fond qui relie surtout les deux dernières approches citées.
36 Weiss C.H., « Rooting for Evaluation : a Cliff Notes Version of My Work », in Alkin M., Evaluation Roots, Thousand Oaks, Sage, 2004.
37 Pawson R., Evidence Based Policy : the realist synthesis, Londres, Sage, 2006, p. 168.
38 Pawson R., Evidence Based Policy : the realist synthesis, Londres, Sage, 2006, p. 16.
39 Pawson R., Evidence Based Policy : the realist synthesis, Londres, Sage, 2006, p. 26.
40 Weiss C. H., « Theory-based Evaluation : Past Present and Future », in Rog D. J. (dir.), Progress and Future Directions in Evaluation, « New Directions for Evaluation », n° 76, San Francisco, Jossey-Bass, 1997.
41 Pawson R., Tilley N., Realistic Evaluation, Londres, Sage, 1997.
42 Weiss C. H., « Theory-based Evaluation : Past Present and Future », in Rog D. J. (dir.), Progress and Future Directions in Evaluation, « New Directions for Evaluation », n° 76, San Francisco, Jossey-Bass, 1997 ; Mark M. M., « Credible Evidence : Changing the Terms of the Debate », in Donaldson S. A., Christie C. A., Mark M. M. (dir.), What Counts as Credible Evidence in Applied Research and Evaluation Practice ?, Los Angeles, Sage, 2008.
43 Campbell D. T., « Can We Be Scientific in Applied Science ? », in Connor R. F. et Jackson C. (dir.), Evaluation Studies Review Annual, Newbury Park, Sage, 1984.
44 Pawson R. « Would Campbell be a member of the Campbell Collaboration ? » in The Evaluator, hiver, 13, 2004.
45 Rogers P., « Using Programme Theory to Evaluate Complicated and Complex Aspects of Intervention », in Evaluation, vol. 14, n° 1, 2008.
46 Lipsky M., Street-Level Bureaucracy. Dilemmas of the Individual in Public Services, New York, Russel Sage Foundation, 1980.
47 Il suffit de penser aux nombreuses évaluations de grands programmes comme ceux des fonds structurels européens, qui se limitent souvent à expliquer comment les fonds ont été dépensés plutôt que de montrer les changements obtenus à l’aide de ces investissements.
Auteur
Nicoletta Stame est professeur de politique sociale à l’Université La Sapienza de Rome. Ses recherches portent notamment sur la sociologie politique, la sociologie de la famille et l’entreprise familiale, les politiques de développement, l’administration publique, les systèmes de protection sociale. Depuis le début des années 1990, Nicoletta Stame s’intéresse à l’évaluation des politiques publiques. Elle s’est penchée sur les théories et les méthodes d’évaluation dans de nombreux essais et articles. Elle participe à la vie des associations internationales d’évaluation comme l’Association italienne d’évaluation (présidente de 1999-2002), la European Evaluation Society (présidente de 2004-2005), ou l’International Development Evaluation Society (membre de 2002-2003). Elle a fait partie de nombreux programmes d’évaluation, parmi lesquels l’Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne (1999-2003) et l’évaluation a posteriori de la priorité TSI du sixième programme-cadre communautaire de recherche et développement. Elle fait également partie du comité de rédaction de la revue Evaluation. The International Journal of Theory, Research and Practice et du réseau « International Evaluation ».
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Gouverner les territoires
Antagonismes et partenariats entre acteurs publics
Giuseppe Bettoni (dir.)
2011
Les réorganisations administratives
Bilan et perspectives en France et en Europe
Julien Meimon (dir.)
2008
Évaluer les politiques publiques pour améliorer l’action publique
Une perspective internationale
Sylvie Trosa (dir.)
2009
Économie sociale et solidaire
De nouveaux référentiels pour tempérer la crise
Florence Jany-Catrice, Nicolas Matyjasik et Philippe Mazuel (dir.)
2014
L’éthique de la gestion publique
Stratégies nationales et internationales de prévention de la corruption
Marcel Guenoun et Jean-François Adrian (dir.)
2016
Économie sociale et solidaire et État
À la recherche d’un partenariat pour l’action
Jean-Claude Barbier (dir.)
2017
L’avenir des administrations locales en Europe
Leçons tirées de la recherche et de la pratique dans 31 pays
Geert Bouckaert, Sabine Kuhlmann et Christian Schwab (dir.)
2018
Faire preuve par le chiffre ?
Le cas des expérimentations aléatoires en économie
Arthur Jatteau
2020
Encyclopédie du management public
Manel Benzerafa-Alilat, Danièle Lamarque et Gérald Orange (dir.)
2022