Il y a une tradition en économie qui refuse de se prononcer sur la politique et qui prétend décrire le monde tel qu’il est ; mais il y a aussi une tradition normative, dans laquelle notre travail s’inscrit, qui considère que l’économiste dans son domaine particulier a des choses à dire sur la meilleure façon de combler par exemple une défaillance du marché, ou de mieux organiser le fonctionnement d’un service public. Donc on ne s’interdit pas d’avoir des idées. Soit on a des idées nous-mêmes directement, auquel cas on fait des suggestions directement. Soit on utilise la connaissance de l’ensemble du domaine pour évaluer les idées des autres. (Duflo in Mayneris 2009, p. 14)

1Les preuves collectées par le J-PAL sont dédiées aux décideurs politiques des pays en développement. C’est la deuxième partie de la maxime du J-PAL « transformer la recherche en action ». En ce sens, comme le souligne Duflo, le J-PAL porte en lui une vocation prescriptive et ne souhaite donc pas uniquement décrire le réel. La rencontre avec le terrain et les différents partenaires du J-PAL offre à cette approche une dimension politique. Le J-PAL s’inscrit dans le mouvement de la « politique fondée sur les preuves ». Ce mouvement fait suite à un courant, développé en médecine, cherchant à fonder les décisions médicales sur des preuves provenant d’essais cliniques. L’objectif de ce chapitre est de définir la dimension prescriptive du J-PAL ; autrement dit, de définir son second objectif – guider la décision politique à l’aide de preuves.

2Dans le but de définir cette dimension normative, il semble nécessaire d’opérer un double aller-retour avec la médecine. D’une part, il apparaît fructueux de procéder à un premier aller-retour en vue de saisir le lien qui unit les essais cliniques médicaux à la randomisation du J-PAL. Les essais cliniques médicaux fournissent les preuves nécessaires à l’evidence-based medicine, et la randomisation du J-PAL entend faire de même au sein de l’evidence-based policy. Faire ici le parallèle avec la médecine semble alors particulièrement éclairant. D’autre part, il est utile de mener un second aller-retour avec la médecine afin de déterminer précisément ce qui constitue l’evidence-based policy. L’evidence-based medicine étant à l’origine de l’evidence-based policy, s’intéresser à la naissance de ce courant en médecine permet d’en saisir les principaux enjeux qui tendent à tramer ceux de l’evidence-based policy. Ces deux allers-retours avec la médecine offriront un cadre précis afin de définir précisément le rôle du J-PAL au sein de l’evidence-based policy, et donc la dimension normative du laboratoire.

Essais cliniques versus randomisation en économie du développement

3Peter Piot, épidémiologiste et ancien directeur de l’ONUSIDA, a succédé à Esther Duflo à la chaire annuelle du Collège de France « Savoir contre pauvreté ». Il peut paraître étrange qu’un médecin reprenne une chaire sur la pauvreté. Cela l’est moins quand on sait qu’Esther Duflo l’a précédé. La relation entre santé et pauvreté est aujourd’hui explicite. La santé constitue l’un des éléments majeurs du développement, elle est notamment l’un des trois piliers de l’indice de développement humain (IDH). Cela étant, la relation unissant les deux disciplines – la médecine et l’économie du développement – qui traitent de deux objets distincts – la santé et la pauvreté – reste à démontrer. Il a déjà été noté que la randomisation prend son essor au sein des essais cliniques en médecine ; le premier essai clinique mené par Hill et Doll en 1950 a été présenté. Ici, nous nous intéresserons plus particulièrement à l’essai clinique dans son sens moderne, c’est-à-dire rattaché à la thérapeutique. Mon objectif sera de montrer que la randomisation utilisée par les chercheurs du J-PAL a pour vocation de s’approcher au plus près de celle utilisée en médecine ; et donc de s’éloigner de celle utilisée dans les expériences sociales de la seconde moitié du xx^e siècle.

Essai clinique en médecine

4L’objectif d’un essai clinique, cela a été soulevé, est d’évaluer l’efficacité d’un traitement. Bertran Auvert et al. (2005) cherchent, par exemple, à mesurer l’impact de la circoncision dans la transmission du VIH1. À l’inverse de l’essai de Hill et Doll, la randomisation est au cœur de cet essai clinique. La structure est la même que celle définie par Fisher (1960 [1935]) précédemment. Cependant, un essai clinique n’est qu’une partie d’un essai plus large, l’essai thérapeutique.

5La thérapeutique renvoie à la partie de la médecine qui s’intéresse aux moyens de guérir ou soulager les maladies. Un essai thérapeutique vise à tester un de ces moyens particuliers, par exemple un médicament ou une pratique médicale (Masquelet 2006). L’essai clinique est la dimension quantitative de l’essai thérapeutique.

6Un essai thérapeutique est constitué de cinq phases : la phase préclinique puis les phases I à IV. La phase préclinique précède le passage du traitement de l’animal à l’homme, elle vise à définir « l’effet principal du produit ou effet thérapeutique (dose efficace, type de durée de l’effet sur l’organe isolé ou dans différentes espèces animales), son mécanisme (mise en jeu de médiateurs, de récepteurs, etc.), ses effets secondaires (dits indésirables lorsqu’ils sont nocifs) et les doses relatives entraînant effet principal et effets secondaires » (Bouvenot et Vray 2006, p. 2). Cette première phase porte donc particulièrement sur l’évaluation d’un médicament. La phase I renvoie à l’étude de la première administration chez l’homme : « elle vise à déterminer les conditions de tolérance humaine » (Bouvenot et Vray 2006, p. 6). Elle a pour objectif de mettre en évidence les effets secondaires et l’effet du traitement souhaité. Elle est souvent menée sur un groupe d’individus volontaires et sains, si la toxicité du médicament n’est pas trop élevée. Cette phase concerne toujours l’évaluation d’un médicament ou d’une pratique médicale qui pourrait engendrer une certaine toxicité. La phase II étudie spécifiquement l’efficacité du traitement, elle s’adresse alors aussi bien à une pratique médicale qu’à un médicament : « elle vise à déterminer les conditions de l’efficacité et à définir les modalités thérapeutiques optimales » (ibid.). Elle se fait sur un petit groupe d’individus, malades ou sains, et elle a pour principal objectif de déterminer la dose optimale qui sera utilisée dans la phase suivante. La phase III étudie l’efficacité du traitement avec la dose optimale : elle se fait sur un groupe homogène d’individus malades et suit un protocole précis (dépendant de la structure de Fisher). C’est cette phase qui caractérise l’essai clinique. Le but de cette phase est de comparer les effets du traitement. C’est ici que la randomisation a lieu. Parmi la population, deux groupes sont constitués aléatoirement : un qui recevra le traitement et un qui ne recevra rien. La dernière phase, la phase IV, est conduite une fois le traitement terminé et s’intéresse à la mise sur le marché du médicament. Elle a pour principal objectif de déceler des effets secondaires rares et de suivre les effets du traitement à long terme.

7Seule la phase III est un « essai clinique » en tant que tel. Le tableau suivant illustre les différentes phases de l’essai thérapeutique. Et cet essai thérapeutique fait suite à un processus clinique qui a permis de déterminer, à l’aide d’un diagnostic fait en amont, un remède particulier. L’essai thérapeutique ne vise qu’à évaluer ce remède.

8En plus de la structure définie par Fisher, un essai clinique peut être composé de plusieurs études – on en dénombre six. Pour que l’essai clinique soit parfaitement fiable, il faut qu’il englobe la totalité de ces études, même si peu d’essais cliniques parviennent à mener l’ensemble de ces études simultanément. L’étude doit être prospective (1) : elle vise à constituer le scénario des possibles et construit, de ce fait, un contrefactuel. L’étude doit aussi être contrôlée (2), c’est-à-dire qu’elle doit être constituée d’un groupe de contrôle et d’un groupe de traitement ; le fait que l’essai soit contrôlé permet de réduire le biais de confusion. Ce biais traduit la confusion entre les effets du traitement et les conséquences de la maladie. Ensuite, l’étude peut être randomisée (3). On peut aussi mener un essai clinique en aveugle (4). Le patient ne sait pas s’il fait partie du groupe témoin ou du groupe de contrôle, aucun facteur psychologique ne peut donc rentrer en compte. Lorsque l’expérimentateur n’est pas non plus informé des traitements qu’il donne, on parle d’étude en double aveugle. Mener un essai clinique en double aveugle permet de réduire les biais de suivis. Ce biais traduit le fait qu’il pourrait exister une différence de prise en charge entre le groupe de traitement et le groupe de contrôle, compte tenu du fait que le personnel médical connaît le groupe traité. Si tous les acteurs connaissent les différentes appartenances au groupe témoin ou de contrôle, il s’agit d’une étude ouverte. L’étude est dite multicentrique (5) si elle se déroule dans plusieurs lieux au même moment. Enfin l’étude peut être menée « en intention de traiter » (6) : les participants continuent à être étudiés même s’ils ne sont pas allés jusqu’à la fin du protocole, ou d’autres groupes sont ajoutés, pour réduire le biais d’attrition. Un biais d’attribution représente la différence entre les groupes initiaux (lors de la mise en place de l’essai) et les groupes finaux. Cette différence est importante lorsque des individus abandonnent l’essai clinique. Si l’étude n’est pas « en intention de traiter », on parle d’étude per protocole. Pour que l’essai clinique soit le plus « solide » possible, il faut qu’il soit constitué de ces six études. Mais il peut aussi être réalisé par des combinaisons diverses entre ces études. Ronald Fisher a donc défini la structure de ces expériences, qui ont ensuite été couplées à différents types d’études.

9Afin de rendre saillantes les similitudes entre la méthode utilisée par le J-PAL et celle des essais cliniques médicaux, je vais présenter, brièvement, l’essai clinique récent réalisé par Bertran Auvert et al. (2005)2 en Afrique du Sud de juillet 2002 à février 2003, qui vise à évaluer les effets de la circoncision dans la transmission du VIH. L’essai porte sur 3274 hommes âgés de 18 et 24 ans et qui ne sont pas circoncis. Ces 3274 hommes ont été attribués aléatoirement au groupe de contrôle et au groupe de traitement. Au sein de ce dernier groupe, les participants devaient se faire circoncire dans la semaine. L’intervention chirurgicale était financée par l’expérience. Les frais étaient aussi pris en charge pour les participants du groupe de contrôle à la fin de l’expérience (en février 2003). Chaque participant des deux groupes a eu trois visites médicales pendant la période, une au 3^e mois, une autre au 12^e mois et une dernière à la fin de l’expérience, c’est à dire au 21^e mois. Durant ces visites, les participants répondaient à un questionnaire, faisaient une prise de sang, avaient un examen génital puis bénéficiaient d’une consultation individuelle. Durant l’essai, 49 personnes du groupe de contrôle ont contracté le virus du sida alors que dans le groupe de traitement, 20 personnes ont été infectées. Cela revient à dire, selon les auteurs, que la circoncision a empêché six des dix possibles infections. L’essai clinique conclut que la circoncision offre un degré de protection comparable à celui qu’un vaccin aurait (Auvert et al. 2005, p. 1120) L’essai d’Auvert et al., afin de réduire au maximum tous les biais et d’offrir un résultat fiable, est donc à la fois (1) randomisé, (2) contrôlé et (3) prospectif ; permettant d’annuler les biais de sélection et de confusion. Par contre, il n’a pas été (4) multicentrique car il ne s’est réalisé simultanément que dans une région du monde, ici, en Afrique du Sud. L’essai a été mené (5) en intention de traité car certains hommes sont sortis de l’essai et (6) l’étude était ouverte.

Une nouvelle forme d’essai clinique : l’évaluation des programmes d’aide au développement

10La méthode des chercheurs du J-PAL, cela a été soulevé, consiste à placer la randomisation au centre de leur démarche. Mais leur ambition est plus grande :

Le principe général c’est de s’approcher au mieux de la méthode de l’essai clinique. (Duflo in Mayneris 2009, p. 2)

Il faut adosser le développement de la santé et de l’éducation dans le monde à une technologie de l’évaluation et poser la question du choix : comment déterminer la meilleure politique, celle qui sera la plus efficace pour parvenir au but qu’on s’est fixé ? Cette question a des répercussions très concrètes. L’école doit-elle être gratuite ou payante ? Quelle est la taille optimale des classes ? Faut-il construire des centres de santé tout près des villages ou acheminer les malades des zones rurales vers des hôpitaux urbains ? Pour choisir entre différentes options, l’intuition et le raisonnement in abstracto sont des guides bien incertains. La seule solution consiste à tester rigoureusement chacune de ces politiques et à en comparer le prix ainsi que les effets. (Duflo 2010a, p. 16).

11L’analogie entre les essais cliniques médicaux et la démarche du J-PAL (sur cette question voir aussi Favereau 2016a) me permettra de faire un lien explicite entre le mouvement de l’evidence-based medicine et celui de l’evidence-based policy. Afin d’illustrer au mieux les liens entre la randomisation utilisée par les chercheurs du J-PAL et les essais cliniques médicaux, je pars d’une étude randomisée qu’Esther Duflo a menée avec Abhijit Banerjee, Shawn Cole et Leigh Linden (2007) en Inde de 2001 à 2004, avec l’ONG Pratham.

12L’un des deux programmes envisagés par l’ONG consiste à engager des jeunes filles qui ont terminé leurs études secondaires, afin d’aider les enfants en difficulté scolaire – ceux qui n’ont pas acquis les bases de lecture et d’écriture3. Les jeunes filles travaillent avec quinze à vingt élèves en difficulté pendant deux heures chaque semaine. Ce programme avait déjà été mis en place par Pratham en 1998 à Bombay. L’expérience l’évalue, dans un premier temps, de 2001 à 2002, dans une autre ville indienne, à Vadodara. Cinquante-huit écoles parmi les cent vingt-deux que compte la ville participent à cette évaluation. Ces cinquante-huit écoles sont divisées en deux groupes : le groupe A, dont font partie les élèves de degré trois (c’est-à-dire la troisième année d’éducation élémentaire) et le groupe B dont font partie les élèves de degré quatre. À l’intérieur du groupe A, deux groupes sont sélectionnés aléatoirement : l’un recevra le programme (groupe de contrôle) et l’autre ne le recevra pas (groupe témoin). La même sélection aléatoire est faite pour le groupe B.

13Ce programme a été évalué l’année suivante, de 2002 à 2003. Cette fois-ci, l’attribution du programme est inversée : les enfants du groupe A, qui ne recevaient pas le programme, en bénéficient désormais, et ceux qui en bénéficiaient ne le reçoivent plus. Le groupe B subit la même inversion. L’année suivante, de 2003 à 2004, aucun des groupes ne reçoit les programmes. Ce protocole a mesuré l’impact du programme. Il se fonde, tout comme en médecine, sur une étude contrôlée : la population participant à l’évaluation est séparée en deux groupes – l’un de contrôle et l’autre de traitement. C’est aussi une évaluation prospective : elle vise l’avenir, et envisage le « scénario des possibles ». Enfin, elle est faite par randomisation : le programme est assigné à un groupe de façon aléatoire.

14Afin de voir si ce programme était généralisable, il a été évalué, durant la même période et selon le même schéma, à Bombay – la première ville où il avait été mis en place par l’ONG en 1998. Soixante-dix-sept écoles ont été ajoutées à l’évaluation. Les élèves de degré trois constituaient le groupe C. La première moitié, choisie aléatoirement, bénéficiait du programme et l’autre moitié ne le recevait pas. Les élèves de degré deux constituaient le groupe D, dont la moitié également disposait du programme. L’année suivante, comme à Vadodara, ceux qui bénéficiaient du programme n’en bénéficient plus et inversement, et enfin l’année d’après, plus aucun groupe ne le reçoit.

15Les résultats de l’évaluation ont été considérés comme satisfaisants. Mais cette évaluation a rencontré une difficulté majeure : beaucoup d’enfants assignés au groupe qui recevait le programme ne l’ont, en réalité, pas reçu. Les chercheurs ont alors ajouté un troisième groupe, afin de réduire au maximum le biais d’attrition – causé par le fait que certains enfants, en ne recevant pas le programme, étaient en dehors de l’expérience. Ils ont alors mené une étude « en intention de traiter ». On retrouve, avec cette évaluation, cinq des six dimensions qui peuvent constituer un essai clinique : l’expérience de Banerjee, Cole, Duflo et Linden (2007) est prospective, contrôlée, randomisée, multicentrique (l’évaluation a eu lieu simultanément à Bombay et à Vadodara), et elle est faite « en intention de traiter ». Mais elle n’a pu être réalisée en aveugle ou en double aveugle puisque tous les participants étaient informés sur la nature du traitement qu’ils recevaient, ce dernier étant visible4. L’approche du J-PAL, par la nature des évaluations qu’elle mène en économie du développement, s’apparente parfaitement, dans le cas que l’on vient de discuter, à la méthode d’un essai clinique.

16À l’instar des essais cliniques médicaux, la randomisation du J-PAL ne s’apparente qu’à la phase III d’un essai thérapeutique. En effet, les évaluations par assignation aléatoire du J-PAL peuvent évaluer un projet pilote ou un programme déjà existant dans le but de l’étendre. Le projet pilote est la première évaluation d’un programme avant qu’il soit mis en place : « avant qu’un programme ne soit lancé à grande échelle, un projet, nécessairement d’envergure limitée, est souvent mis en place » (Duflo 2005, p. 193). Si les résultats sont jugés satisfaisants, le programme peut être réévalué afin d’être étendu.

17Un des programmes pilotes souvent pris pour exemple par les chercheurs du J-PAL5 est une étude de Banerjee, Jacon et Kremer (2001), menée en Inde avec l’ONG Seva Mandir. Celle-ci désirait évaluer l’impact d’un enseignant supplémentaire dans les centres d’éducation qu’elle avait créés. Le niveau d’absentéisme des élèves et des enseignants étant extrêmement élevé dans les pays en développement, l’objectif du programme était de le réduire afin d’augmenter les performances des élèves. Ce programme a eu un effet sur l’absentéisme mais pas sur les performances :

Le programme a réduit les nombres de jours de fermeture des écoles : les écoles avec un enseignant sont fermées 39 % du temps alors que les écoles avec deux enseignants sont fermées 24 % du temps. L’assiduité des filles a augmenté de 50 %. Cependant, il n’a eu aucune différence dans les résultats de tests. (Duflo 2005, p. 194)

18Ce programme n’a pas été étendu car les résultats ont été jugés trop insuffisants. Si les résultats du programme avaient été jugés satisfaisants, il aurait été réévalué et étendu. Une des limites majeures de cette méthode est de réfléchir uniquement en équilibre partiel, la généralisation est donc souvent problématique6. Lorsque l’on déplace un programme d’une région à une autre, les caractéristiques des individus changent. Un programme qui a été « efficace » dans une région particulière peut s’avérer « inefficace » dans une autre région. La population n’est pas la même, notamment parce que l’environnement social est différent. C’est pourquoi les programmes sont souvent réévalués avant d’être étendus. Il est alors possible, comme en médecine, de mener des études multicentriques – dans plusieurs régions différentes en même temps – afin de renforcer la solidité de l’évaluation et de ses résultats. Sinon, il est possible de mener, dans un premier temps, une évaluation pilote, puis de réévaluer le programme dans d’autres régions : on parle alors d’expansion de projet pilote.

19Duflo (2005) prend comme exemple d’expansion de projet pilote un programme mené par le gouvernement mexicain, le PROGRESA7, dont l’idée était de distribuer des bourses d’études aux jeunes filles en fonction de leur niveau d’assiduité scolaire et de leur capacité à suivre des programmes de mesures préventives (en matière de santé surtout). Le programme, dans un premier temps, a été évalué dans une seule région, sous forme de projet pilote (le budget du gouvernement ne permettait pas de faire plusieurs évaluations en même temps et donc de mener une évaluation multicentrique). Les résultats de ce projet pilote ont été jugés très satisfaisants en matière d’éducation et de santé :

Les enfants connaissent une réduction de 23 % dans l’incidence de la maladie, une augmentation de 1-4 % de leur taille et une réduction de 18 % de l’anémie. Les adultes connaissent une réduction de 19 % du nombre de jours perdus à cause de la maladie. Schultz (2001) trouve une augmentation moyenne de 3,4 % de la scolarisation pour tous les élèves des niveaux 1 à 8 ; l’augmentation était la plus forte parmi les filles ayant obtenu le niveau 6, avec 14,8 %. (Duflo 2005, p. 195)

20Ce programme a été élargi au Mexique, même lorsque le gouvernement a changé en 2000. Les évaluations du J-PAL se font, généralement, en deux étapes principales : le projet pilote et l’expansion du programme. Ces deux étapes s’articulent toujours autour d’une évaluation randomisée. En ce sens, cette approche n’utilise de l’essai thérapeutique que la randomisation, autrement dit la phase III : celle de l’essai clinique. C’est pourquoi les évaluations du J-PAL peuvent être comprises comme des essais cliniques. Il n’y a pas de tests en amont, en laboratoire par exemple (phase pré-clinique), il n’y a pas de détermination de la tolérance du traitement et de ses modalités thérapeutiques (phase I et II) et il n’y a pas de suivi du programme à long terme (phase IV), qui pourrait mettre en évidence des effets non visibles à court terme. La nouvelle forme d’essai clinique que développent le J-PAL et les autres chercheurs du J-PAL emprunte à la médecine la totalité de ce qui caractérise un essai clinique – les différents types d’études possibles et une seule des phases de l’essai thérapeutique. L’approche du J-PAL n’est donc pas seulement analogue aux essais cliniques médicaux : elle est en elle-même un essai clinique. Elle s’en distingue par l’objet qu’elle étudie – la pauvreté – et par le fait que la randomisation n’est pas encastrée dans un processus plus large comme l’est l’essai clinique médical au sein de l’essai thérapeutique. C’est pourquoi je parle de nouvelle forme d’essai clinique.

De l’evidence-based medicine à l’evidence-based policy

21Les essais cliniques sont devenus un élément central du mouvement de l’evidence-based médicine, au début des années 1990. Ce terme renvoie à deux impératifs. Le premier est de s’intéresser à des preuves scientifiques (c’est ici que les essais cliniques jouent un rôle central). Le second impératif est clinique, avoir conscience de la spécificité de chaque patient et donc posséder une expertise clinique. Cet aspect permet, pour Sackett (un des fondateurs de l’evidence-based médicine) d’éviter de donner aux preuves la première position et donc d’oublier le rôle du patient. Ce mouvement de la médecine fondée sur les preuves a ensuite donné lieu à un mouvement similaire ; mais, cette fois-ci, dans le domaine politique : l’evidence-based policy. L’idée est la même qu’en médecine, il s’agit de fonder les décisions politiques sur des preuves. C’est donc le lien entre evidence-based medicine et evidence-based policy qui m’intéressera ici. D’une part, car il permet de saisir les fondements de l’evidence-based policy ; et, d’autre part en ce qu’il permet d’éclairer une des volontés du J-PAL – guider la décision politique. J’opérerai alors, encore une fois, un aller-retour avec la médecine.

Le paradigme de la médecine fondée sur les preuves

22Le terme evidence-based medicine a été utilisé pour la première fois par Gordon Guyatt (1991) pour caractériser l’utilisation de preuves scientifiques dans la pratique de la médecine quotidienne. Cependant, c’est un texte écrit par une trentaine de chercheurs en 1992 (voir Guyatt et al. 1992) qui institue la médecine fondée sur les preuves. Ce texte est tiré des résultats d’un groupe de travail, l’Evidence-based Medicine Working Group, dont l’une des figures principales est David Sackett. Ce groupe de travail définit l’evidence-based medicine comme l’utilisation de preuves afin de prendre les décisions les plus pertinentes pour le patient :

La médecine fondée sur les preuves est l’utilisation consciencieuse, explicite et judicieuse des meilleures preuves dans la prise de décision au sujet du soin des patients. (Sackett et al. 1996, p. 71, ma traduction)

23Ce mouvement lance alors un nouveau paradigme, dont un des objectifs est de contrecarrer la faible utilisation des connaissances scientifiques dans la pratique de la médecine en unissant la médecine de ville et la médecine scientifique. En effet, de nombreuses enquêtes réalisées auprès de médecins généralistes ont montré que la plupart d’entre eux n’avaient pas connaissance des avancées scientifiques médicales. Leurs pratiques quotidiennes de la médecine se rapprochent alors plus de la routine et se fondent sur leurs anciennes connaissances universitaires, qui n’ont malheureusement pas été réactualisées. Cette situation est alors dommageable pour les patients, qui ne peuvent pas bénéficier des avancées médicales :

Les patients n’avaient donc pas la garantie de profiter du traitement le plus adéquat, ni de bénéficier d’une information complète sur les solutions thérapeutiques disponibles et sur leur efficacité. Mais les médecins interrogés ont fait valoir qu’il leur était impossible de suivre une littérature scientifique toujours plus foisonnante, d’en faire des synthèses, d’en actualiser les critiques et d’en évaluer l’efficacité pour la pratique clinique. (Laurent et al. 2009, p. 855)

24C’est paradoxalement l’abondance d’avancées scientifiques, dans des domaines divers, et la littérature toujours croissante qui tendent à rendre la pratique quotidienne de la médecine plus routinière ; car il semble trop ardu d’obtenir une information précise au sein d’une abondance d’informations. Les initiateurs du mouvement de la médecine fondée sur les preuves, dans le but de rendre cette pratique plus « solide », mettent en avant plusieurs types d’actions à réaliser. Tout d’abord, ils proposent de transformer la formation universitaire en sensibilisant les futurs médecins à la recherche scientifique (1). Afin que les médecins ne soient plus noyés dans une littérature trop importante, ils envisagent de créer des analyses synthétiques (2) sur l’état des connaissances pour des questions précises. Pour que la qualité des « preuves » soit commune et donc unifiée, les initiateurs du mouvement de la médecine fondée sur les preuves expliquent que les critères de qualité des preuves doivent être rendus explicites (3). Enfin, pour faciliter l’accès à ces analyses synthétiques, ils proposent de mettre en place une organisation collective (4).

25La naissance de la médecine fondée sur les preuves est due à un manque d’accès à la connaissance scientifique, rendue trop opaque par sa précision et son abondance. La médecine scientifique a donc pour objectif de rendre possible cet accès, pour que la pratique médicale quotidienne devienne plus rigoureuse, que chaque décision médicale soit étayée scientifiquement. Il est alors nécessaire de trouver un moyen d’unir la médecine de ville à la médecine scientifique. La médecine fondée sur les preuves se conjugue ainsi autour de trois points : (1) l’expertise du clinicien, (2) le patient et (3) les données cliniques scientifiques. L’expertise du clinicien relève de la pratique propre de chaque clinicien et se définit par son interaction avec le patient. Les preuves scientifiques (3) sont offertes par la recherche médicale et sont classées selon une hiérarchie précise (que je développerai plus loin). Mais elles se fondent aussi sur les examens cliniques réalisés par le clinicien. Ici, le lien entre la recherche médicale et sa pratique apparaît saillant.

26Pour rendre compte de ces trois points, la médecine fondée sur les preuves se déroule en quatre étapes8. Tout d’abord, il faut formuler (1) une question clinique claire à partir d’un problème bien défini. Afin de répondre au mieux à cette question, la deuxième étape suggère (2) de procéder à une analyse de la littérature scientifique sur le sujet et, ensuite, (3) d’évaluer la validité des résultats, autrement dit de déterminer le niveau et la solidité de la preuve. La dernière étape est (4) d’utiliser les résultats cliniques en vue d’une prise en charge personnalisée du patient.

27La formulation d’une question clinique précise (1) se fonde sur le modèle PICO, élaboré par la collaboration Cochrane9. Le modèle PICO permet de traduire quatre questions distinctes. La première question relève du patient et de ses caractéristiques (P) ; la deuxième de l’intervention (I), demandant alors ce qui va être fait ou envisagé ; la troisième est la comparaison (C) de l’efficacité par rapport à une autre intervention ; et enfin, la quatrième concerne les résultats des études cliniques (O pour outcomes). Pour procéder à l’analyse des résultats scientifiques (2) beaucoup de ressources sont disponibles. De nombreuses bases de données ont été créées afin de centraliser les informations scientifiques disponibles et donc d’offrir différentes bases de données10. L’évaluation de la preuve (3) se fait selon une hiérarchie très précise, définie par des hautes autorités, sur lesquelles nous reviendrons plus en détail. Avant cela, il convient de discuter la prise en charge personnalisée du patient (4), qui renvoie à son choix. Autrement dit, la décision médicale est prise par le patient ; mais ce dernier ne possède pas toute l’information, généralement, ses connaissances médicales sont nettement moins importantes que celles du médecin. Cette décision est donc, bien souvent, orientée par le point de vue du médecin. La participation du patient varie d’ailleurs beaucoup selon les patients, le stade de la maladie, etc.

28Il existe plusieurs niveaux de preuve11. Comme cela a été vu, l’essai clinique est une partie d’un essai plus large, l’essai thérapeutique. Il y a alors une graduation du niveau de la preuve pour l’essai clinique et une graduation pour l’essai thérapeutique. Pour l’essai clinique, les preuves les plus « solides » proviennent de données publiées dans des revues scientifiques dont les résultats sont tirés d’au moins une étude randomisée ou de méta-analyses d’essais randomisés. Un niveau plus faible de preuve, mais toujours fortement valide, est fourni par des données publiées dans des revues scientifiques mais dont les résultats, cette fois-ci, ne proviennent pas d’études randomisées mais d’études de cohorte ou d’études de cas-contrôle12. Enfin, le dernier niveau de preuve pour un essai clinique se fait sur la base d’analyses d’experts, se fondant sur d’autres données disponibles, qui ont elles aussi été publiées dans un journal scientifique à comité de lecture. On voit alors nettement apparaître la valeur de scientificité contemporaine qui est associée à la randomisation en médecine. Concernant les essais thérapeutiques et les recommandations qui en découlent, le niveau de preuve est défini par la Haute Autorité de santé. Il existe alors quatre niveaux de preuve. Le niveau 1 (NP1) s’appuie sur des essais randomisés de « forte puissance », c’est-à-dire réalisés sur un échantillon large ; ce qui signifie que le résultat est « prouvé ». Le niveau 2 (NP2) s’appuie sur des essais randomisés où l’échantillon est trop petit ou sur des études de cohorte, ce qui donne un caractère « probable » à la preuve. Le niveau 3 (NP3) se fonde sur des cas-témoins et la preuve y est considérée comme « acceptée ». Enfin, le niveau 4 (NP4) est caractérisé par des études comparatives comprenant beaucoup de biais, comme les études rétrospectives ou les séries de cas. Les niveaux de preuve, pour l’essai thérapeutique et clinique, sont, en fait, pratiquement semblables.

29Malgré son poids de plus en plus dominant en médecine, l’evidence-based medicine connaît aussi des détracteurs. Trois principales critiques lui sont adressées. Il arrive que (1) les preuves n’existent pas sur un thème particulier, dès lors cette pratique devient impossible. Il apparaît parfois difficile (2) d’appliquer les conclusions provenant d’études rigoureuses à un individu particulier, c’est-à-dire à un patient précis. Les preuves tirées d’essais cliniques, par exemple, se fondent sur des modèles statistiques au sein desquels la pathologie n’est pas envisagée du point de vue de l’individu, mais du point de vue d’un groupe. Ces études s’appliquent donc à des « patients standards », mais ces derniers peuvent s’écarter très largement du patient précis qui doit être traité ; les études randomisées ne prennent pas en compte les dimensions contextuelles propres à chaque individu. À ces deux premières objections, s’en ajoute une troisième : (3) il n’existe pas de preuves concernant tous les actes cliniques. C’est pourquoi, selon le chercheur en médecine Christopher Naylor, il existe alors des « zones grises » :

L’art du soin pour les patients peut se développer non pas seulement dans les zones grises où les preuves scientifiques sont incomplètes ou contradictoires mais aussi dans la reconnaissance que ce qui est noir ou blanc dans l’abstrait peut rapidement devenir gris en pratique puisque les cliniciens cherchent à satisfaire les besoins de leurs patients. (Naylor 1995, p. 841, ma traduction)

30Un des enjeux est donc de parvenir à envisager l’evidence-based medicine dans une perspective à la fois institutionnelle et individuelle, c’est-à-dire adaptée à un patient particulier.

L’evidence-based policy ou la politique de la preuve

31L’evidence-based policy s’inspire directement de la médecine fondée sur les preuves. L’objectif est, cette fois-ci, d’éclairer la décision politique en la fondant sur des preuves. L’evidence-based policy a été popularisée par le gouvernement de Tony Blair, en Angleterre, au début des années 2000 (voir Banks 2009). Souhaitant rompre avec le gouvernement de Margaret Thatcher, Tony Blair lance un vaste programme d’évaluation des politiques publiques. Ce programme cherche à évaluer un ensemble de politiques comme le New Deal for Communities, l’Employment New Deal, On Track et Sure Start et le Children’s Fund. Ces programmes ont en commun de viser une évaluation de grande envergure. Les États-Unis représentent aussi un pôle important dans l’evidence-based policy (voir Head 2009). Un autre pays où l’evidence-based policy s’est fortement développée est l’Australie. Le premier ministre y a annoncé en avril 2008 qu’il existait pour lui un lien très fort entre l’evidence-based policy et une bonne gouvernance (voir Rudd 2008). Les implications pratiques doivent encore être mises en place mais le rôle de l’evidence-based policy est ici clairement lancé. L’evidence-based policy connaît un fort rayonnement dans les pays anglophones mais peu dans les pays non anglophones :

Dans nombre de pays non anglophones, comme la France, les discussions sur ces approches sont ignorées ou occultées. En France, les recherches sur les relations entre science et décision publique sont en grande partie des travaux relevant de la sociologie des sciences. (Laurent et al. 2009, p. 858)

32Même si l’evidence-based policy ne connaît pas le même rayonnement en France que dans les pays anglophones, le haut commissariat aux Solidarités actives de Martin Hirsch a tenté d’offrir à cette dernière un écho similaire. Ce mouvement montre que la recherche et l’évaluation sont appréciées par les décideurs politiques, poussant chacune des disciplines engagées à faire un effort : les chercheurs doivent adopter une perspective plus compréhensive et les décideurs politiques, s’engager en matière d’évaluation.

33Il est difficile de définir précisément ce qu’est l’evidence-based policy, car l’idée de fonder les décisions politiques sur des preuves scientifiques peut recouvrir différentes façons de procéder13. Pour Gary Banks (2009), il y a cinq « ingrédients » essentiels à l’evidence-based policy. Ces cinq ingrédients permettent alors d’en donner une définition précise. Le premier ingrédient est la méthode, l’evidence-based policy se fonde sur une méthode rigoureuse. Un deuxième ingrédient est caractérisé par l’existence de données. Il faut pour mesurer l’impact d’une politique qu’on puisse utiliser des données disponibles. Les interventions politiques ont toujours des effets sur plusieurs dimensions, l’identification peut alors être difficile. Les données permettent, déjà, d’avoir une vue un peu plus précise. Obtenir ces données peut être compliqué et on peut rencontrer certains problèmes qui rendent, de ce fait, la force de la preuve plus faible. Le troisième ingrédient est la transparence. Pour Banks (2009), de nombreuses analyses politiques sont menées de façon extrêmement opaque, en effet « une grande partie de l’analyse politique […] se réalise derrière des portes fermées » (Banks 2009, p. 14, ma traduction). La transparence implique de regarder de près les méthodes utilisées, les hypothèses sous-jacentes et les données pour que l’évaluation puisse être répliquée. Il est aussi intéressant de prendre en compte le retour des personnes concernées par le programme, de ne pas s’en tenir qu’aux points de vue des experts. Le problème est que cette transparence n’est pas toujours possible car elle implique du temps et de l’énergie qui ralentissent le processus de prise de décision, ce qui traduit le troisième « ingrédient » de l’evidence-based policy : cette dernière prend du temps. On constate ici une contradiction entre le point de vue du chercheur sur le besoin de « bonnes preuves » et le point de vue de l’homme politique qui lui est pressé par le temps. Le quatrième « ingrédient » est l’importance de l’expertise. Les personnes qui fournissent les preuves peuvent être variées, cela peut être des consultants, des personnes travaillant pour le gouvernement ou des chercheurs. Les experts peuvent, alors, être très divers. Le dernier point est considéré par Banks comme le plus important, le processus de prise de décision politique doit être « réceptif à la preuve ». Il doit s’agir d’un processus qui part d’une question et non pas d’une réponse.

34De plus, l’evidence-based policy ou plus largement l’idée d’evidence-based decision s’applique à des disciplines très diverses comme l’éducation, la santé, les transports, ou encore la criminologie. Tout cela explique qu’il existe plusieurs méthodes fondées sur des faits pour éclairer la décision politique. Les études peuvent être qualitatives ou quantitatives. Les méthodes quantitatives relèvent d’approches plurielles comme l’anthropologie ou l’ethnographie et se fondent majoritairement sur des entretiens. Les méthodes quantitatives sont variées, elles peuvent s’apparenter à des expériences dont l’illustration est la randomisation, ou être quasi expérimentales. Pour autant, ces différentes méthodes partagent toutes les caractéristiques suivantes. (1) Elles visent toutes à tester une théorie ou une proposition. (2) Elles utilisent toutes un contrefactuel. (3) Elles impliquent une quantification de l’impact évalué. (4) Elles s’intéressent à la fois aux effets directs du programme et à ces effets indirects. Elles construisent une structure permettant de contrecarrer les autres facteurs qui peuvent rentrer en compte dans les variables observées (bien souvent la mise en place d’un groupe de contrôle). (5) Cette structure leur permet ainsi d’éviter certains biais. (6) Enfin, elles peuvent être répliquées par un tiers.

35L’evidence-based policy peut donc s’apparenter à une pluralité de méthodes. Pour autant, ces différentes méthodes se retrouvent sur de nombreuses caractéristiques ; et bien souvent l’evidence-based policy est matérialisée par une analyse coût/bénéfices.

36Plusieurs types de preuves peuvent être définies (voir Laurent et al. 2009) : des « preuves d’existence », des « preuves de causalité », des « preuves d’efficacité », des « preuves d’innocuité ». Les premières, les « preuves d’existence », prouvent que quelque chose existe. Elles peuvent être « [des] observations naturalistes pour inscrire des espèces dans un inventaire utilisable pour la gestion de la biodiversité, [des] recensements pour dénombrer une population » (ibid., p. 865). Les « preuves de causalité » visent à rendre compte d’une relation causale entre deux éléments, « par exemple, toutes choses égales par ailleurs, deux pratiques de pâturage distinctes ont des effets différents observables de façon répétée au moyen d’indicateurs de biodiversité des prairies concernées » (ibid.). Les « preuves d’efficacité »14 démontrent que le programme évalué a les effets souhaités, par exemple une mesure budgétaire qui parvient effectivement à réduire le déficit. Enfin, les « preuves d’innocuité » montrent que l’intervention n’a aucun effet négatif, par exemple une politique de taxation qui n’a pas d’effets négatifs sur la consommation des ménages. Ces preuves renvoient donc à des actions particulières, elles ne cherchent pas à prouver la même chose ; les séparer peut être important car cela permet de distinguer des phénomènes qui parfois s’entremêlent.

37En evidence-based medicine, comme cela a été développé, les preuves sont hiérarchisées et impliquent des recommandations particulières. Les niveaux de preuve en evidence-based policy sont moins clairs. Laurent et al. (2009) ont tenté de transposer le système de hiérarchie des preuves de l’evidence-based medicine à celui de l’evidence-based policy. L’essai contrôlé randomisé retrouve alors la même place et garde, une fois de plus, le statut de gold standard. Nancy Cartwright, en reprenant les règles du Maryland, qui hiérarchise les preuves en criminologie, les classe en quatre groupes15. La première catégorie, (1) works, doit relever d’au moins deux études faites à l’aide d’une méthode rigoureuse. La deuxième catégorie, (2) does not work, doit, comme la première, relever d’au moins deux études faites à l’aide d’une méthode rigoureuse. La troisième, (3) promising, doit contenir au moins une étude s’appuyant sur une méthode rigoureuse. Et enfin, la quatrième, (4) don’t know, contient les preuves empiriques qui ne rentrent dans aucune des trois autres catégories. L’objectif de l’evidence-based policy est donc de parvenir à utiliser la preuve après hiérarchisation. Elle implique un lien étroit entre le producteur de preuves (les chercheurs) et ses utilisateurs (les décideurs politiques).

Le J-PAL et l’evidence-based policy

38Le J-PAL s’insère dans le mouvement d’evidence-based policy. Il a un rôle de producteur de preuves et il cherche à rendre ces preuves disponibles pour la décision politique. Dans ce but, il procède à des synthèses de résultats à destination des décideurs politiques. La pierre angulaire de l’evidence-based policy est ici saillante : la production et l’utilisation de preuves. Afin de rendre clairement compte de ces deux objectifs, le J-PAL sépare ses publications en deux niveaux : les publications académiques et les « mallettes politiques ». Les premières renvoient directement à la production de preuves et détaillent les expériences ainsi que leurs résultats. Elles sont à destination, principalement, des chercheurs, car publiées dans des revues académiques. À partir de ces publications, le J-PAL choisit de réaliser des analyses coûts/efficacité qui permettent de résumer les effets des différents programmes et de les mettre en lien avec leurs coûts ; cela afin que les décideurs politiques aient la possibilité de choisir entre différents programmes en fonction de leur budget et des effets souhaités. Ces analyses coûts/efficacité sont ensuite traduites sous forme de « mallettes politiques » à destination des décideurs politiques. Elles représentent une synthèse des analyses coûts/efficacité et ont un format court et simplifié. Il y a donc ici trois dimensions : les publications académiques, les analyses coûts/efficacité et les publications politiques.

Publications académiques et biais de publication : le rôle des agences politiques

39Les différentes expériences menées par le J-PAL, une fois terminées, sont publiées et font office de publications académiques. Ces expériences sont, majoritairement, publiées dans les meilleures revues économiques, comme l’American Economic Journal et tendent, désormais, à définir ce qui se fait de « mieux » en économie du développement. Le rôle de gold standard méthodologique attribué à la randomisation y est sans doute pour beaucoup. Mais une des principales explications me semble être l’organisation que choisit le J-PAL pour rendre ses résultats accessibles tant aux chercheurs qu’aux politiciens. En publiant dans les meilleures revues académiques, le J-PAL connaît alors une reconnaissance scientifique forte. Pour autant, ces publications relèvent d’évaluations diverses et provenant de domaines particuliers. Les résultats des évaluations apparaissent souvent trop éclatés les uns des autres et sont toujours rattachés à une publication particulière. Il apparaît difficile pour les décideurs politiques comme pour les chercheurs de s’y retrouver.

40Afin de contrecarrer cela, les chercheurs du J-PAL classent leurs résultats en fonction de sept domaines : l’agriculture, la santé, l’éducation, le marché du travail, l’économie politique et la gouvernance, l’environnement, et la micro-finance. Il est intéressant de noter que chacune des personnes ayant un rôle dans la direction du J-PAL est directeur d’un de ces domaines. Les publications du J-PAL relevant de l’agriculture renvoient à des évaluations de programmes qui ont pour objectif de faciliter l’accès à de nouvelles technologies, afin que l’agriculture devienne un domaine plus rentable pour les pauvres. Des programmes cherchant à promouvoir ce type de stratégies sont donc évalués. Les programmes envisagés partent de résultats d’expériences précédentes, montrant que lorsque les enfants vont à l’école, ils apprennent en fait peu de choses. Les programmes évalués visent ainsi à améliorer la qualité de l’éducation. En matière d’environnement et d’énergie, l’objectif des programmes est de montrer les bénéfices que l’on peut tirer de la qualité environnementale en matière de santé et de bien-être. Les programmes concernant la finance tentent de favoriser l’accès au financement pour les pauvres. En matière de santé, les différents programmes visent à promouvoir l’amélioration de la santé dans la réduction de la pauvreté. Concernant le marché du travail, le J-PAL ne définit pas ce qu’il entend par ce terme, et ce qu’il veut y évaluer. Les programmes relevant de l’économie politique regroupent des initiatives tentant de comprendre les déterminants de la participation politique citoyenne ainsi que l’impact de la corruption. Chaque publication est donc rapportée à un domaine spécifique, et ce domaine cherche à évaluer des programmes dans un but précis.

41Cependant, tout comme en médecine, les revues académiques ne tirent que peu d’intérêts à publier des résultats d’expériences randomisées négatifs. De plus, ces revues cherchent aussi à publier des résultats originaux et dont la validité statistique est importante. Cette originalité peut être due aux programmes qui sont évalués, ou aux résultats qui apparaissent contre-intuitifs. Ces problèmes définissent le biais de publication. Les chercheurs du J-PAL sont sensibles à ces problèmes (voir par exemple sur cette question, Duflo, Glennerster et Kremer 2007, p. 3909).

42Le biais de publication est un biais très important car il tend à orienter la recherche vers ce qui apparaît être « publiable ». Il peut laisser de côté des évaluations dont le thème semble trop simpliste, alors que les résultats de ces évaluations peuvent être essentiels pour guider la décision politique. Les résultats non positifs sont presque aussi intéressants que les résultats positifs, car, pour les chercheurs du J-PAL, le but n’est pas uniquement de déterminer ce qui « fonctionne » mais aussi ce qui « ne fonctionne pas » pour lutter contre la pauvreté. Un résultat négatif dit presque autant de choses qu’un résultat positif en matière de lutte contre la pauvreté. De plus, comme Duflo le souligne, au biais de publication s’ajoute un biais de citation. Les expériences dont les résultats sont solides statistiquement tendent à être plus citées, offrant alors un rayonnement plus important. Ces biais sont un problème pour les études randomisées ; mais selon Duflo, il y a plus de chances encore que les évaluations d’impact rétrospectives16 soient manipulées en vue d’une publication :

Le biais de publication a des chances d’être un problème particulier concernant les études rétrospectives. Ex post, les chercheurs ou les évaluateurs définissent leur propre groupe de comparaison et devraient alors être capables de choisir une variété de groupes de comparaison plausibles ; en particulier, les chercheurs obtenant des résultats négatifs avec des techniques rétrospectives vont probablement tenter des approches différentes, ou ne pas publier. […] À l’opposé, les évaluations par assignation aléatoire s’engagent à l’avance avec un groupe de comparaison particulier : une fois que le travail de mener une évaluation par assignation aléatoire prospective est effectué, les résultats sont d’ordinaire documentés et publiés même si les résultats suggèrent des effets plutôt modestes voire même aucun effet du tout. (Duflo 2005, p. 210-211)

43Le biais de publication est donc moins présent dans les études randomisées que dans les études rétrospectives, mais il se peut que les résultats d’évaluations randomisées ne soient pas publiés, ce que le « d’ordinaire » suggère. C’est pourquoi Duflo accorde un rôle important aux agences internationales dans la réduction de ce biais. Ce rôle passe, pour Duflo, par la création d’une base de données qui regrouperait toutes les évaluations menées :

Dans l’idéal, la base de données inclurait toute information qui pourrait être utile à l’interprétation des résultats (estimations, taille de l’échantillon, région et époque, type de projet, coût, analyse coûts-bénéfice, avertissements, etc.) ainsi que les références aux études en rapport. La base de données pourrait inclure à la fois les évaluations d’impact avec et sans assignation aléatoire satisfaisant certains critères à condition que les différents types d’évaluation soient clairement libellés. Les évaluations devraient satisfaire des exigences de rapport minimum pour être incluses dans la base de données et tous les projets supportés par l’unité devraient être inclus dans la base de données quels que soient leurs résultats. (Duflo 2005, p. 222)

44Les agences internationales en ayant un rôle centralisateur permettraient de réduire ce biais de publication car elles rendraient compte de tous les résultats, à travers l’existence d’une base de données, dans la droite lignée des bases de données déjà existantes en médecine, qui cherchent à centraliser les différents résultats provenant d’essais cliniques.

Les analyses coûts/efficacité

45Tout comme en médecine, beaucoup de preuves existent sur des thèmes différents, il est alors difficile pour les décideurs politiques de s’y retrouver. Un des moyens de pallier cela consiste à mener des analyses synthétiques ; par exemple des analyses coûts/efficacité, qui comparent les effets et les coûts de programmes différents visant un même objectif. Selon Duflo, cette façon de procéder se fait rare en économie du développement, il faut alors la développer. C’est ce que les chercheurs du J-PAL proposent afin de créer une collaboration étroite entre les chercheurs et les décideurs politiques. Il existe une autre façon de mener des analyses synthétiques, pour orienter les décideurs politiques : les analyses coûts/bénéfices. Dans ce type d’analyse, l’objectif est de mettre ensemble les différents bénéfices d’un programme en les rapportant à une dimension commune : la dimension monétaire. L’un des principaux avantages de cette approche est de pouvoir rendre compte des effets d’un programme qui a plusieurs objectifs, comme la construction d’infrastructure, par exemple. Comme le souligne Duflo, l’avantage des analyses coûts/efficacité par rapport aux analyses coûts/bénéfices est qu’il laisse le décideur politique libre de choisir entre plusieurs programmes en fonction de leurs coûts et de leurs différents apports. C’est pourquoi les chercheurs du J-PAL privilégient les analyses coûts/efficacité pour synthétiser leurs résultats.

46Le but de ce type d’analyse consiste à comparer l’impact de différents programmes en les ramenant à leurs coûts. Ces analyses permettent de résumer clairement les effets d’un programme et offrent une mesure commune pour comparer différents programmes ; ce qui fait d’elles un outil important de la prise de décision politique. Comme cela a déjà été souligné, les évaluations du J-PAL visent des programmes locaux, c’est pourquoi :

La méthodologie qui est adoptée dans les exemples donnés ici (et par le J-PAL en tant qu’organisation) est à destination d’une audience de décideurs politiques au sein de gouvernements, de fondations, d’agences internationales pour le développement et d’ONG qui ont un objectif spécifique de politiques à mettre en place et qui essayent de choisir entre plusieurs options en vue d’atteindre cet objectif. Nous n’essayons pas d’aider le premier ministre d’un pays, ou le président d’une fondation à décider s’il faut investir dans l’éducation ou bien dans la santé […] à la place nous prenons la perspective, par exemple, du premier ministre indien, ou d’un agent en charge d’un programme d’éducation, qui cherche à maximiser l’impact d’un objectif particulier, comme augmenter la présence des élèves avec une contrainte budgétaire. (Dhaliwal, Duflo, Glennerster et Tulloch 2013, p. 293, ma traduction)

47L’idée du J-PAL est donc d’aider des décideurs politiques sur des objectifs précis et particuliers, non pas de réfléchir avec les décideurs politiques à des « solutions » sur des problèmes plus généraux. Les analyses coûts/efficacité impliquent cependant plusieurs défis et une méthode particulière. Le premier enjeu est donc de fournir un élément de comparabilité entre les différents programmes qui visent un objectif similaire. Cet élément est le coût. Dans un deuxième temps, il faut parvenir à quantifier l’impact des programmes évalués.

48L’un des premiers problèmes est donc de quantifier l’impact des programmes. Par exemple, comment faire lorsque les programmes ont plusieurs effets ? Une analyse coûts/efficacité se centre sur un impact particulier, il est alors difficile de rendre compte des impacts qui ont plusieurs effets et dans ce cas il est plus intéressant de mener une analyse coûts/bénéfices. Une des solutions envisagées par Duflo est de comprendre le programme comme un package, autrement dit un ensemble qui a différents effets. On ramène alors tous ces différents effets à une même unité. Un autre problème est de savoir à partir de quelle estimation on intègre un programme dans l’analyse coûts/efficacité. Autrement dit, à partir de quel niveau une estimation est jugée positive ou négative, à partir de quel critère une estimation est jugée significative. Le J-PAL juge qu’une estimation est significative à 10 % (voir Dhaliwal, Duflo, Glennerster et Tulloch 2013, p. 298). Une autre source de problèmes pour l’estimation de l’impact est liée à l’existence d’externalités. Un programme peut générer des effets positifs et négatifs au sein de populations qui ne bénéficient pas, ou pas encore, du programme. Ces externalités doivent-elles être prises en compte ? Le cas échéant, comment les prendre en compte et les intégrer à l’analyse ? Pour cette question, les chercheurs du J-PAL décident ou non d’intégrer les externalités existantes si jamais le programme est élargi à une population plus vaste (ibid.). Une fois les impacts pris en compte déterminés, il reste alors à les agréger pour obtenir l’impact total du programme. Pour ce faire, les chercheurs du J-PAL multiplient l’impact du programme par unité à la taille de l’échantillon puis à la durée du programme (impact total du programme = impact (par unité)  taille de l’échantillon  durée du programme).

49Une fois l’impact rendu quantifiable, reste la deuxième partie de l’analyse : la quantification des coûts. Elle consiste, tout d’abord, à collecter des données sur les coûts afin de pouvoir les intégrer à l’analyse. En pratique, cela est difficile à obtenir, notamment parce que les informations sur les budgets sont parfois incomplètes. Les chercheurs du J-PAL sont actuellement en train de créer une fiche technique à l’usage des autres chercheurs pour qu’ils puissent se repérer dans la collecte de données sur les coûts.

50Pour modéliser les coûts, les chercheurs du J-PAL se réfèrent aux coûts marginaux. Par exemple le rapport coûts/efficacité d’un programme en matière d’éducation est calculé comme un changement marginal dans le résultat des élèves aux examens, qui est compris comme le résultat du programme – puisque son objectif est d’améliorer les résultats des élèves aux examens –, ensuite divisé par le changement marginal, cette fois-ci en termes de coût. On obtient alors :

51Plusieurs coûts sont difficiles à établir. Par exemple, comment rendre compte des biens et services fournis gratuitement ? Doit-on s’intéresser à ceux qui fournissent ces biens et donc en supportent les coûts ? Ou doit-on considérer la société dans son ensemble et donc prendre en compte les bénéfices que la société peut tirer de ces biens ? L’approche du J-PAL choisit de tenir compte de la société dans son ensemble. Bénéficier d’un programme peut aussi représenter un coût. Par exemple, si un programme en faveur de l’éducation nécessite la participation des parents, cela leur demandera du temps, comme se rendre à des réunions ou participer aux devoirs des enfants. Lorsque le programme nécessite un tel engagement, les chercheurs du J-PAL choisissent d’inclure ces coûts dans leur analyse (ibid.).

52Le programme peut aussi impliquer des frais de gestion, comme une durée de travail supplémentaire pour la bonne poursuite du programme. Ces frais sont très difficiles à intégrer car ils sont difficilement quantifiables. C’est pourquoi les chercheurs du J-PAL choisissent de ne pas en tenir compte, leur évaluation serait trop imprécise (ibid.). Il peut aussi exister une différence entre le coût d’un programme lorsqu’il est évalué à petite échelle et lorsqu’il est pensé à plus grande échelle. Les chercheurs du J-PAL ne tiennent pas non plus compte de ces coûts (ibid.).

53Le dernier aspect important de la quantification des coûts est la détermination d’une unité commune. Le temps et la monnaie varient en fonction du programme. Un programme est évalué à un certain moment. Lorsque l’analyse coûts/efficacité est réalisée, les prix peuvent être différents de ceux que l’on avait durant l’évaluation du programme. Il faut, dans ce cas, harmoniser les prix pour que l’analyse soit pertinente. Il est aussi nécessaire de tenir compte de l’inflation et des différents taux de change. Il faut, ensuite, déterminer une monnaie de référence ; celle utilisée par le J-PAL est le dollar.

Les « mallettes politiques »

54Afin de présenter ces analyses et de les rendre abordables pour les décideurs politiques, ces dernières sont présentées sous forme de « mallettes politiques » dans lesquelles le problème et les enjeux des différents programmes sont, tout d’abord, présentés ; ensuite, les résultats des différentes stratégies sont exposés autour d’une analyse coûts/efficacité ; puis suivent des « leçons politiques » à destination des décideurs politiques.

55La mallette que je choisis d’étudier17 s’intéresse aux comportements sexuels des adolescents en vue de diminuer les risques de transmission du VIH. La « mallette » expose tout d’abord le problème puis reprend des enjeux étudiés dans des évaluations randomisées menées par les chercheurs du J-PAL. Dans cette « mallette », il est expliqué que pratiquement trois millions de personnes sont atteintes du VIH en Afrique sub-saharienne, que très peu des personnes qui devaient bénéficier du traitement en bénéficient réellement (une personne sur six), et que la prévention contre le sida reste encore très fragile. Cette « mallette » se concentre sur une évaluation particulière : évaluer l’impact d’un programme qui fournit aux élèves des connaissances sur le VIH dans le but d’observer un comportement sexuel plus prudent. Il renvoie à une évaluation menée par Esther Duflo, Pascaline Dupas, Michael Kremer et Samuel Sinei18 en 2006 au Kenya sur le rôle que peut jouer l’introduction d’uniforme. Elle reprend aussi les résultats du programme sugar daddy19. Cette mallette est donc constituée de deux évaluations randomisées publiées concernant le lien entre la prévention et les comportements sexuels des adolescents. Il est souligné qu’elles sont toutes deux des solutions peu chères et souvent considérées comme efficaces.

56L’ensemble des résultats des différents programmes est ensuite résumé sous forme de tableau. La « mallette » se réfère à quatre programmes : (1) offrir une formation aux enseignants en matière de prévention sur le VIH, (2) encourager des débats au sein des écoles, (3) le programme sugar daddy, et (4) réduire les coûts de l’éducation en fournissant gratuitement des uniformes aux élèves afin qu’ils restent plus longtemps à l’école20.

57La formation des enseignants visait à leur apprendre à rendre compte du programme voulu par le gouvernement, ce qui incluait de donner des connaissances sur la maladie, d’apprendre aux jeunes filles à refuser certaines relations sexuelles et mettait en avant l’abstinence avant le mariage. Cela a eu plusieurs impacts : le taux de mariage parmi les jeunes filles qui ont eu des enfants a augmenté. Cependant, il n’y a pas eu d’impact sur le taux de grossesse des jeunes filles et sur leur niveau de connaissances en matière de VIH21. Le coût de ce programme est estimé à un dollar par élève. Le deuxième programme (encourager les débats au sein des écoles), a augmenté les connaissances des élèves, et la probabilité qu’ils utilisent des préservatifs ; mais il n’a eu aucun impact sur l’activité sexuelle des étudiants. Son coût est, lui, de deux dollars par élève. Le troisième programme (sugar daddy) offrait aux écoles sélectionnées des sessions de quarante minutes lors desquelles une ONG venait exposer les risques qu’implique une relation sexuelle avec un homme âgé. Ce programme réduit les grossesses chez les adolescentes ayant une relation avec des hommes âgés, car il réduit les relations sexuelles non protégées avec des hommes plus âgés. Le coût par étudiant est d’un dollar et le coût pour chaque grossesse évitée est de quatre-vingt-onze dollars. Le dernier programme (fournir des uniformes gratuitement) réduit le taux d’abandon à l’école ainsi que les grossesses et les mariages. Il coûte onze dollars par garçon et douze dollars par fille, le coût des grossesses évitées est de sept cent cinquante dollars. Les différents impacts et coûts sont ensuite résumés sous forme de graphique.

58Le changement des comportements des adolescentes, suite aux différents programmes évalués, a été mesuré par la réduction des grossesses et le mariage. Ces réductions sont envisagées comme traduisant la réduction d’un comportement sexuel à risque. De plus, la « mallette politique » suggère que même si la réduction des grossesses n’est qu’un équivalent à la réduction des comportements sexuels à risque, elle est en elle-même un objectif (ibid.). Le programme sugar daddy est celui qui engendre le plus de changements dans le comportement des adolescentes. Pour autant, le programme de formation des enseignants reste le moins coûteux.

59Une fois les résultats et les coûts des programmes mis en lumière, la « mallette » conclut par des leçons politiques à destination des décideurs politiques. Ces leçons politiques ont pour but de rompre avec l’idéologie et d’encourager une démarche politique fondée sur des preuves :

Le débat sur la prévention contre le VIH/SIDA a trop souvent dégénéré en des batailles idéologiques fondées sur très peu de preuves solides. Cette recherche montre qu’il y a des moyens peu coûteux et efficaces pour changer le comportement des adolescents, ces moyens devraient être acceptables pour tous ceux qui souhaitent traiter les souffrances causées par le VIH/SIDA. (J-PAL 2007, p. 3, ma traduction)

60La conclusion reprend ensuite brièvement l’ensemble des résultats. Avertir les adolescentes que les hommes plus âgés ont plus de risques d’avoir le sida diminue le taux de grossesse des adolescentes avec un homme plus âgé qu’elles. La gratuité des uniformes contribue également à diminuer ce taux. Les conclusions politiques ne donnent aucune prévalence à un programme, elles cherchent à laisser les décideurs politiques choisir en fonction de leur budget. C’est pourquoi, sans doute, dans ces conclusions, l’accent est mis sur le rôle des preuves et le danger de l’idéologie, selon les auteurs.

*

61Le J-PAL ne souhaite pas uniquement produire des preuves, il a aussi vocation à les rendre utilisables. Ces preuves visent à guider la décision politique. La maxime du J-PAL, « transformer la recherche en action », prend donc tout son sens. Cela signifie deux choses : collecter des preuves et permettre aux décideurs politiques de les utiliser afin que les politiques établies soient fondées sur des preuves. Cette double dimension traduit clairement le lien souhaité par le J-PAL entre sa méthode et celle des essais cliniques médicaux. Tout d’abord, la randomisation du J-PAL vise à se rapprocher au plus près des essais cliniques dans le but d’atteindre la même rigueur scientifique. Ensuite, l’approche du J-PAL s’inscrit dans un mouvement similaire à celui opéré en médecine – la médecine fondée sur les preuves – dont le cœur est l’essai clinique. Opérer un double aller-retour avec la médecine m’a permis d’éclairer ces deux aspects.

62La volonté normative du J-PAL se traduit par le souhait de rendre ses résultats accessibles aux décideurs politiques. Cela implique de mener des analyses coûts-bénéfices afin de pouvoir comparer sur un même objet les différentes possibilités et leurs coûts. Afin de rendre ces résultats encore plus accessibles pour les décideurs politiques, le J-PAL constitue des « mallettes politiques ». Ces dernières sont dans la droite continuité des analyses coûts/bénéfices, mais visent à les illustrer en les rendant plus accessibles. C’est pourquoi, pour les chercheurs du J-PAL, les agences internationales ont tout intérêt à favoriser de telles initiatives. Ce soutien apparaît nécessaire, compte tenu de l’important biais de publication dont souffre une telle approche. C’est donc, en partie, avec l’appui des agences internationales que le J-PAL entend étendre son rôle politique dans la lutte contre la pauvreté.