Tout comme les recherches menées par le passé en économie du travail, de la santé et de l’éducation, la recherche expérimentale en économie du développement tente de résoudre la difficulté qu’il y a à identifier les effets d’un programme face à des chaînes de causalité multiples et complexes. […] Il est bien entendu impossible d’identifier les effets du traitement pour chaque personne individuellement. Mais une expérience randomisée, en faisant varier un seul facteur à la fois (le programme), nous permet d’obtenir une estimation valide de l’effet moyen d’un traitement pour une population donnée. (Banerjee et Duflo 2009, p. 692-693)

1L’approche du J-PAL en économie du développement a pour objectif de produire des preuves, l’accent est donc porté sur la méthode utilisée. Comme cela a déjà été évoqué, la randomisation, par son protocole expérimental et son cadre statistique rigoureux, permet d’identifier les effets d’un programme de développement de façon fiable, et en ce sens, de produire des preuves. À l’inverse, d’autres méthodes permettent d’évaluer les effets d’un programme de développement mais de façon moins fiable car certains biais persistent. Pour le J-PAL, la randomisation est donc considérée comme la méthode à utiliser. Le J-PAL tente alors d’offrir un rayonnement particulier à cette méthode. Le cadre institutionnel et le fonctionnement du laboratoire tendent à participer très grandement à ce rayonnement. Le J-PAL, en collaborant avec de nombreux partenaires de terrain, comme des entreprises ou des gouvernements, occupe une place importante sur le terrain. De plus, la présence de ses nombreuses antennes sur chaque continent participe à favoriser l’utilisation de la randomisation en économie du développement. La forte validité interne de la randomisation et le fonctionnement du J-PAL participent donc à faire de cette méthode un des outils les plus utilisés pour lutter contre la pauvreté.

2L’objectif de ce chapitre est double : présenter le cadre institutionnel du J-PAL et la manière dont ce laboratoire utilise la randomisation. Ce sont donc ces deux dimensions, la méthode spécifique du J-PAL et son fonctionnement en réseau, qui permettent, selon moi, de le définir. Je m’attacherai ici à définir l’objectif premier du J-PAL : produire des preuves.

Le cadre institutionnel du J-PAL

3Le Abdul Latif Jameel Poverty Action Lab (J-PAL) domine, aujourd’hui, l’économie du développement et ses pratiques. Il s’apparente davantage à un réseau de chercheurs qu’à un laboratoire. Son organisation lui permet de jouer un rôle prépondérant en économie du développement. Le J-PAL est divisé en plusieurs antennes, une sur chaque continent. Ce laboratoire travaille également en lien étroit avec de nombreux centres de recherche, ce qui permet aux chercheurs d’implanter leur méthode dans de nombreuses universités – et souvent dans les meilleures. Il procède en travaillant main dans la main avec des partenaires de terrain. Tout cela explique le poids croissant de la randomisation en économie du développement.

Histoire du J-PAL

4Le Poverty Action Lab est donc créé en 2003 par trois professeurs du Massachusetts Institute of Technology (MIT) : Abhijit Banerjee, Esther Duflo et Sendhil Mullainathan. Abhijit Banerjee a suivi une formation en économie à l’université de New Delhi et fait sa thèse à Harvard sur le thème de l’information en économie. Il sera le directeur de thèse au MIT d’Esther Duflo, qui après des études d’histoire à l’École normale supérieure et sur les conseils de l’économiste français Thomas Piketty commence une maîtrise d’économie puis un DEA au DELTA1. Sa thèse porte sur trois essais empiriques en économie du développement et vise à évaluer trois programmes de développement2. C’est ici que les évaluations randomisées en économie du développement trouvent leurs prémisses. Enfin, Sendhil Mullainathan3, après une thèse en économie à l’université de Harvard, est engagé en 1998 comme professeur assistant puis comme professeur au MIT qu’il quittera en 2008, abandonnant alors, à cette même période, la direction du J-PAL.

5En 2004, Rachel Glennerster entre à la direction du J-PAL, elle en partira en 2018 pour devenir une des économistes en chef du gouvernement britannique. Iqbal Dhaliwal prend alors sa suite. Après des études de philosophie, politique et économie à l’université d’Oxford, Rachel Glennerster fait une thèse en économie à l’université de Londres, puis devient development associate à Harvard et senior economist au FMI. À la suite de trois dons conséquents faits par Mohammed Abdul Latif Jameel, le Poverty Action Lab est renommé le Abdul Latif Jameel Poverty Action Lab en 2005, en hommage à son père4. Le J-PAL commence à former d’autres chercheurs dans le cadre de programmes d’entraînement (training programs) dont les deux premiers commencent cette même année à Cambridge, aux États-Unis et à Chennai en Inde. Soixante et une personnes sont formées aux évaluations randomisées et vingt évaluations ont lieu dans dix pays différents. En 2006, le J-PAL reçoit le soutien financier de la fondation William et Flora Hewlett Packard, de la fondation John et Catherine MacArthur, de la fondation Nike, et de la fondation de Doug B. Marshall Junior et de Russ Siegelman. Il compte alors treize professeurs affiliés, trente évaluations sont en cours dans douze pays et quatre-vingt-deux personnes ont été formées à ses méthodes. En trois ans, le nombre de chercheurs associés au J-PAL a été multiplié par quatre.

6Le J-PAL connaît un tournant particulier en 2007, lorsqu’une nouvelle antenne est créée au sud de l’Asie, à Chennai, avec le soutien de la fondation Mulago5. Une autre antenne de formation est constituée en Afrique, à Abuja au Nigéria. Le J-PAL compte alors dix-huit professeurs affiliés, cinquante évaluations sont en cours dans quinze pays et deux cents personnes ont été formées à ses méthodes. En 2008, une autre antenne du J-PAL est établie en Europe, inaugurée par Martin Hirsch, qui est à cette période le haut commissaire aux Solidarités actives contre la pauvreté. Son siège est à Paris et le J-PAL Europe dépend de l’École d’économie de Paris (EEP). Un centre de formation français est créé la même année à l’EEP. Le J-PAL est désormais constitué de trente professeurs affiliés, soixante-dix évaluations sont en cours dans vingt-deux pays. Le J-PAL constitue en 2009 un policy group dont l’objectif est de transmettre les résultats des évaluations disponibles aux ONG, aux instances internationales et aux décideurs politiques. Une autre antenne du J-PAL est établie au Chili grâce à l’aide financière de donateurs locaux. En 2010, une antenne du J-PAL est ouverte en Afrique du Sud. La même année, un comité de direction est créé. Il est composé de Bruno Crépon du J-PAL Europe, Benjamin Olken du J-PAL Global, Sebastian Galiani du J-PAL Amérique latine, des trois directeurs du J-PAL Global, Abhijit Banerjee, Esther Duflo et Rachel Glennerster et enfin de Iqbaq Dhaliwal pour la direction des politiques du J-PAL Global.

7Par exemple, en 2011, le J-PAL compte cinquante-neuf professeurs affiliés, vingt-neuf évaluations sont en cours dans quarante-trois pays et huit cent cinquante et une personnes ont été formées à ses méthodes. De nombreux projets, associations et partenariats sont mis en place au cours de cette même année. Avec le soutien de la Banque mondiale, le Center for Learning on Evaluation and Results (CLEAR) est fondé au J-PAL Asie du Sud. La même année, le gouvernement chilien demande au J-PAL d’identifier les principaux défis en matière de politique sociale. Le J-PAL crée alors la Compass Comission qui se charge de déterminer ces défis et de proposer des programmes sociaux évaluables par randomisation. En matière de politique économique et de gouvernance, le J-PAL élabore, avec le soutien de la fondation de William et Flora Hewlett Packard, la Governance Initiative. L’objectif d’une telle initiative est de financer des évaluations des programmes les plus prometteurs en matière de gouvernance. Le Urban Service Associative est créé au J-PAL Afrique avec le soutien de la fondation de Bill et de Melinda Gates. L’objectif de cette association est d’évaluer des solutions pour répondre aux problèmes d’eau potable, des sanitaires et des services d’hygiène dans les villes d’Afrique et d’Asie. Esther Duflo dirige cette initiative avec Sebastian Galiani et Mushfiq Mobarak.

8Enfin aujourd’hui, en 2020, le J-PAL compte cent soixante-quatorze chercheurs et plus d’un millier d’évaluations réalisées ou en cours.

9Le J-PAL a donc mis en œuvre de nombreux projets et s’est associé à des partenaires très divers. Le nombre d’évaluations et de professeurs affiliés a fortement augmenté. En moins de dix ans, il est passé de trois chercheurs à plus de cinquante, et près de neuf cents personnes ont été formées à ses méthodes. L’ascension du J-PAL est fulgurante. Cette ascension est due à un soutien financier important provenant de nombreuses institutions, à un travail étroit avec les partenaires de terrain, et à la création de réseaux puissants avec d’autres centres de recherche utilisant la randomisation. Avant de développer en détail ces relations de réseaux, je vais m’attacher à définir la structure organisationnelle du J-PAL.

Structure du J-PAL

10Le J-PAL Global est sans conteste l’antenne la plus structurante du J-PAL. Ses directeurs, dans leur ensemble, sont tous rattachés à cette antenne. Son conseil d’administration est composé par les directeurs de chaque antenne – au total vingt chercheurs. Ce conseil définit la stratégie du J-PAL à travers le monde. Le J-PAL Global structure le fonctionnement de ce réseau de chercheurs, même si chaque antenne y participe, au travers du conseil d’administration.

11Chacune des antennes du J-PAL est structurée de la même manière. Elles sont séparées en trois catégories : les chercheurs affiliés, une équipe administrative et une équipe de recherche. Les chercheurs associés au J-PAL Global sont tous rattachés à des universités américaines ; souvent les plus prestigieuses, comme Harvard, Yale, Stanford, Berkeley, ou encore le MIT. L’équipe de recherche du J-PAL Global est composée de tous ces professeurs affiliés ainsi que de managers de recherche qui aident les différents chercheurs à conduire leurs évaluations. L’administration du J-PAL est constituée de ses trois directeurs (Abhijit Banerjee, Esther Duflo et Iqbal Dhaliwal) ainsi que de Benjamin Olken. L’administration comprend ensuite les chercheurs qui se chargent des politiques publiques. Il y a dès lors trois possibilités : être directeur des politiques publiques, en être responsable ou encore en être analyste. Les directeurs des politiques publiques travaillent avec les décideurs politiques dans le but de les aider à identifier de nouveaux domaines d’évaluation. L’objectif des responsables des politiques publiques est de mener des analyses coûts/bénéfices, de rédiger ensuite une synthèse afin de rendre compte aux décideurs politiques des leçons tirées des évaluations. Le travail des analystes des politiques publiques est similaire à celui des responsables. Leur objectif est d’analyser les résultats et d’écrire des résumés généraux à destination des ONG ou des décideurs politiques. Les autres antennes bénéficient d’une structure similaire mais plus petite.

12Le J-PAL Europe est rattaché à l’École d’économie de Paris. Il entretient d’ailleurs avec cette institution une relation toute particulière. La spécificité du J-PAL Europe est due aux liens étroits entre ce laboratoire et le haut commissariat aux Solidarités actives. Lorsque Martin Hirsch devient haut commissaire aux Solidarités actives en 2007, il envisage un ensemble de politiques en faveur de la jeunesse. L’objectif était de réduire d’un tiers la pauvreté en France. Il choisit de soumettre toutes ces politiques à une évaluation avant qu’elles ne soient mises en place. Le J-PAL est alors en charge d’une partie de ces évaluations. Le programme le plus connu évalué par le J-PAL lors de cette commission est la « mallette des parents » (voir Avvisati, Gurgand, Guyon et Maurin 2010), financée par le ministère de la Jeunesse. On retiendra aussi que le J-PAL n’a pas souhaité évaluer le projet central de Martin Hirsch, le revenu de solidarité active (RSA). En effet, le RSA a été mis en place avant d’être évalué, ce qui ne permettait pas au J-PAL de mener une évaluation randomisée, comme les chercheurs souhaitaient le faire. Martin Hirsch et Esther Duflo apparaissent auprès du grand public comme étant les deux plus grandes figures de la lutte contre la pauvreté en France comme le titrait Télérama en février 2012 : « Esther Duflo et Martin Hirsch réinventent le combat contre la pauvreté ». Le partage des tâches est clair : Martin Hirsch offre le budget et les politiques tandis que le J-PAL les évalue.

13Le J-PAL bénéficie d’une structure qui lui permet de travailler avec un nombre de chercheurs important à travers le monde. Son fonctionnement en antenne lui donne la possibilité d’avoir des chercheurs qui connaissent les spécificités de leur pays, ou de leur continent. De plus, le fait que ces chercheurs soient rattachés à un pays ou un continent permet au J-PAL d’élargir son réseau avec des partenaires de terrain.

La randomisation et le terrain : une articulation autour de trois partenaires

14Pour mener des évaluations, le J-PAL travaille en lien étroit avec trois partenaires :

Pour un projet de ce type, il faut toujours trois éléments. Il faut un partenaire de terrain qui a envie de mettre en œuvre le projet et qui désire une évaluation, en dépit du caractère contraignant de cette démarche. Ce partenaire de terrain peut être soit un gouvernement, soit une ONG, soit une entreprise privée. Ensuite, il faut un chercheur ou une équipe de chercheurs qui s’intéressent suffisamment au projet pour avoir envie de le mettre en œuvre. Et, enfin, il faut quelqu’un pour le financer. (Duflo in Mayneris 2009, p. 3).

15Le réseau du J-PAL n’est pas uniquement constitué de chercheurs rattachés aux différentes antennes du J-PAL, puisque ce réseau s’élargit à d’autres centres de recherche, à des partenaires de terrain et à des financiers. Au total, le J-PAL compte plus d’un millier de partenaires, difficiles à catégoriser, un gouvernement pouvant tout aussi bien être un financeur ou un partenaire de terrain. Il en va de même pour les entreprises. Le J-PAL ne propose qu’une liste non exhaustive de ces différents partenaires, et ne les associe à aucun rôle particulier – sans doute parce que ce rôle varie d’une évaluation à l’autre. J’ai tout de même cherché à regrouper les différents partenaires du J-PAL autour des trois rôles définis par Duflo.

16Les partenaires de terrain les plus représentatifs sont les organisations non gouvernementales. Je n’en évoquerai que deux, les ONG Seva Mandir et Pratham. Seva Mandir6 est située à Udaipur en Inde et a été créée par Sinha Mehta en 1966. Cette ONG se concentre sur l’autonomisation des femmes, l’éducation primaire, la santé et la protection des enfants. Seva Mandir n’est pas une ONG locale, elle bénéficie d’une structure importante avec trois cents employés à plein temps et cent volontaires qui participent chaque année à différents projets. Seva Mandir a collaboré avec le J-PAL sur plusieurs évaluations7 concernant la santé et l’éducation. Pratham est une ONG dont l’objectif principal est l’accès à l’éducation primaire pour les enfants défavorisés. Cette organisation a été créée en 1994 par Madhav Chavan avec le soutien de l’Unicef. Le J-PAL a aussi bien travaillé avec des gouvernements de pays développés, comme la France ou les États-Unis, que de pays en développement comme le Kenya, le Bangladesh, l’Ouganda, l’Inde8 ou encore la Zambie. Tout comme les gouvernements, les entreprises qui collaborent avec le J-PAL peuvent avoir un double rôle : elles peuvent financer l’évaluation ou être à l’initiative du projet. Une dizaine d’entreprises9 ont collaboré avec le J-PAL. Sur deux cent soixante-douze partenaires, les entreprises ne représentent donc pas une part importante comparativement aux gouvernements ou aux ONG10.

17Au sein des partenaires du J-PAL, le plus difficile, sans doute, est de déterminer qui finance les évaluations. Cependant, en recoupant la liste des partenaires avec la liste des expériences qui ont été menées par le J-PAL, il est tout de même possible d’en donner un aperçu. Au sein des financeurs potentiels, je distingue : les banques, les institutions ou agences financières, puis les fondations. Certaines font cependant exception, comme Global Giving, une entreprise américaine non lucrative dont le but est de permettre aux donateurs de financer directement les projets qu’ils choisissent en ligne. Les banques, elles, sont originaires de tous les pays comme l’Equity Bank au Kenya et en Ouganda qui a participé à une évaluation sur l’accès au crédit et à l’assurance en 201111. Les institutions financières participent aussi à l’évaluation des programmes, comme l’International Finance Corporation, un groupe de la Banque mondiale qui fournit des services d’investissement afin de développer le secteur privé dans les pays en développement. De nombreuses fondations financent ces évaluations, comme la fondation Ford, ou la fondation de Bill Gates ou encore celle de Michael et Susan Dell.

18Le J-PAL collabore avec un nombre important de centres de recherche ou d’universités à travers le monde. Cependant deux de ces centres de recherche entretiennent un lien plus privilégié avec lui : Ideas 42 et Innovation for Poverty Action (IPA). Ils ont été créés par des membres du J-PAL et s’inscrivent exactement dans la même lignée. Ideas 42 est fondé en 2008 à Harvard par deux grandes figures du J-PAL : Sendhil Mullainathan et Michael Kremer. L’objectif de ce think tank est de mobiliser les apports en économie comportementale afin de produire des politiques innovantes et de favoriser le développement. La différence avec le J-PAL est donc qu’Ideas 42 insiste sur l’économie comportementale quand le J-PAL se concentre sur l’économie expérimentale. Innovation for Poverty Action est créé en 2002 par Dean Karlan, un ancien étudiant d’Abhijit Banerjee, d’Esther Duflo et de Sendhil Mullainathan. IPA est dans la droite lignée du J-PAL et se concentre aussi sur l’économie expérimentale. Pour autant, à l’inverse du J-PAL, IPA n’est pas un laboratoire mais une organisation non lucrative avec laquelle plus de six cents chercheurs ont collaboré.

19Pour résumer, la structure institutionnelle du J-PAL lui permet d’avoir un poids particulier à travers le monde et contribue à sa position dominante en économie du développement, des chercheurs du monde entier pouvant être rattachés à ses différentes antennes. Cette séparation en antennes offre en outre la possibilité au réseau du J-PAL de se renforcer, chaque chercheur y apportant son propre réseau.

La randomisation : le gold standard ?

20Cette position influente s’explique aussi par l’avantage principal de la randomisation – sa forte validité interne. Je m’intéresserai ici à cette dimension. La randomisation est une des méthodes permettant d’obtenir le contrefactuel le plus solide. Un contrefactuel permet de répondre à la question suivante : que se serait-il passé si les individus n’avaient pas eu accès au programme ? Autrement dit, il permet de penser la situation où le programme n’a pas été mis en place. Donald Rubin (1974) offre la première modélisation de ce contrefactuel. Mais ce modèle doit ensuite être intégré au sein d’une méthode particulière. Plusieurs méthodes sont disponibles, la randomisation est l’une d’entre elles. La randomisation, par l’assignation aléatoire qui la caractérise, offre un contrefactuel permettant de limiter de nombreux biais, ce qui tend à faire d’elle le gold standard dans ce domaine.

Le modèle de Rubin

21Le modèle de Rubin12 s’inspire des travaux de Roy (1951). Roy s’intéresse aux choix des travailleurs lorsqu’ils doivent se décider entre pêcher ou chasser. Comment déterminer lequel de ces choix sera le plus profitable ? Les travailleurs doivent envisager deux options, mais ils ne peuvent savoir à l’avance celle qui leur rapportera le plus. En fonction de ces deux potentialités et de leurs compétences, ils ont à déterminer s’ils vont pêcher ou chasser. L’intuition la plus forte dans le travail de Roy est donc d’envisager deux potentialités, car les travailleurs ne peuvent pas en même temps pêcher et chasser, pour déterminer quelle activité leur sera la plus profitable. Rubin va reprendre ces deux potentialités, cette fois-ci non pas dans l’alternative entre deux activités, mais dans le but de déterminer rigoureusement les effets d’un traitement.

22Le modèle causal de Rubin pose donc le problème de l’inférence causale et cherche à mettre en évidence un cadre qui pourra la justifier. Il cherche à montrer une causalité particulière, par exemple, que le traitement A a causé B. En d’autres termes, il s’intéresse à l’effet de A. Pour Rubin il n’y a pas de causalité sans manipulations, c’est-à-dire qu’il faut que quelque chose soit changé, manipulé, pour pouvoir ensuite questionner le lien de causes à effets. C’est dans le domaine médical que le modèle de Rubin a connu l’écho le plus important. Le modèle de Rubin13 a trois caractéristiques principales. Tout d’abord, (1) ce modèle se sert d’un résultat potentiel (potential outcome) dans le but de déterminer l’inférence causale. Il utilise, ensuite, (2) un mécanisme d’assignation probabiliste. Et enfin, (3) ce modèle est caractérisé par une distribution de probabilités optionnelles sur toutes les variables. L’élément central du modèle de Rubin reste, cependant, le concept de « résultats potentiels ». Ce dernier offre une solution à un problème intuitif bien connu (à savoir comment être sûr qu’une causalité n’est pas une corrélation). Par exemple, comment savoir si l’aspirine qu’un individu a prise est responsable de la disparition de son mal de tête ou si cela est dû à un autre facteur, comme le fait de s’être allongé dans le noir ? L’individu ne peut à la fois prendre l’aspirine et ne pas la prendre, s’il fait le choix de prendre une aspirine, il n’y a aucun moyen de savoir ce qui se serait passé s’il ne l’avait pas prise. C’est à cette dernière question que le modèle de Rubin tente d’offrir une réponse. L’objectif de Rubin est de parvenir à trouver un moyen pour penser les deux états en même temps : envisager à la fois chez un même individu la prise et la non-prise d’aspirine. Les « résultats potentiels » lui permettent de penser ces deux états, car ils sont tous deux réduits à une potentialité. Pour analyser l’effet d’un traitement, il y a alors deux résultats possibles à envisager : le résultat lorsque l’individu prend l’aspirine et un résultat lorsqu’il ne la prend pas.

23Il y a donc deux potentialités : prendre une aspirine (que nous appellerons la potentialité T) et, par exemple, boire un verre d’eau (que nous appellerons la potentialité C). Ces potentialités impliquent deux résultats, eux-mêmes éventuels ; en d’autres termes les résultats vont potentiellement créer deux effets particuliers. Nous appellerons Y(T) le résultat observé lorsque l’individu prend une aspirine et Y(C) le résultat lorsque l’individu boit un verre d’eau. Y(T) représente alors l’effet causal de la prise d’aspirine, autrement dit l’effet causal de T ; et Y(C) représente l’effet causal de la prise du verre d’eau. Y est le résultat potentiel de chacune de ces possibilités. Pour obtenir l’effet de l’aspirine comparativement à celui de la prise d’un verre d’eau sur la migraine – ou ce que Rubin appelle « l’effet causal de T versus C sur Y », il suffit alors de différencier les deux termes : Y(T) – Y(C). Néanmoins, les deux potentialités ne seront pas observées chez un même individu : il ne peut pas à la fois prendre l’aspirine et ne pas en prendre. Afin d’affiner l’intuition de Rubin, élargissons cet exemple à deux personnes. Chacune de ces deux personnes a, donc, deux résultats potentiels, comme on l’a vu plus haut. Pour la personne 1, ces deux possibilités seront Y1(T) et Y1(C) ; pour la personne 2 ces deux possibilités seront Y2(T) et Y2(C). L’effet de l’aspirine est alors trouvé par un double contrefactuel puisque deux personnes rentrent en jeu, désormais. L’effet comparatif est alors obtenu par : ½ [Y1(T) – Y1(C) + Y2(T) – Y2(C)]. Dans la réalité, seules deux possibilités sont observables :

1. Y1(T) – Y2(C), dans ce cas, on différencie la situation où la personne 1 prend une aspirine et celle où la personne 2 boit un verre d’eau.
2. Y2(T) – Y1(C), à l’inverse, dans ce cas, on compare la situation où la personne 2 prend une aspirine à celle où la personne 2 boit un verre d’eau.

24Comme un individu ne peut à la fois prendre une aspirine et ne pas en prendre, pour obtenir une différence entre ces deux effets, il est nécessaire de prendre en considération un autre individu, qui permettra la comparaison. Pour que la détermination de l’inférence causale de la prise d’aspirine soit scientifiquement solide, il faut que ces deux individus soient le plus comparable possible. Autrement dit, il faut que Y1(T) – Y2(C) = Y1(T) – Y1(C), ou que Y2(T) – Y1(C) = Y2(T) – Y2(C). Cette modélisation permet de passer de l’idée abstraite de contrefactuel à un cadre analytique plus concret.

Économie du développement et transposition du modèle de Rubin

25Dans le but de déterminer les effets d’une politique de lutte contre la pauvreté, les chercheurs du J-PAL vont appliquer le modèle de Rubin à l’économie du développement14. Leur objectif central est de trouver un contrefactuel parfait, afin de déterminer une inférence causale solide.

26Cette fois-ci, on se sépare de l’aspirine pour s’intéresser à un programme de développement ; la question devient : que se serait-il passé si le programme n’avait pas été mis en place ? L’évolution de la situation est-elle due au programme ou à d’autres facteurs ? Sans le programme aurait-on observé une évolution similaire ? Les chercheurs du J-PAL s’inspirent, ici, du modèle de Rubin et utilisent son cadre analytique. On l’a vu avec le modèle de Rubin, les deux résultats potentiels d’une personne ne sont pas observables en même temps, il n’est donc possible de déterminer les effets du traitement qu’en termes de moyenne. Par exemple, si l’on s’intéresse à l’effet des manuels scolaires sur l’absentéisme des élèves, on se centrera sur la moyenne des effets des élèves qui ont eu accès à ces manuels et à la moyenne de ceux qui n’en ont pas eu accès. Dans le but de déterminer l’effet des manuels scolaires, on différenciera, ensuite, ces deux effets. Dans ce cas on obtient la formulation suivante : E[Yi(T) – Yi(C)], où E est l’espérance mathématique et i représente les différentes écoles sélectionnées. Supposons, comme Duflo, Glennerster et Kremer (2007), que l’accès aux données dépende d’un nombre important d’écoles (i) dans une région donnée et que certaines écoles bénéficient de manuels scolaires et d’autres n’en bénéficient pas. Alors « une approche est de prendre la moyenne des deux groupes et d’examiner la différence entre les moyennes des notes aux examens des écoles qui ont bénéficié des manuels scolaires et de celles qui n’en ont pas bénéficié » (Duflo, Glennerster et Kremer 2007, p. 3900, ma traduction). Cette approche consiste à regarder la « moyenne des effets du traitement » – ici les manuels scolaires. Dans ce cas, on s’intéresse à la fois aux personnes traitées – bénéficiant de manuels scolaires – et aux personnes non traitées. Une autre possibilité aurait été de regarder les effets du traitement uniquement dans le groupe traité (ici, celui qui a accès aux manuels scolaires). Selon Duflo, Glennerster et Kremer (2007), lorsque l’on observe cette moyenne sur un large échantillon, cela converge vers la formulation suivante de D :

27Si l’on reprend le modèle de Rubin, exposé plus haut, on retrouve la même formulation mais écrite différemment. On imagine deux groupes : un groupe qui reçoit les manuels scolaires (Yi/écoles qui bénéficient des manuels scolaires = Yi/T) et un groupe que ne les reçoit pas (Yi/écoles qui ne bénéficient pas des manuels scolaires = Yi/C). Chacun de ces deux groupes a deux résultats potentiels, comme dans le modèle de Rubin. Cela s’exprime de la façon suivante :

• Pour le groupe qui bénéficie des manuels scolaires (Yi/T) :
  1. (Yi(T)/T), le résultat potentiel du groupe des écoles i bénéficiant des manuels scolaires lorsqu’il les reçoit effectivement.
  2. (Yi(C)/T), le résultat potentiel du groupe des écoles i bénéficiant des manuels scolaires s’il n’en avait pas bénéficié, qu’il n’avait pas eu de manuels scolaires (c’est ici que le contrefactuel agit car on intègre une situation hypothétique).
• Et pour le groupe qui ne bénéficie pas des manuels scolaires (Yi/C) on a :
  1. (Yi(C)/C), le résultat potentiel du groupe des écoles i qui ne bénéficie pas des manuels scolaires lorsqu’ils n’en bénéficient réellement pas.
  2. (Yi(T)/C), le résultat potentiel du groupe des écoles i qui ne bénéficie pas du programme si elles avaient reçu le programme.

28On comprend donc mieux la formulation « D ». Elle correspond à la différence entre la moyenne des effets du traitement dans le groupe traité, diminué des effets de l’absence de traitement dans le groupe non traité. Ces deux variables sont donc observables, comme on l’a vu chez Rubin. En ajoutant et en retirant E[YiC/T] (par exemple le résultat potentiel du groupe non traité s’il avait reçu les manuels scolaires) à la formulation de (D), ce qui mathématiquement ne change rien, cela permet de mettre en évidence un concept central : le biais de sélection. La formulation de (D) devient la suivante :

29Cette formulation peut ensuite être réécrite de la façon suivante :

30Le premier terme (E[Yi(T) – Yi(C)/T]) traduit les effets du traitement puisqu’il exprime la différence entre les deux résultats potentiels au sein du groupe traité – celui qui bénéficie des manuels scolaires. Ce terme permet de répondre à la question suivante : quel est exactement l’effet du traitement ? Le second terme (E[Yi(C)/T] – E[Yi(C)/C]) représente la différence entre la moyenne des effets sur le groupe traité lorsqu’il ne bénéficie pas du traitement et la moyenne des effets sur le groupe non traité lorsqu’il ne reçoit pas le traitement. Ce second terme représente ce que l’on appelle le biais de sélection.

31Le biais de sélection représente le fait que la différence entre les deux groupes peut s’expliquer par d’autres facteurs que ceux du programme évalué. Il peut exister des différences au sein des deux groupes expliquant la différence des effets observés. Cela rend les résultats inutilisables car, dans ce cas, ils ne traduisent pas les effets du traitement mais la différence inhérente aux deux groupes. Pour reprendre un exemple de Duflo, Glennerster et Kremer (2007), imaginons que le groupe d’écoles qui reçoit les manuels scolaires (Yi/T) soit composé d’écoles dans lesquelles les parents sont particulièrement investis dans l’éducation de leurs enfants et font de cette dernière une priorité. Dans cette situation, les parents encouragent leurs enfants à travailler et à faire leurs devoirs. Si ce groupe bénéficie effectivement du programme, la différence entre le résultat potentiel de ce groupe lorsqu’il reçoit les manuels scolaires (Yi(T)/T) et celui du groupe non traité qui ne bénéficie pas des manuels scolaires (Yi(C)/C) sera beaucoup plus importante ; autrement dit E[Yi(T)/T] – E[Yi(C)/C] sera plus importante. Cette plus grande différence est due au fait que E[Yi(C)/T] et E[Yi(C)/C] ne sont plus comparables car ils ne sont plus identiques. E[Yi(C)/T], les écoles bénéficiant des manuels scolaires ont, même lorsqu’ils ne reçoivent pas le programme, des résultats aux examens supérieurs grâce à l’investissement des parents ; ce qui n’est pas le cas pour les écoles qui ne reçoivent pas les manuels E[Yi(C)/C]. Cette différence plus importante entre les deux groupes n’est pas due aux effets importants du programme. Elle vient du fait que ces deux groupes d’écoles partagent une différence intrinsèque : le premier groupe est constitué d’enfants dont les parents s’investissent considérablement dans l’éducation de leurs enfants alors que dans le second groupe l’investissement des parents n’est pas présent. L’effet du programme ne sera donc pas évalué à sa juste valeur. L’évaluation souffre d’un biais de sélection. Les populations sélectionnées sont trop différentes et ne sont donc pas parfaitement comparables, rendant donc impossible une évaluation correcte des effets du programme.

32Il est très difficile de mesurer le biais de sélection, puisqu’il est impossible d’observer le résultat potentiel du groupe d’école qui bénéficie des manuels scolaires lorsqu’elle n’en bénéficie pas. Ainsi, « un objectif essentiel de nombreux travaux empiriques est d’identifier les situations où l’on peut assumer que le biais de sélection n’existe pas ou de trouver un moyen de le corriger » (Duflo, Glennerster et Kremer 2007, p. 3901, ma traduction). La randomisation permet d’annuler ce biais de sélection grâce à l’assignation aléatoire des deux groupes15.

33Il est alors possible d’évaluer les effets du programme. À l’aide de la randomisation la formulation de D est la suivante :

34Comme les individus sont affectés au groupe de traitement et au groupe de contrôle de façon aléatoire, la seule différence qui existe entre les deux groupes serait la possibilité d’être exposé au traitement. Si le groupe de traitement n’avait pas reçu le traitement, leurs résultats potentiels auraient été les mêmes. Cela implique que le biais de sélection est nul, autrement dit E[Yi(C)/T] – E[Yi(C)/C] = 0. Il n’y a donc pas de différence entre le résultat potentiel du groupe d’écoles qui ne reçoit pas le traitement et celui du groupe d’écoles qui le reçoit s’il ne l’avait effectivement pas reçu. Dans ce cas, pour estimer les effets du programme, il suffit juste de traduire cette formulation en une régression économétrique. Toutes les données définissant D ne sont pas toutes disponibles ou observables, il n’est possible que d’estimer D. La régression qui permet d’estimer D est : Y=α+βT+εi, où T est un « dummy » pour traduire l’assignation au groupe de traitement. Cette équation est estimée par la méthode économétrique des moindres carrés ordinaires.

35Il existe plusieurs méthodes pour minimiser les biais de sélection : des méthodes expérimentales et donc a priori ainsi que des méthodes non expérimentales – donc a posteriori. La randomisation est l’une des méthodes expérimentales, tout comme les expériences contrôlées16. Les méthodes non expérimentales tentent de résoudre le problème du biais de sélection à l’aide d’une série d’hypothèses qui leur permet de s’approcher au plus près de la démarche expérimentale. En d’autres termes, la randomisation permettrait d’annuler le biais de sélection alors que les autres méthodes ne pourraient que le réduire. Les trois méthodes les plus utilisées de ce type sont : la méthode d’appariement, la double différence et la méthode de discontinuité.

36La méthode d’appariement tente de reconstituer à partir de variables observables un groupe de contrôle et un groupe de traitement. L’objectif est donc de trouver pour chaque individu qui a reçu le traitement un individu comparable qui, lui, ne l’a pas reçu. Il s’agit de constituer, à partir de caractéristiques similaires observables, deux groupes – un de traitement et un de contrôle – afin d’être en mesure de les comparer et de déterminer l’effet du traitement. Le biais de sélection est ici réduit à partir des variables observables.

37Dans le même but, on peut aussi utiliser un score de propension. Un score de propension est la probabilité pour un individu de recevoir une intervention (traitement) conditionnellement à ses caractéristiques. Ce score permet de déterminer le groupe de contrôle – c’est pourquoi cette méthode est aussi appelée appariement par score de propension. Avec un score de propension, il est possible de prendre en compte un plus grand nombre de variables. Le principal avantage de cette méthode par rapport à la randomisation est qu’en n’étant pas expérimentale, elle permet d’évaluer des programmes qui ont déjà été mis en place. De plus, elle coûte beaucoup moins cher. Cependant, elle sous-entend un travail de collecte de données conséquent pour être en mesure de constituer les deux groupes.

38Une de ses limites majeures est la possible persistance des biais de sélection. La différence intrinsèque entre les deux groupes peut résider dans des variables non observables, par exemple si les individus des deux groupes se distinguent par une motivation différente, un accès à l’information, lui aussi, différent. Dans ce cas, cette méthode ne permet pas d’éliminer les biais de sélection. En d’autres termes, l’appariement permet d’annuler uniquement les biais de sélection causés par des variables observables, mais ne peut pas rendre compte des variables non observables.

39Une autre possibilité, si le programme a déjà été mis en place, est d’utiliser la méthode de double différence. L’idée centrale est de comparer des données avant et après la mise en place du programme, en constituant, là aussi, un groupe de contrôle et un groupe de traitement, à partir de ces données. La première étape consiste alors à collecter les données sur le groupe traité et sur le groupe non traité. Il s’agit d’une double différence car on soustrait la différence « avant-après » des moyennes observées dans le groupe des non-traités à la même différence observée dans le groupe de traitement. Il y a donc, au sein de chaque groupe, une première différence, qui cherche à comparer un avant et un après programme. Et c’est cet « avant-après » qui est ensuite comparé entre les deux groupes, par la deuxième différence. Cette méthode permet donc de réduire les biais de sélection, à partir d’une collecte de données observables opérée à deux moments particuliers – avant et après la mise en place du programme. Le fait de comparer deux périodes permet d’éviter un biais que le temps aurait pu causer, comme l’existence d’un cycle conjoncturel ; cet effet permet d’être évité s’il est le même pour les deux groupes.

40Cet avantage a pour corollaire la plus importante limite de cette méthode. Si l’effet du temps est différent pour les deux groupes, il existera alors un biais de sélection, que cette méthode exacerbera. Une seconde limite17, tout comme pour la méthode des appariements, est due à la collecte de données des variables uniquement observables. Dans ce cas, « si les deux groupes devaient évoluer de manière très différente (par exemple si les personnes qui participent au programme avaient une propension à augmenter leurs revenus plus rapidement que ceux qui ne participent pas), le biais de sélectivité resterait important car cet écart dû aux inobservables est attribué au programme » (Parienté 2008, p. 7).

41La méthode de la discontinuité permet d’assigner les individus à un traitement en fonction d’une variable extérieure qui définit un seuil. En fonction de ce seuil, la séparation entre les deux groupes est opérée. Il faut donc trouver une variable au sein de laquelle on peut observer un seuil, par exemple l’âge ou le résultat aux examens. C’est pourquoi on parle de discontinuité car on choisit un moment de rupture, à l’aide du seuil, pour rendre compte de l’effet d’un traitement. Les initiateurs de cette méthode, Donald Thistlethwaite et Donald Campbell (1960), cherchent à évaluer l’effet des certificats aux mérites sur les résultats futurs des étudiants qui en ont bénéficié. Le problème étant que les étudiants les plus performants sont ceux qui vont bénéficier de ces certificats. Afin de pallier cela, l’objectif est de comparer les notes des étudiants qui sont juste en dessous et au-dessus du seuil d’attribution des résultats. C’est la note aux examens permettant de bénéficier d’un certificat qui va faire l’objet du seuil. L’idée étant qu’autour de ce seuil, les étudiants, avec une note légèrement inférieure ou légèrement plus élevée, sont parfaitement comparables. Une des principales limites de cette méthode est qu’il n’est pas toujours possible de définir une variable observable permettant de définir un seuil. De plus, il faut que les règles soient strictes et précises, et il se peut que cela ne soit pas le cas. Duflo souligne que dans les pays en développement,

[i]l est souvent possible que les règles ne soient pas appliquées de manière suffisamment stricte pour engendrer des discontinuités qui puissent être utilisées pour des motifs d’identification. Par exemple, les chercheurs ont tenté d’utiliser comme source d’identification la discontinuité introduite dans la politique de la Grameen (la plus importante organisation de microcrédit au Bangladesh) par le fait de ne prêter qu’aux personnes propriétaires de moins d’une acre de terrain […]. Il se trouve qu’en pratique, la banque Grameen prête à beaucoup de personnes possédant plus d’une acre de terrain et qu’il n’y a pas de discontinuité dans la probabilité d’emprunt au seuil […]. (Duflo 2005, p. 192)

42Dans ce cas, si les règles ne sont pas respectées en pratique, la discontinuité n’existe plus et ne peut donc pas être utilisée pour évaluer un effet causal.

La randomisation en pratique

43Étant la seule méthode qui permet d’annuler tout biais de sélection, la randomisation bénéficie d’une solide fiabilité scientifique. Cependant, comme tout processus expérimental, sa mise en pratique est complexe et peut impliquer certaines limites. Tout d’abord, il est nécessaire de réfléchir à certains enjeux avant la mise en place de l’expérience. Ensuite, il est important de déterminer comment la randomisation sera introduite, au sein du processus expérimental. Malgré son statut de gold standard méthodologique, la randomisation rencontre certaines limites intrinsèques à sa mise en place.

Enjeux rencontrés avant la mise en place de la randomisation

44Avant la mise en place de l’expérience dans une région particulière, les chercheurs font face à trois enjeux particuliers. Le premier est de savoir s’ils ont besoin de collecter des données en amont afin d’obtenir des informations supplémentaires sur la population qui fera partie de l’expérience. Le deuxième enjeu est de déterminer le niveau de l’assignation aléatoire, autrement dit si elle doit se réaliser au niveau des individus ou de groupes d’individus. Enfin, le troisième enjeu est de définir la structure de la randomisation, à savoir si l’expérience va évaluer plusieurs effets ou un unique effet.

45Concernant le premier enjeu, celui de la collecte des données, il n’est pas nécessaire, lorsqu’on réalise une expérience randomisée, de collecter des données dans le but de créer un groupe de contrôle. Cependant, il peut être utile de bénéficier de données supplémentaires afin d’avoir une compréhension plus précise des résultats. C’est la raison pour laquelle, avant de mettre en place l’expérience, une des questions principales que se posent les chercheurs est de savoir s’ils ont besoin de collecter des données qui fournissent une information sur la situation, s’il est nécessaire de mener une baseline survey. La randomisation rend, en principe, la baseline survey inutile (Duflo, Glennerster et Kremer 2007, p. 3933). Cependant, cette étude permet de générer des variables de contrôle qui vont réduire la variabilité du résultat final et donc réduire la nécessité d’un échantillon plus large. Le coût financier joue un rôle important dans la décision de mener ou non une baseline survey : si l’intervention est chère et que la collecte de données est relativement peu coûteuse, mener une baseline survey permettra d’économiser des fonds. Dans le cas inverse (lorsque la collecte des données est chère), il n’est pas profitable de mener une baseline survey.

46La baseline survey permet d’examiner les interactions entre les conditions initiales et l’impact du programme, elle offre aussi la possibilité de vérifier que la randomisation a été faite correctement. Si la collecte de données est trop contraignante, il est en règle générale possible de bénéficier facilement des données administratives. Les partenaires de terrain fournissent alors ces données aux chercheurs du J-PAL avant l’expérience. Ces données peuvent se substituer à la baseline survey (ibid.).

47Malgré tout, il est important de s’assurer que les données sont comparables entre les groupes de traitement et de contrôle ; il pourrait être tentant de ne collecter des données que dans la zone où a eu lieu le programme pour réduire les coûts de collecte de données. Mais, même si les données au sein du groupe de traitement sont collectées, cela ne permettra pas d’appréhender les résultats de façon précise. Au contraire, cela introduira un biais, car la collecte de données aura été différente d’un groupe à l’autre.

48Concernant le deuxième enjeu, la sélection aléatoire pour l’assignation des groupes peut avoir lieu sur des individus ou sur une population. Pour déterminer le niveau de randomisation, plusieurs facteurs rentrent en compte. Tout d’abord, les externalités peuvent biaiser l’évaluation du traitement. Pour y pallier, il peut être utile de randomiser à un niveau qui permet de capturer les effets du traitement sans être biaisé par les externalités. Par exemple, Kremer et Miguel (2004), qui évaluent l’impact des médicaments contre les vers intestinaux dans la réduction de l’absentéisme des élèves au Kenya, observent des effets plus importants au niveau collectif qu’au niveau individuel. Cela s’explique par le fait que ces médicaments ont une externalité, c’est-à-dire qu’ils ont un effet sur les personnes ne prenant pas le traitement. En effet, les personnes désormais traitées ne peuvent plus transmettre de vers intestinaux aux personnes qui ne sont pas traitées. Il y a alors une diminution de la transmission des vers intestinaux. La comparaison individuelle rend donc la différence entre le groupe de traitement et le groupe de contrôle plus faible. Miguel et Kremer font alors la randomisation sur un échantillon plus large (les écoles), les externalités sont toujours présentes mais leur impact est plus faible. De plus, sélectionner la population aléatoirement sur un échantillon important peut rendre la mise en place de l’expérience plus simple. Par exemple, pour une intervention qui a des coûts fixes élevés, il est plus avantageux de sélectionner un échantillon très large. Lorsque Banerjee, Duflo et Glennerster (2011) évaluent l’impact de l’ajout de fer dans la farine sur le bien-être des individus, une grande partie de la population est sélectionnée. Une autre raison, ici, de privilégier l’assignation aléatoire au niveau du groupe plutôt qu’au niveau individuel est que si le programme est perçu comme désirable dans le village cela peut créer des tensions avec l’organisation qui implante le programme. En somme, le choix du niveau de la randomisation est contextuel, il dépend de la nature de l’intervention et de l’interaction avec les individus traités et les individus non traités.

49Enfin, indépendamment du niveau choisi de randomisation, il est possible d’évaluer plusieurs éléments en même temps. Lorsque plusieurs éléments sont évalués simultanément, on parle alors de structure factorielle ou cross-cutting design. On retrouve donc ici une des dimensions mises en avant par Fisher (comme l’existence d’un plan factoriel). Il y a deux façons d’envisager une étude factorielle : elle peut être utilisée pour tester une variété d’interventions ou elle peut être mise en place pour voir si les traitements créent une interaction d’effets. Par exemple, le programme PROGRESA18 a une structure factorielle parce qu’il est une combinaison de plusieurs programmes (un transfert d’argent, une redistribution des ressources tournée vers les femmes et une dimension incitative). Pour un décideur politique, évaluer l’ensemble peut être suffisant pour décider si oui ou non le programme va se continuer, mais on peut aussi vouloir comprendre quelle composante du programme PROGRESA doit être étendue à d’autres programmes. On peut vouloir savoir si la dimension incitative est essentielle ou pas, si la distribution d’argent aux femmes plutôt qu’aux hommes compte, etc. Une randomisation avec une structure factorielle permet de séparer les différentes composantes d’un programme et de les étudier simultanément. Évaluer l’ensemble des composantes du programme possède un inconvénient : on ne sait pas quels sont les éléments permettant d’expliquer la réussite ou l’échec du programme ; on sait uniquement que ce programme fonctionne dans ce contexte. Une analyse factorielle peut aussi être utile pour tester plusieurs hypothèses en même temps, avec une faible augmentation du coût de l’expérimentation (car le principal coût est de conduire les études qui établiront les conditions de départ et la mesure du résultat des variables). Duflo souligne que leur coût étant plus faible qu’une expérience non factorielle, implanter une randomisation avec des traitements additionnels dans un projet plus large peut représenter une opportunité pour les étudiants ou les personnes aux ressources limitées.

L’introduction de la randomisation

50Une fois que les trois points qui viennent d’être décrits sont déterminés, il reste à introduire la dimension aléatoire au sein de l’expérience. Il existe quatre façons d’introduire cette dimension, chacune se rattachant à un ensemble différent de justification (Duflo, Glennerster et Kremer 2004).

51En effet, la randomisation, on l’a vu, tire son principal intérêt de sa fiabilité scientifique. Mais en matière d’économie du développement, elle offre un second intérêt. Dans les pays pauvres, les ressources sont souvent rares. Parfois, il se peut donc que toute la population ne bénéficie pas d’un programme. La randomisation, en sélectionnant aléatoirement les personnes qui auront accès au programme, permet de résoudre la question éthique de l’allocation des ressources. La randomisation peut donc avoir lieu dans l’unique but de sélectionner une population qui aura accès au programme. Sans l’assignation aléatoire, il faudrait déterminer un autre critère d’allocation pertinent. Dans ce cas, la randomisation est introduite car il existe un nombre trop important de personnes par rapport aux ressources disponibles. On parle alors d’oversubscription (1).

52À l’inverse de l’oversubscription il est possible que tout le monde ait accès au traitement. Dans ce cas, la randomisation peut tout de même intervenir. Elle est utilisée pour augmenter la participation des individus au programme. Tout le monde aura accès au programme, mais une partie de la population qui a été sélectionnée aléatoirement bénéficiera d’incitations supplémentaires. C’est ce que l’on appelle une structure incitative ou un encouragement design (2). Par exemple, Duflo, Kremer et Robinson (2011) étudient l’impact d’une démonstration de l’utilisation d’engrais sur les fermiers. Tous les fermiers bénéficient de l’engrais, mais une partie seulement de ces fermiers est sélectionnée aléatoirement pour assister à une démonstration de l’utilisation de cet engrais. Comme l’invitation est assignée de façon aléatoire, cela fournit une variable instrumentale avec laquelle on peut évaluer l’impact du traitement (la démonstration de l’utilisation d’engrais).

53La randomisation peut être introduite graduellement dans le temps. Les expériences randomisées durent souvent plus d’une année. Il est possible de diviser le temps, et d’introduire la randomisation en fonction de cette séparation (3). Par exemple, l’évaluation fameuse de Kremer et Miguel (2004) discutée plus haut s’est étalée sur quatre ans (de 1998 à 2002), et s’est intéressée à trois groupes d’écoles. Ils ont sélectionné soixante-quinze écoles, chaque groupe étant constitué de vingt-cinq écoles. Le premier groupe a bénéficié du programme en 1998, pendant que les groupes 2 et 3 ne recevaient rien. En 1999, le groupe 2 a lui aussi bénéficié du traitement, pendant que seul le groupe 3 n’en bénéficiait pas. Enfin, en 2000, le groupe 3 a reçu le traitement. L’impact du programme a été évalué en comparant les résultats du groupe 1 à ceux du groupe 2 et 3 en 1998 et en comparant les résultats du groupe 1 et 2 en 1999 à ceux du groupe 3. L’attribution du traitement s’est donc faite graduellement dans le temps, ce qui soulève cependant un certain nombre de questions, par exemple : est-il possible que les individus changent leurs anticipations en vue du traitement futur ? Si tel est le cas, cela introduirait un biais important, puisque les individus transformeraient leurs comportements. Ou encore, est-ce que les effets du traitement sont suffisamment rapides pour qu’ils se produisent avant que le dernier groupe ne soit traité ? Dans le cas contraire, la comparaison entre les différents groupes n’aurait aucun sens puisque les effets du traitement ne seraient observés nulle part.

54La randomisation, on l’a vu, permet de sélectionner aléatoirement des groupes. Mais il est possible d’introduire un niveau de randomisation supplémentaire, en l’appliquant au sein de sous-groupes (4). Ainsi lorsque l’ensemble d’une école ne veut pas participer à une expérience, le programme peut être attribué aléatoirement à des sous-groupes au sein de cette école. Un exemple est ici l’évaluation de Banerjee, Cole, Duflo et Linden (2007) en Inde qui s’intéresse à l’effet d’un enseignant supplémentaire sur le résultat des élèves. Les écoles ne souhaitaient pas y participer entièrement, c’est pourquoi au sein de ces écoles, le programme était donné dans certaines d’entre elles à des élèves de degré 3 et dans d’autres à des élèves de degré 419.

Limites (internes) de la randomisation

55Malgré son caractère de gold standard méthodologique, la mise en place de la randomisation rencontre, tout de même, certaines limites. Ces limites tiennent à la fois de la validité interne et de la validité externe de la randomisation. Je m’attacherai ici uniquement aux problèmes relevant de la validité interne de la randomisation, la partie 2 de ce livre portera sur la question de la validité externe de la randomisation.

56L’une des premières limites vient du fait que les individus peuvent changer, transformer leurs comportements, lorsqu’ils savent qu’ils font partie d’une expérience, soit pour faire plaisir à l’expérimentateur ou le contraire. Ces deux réactions sont associées à ce que l’on appelle l’effet Hawthorne et l’effet John Henry, respectivement. L’effet Hawthorne20 concerne le groupe traité : lorsqu’il est reconnaissant d’être traité, il agit comme il pense que les expérimentateurs voudraient qu’il agisse ; ce qui biaise les résultats de l’expérience puisque ce n’est pas cette motivation comportementale que les expérimentateurs souhaitent étudier. L’effet John Henry21 renvoie au groupe de contrôle, dont les membres, en réaction hostile au fait de ne pas faire partie du groupe de traitement, peuvent changer leurs comportements.

57Duflo (2005) envisage deux possibilités pour contrecarrer ces effets : d’une part, mener des études d’impact à long terme afin de continuer d’observer les effets du programme lorsque l’expérience est terminée mais que le programme est toujours en place22 ; d’autre part, concevoir les évaluations de telle façon qu’elles empêchent ces effets. Un des exemples que citent Banerjee et Duflo (2009) est l’expérience de Ashraf, Karlan et Yin (2006), qui évalue le programme SEED (qui concerne l’engagement à épargner). Dans cette étude, les auteurs sont soucieux du fait que certains individus peuvent avoir épargné plus car une équipe leur avait suggéré d’épargner plus et non à cause du programme SEED. Pour contrecarrer cela, ils ont créé un groupe de traitement supplémentaire à qui ils adressaient un programme d’épargne normal (c’est-à-dire sans engagements comme le SEED).

58Une autre limite interne, comme le souligne Heckman (1992), est que tout le monde ne souhaite pas participer à l’expérience. Ceci introduit un biais important car si certaines personnes, au sein de la population choisie, ne souhaitent pas participer, elles sont exclues d’emblée, ce qui introduit un biais de sélection – que la randomisation est censée annuler. La sélection totalement aléatoire de la population ne peut avoir lieu. Et comme le notent Duflo et Banerjee : « il est vrai que toutes les ONG ou tous les gouvernements ne sont pas volontaires pour participer à des évaluations aléatoires » (Banerjee et Duflo 2009, p. 707). Mais selon eux, ce problème tend désormais à être moins important dans les pays en développement. Le travail avec des partenaires de terrain en lesquels la population a confiance permet de diminuer ce biais. Duflo et Banerjee nuancent, alors, la limite lancée par Heckman :

Notre expérience suggère que, dans le contexte des pays en développement, ce problème tend à disparaître car les évaluations aléatoires sont de mieux en mieux acceptées, et les partenaires se multiplient. La situation va continuer de s’améliorer si les évaluations aléatoires sont recommandées par les donateurs dans la mesure où les partenaires se diversifieront encore davantage. C’est déjà ce qui est en train de se passer. De nombreux chercheurs et acteurs de terrain de la Banque mondiale travaillent notamment avec les gouvernements de pays en développement en vue de lancer un ambitieux programme d’évaluation. (Banerjee et Duflo 2009, p. 708)

59Banerjee et Duflo sont ouverts au problème soulevé par Heckman (1992). Néanmoins, selon eux, ce problème est moins important dans les pays en développement grâce à la collaboration que leur laboratoire entretient avec le terrain.

*

60Le J-PAL est désormais un laboratoire central en économie du développement. Sa structure, tout comme son organisation lui permettent d’être extrêmement présent sur le terrain, ainsi que dans de nombreuses universités. Étudier le cadre institutionnel du J-PAL permet d’offrir une explication à son essor. Cela offre un éclairage particulier sur le fonctionnement d’un tel laboratoire, et permet d’en donner une définition précise. Le J-PAL se définit par l’utilisation et la promotion de la randomisation. La structure organisationnelle du J-PAL montre comment il promeut sa méthode, en étant très présent sur le terrain et dans de nombreuses universités ou laboratoires de recherche. L’utilisation de la randomisation par le J-PAL s’inspire directement du modèle de Rubin (1974). En ce sens, elle permet d’offrir un contrefactuel comportant très peu de biais que d’autres méthodes ne parviennent pas à supprimer. Cette caractéristique lui offre le statut de gold standard méthodologique en matière d’évaluation d’impacts. De plus, l’utilisation de la randomisation par le J-PAL est aussi caractérisée par sa mise en pratique sur le terrain ; la dimension aléatoire peut être introduite de quatre façons différentes, comme nous l’avons vu. Cette rencontre avec le terrain permet d’unir les deux éléments de définition du J-PAL : l’utilisation et la promotion de la randomisation. L’utilisation de la randomisation du J-PAL, par sa mise en place sur le terrain, implique une étroite collaboration avec les partenaires qui s’y trouvent. Et cette étroite collaboration tend à promouvoir la randomisation du J-PAL et donc à offrir un élément d’explication à l’essor de ce laboratoire ces dix dernières années.