La tradition de la recherche expérimentale utilisant des groupes de contrôle et une assignation aléatoire s’étend à la fois en sciences sociales et en sciences naturelles. Toutefois, l’institutionnalisation de ces idées méthodologiques et pratiques a été différente en sciences sociales et en médecine. Pour autant et sans aucun doute, depuis le xix^e siècle, les études expérimentales prospectives comprenant des groupes de contrôle se sont installées fermement en médecine et c’est au sein de cette discipline que cette méthode y a été le plus articulée. (Oakley 2000, p. 325, ma traduction)

1Les premières expériences qui ont intégré une dimension aléatoire à leur protocole ont lieu en psychologie au début du xix^e siècle. Mais c’est en médecine, durant le xx^e siècle, que ce type d’expériences connaît son plus grand succès. Cela explique que la randomisation soit souvent associée à la médecine et donc aux essais cliniques. La dimension aléatoire introduite au procédé expérimental permet de garantir une importante fiabilité aux résultats obtenus par l’expérience. Cette dimension aléatoire est considérée comme une garantie de rigueur, ce qui rejoint explicitement la première volonté du J-PAL – produire des preuves. La seconde histoire renvoie au domaine d’application de la randomisation du J-PAL, c’est-à-dire à l’économie expérimentale. Les expériences du J-PAL sont des expériences de terrain, en ce sens, elles se distinguent des expériences de laboratoire menées en économie. Les expériences de terrain menées en économie datent du milieu du xx^e siècle. Certaines de ces expériences ont une visée directement sociale, on parle alors d’expériences sociales de terrain. Ces dernières ont pour objectif d’évaluer les effets d’interventions politiques, et rejoignent ainsi la seconde volonté du J-PAL – évaluer des programmes de développement en vue de guider la décision politique.

*

2Retracer ces deux histoires offre un double intérêt. Tout d’abord, cela me permet de traduire les deux objectifs du J-PAL. Ensuite, cela me permet de situer son approche, aussi bien du point de vue de la méthode utilisée que de son domaine d’application. Je m’intéresserai, tout d’abord, à l’histoire de cette méthode, puis à l’histoire des expériences de terrain en économie.

Les origines de la randomisation : de la sensation à la télépathie

3Les premières expériences randomisées sont menées par Charles Sanders Peirce (1839-1914), qu’il conclut en évoquant la télépathie. Ce thème sera ensuite largement repris. Des milliers d’études randomisées auront lieu à l’université de Stanford, à la fin du xix^e siècle, afin de vérifier l’existence de la télépathie. En effet, pour le philosophe des sciences Ian Hacking, la télépathie constitue l’origine des expériences randomisées1. La randomisation est ici justifiée par le caractère « empirique » des questions : « plus une question est “empirique” et non théorique, plus la randomisation est justifiée » (Hacking 1988, p. 434, ma traduction). Je suivrai ici l’histoire de la randomisation que propose Ian Hacking2.

La psychologie comme discipline originelle de la randomisation

4L’expérience menée par Charles Sanders Peirce et son étudiant Joseph Jastrow (1863-1944), de décembre 1883 à janvier 1884 (Stigler 1992, p. 63), s’inscrit en « psychophysique » ou « physio-psychologie ». Ce terme est donné par Gustav Theodor Fechner3 (voir Fechner 1860) pour décrire les recherches qui visent à mettre en lien les stimuli physiques avec une forme de conscience telle que les sensations. Fechner, en créant la « psychophysique », cherche à donner à l’étude de l’esprit un caractère scientifique. Il s’est intéressé au rapport entre l’excitation et la sensation. L’excitation est le stimulus que l’on fait ressentir à un sujet et la sensation renvoie au moment où l’individu prend conscience du stimulus qu’on lui a appliqué. Fechner cherche à mesurer le rapport entre l’excitation et la sensation et tente d’établir un seuil entre les deux. Dans ce but, il a mené plusieurs expériences, mais ces dernières n’étaient pas randomisées. C’est Charles Sanders Peirce, qui en voulant contredire les résultats de Fechner, introduit la randomisation.

5Le seuil que cherche à définir Fechner (1860) correspond au niveau de stimulation qui marque l’entrée d’un événement dans la conscience de celui qui la reçoit. Autrement dit, ce seuil renvoie au moment où l’individu parvient à avoir conscience de la stimulation et donc au moment où il sent quelque chose. Ce seuil peut être mesuré à travers deux aspects : la sensibilité à un événement sensoriel, qui n’était pas présent avant ; et la sensibilité à un changement d’intensité dans un événement sensoriel qui est connu ou déjà présent. Fechner définit trois méthodes pour mesurer ces deux aspects : la méthode des limites, la méthode d’ajustement, la méthode du stimulus constant (autrement appelée la méthode des cas vrais et faux). Dans ses expériences, Fechner va privilégier les deux dernières méthodes. La méthode du stimulus constant lui permet d’appliquer une série de stimuli de façon répétée et dans un ordre aléatoire. Le sujet juge, pour chaque stimulus, s’il a ou non ressenti quelque chose. Par exemple, la sensibilité du toucher sur un avant-bras est testée en demandant aux individus, qui ont été piqués par une aiguille, s’ils ont été piqués une ou deux fois. La méthode des cas vrais et faux lui permet d’établir un tableau des réponses données par le sujet. Si ce dernier a bien évalué les stimuli, il s’agit d’un cas juste et s’il s’est trompé d’un cas faux. À l’aide de ce tableau, il est possible de déterminer le rapport entre les sensations et les stimuli.

6Fechner a réalisé plusieurs fois ces expériences. Elles montrent que l’intensité de nos sensations croît en fonction de l’intensité de nos excitations. Par exemple, plus l’aiguille est enfoncée fortement dans l’avant-bras, plus le sujet aura une sensation de piqûre intense. Il est, cependant, difficile de mesurer ce rapport, car une même excitation ne produit pas nécessairement la même sensation. Pour prendre un autre exemple, on entend le tic-tac d’une pendule distinctement durant la nuit, alors que nous n’entendons pas ce même tic-tac dans la journée, lorsque d’autres bruits s’y ajoutent. C’est pourquoi, pour Fechner, l’intensité de la sensation ne croît pas de façon totalement similaire à celle de l’excitation. Elle croît plus lentement. De ce constat découle la « loi de Fechner »4 : l’intensité de la sensation est une fonction logarithmique de l’excitation. C’est-à-dire que pour une multiplication dans l’intensité du stimulus (par exemple l’excitation), l’intensité de la sensation ne fait qu’ajouter et ne multiplie pas. Si l’excitation est très faible, la sensation de cette excitation est encore plus faible.

7Comme cela a été soulevé, les expériences de Fechner ne sont pas des expériences randomisées ; cependant, elles sont centrales, car ce sont elles qui donnent à Peirce l’objet de ses expériences futures. C’est en s’opposant aux résultats de Fechner que Peirce envisage ses expériences, qu’il réalise avec son assistant et étudiant Joseph Jastrow durant l’année 1884. La structure de ces expériences est beaucoup plus sophistiquée que celle des expériences qu’avait menées Fechner. Peirce et Jastrow s’intéressent aussi au lien entre les stimuli et les sensations, mais ils vont s’attacher à des variations de stimuli d’intensité très faible (Stigler 1992, p. 64).

8Dans leurs expériences, Jastrow et Peirce font ressentir deux pressions différentes aux observateurs et leur demandent de les distinguer. Pour calculer la probabilité d’erreur de l’observateur, Jastrow et Peirce se réfèrent à la théorie mathématique des erreurs5. Peirce explique que si les résultats montrent que le rapport entre les deux pressions est inférieur à un certain ratio, alors la théorie du seuil de Fechner est vérifiée. Par contre, si les résultats montrent que l’observateur ne peut pas différencier deux excitations lorsque l’une d’elles subit une variation très légère, alors toutes les raisons de croire à un seuil, comme l’envisage Fechner, sont détruites. La théorie mathématique a l’avantage d’offrir une précision plus forte que celle des physiologistes, et permet d’améliorer les méthodes d’observation. De plus, cela offre une méthode concrète pour mesurer la finesse d’une perception et permet de comparer les résultats d’un observateur à un autre.

9L’expérience de Peirce et Jastrow se déroule de la façon suivante : on applique au sujet deux poids différents sur le bout du doigt. Il doit, ensuite, déterminer si le premier poids est plus lourd ou moins lourd que le second. Le sujet est obligé de donner une réponse, il ne peut pas dire qu’il ne constate aucune différence entre les deux poids. Ensuite, il doit établir le degré de confiance qu’il a envers sa propre réponse. Ce degré est de 0 s’il n’a aucune préférence entre sa réponse et une autre, de 1 s’il a un léger penchant pour l’alternative qu’il a choisie, de 2 s’il est confiant de sa réponse, et de 3 s’il est très confiant. Afin de savoir s’ils vont commencer par attribuer au sujet le poids le plus lourd des deux ou le poids le plus léger, Peirce et Jastrow introduisent une dimension aléatoire. C’est à partir d’un jeu de cartes qu’ils vont décider si le poids présenté en premier sera le plus lourd ou le plus léger. Ils utilisent pour cela deux paquets de 25 cartes – l’un avec 12 cartes rouges et 13 cartes noires et l’autre avec 13 cartes rouges et 12 cartes noires. La couleur de la carte détermine l’ordre des poids. L’individu tire donc une carte qui établit l’ordre des pressions ; une fois qu’il a apprécié les différentes pressions, il donne son jugement et son degré de confiance. La dimension aléatoire introduite par Peirce et Jastrow évite que les individus formulent leurs jugements en fonction des suppositions qu’ils appliquent aux expérimentateurs. Les résultats de l’expérience montrent que les sensations n’ont pas de seuil, comme l’affirmait Fechner. La conclusion principale de cette expérience est la suivante :

Ce fait général [l’absence de seuil] a une portée pratique importante, puisqu’il offre de nouvelles raisons de croire que nous accédons à ce qui se passe dans l’esprit d’un autre, dans une large mesure, à l’appui de sensations si faibles que nous ne sommes pas complètement conscients de les avoir ressenties, et cela nous laisse sans explication sur comment nous avons pu accéder aux sensations d’autrui. L’intuition féminine tout autant qu’un certain phénomène « télépathique » pourraient être aussi expliqués en ce sens. Ces sensations faibles doivent alors être pleinement étudiées par les psychologues et doivent être assidûment cultivées par chaque homme. (Peirce et Jastrow 1885, p. 83, ma traduction)

10Les expériences de Peirce et Jastrow pointent deux des dimensions essentielles de la randomisation. Tout d’abord, le fait que la présentation des poids est décidée aléatoirement, à l’aide d’un jeu de cartes ; puis l’idée que cet aspect aléatoire garantit la fiabilité des résultats, en réduisant l’impact de facteurs extérieurs sur le jugement des individus. Les expériences de Peirce et Jastrow ont donc un double effet : l’introduction de la dimension aléatoire dans le processus expérimental ainsi que la suggestion d’un phénomène « télépathique », qui orientera bon nombre des expériences randomisées futures.

Randomisation et télépathie : de la psychologie à la parapsychologie

11Ian Hacking s’intéresse de plus près à la conclusion de Peirce et Jastrow en creusant le lien entre la randomisation et la télépathie. Il retrace de façon originale ce qu’il appelle « l’histoire des origines de la randomisation » (Hacking 1988), à travers le concept de télépathie. Il montre qu’après les expériences de Peirce et Jastrow, un médecin français, Charles Richet (1850-1935), s’est attaché à vérifier scientifiquement l’existence du phénomène de télépathie, ou ce qu’il appelle la suggestion mentale, qu’il définit de la façon suivante : « la suggestion mentale est l’influence que la pensée d’un individu exerce dans un sens déterminé, sans phénomène extérieur appréciable à nos sens, sur la pensée d’un individu voisin » (Richet 1885, p. 615). Cette suggestion mentale renvoie, pour Richet, aux vibrations de la pensée des individus (p. 617), et c’est cette vibration qu’il cherche à mesurer. Il mène plus de trois cents expériences en 1885, un an après celles de Peirce et Jastrow. Ces expériences ne sont pas randomisées. Cependant, elles jouent un rôle central dans l’histoire des premières expériences randomisées. D’une part, parce qu’elles ont vocation à prouver l’existence de la télépathie et lancent donc le thème qui sera repris ensuite au sein de nombreuses expériences randomisées par le psychologue John Edgar Coover (1872-1938), et que Richet, d’autre part, souhaite donner une importante « scientificité » à ces expériences.

12En effet, dans le but d’offrir un statut « scientifique » à sa démarche, Richet (1884) se fonde sur le calcul des probabilités. Il compare, tout d’abord, le résultat du calcul des probabilités aux résultats de ses expériences. Il illustre cela de la façon suivante : un jeu de 52 cartes comprend quatre couleurs (carreau, trèfle, pique et cœur), la probabilité de tirage est donc de ¼. S’il y a 208 tirages, la probabilité que cet individu trouve la bonne couleur sur ces 208 tirages est donc de 52 (208  1/4). Richet fait cette expérience, seul. Il énonce au hasard la couleur de la carte avant de la piocher et note les résultats de ses 208 tirages. Il a eu, par le fruit du hasard, 50 succès. Il en conclut :

Voici donc un premier point acquis, c’est qu’expérimentalement le calcul des probabilités est aussi vrai que théoriquement ; à savoir que, dès que l’expérience porte sur un suffisant nombre de chiffres, le calcul des probabilités se vérifie à peu de choses près. (Richet 1884, p. 619)

13Il procède à quatre types d’expériences différentes. La première consiste à deviner la couleur de la carte qu’une autre personne a piochée – et qu’elle tente de faire deviner par télépathie. Il répète cette expérience plusieurs fois, le calcul de probabilité sur 1833 expériences est de 458 (1833/4), le résultat avec suggestion mentale (télépathie) est de 510. Il choisit, ensuite, de ne plus procéder avec un jeu de cartes mais avec des photographies : une personne pioche une image et une autre personne, près d’elle, doit deviner l’image. Ici, le calcul de probabilité sur 218 expériences offre un résultat de 42, alors que l’expérience sur la suggestion mentale donne un résultat de 67. Dans la troisième expérience, des baguettes ont été cachées sous des boîtes, un des deux individus sait où se trouve la baguette cachée et doit guider, par la suggestion mentale, le deuxième individu qui lui ne sait rien. Le calcul de probabilité est ici de 18 sur 98 expériences (98/5, il y a cinq boîtes), et le résultat des expériences est lui de 44. La dernière expérience vise à présenter à deux individus une série de lettres en désordre, l’un va en déduire un mot (qui peut ne pas reprendre toute la série des lettres) et le second individu doit deviner le mot. Pour trouver une lettre du mot, le calcul de probabilité est 1/26 (puisque l’alphabet est constitué de 26 lettres). Pour un mot de n lettres, le calcul de probabilité est de 1/26  n. À titre d’illustration, pour un mot de six lettres, comme « ESTHER » (Richet 1885, p. 658), le calcul de probabilité est de 6/26 (1/26  6) ; et le résultat de l’expérience de Richet, pour ce mot, est d’une lettre. Autrement dit, la personne à qui le mot « ESTHER » a été suggéré a pu déterminer une lettre du mot, alors que la probabilité qu’elle y parvienne était de 6/26. Cela conduit Richet à conclure :

Il est tout à fait invraisemblable que le hasard, sur 300 expériences environ ait pu me donner autant de fois ces séries remarquables […]. Autrement dit, en reprenant une des plus fameuses démonstrations de Pascal : S’il fallait opter pour la réalité ou la non-réalité de la suggestion mentale, je laisserais le hasard décider ; mais je donnerais deux chances à l’hypothèse que la suggestion mentale existe, et une chance seulement à l’hypothèse contraire.6 (Richet 1884, p. 670)

14La conclusion de Richet souligne que l’on ne peut être certain de l’existence de la télépathie. Il faut attendre plus d’une quinzaine d’années pour que ce thème soit repris au sein de nombreuses expériences randomisées fort coûteuses menées par le psychologue John Edgar Coover. À la mort de leur fils unique, la même année que les expériences de Peirce, monsieur et madame Stanford décident de financer massivement l’université de Stanford, offrant à John Edgar Coover et au département de psychologie une importante bourse de recherche. Avec cette bourse, John Edgard Coover offre à la télépathie, dont Richet avait lancé la théorie, sa dimension expérimentale. De 1912 à 1917, Coover mènera 40 500 expériences en vue de tester l’existence du phénomène de télépathie. Ces expériences sont constituées de deux groupes : un groupe avec des étudiants et un autre avec des amateurs ou des professionnels de la parapsychologie. Dans les expériences constituées seulement d’étudiants, ceux-ci sont, là aussi, séparés en deux groupes : un groupe de 97 et un de 105. Le premier groupe pioche, au hasard, une carte et le second doit deviner la carte par télépathie. Dans les 3 000 premières expériences, le groupe des 97 avait à changer de place tous les 20 essais. L’objectif était ici de déterminer si le fait de se situer près du groupe qui doit faire deviner la carte favorise la télépathie ou s’il vaut mieux se situer plus loin. Lors des 2 500 essais suivants, seule la durée du regard de la carte variait, allant de 20 à 60 secondes. L’apport majeur de ces expériences est, pour Hacking, l’utilisation de la randomisation au travers de la création d’un groupe de contrôle. Avec les expériences de Coover, on assiste à la naissance des expériences contrôlées7, c’est-à-dire une expérience fondée sur la distinction de deux groupes – un groupe de contrôle et un groupe de traitement. La distinction de ces deux groupes, mise en avant par Coover, permet la comparaison. Mais les expériences de Coover ne sont pas seulement contrôlées, elles sont aussi randomisées :

Ainsi le protocole expérimental de Coover intègre l’utilisation d’un randomizer (le jeu de cartes) afin de choisir quel objet devra être deviné mais aussi d’un autre randomizer (le jeu de dés) afin d’assigner un des trois types de traitements possibles et un de contrôle qui ne recevra aucun traitement. Ici nous avons l’ensemble de la contrainte du contrôle, la dimension aveugle, et la randomisation. (Hacking 1988, p. 448, ma traduction)

15Les expériences de Coover reprennent le thème de Charles Richet (la télépathie), et elles ajoutent à la structure de Peirce la constitution de deux groupes et donc la dimension et le terme d’expériences contrôlées. Elles offrent, déjà, un socle conceptuel fort dans l’appréhension de la randomisation : la dimension aléatoire ainsi que le caractère contrôlé.

De la randomisation aux expériences randomisées

16Ronald Fisher (1890-1962) et Austin Bradford Hill (1897-1991) sont les principales figures qui marquent le début de l’utilisation de la randomisation au sein d’une structure expérimentale définie précisément. Fisher construit les fondements statistiques d’une telle méthode, ainsi que la structure expérimentale que la randomisation doit prendre ; et Hill l’applique à un domaine particulier : la médecine. Les deux hommes ne travaillent pas ensemble et ont des visées très différentes. Fisher (1926, 1960 [1935]) construit une structure d’enquête statistique et expérimentale rigoureuse, en vue de l’appliquer à l’agriculture. Hill est médecin et mène des analyses épidémiologistes. Vivant à la même époque, le xx^e siècle, ils échangent, cependant, sur leurs divers travaux. La naissance de la randomisation, dans son sens moderne, est donc due, d’une part à la structure que crée Fisher, et d’autre part à l’utilisation qu’en fait Hill. Par sa position et ses relations, Hill fait de la randomisation l’outil le plus utilisé dans la recherche clinique ; et Fisher offre à cette méthode son statut de gold standard8 méthodologique (Armitage 2003).

Ronald Fisher ou la naissance de la structure expérimentale de la randomisation

17Fisher offre la solution statistique et la structure qui définissent, aujourd’hui encore, la randomisation9. Mais avec Fisher, on quitte la psychologie – et la télépathie – pour un domaine tout autre : l’agriculture. L’objectif de Fisher était de pouvoir évaluer l’impact des innovations agricoles sur les rendements. Fisher cherche à définir une structure expérimentale rigoureuse permettant de pallier le scepticisme que les résultats expérimentaux peuvent rencontrer. Fischer envisage des expérimentations fondées à la fois sur un protocole expérimental rigoureux mais aussi sur des procédures statistiques, elles-mêmes rigoureuses. Ces deux aspects sont pour lui, en fait, une seule et même chose. En ce sens, les procédures statistiques et le protocole expérimental sont deux faces d’une même médaille.

18Afin de donner l’intuition expérimentale de la randomisation, Fisher prend l’exemple de « the lady tasting tea »10. Une jeune femme affirme qu’elle est capable de déterminer dans une tasse de thé si le lait a été versé avant ou après le thé11. Afin d’infirmer ou de confirmer l’affirmation de la jeune femme, Fisher propose qu’on lui présente huit tasses de thé : pour certaines d’entre elles, le lait a été versé avant le thé et pour d’autres, il a été versé après. Les tasses lui sont présentées de façon aléatoire, il n’a pas été décidé à l’avance l’ordre dans lequel les différentes tasses seraient présentées. La jeune femme doit, une fois qu’elle a eu accès à toutes les tasses, les classer en deux groupes : un groupe ou le thé a été versé en premier et un groupe où le thé a été versé en second. Selon Fisher, il est ensuite utile de prévoir les différents résultats possibles, selon la règle de combinaisons et de permutations. C’est pourquoi Fisher choisit huit tasses car s’il n’y avait eu que six tasses, il n’y aurait eu que 20 possibilités12 pour classer les tasses, ce qui aurait rendu le travail « trop facile » pour la jeune femme. L’objectif est ensuite de réduire au maximum le risque que la jeune femme puisse placer les tasses dans le bon ordre par pure coïncidence. Il est néanmoins impossible de supprimer complètement le rôle du hasard ; pour autant, le fait qu’il y ait 70 essais permet d’obtenir un résultat significatif, au sens statistique. Fisher introduit ensuite le rôle de l’« hypothèse nulle ». Celle-ci postule une égalité entre deux données, et est toujours testée contre une autre hypothèse. Il s’agit ici d’une jeune femme qui a classé les tasses dans le bon ordre par pure coïncidence. Pouvoir tester cette hypothèse permet, lorsque le classement des tasses sera opéré, d’être sûr que l’ordre donné par la jeune fille est dû à sa capacité à distinguer si le lait avait été versé en premier ou non. Une fois cette structure statistique définie, il reste à déterminer le cadre expérimental. Il apparaît évident qu’il faut que les tasses soient le plus identiques possible, afin que la jeune fille ne bénéficie pas d’informations extérieures lui permettant de savoir si le lait a été versé avant ou après. Cependant, il semble difficile de rendre ces tasses parfaitement identiques. La randomisation apparaît être une des principales solutions pour contrecarrer ce problème :

La garantie essentielle de cette procédure expérimentale réside dans le fait que les deux modifications sur les breuvages ont été préparées dans un « ordre aléatoire ». (Fisher 1960 [1935], p. 19, ma traduction)

19La randomisation fait alors office de garantie. Elle permet d’éviter que d’autres facteurs puissent entrer en jeu. Le fait que le lait soit versé avant ou après le thé est déterminé de façon aléatoire, afin que seul ce facteur puisse être évalué.

20Fisher précise ensuite cette structure expérimentale, au cœur de laquelle se trouve donc la randomisation. Cette structure s’articule autour de six principales idées : (1) la comparaison, (2) la randomisation, (3) la construction de groupes, (4) la réplication, (5) l’existence d’un contraste orthogonal (6) et d’un plan factoriel. La comparaison (1) est l’un des enjeux centraux dans une expérience. L’objectif est, pour l’expérimentateur, de pouvoir comparer deux situations : une situation dans laquelle un élément varie et une situation dans laquelle ce même élément reste identique. Dans l’exemple de la jeune fille et du thé, l’objectif était de rendre parfaitement comparables les différentes tasses de thé, afin que la jeune fille puisse déterminer si le lait a été versé avant ou après le thé. La randomisation (2), comme cela a été vu, permet de rendre ces deux situations comparables, en allouant l’élément qui varie (le traitement ou le programme) de façon aléatoire. Cela permet de fixer les différences qui pourraient exister entre les deux situations. Afin que cette allocation aléatoire se matérialise et que la comparaison entre ces deux situations soit rendue possible, il est nécessaire de constituer deux groupes (3). Un premier qui recevra le traitement (l’élément variateur) et un second qui ne recevra rien et restera donc inchangé. Cette séparation en deux groupes est appelée le randomized block. La réplication (4) implique de refaire plusieurs fois l’expérience dans des conditions différentes afin d’être sûr de la validité des résultats et de leur indépendance à l’environnement dans lequel l’expérience a été réalisée. L’existence d’un contraste orthogonal (5) est une méthode de comparaison des moyennes, permise même lorsque les groupes ne sont pas tous égaux. Une expérience vise à répondre à plusieurs questions, chacune des questions représentant un contraste. Afin que les différents contrastes ne soient pas redondants, il faut qu’ils soient indépendants. Si tel est le cas, ils sont dits orthogonaux. L’existence d’un plan factoriel13 (6) permet à l’expérience de répondre à plusieurs questions distinctes, c’est-à-dire qu’il permet d’évaluer différents traitements au sein d’une même expérience.

21Le principal intérêt de la randomisation est d’annuler toutes les autres sources de variations, autrement dit d’annuler tous les biais de sélection14. Lorsque l’on réalise une expérience et que l’on fait varier un facteur dans le but de voir son impact, on ne peut jamais être sûr que cet impact soit imputable uniquement aux facteurs que l’on a fait varier, d’autres facteurs, ignorés, peuvent avoir une influence et être une partie explicative de cet impact. La randomisation, en distinguant deux groupes et par sa dimension aléatoire, permet d’annuler ce biais de sélection.

Randomisation et application : de la genèse des essais cliniques à leur version moderne

22La structure définie par Fisher permet à la médecine de répondre à l’un de ses enjeux essentiels : comment savoir si la guérison est liée au traitement ou à un facteur autre ? Ou comment être sûr, par exemple, que la cigarette peut être une des causes du cancer des poumons ? L’essai clinique considéré comme le premier essai clinique randomisé est celui montrant les effets positifs de la streptomycine dans la lutte contre la tuberculose et conduit en partenariat avec Austin Bradford Hill (voir Streptomycin in Tubercolis Trials Committee 1948). Cependant, la première intuition de cette démarche remonte à l’essai réalisé par James Lind en 174715.

23James Lind tente de soigner le scorbut16. Cette maladie était considérée comme « la peste des mers » et touchait à cette époque majoritairement des marins. Lind est un chirurgien de marine pour la British Navy. Il prend la mer à bord du HMS Salisbury, un bateau de cinquante canons, en 1747 à Portsmouth. Avant même de faire escale, plusieurs cas de scorbut se déclarent sur le bateau. Après avoir étudié la littérature sur cette maladie en vue d’établir un tableau clinique17, il tente de déterminer le traitement permettant de lutter contre cette maladie. Pour cela, il sélectionne douze hommes sur le bateau qu’il sépare en six groupes de deux, et attribue à chaque groupe un régime distinct lui permettant de comparer les effets des différents traitements et d’évaluer leur efficacité. Seul le premier groupe, qui a reçu une dose particulière de vitamine C, a survécu. James Lind a demandé aux douze marins d’ajouter à leur nourriture du cidre, du vinaigre, de l’eau de mer, du citron, de l’acide sulfurique ou des épices. C’est le citron qui a été le plus efficace et qui a permis de soigner le scorbut. James Lind est un des premiers à avoir expérimenté ce que l’on appellera plus tard un essai clinique.

24Je vais désormais présenter la version moderne de ces essais cliniques, pour cela je vais me concentrer sur celui mené par Austin Bradford Hill et Richard Doll sur le lien entre le cancer des poumons et la cigarette. Même si cet essai n’est pas complètement un essai clinique randomisé, il permet de cibler au mieux les enjeux méthodologiques des essais cliniques. En effet, de façon paradoxale, le fait qu’il ne soit pas randomisé permet d’illustrer les enjeux de la randomisation. De plus, cet essai étant un des plus discutés dans la littérature économique, comme en atteste le début du livre très controversé et discutable des économistes Pierre Cahuc et André Zylberberg (2016), sa présentation permettra donc aussi d’éclairer des controverses récentes. Hill et Doll partent du constat qu’au début des années 1950, en Angleterre – ils sont tous les deux britanniques –, on assiste à une importante hausse du nombre de morts due au cancer des poumons. Ils cherchent alors à expliquer cette hausse. Selon eux, deux principales causes peuvent l’expliquer : la pollution et la cigarette. Il apparaissait difficile de tester les effets de la pollution sur l’augmentation de morts des cancers du poumon, c’est pourquoi Hill et Doll testent le lien entre la cigarette et le cancer des poumons. Tout d’abord, Hill et Doll demandent aux hôpitaux londoniens de les informer lorsque des patients sont admis avec des tumeurs cancéreuses aux poumons, à l’estomac, au rectum et au colon. Les patients de plus de soixante-quinze ans sont exclus de l’étude, et aucun des patients n’a refusé de participer, ce qui n’introduit, alors, aucun biais de sélection. Les cas de cancers sont divisés en deux groupes : un groupe A constitué des patients où le cancer a été diagnostiqué par autopsie ou biopsie, et un groupe B où le diagnostic a été fait par un autre type d’examen. Il y a alors 2475 patients, 1079 constituent le groupe A, 267 constituent le groupe B et 1129 patients ne sont dans aucun des deux groupes. Dans ces 1129 patients il y en a 709 qui souffrent d’une autre maladie que le cancer et ils constituent le groupe de contrôle. Hill et Doll soulignent que ces deux groupes sont parfaitement comparables en termes d’âge, de sexe, etc.

25Hill et Doll font face à une première difficulté : qu’est-ce qu’un fumeur ? Doit-on considérer comme fumeur une personne qui ne fume plus mais qui a longtemps et beaucoup fumé ? Hill et Doll pointent cette difficulté en notant le fait que les habitudes de fumeurs varient dans le temps. Ils optent pour une définition large : « Un fumeur était donc défini dans cette étude comme une personne qui avait fumé plus d’une cigarette par jour pendant au moins un an, un nombre de cigarettes moins important sur une durée plus faible était ignoré de l’étude » (Doll et Hill 1950, p. 741, ma traduction). La seule façon, pour Hill et Doll, de tester le lien entre la cigarette et le cancer des poumons est de distinguer, au sein des patients atteints de cancer du poumon, les fumeurs des non-fumeurs. Sur les 649 hommes atteints de cancer du poumon, 647 sont fumeurs et seulement 2 ne le sont pas. Pour le groupe de contrôle de 649 patients atteints d’une autre maladie, 622 sont fumeurs et 27 ne le sont pas. Pour ce qui concerne les femmes18, sur 60 patientes atteintes du cancer des poumons, 41 sont fumeuses et 19 ne le sont pas. Dans le groupe de contrôle où les femmes sont atteintes d’une autre maladie, 28 sont fumeuses et 32 ne le sont pas. Pour Hill et Doll, « il doit être conclu qu’il y a une association réelle entre les tumeurs cancéreuses du poumon et le fait de fumer » (Doll et Hill 1950, p. 746, ma traduction).

26Cette étude est une expérience contrôlée et non randomisée, c’est-à-dire une expérience où la structure est définie par deux groupes distincts : un groupe de contrôle et un groupe de traitement. Il n’y a pas de sélection aléatoire au sein des patients, seul un groupe de contrôle existe. On retrouve, ici, deux aspects qui serviront de socle à la randomisation : l’expérimentation et l’existence d’un groupe de traitement et d’un groupe de contrôle. La randomisation, à proprement parler, était difficile, puisqu’il fallait séparer les personnes atteintes du cancer des poumons des fumeurs, dans le but d’établir potentiellement un lien. L’étude de Hill et Doll ouvre la voie à l’expérimentation en médecine, de façon moderne19, et met en avant l’évaluation de facteurs causaux permettant d’expliquer un phénomène – une pathologie dans le cas de la médecine. C’est, au-delà de l’expérience, ce qui est repris par les chercheurs du J-PAL : mettre à jour les facteurs causaux dans le but de comprendre un phénomène.

Expériences sociales et de terrain

27L’attribution, en 2002, du prix de la banque de Suède en sciences économiques en mémoire d’Alfred Nobel à Daniel Kahneman et Vernon Smith marque la reconnaissance et la légitimité de l’économie expérimentale comme une sous-discipline de l’économie. Pour Francesco Guala, ce prix reconnaît deux dimensions :

Premièrement, il reconnaît le travail de chercheurs qui selon les conventions du monde académique contemporain ne devraient pas être qualifiés « d’économistes »20 […]. Deuxièmement, et plus important sans doute, l’autre moitié du prix était destinée à reconnaître une innovation méthodologique, plutôt qu’une contribution à la théorie économique. (Guala 2005, p. 1-2, ma traduction)

28Le prix Nobel reconnaît un nouveau domaine, rendu possible, selon Guala, par des changements profonds de la discipline. L’économie expérimentale permet de tester des hypothèses, de mettre en évidence des liens causaux ou de prédire les comportements des individus. On distingue les expériences de terrain et les expériences de laboratoire21. La distinction entre les deux n’est pas toujours claire, mais Harrison et List offrent une typologie permettant de les dissocier. Les expériences qui m’intéresseront particulièrement ici sont celles de terrain, car la randomisation utilisée par le J-PAL se fonde sur des expériences de terrain. Je m’intéresserai donc ici à la seconde histoire de la randomisation du J-PAL – l’histoire de la randomisation en économie expérimentale. Cela permettra de situer précisément la méthode du J-PAL au sein des différentes approches expérimentales utilisées en économie.

Des expériences de laboratoire aux expériences de terrain en économie

29Le principal intérêt d’une expérience de terrain est de permettre l’évaluation de l’effet d’une variation extérieure (un traitement ou un programme) en vue d’établir une causalité :

De façon différente de l’économie empirique traditionnelle, les expériences de terrain permettent aux chercheurs de créer des variations exogènes au sein des variables d’intérêt, permettant ainsi d’établir des causalités plutôt que de simples corrélations. (Reiley et List 2010, p. 54, ma traduction)

30Les expériences de terrain offrent ainsi la possibilité de mettre en évidence une causalité. À première vue, une expérience de terrain est caractérisée par le fait qu’elle se réalise à l’extérieur ; alors qu’une expérience de laboratoire est rattachée à un espace précis et défini, le laboratoire. Par contraste, dans une expérience de terrain, celui-ci est mouvant : il ne renvoie pas à un espace clairement délimité. La seconde difficulté concerne le contenu de l’expérience : teste-t-on la même chose dans une expérience de terrain et dans une expérience de laboratoire ? L’espace est différent mais la forme d’une expérience de terrain est-elle similaire à une expérience de laboratoire ? Enfin, comment situer les expériences randomisées au sein des expériences de terrain ?

31Afin de distinguer les expériences de terrain et de laboratoire, Harrison et List (2004) retiennent six critères. Le premier s’attache aux sujets qui participent à l’expérience, qui peuvent être de deux types : « les sujets standards » et les « sujets non standards ». Les premiers sont les étudiants en économie, ce sont souvent eux qui participent le plus aux expériences de laboratoire ; les seconds sont des « extérieurs » (outdoors). Ce sont souvent ces gens de dehors qui caractérisent les expériences de terrain même si « l’utilisation de sujets non standards ne devrait pas qualifier automatiquement une expérience comme une expérience de terrain » (Harrison et List 2004, p. 1012, ma traduction). Un deuxième critère s’attache à la nature de l’information que possède l’individu lorsqu’il participe à l’expérience. La nature des produits est un troisième critère : dans les expériences de terrain, le plus souvent, ce sont des produits « réels » qui sont mis en jeu et non des produits virtuels comme dans les expériences de laboratoire. Le quatrième critère est la nature de la tâche que l’individu doit réaliser au sein de l’expérience. Le cinquième critère concerne les paris que doit prendre l’individu lorsqu’il participe à une expérience. Le sixième critère est déterminé par l’environnement de l’expérience, par exemple les expériences de laboratoires se réalisent dans des salles de classes, ce qui n’est pas le cas des expériences de terrain.

32Harrison et List proposent ensuite une terminologie des expériences : (1) expérience de laboratoire ordinaire, (2) expérience de terrain artefactuelle, (3) expérience de terrain encadrée et (4) une expérience de terrain naturelle. Les six critères définis précédemment vont permettre de déterminer et de séparer ces différents types d’expériences. Une expérience de laboratoire ordinaire est une expérience dans laquelle les participants sont des étudiants (standard subject), l’encadrement est abstrait et les règles sont imposées. Une expérience de terrain artefactuelle est semblable à une expérience de laboratoire ordinaire mais avec des participants non standards. Une expérience de terrain encadrée est identique à une expérience de terrain artefactuelle mais avec un contexte où les tâches, les produits et les informations peuvent être utilisés librement. Une expérience de terrain naturelle est similaire à une expérience de terrain encadrée mais dans l’environnement naturel de l’individu où rien n’est changé. La typologie de Harrison et List (2004) permet donc de distinguer clairement les expériences de terrain des expériences de laboratoire, et offre une définition précise de ces dernières.

33Concernant l’histoire de ces expériences de terrain, les économistes Steven Levitt et John List (2008) distinguent trois périodes. La première période est traversée par les travaux des statisticiens Ronald Fisher et Jerzy Neyman (1920-1930). Ceux-ci sont rarement considérés comme des travaux économiques mais leurs expériences aident à répondre à des questions économiques liées à la productivité agricole. Les expériences de Fisher sont connues pour avoir mis la randomisation au cœur du procédé expérimental22. La deuxième période (seconde moitié du xx^e siècle) est marquée par une série d’expériences sociales à grande échelle menées par des agences gouvernementales. Ces expériences ont eu une forte influence sur les politiques23. La troisième période (ces dix dernières années) est caractérisée par trois types d’expériences de terrain : artefactuelles, encadrées et naturelles. Cette troisième période renvoie directement aux expériences randomisées en économie du développement conduites par le J-PAL24. Levitt et List s’intéressent ensuite à la génération future d’expériences de terrain. Ils soulignent que la plupart des expériences de terrain ont été réalisées en partenariat avec l’État ou avec des organisations à but non lucratif, comme des organisations non gouvernementales. Selon eux, cela n’est pas surprenant car les expériences sociales qui ont eu lieu ces dix dernières années, par leur nature et les questions qu’elles soulevaient, rendaient l’intervention des gouvernements cruciale et parce que les ONG ont explicitement l’ambition d’améliorer le bien-être social. À l’inverse, peu d’expériences faites en lien avec le secteur privé ont eu lieu. Pour Levitt et List (2008), il existe beaucoup de questions économiques centrales qui pourraient être étudiées expérimentalement avec l’aide des firmes, comme l’impact d’une asymétrie d’information, ou encore la façon dont les marchés répondent aux chocs. C’est ici que réside l’avenir des expériences de terrain en économie pour Levitt et List. Selon Levitt et List, cette forme d’expérience de terrain a déjà émergé, et ce dans deux domaines : (1) pour mesurer la réponse au prix du consommateur et (2) pour améliorer notre compréhension des firmes.

Des expériences de terrain aux expériences sociales

34Ce qui semble, aujourd’hui, regrouper les expériences sociales de terrain, est le fait qu’elles cherchent toutes à évaluer une politique publique. L’expérimentation permet d’évaluer rigoureusement les effets d’une intervention et rend observables des dimensions qui ne l’étaient pas auparavant. C’est cet objectif que le J-PAL souhaite traduire au sein de ces expériences. C’est pourquoi il est important de revenir à la définition des expériences sociales de terrain afin de saisir au mieux le second objectif du J-PAL.

35L’historien David Greenberg et l’économiste Mark Shroder (voir Greenberg et Shroder 2004) définissent une expérience sociale selon quatre caractéristiques : (1) une assignation aléatoire (randomisation), (2) une intervention politique, (3) un suivi dans la collection de données, et (4) une évaluation. L’objectif de ces expériences est de « parler aux décideurs politiques » (ibid., p. 4, ma traduction). Cette expérience randomisée a pour but d’évaluer une intervention politique après avoir collecté des données. L’assignation aléatoire est donc caractéristique des expériences sociales. L’objectif étant d’évaluer les effets d’une intervention politique, l’évaluation et l’intervention publique sont au premier plan. Cette évaluation s’adresse directement au décideur politique et vise à lui fournir des éléments de décision. Mais la définition des expériences sociales offerte par Greenberg et Shroder exclut les expériences de terrain faites en économie. Greenberg et Shroder n’explicitent pas ce choix. Ferber et Hirsch (1982) définissent les expériences sociales de façon similaire mais les relient explicitement aux expériences en économie. Selon eux, une expérience sociale est :

1. Une étude financée par de l’argent public.
2. Une étude fondée sur une structure statistique rigoureuse.
3. Elle doit être appliquée ou faite sur des humains.
4. Elle évalue les effets d’un traitement sur des dimensions économiques et sociales.

36On retrouve ainsi certains des éléments de définition présents chez Shroder et Greenberg. La nouveauté apportée par Ferber et Hirsch réside dans le fait que ces expériences sont financées par de l’argent public. Cela signifie que ce sont des expérimentations coûteuses car de grande envergure. Les expériences sociales donnent aux économistes la possibilité de mesurer les effets d’une politique en rapport avec le comportement des individus. Ferber et Hirsch (1982) soulignent qu’il existait d’autres méthodes utilisées dans le passé pour mesurer de tels effets mais que tous les effets n’étaient pas observables. L’expérimentation permet de rendre visibles des éléments que l’observation ne permet pas de voir. À travers l’existence d’un groupe de contrôle et d’un groupe de traitement, les expériences sociales rendent possible l’observation des effets de politiques publiques et offrent la possibilité de les mesurer. C’est ce qui justifie, selon Ferber et Hirsch (1982), l’utilisation de ces expériences en économie.

37À titre d’illustration, une des expériences sociales phares en économie est l’expérience The New Jersey Income Maintenance, menée aux États-Unis dans les années soixante. Cette expérience est due à l’initiative d’une doctorante du MIT, qui fut la première à utiliser une assignation aléatoire au sein de son expérience. L’expérience a été conduite en partenariat avec l’Institute of Research on Poverty à l’université du Wisconsin et le laboratoire Mathematica de l’université de Princeton. L’expérience commença en 1968 dans quatre endroits du New Jersey et de la Pennsylvanie et constitua la thèse de Heather Ross. L’idée de l’expérience était de tester l’effet d’un impôt négatif25, thèse défendue par Milton Friedman. L’expérience dura de 1968 à 1972 et se fit sur un échantillon de 1357 ménages à bas revenus. Tous les trois mois, les participants avaient aussi à répondre à des questionnaires. Les résultats de l’expérience montrent, en partie, que le programme d’impôt négatif offre des incitations positives à travailler, ou du moins aucune incitation négative26. Cette expérience est la première expérience sociale de grande échelle conduite aux États-Unis.

38Une autre expérience sociale caractéristique en économie fut réalisée en Suède en 1975 et visait à améliorer les services qu’offraient les agences pour l’emploi (Greenber et Shroder 2004). Une agence pour l’emploi, dans une petite ville, bénéficia d’un renforcement de son personnel pendant trois mois. 410 chômeurs furent séparés en deux groupes : un groupe de traitement et un groupe de contrôle. Le groupe de contrôle reçut un service normal, c’est-à-dire que chaque individu a pu bénéficier en moyenne d’une heure et demie des services de l’agence à l’emploi durant l’expérience. Quant au groupe de traitement, il a bénéficié des services de l’agence à l’emploi dans une moyenne de sept heures et demie durant l’expérience, ce qui leur a permis de travailler davantage sur leurs problèmes personnels. Les résultats de l’expérience ont été jugés positifs : les chômeurs qui ont obtenu un travail après l’expérience ont été influencés favorablement par les services proposés par l’agence à l’emploi.

39Depuis ces expériences, il y a eu 235 expériences sociales, évaluant des politiques publiques, s’intéressant à la santé et à la protection sociale (Greenberg et Shroder 2004)27. Ces expériences ont en commun l’utilisation de la randomisation pour évaluer une politique publique. C’est exactement ce que cherche à faire, aujourd’hui, le J-PAL en économie du développement.

*

40Retracer l’histoire de la randomisation, depuis sa genèse jusqu’à la période précédant les expériences du J-PAL, permet de poser le cadre historique d’une telle méthode. C’est d’abord à travers la psychologie que cette approche a été introduite. L’intégration d’une dimension aléatoire visait à rendre rigoureux le cadre expérimental. Ce cadre sera défini précisément par Fisher, puis popularisé en médecine par les protocoles d’essais cliniques médicaux. Ces derniers sont caractérisés par une importante rigueur statistique et par un protocole expérimental précis. C’est ce caractère « scientifique » que la randomisation du J-PAL souhaite importer.

41L’histoire des expériences de terrain en économie nous permet de mettre en évidence le second aspect qui caractérise les expériences du J-PAL : l’évaluation des politiques de développement28. De plus, cela nous permet de situer ces expériences au sein d’une importante diversité. Pour cela, la typologie d’Harrison et List est particulièrement éclairante, ainsi que l’histoire que produisent List et Levitt. Les expériences du J-PAL possèdent donc une dimension sociale importante, qui se traduit par leur vocation à évaluer des politiques – même si, on le verra, les expériences du J-PAL s’éloignent des premières expériences sociales qui avaient pour objectif d’évaluer des politiques à grande échelle. C’est donc la rencontre entre ces deux aspects de l’histoire, le caractère scientifique des expériences randomisées et la visée politique des expériences sociales, qui fait le socle de la randomisation du J-PAL.