• Contenu principal
  • Menu
OpenEdition Books
  • Accueil
  • Catalogue de 15550 livres
  • Éditeurs
  • Auteurs
  • Facebook
  • X
  • Partager
    • Facebook

    • X

    • Accueil
    • Catalogue de 15550 livres
    • Éditeurs
    • Auteurs
  • Ressources numériques en sciences humaines et sociales

    • OpenEdition
  • Nos plateformes

    • OpenEdition Books
    • OpenEdition Journals
    • Hypothèses
    • Calenda
  • Bibliothèques

    • OpenEdition Freemium
  • Suivez-nous

  • Lettre d’information
OpenEdition Search

Redirection vers OpenEdition Search.

À quel endroit ?
  • IRD Éditions
  • ›
  • Synthèses
  • ›
  • Expérimentations aléatoires dans le cham...
  • ›
  • La randomisation sous les tropiques revi...
  • IRD Éditions
  • IRD Éditions
    IRD Éditions
    Informations sur la couverture
    Table des matières
    Liens vers le livre
    Informations sur la couverture
    Table des matières
    Formats de lecture

    Plan

    Plan détaillé Texte intégral Les RCT sont-elles le meilleur moyen pour apprendre et accumuler des connaissances utiles ? L’inférence statistique est plus simple avec les RCT qu’avec d’autres méthodes Les RCT sont rigoureuses et scientifiques Validité externe Pré-enregistrement des essais Expérimentation : donnez un coup de pied et vous verrez RCT et autres méthodes Petits versus grands effets Modèles Causalité Éthique Notes de bas de page Auteur

    Expérimentations aléatoires dans le champ du développement

    Ce livre est recensé par

    Précédent Suivant
    Table des matières

    Prologue

    La randomisation sous les tropiques revisitée

    Un thème et onze variations

    Angus Deaton

    p. 43-62

    Texte intégral Les RCT sont-elles le meilleur moyen pour apprendre et accumuler des connaissances utiles ? L’inférence statistique est plus simple avec les RCT qu’avec d’autres méthodes Les RCT sont rigoureuses et scientifiques Validité externe Pré-enregistrement des essais Expérimentation : donnez un coup de pied et vous verrez RCT et autres méthodes Petits versus grands effets Modèles Causalité Éthique Remerciements Notes de bas de page Auteur

    Texte intégral

    1Si les économistes du développement ont recours aux évaluations par assignation aléatoire (Randomized Controlled Trials – RCT) depuis une vingtaine d’années1, les économistes spécialisés dans les politiques de protection sociale aux États-Unis les emploient, eux, depuis bien plus longtemps. Grâce à ces années d’expérience, les discussions ont gagné en richesse et en nuances. Les partisans comme les détracteurs ont appris les uns des autres, du moins dans une certaine mesure. Comme à leur habitude, les chercheurs semblent réticents à tirer les leçons des erreurs commises par d’autres ; les enseignements de la première vague d’expérimentations, dont beaucoup ont été présentés par James Heckman et ses collaborateurs2 il y a vingt-cinq ans déjà, ont souvent été négligés lors de la deuxième vague. Dans ce prologue, je ne cherche pas à reprendre l’ensemble des questions que j’ai déjà abordées ailleurs (Deaton, 2010a ; 2010b ; Deaton et Cartwright, 2018), ni à résumer le débat qui anime la sphère économique depuis longtemps. Je me concentre plutôt sur quelques-unes des questions qui occupent une place importante dans cet ouvrage critique et qui méritent, me semble-t-il, d’être réexaminées.

    2Je ne remets pas en cause l’utilité des RCT, mais, à mon sens, c’est une erreur de faire passer la méthode avant le fond. J’ai écrit des articles à partir de RCT (Deaton, 2012 ; Deaton et Stone, 2016). Comme d’autres méthodes de recherche, elles sont souvent utiles, mais présentent également des dangers et des inconvénients. Tout préjugé méthodologique nous lie inévitablement les mains. Le contexte revêt toujours une grande importance et il nous faut adapter nos méthodes au problème posé. Il est inexact d’affirmer qu’une RCT, lorsqu’elle est réalisable, sera toujours meilleure qu’une étude non expérimentale (observational study). Cela ne devrait pas prêter à controverse, mais, si j’en juge d’après la rhétorique employée dans la littérature, les propositions suivantes sont encore mal comprises, en particulier la seconde : (a) les économistes rencontrent avec les RCT les mêmes problèmes d’inférence et d’estimation qu’avec d’autres méthodes, ainsi que d’autres problèmes qui leur sont propres, et (b) aucune RCT ne peut légitimement prétendre avoir établi un lien de causalité.

    3Mon propos est le suivant : les RCT ne bénéficient pas d’un statut spécial, elles n’échappent pas aux problèmes d’inférence auxquels les économètres ont toujours été confrontés. Il n’y a rien qui ne puisse être accompli uniquement par les expérimentations randomisées. Tout comme leurs avantages ne sont pas l’apanage unique des RCT, leurs faiblesses non plus, et je m’efforcerai de le souligner. Il n’y a pas d’étalon-or. Il y a de bonnes et de mauvaises études, ni plus ni moins. Ce sur quoi je veux surtout insister, ce sont les dangers éthiques liés à la réalisation de RCT dans les pays pauvres, mais je garde ces remarques pour la fin.

    Les RCT sont-elles le meilleur moyen pour apprendre et accumuler des connaissances utiles ?

    4Parfois oui, parfois non. Prétendre qu’une méthode est la meilleure, sous prétexte qu’elle est réalisable, ne rime à rien. Je n’ai jamais compris pourquoi le Abdul Latif Jameel Poverty Action Lab (J-PAL) se cantonnait aux RCT, se laissant ainsi accuser d’être plus (ou aussi) intéressé à faire du prosélytisme pour les RCT qu’à réduire la pauvreté. Mais, comme le fait remarquer Ogden (chap. 4, ce volume), les membres du J-PAL ont recours à un large éventail de techniques ; le J-PAL n’est peut-être donc que la branche RCT d’une entreprise plus vaste. Ravallion (chap. 1, ce volume) a parfaitement raison lorsqu’il affirme que la meilleure méthode est toujours celle qui fournit les réponses les plus convaincantes et les plus pertinentes au regard du contexte en question. Nous avons tous nos méthodes préférées, qui, selon nous, sont trop peu utilisées. Pour ma part, ce sont les tableaux croisés et les graphiques qui collent aux données. Le plus dur est de décider ce qu’il faut y mettre et comment traiter les données afin d’apprendre quelque chose que nous ne savions pas auparavant, ou qui nous fait changer d’avis. Une image ou un tableau croisé bien construit peut saper la crédibilité d’une histoire de causalité largement répandue, ou, au contraire, renforcer la crédibilité d’une nouvelle histoire. De telles preuves en disent plus sur les causes qu’un article, dont le titre comporte le mot « causalité ». L’art consiste à savoir ce qu’il faut montrer. Mais je ne cherche pas à ce que tout le monde travaille aussi de cette manière.

    5Imposer une hiérarchie des preuves est à la fois dangereux et non scientifique. Dangereux, car des résultats dignes d’être considérés, et qui pourraient être cruciaux, sont automatiquement écartés. Les résultats d’une RCT sont pris en compte même si la population qu’elle couvre est très différente de celle où elle sera utilisée, si elle ne repose que sur quelques observations, si de nombreux sujets ont abandonné ou refusé d’y participer, ou s’il n’y a pas de mise en aveugle et que l’on peut s’attendre à ce que le fait de savoir que l’on participe à l’expérience en modifie les résultats. Il semble logique d’écarter des essais randomisés en raison de ces défauts, mais cela ne suffit pas si cela conduit aussi à exclure des résultats non randomisés qui seraient plus instructifs. Selon la hiérarchie, un résultat non randomisé n’est pas un résultat du tout, ou du moins pas un résultat « rigoureux ». Une étude non expérimentale sera rejetée même si elle est bien conçue, et ne présente pas de source évidente de biais en faisant appel à un très large échantillon de personnes pertinentes.

    6Non scientifique, car la communauté professionnelle se voit collectivement exonérée de l’obligation de concilier les résultats des différentes études ; les études non expérimentales sont considérées comme erronées simplement parce qu’elles ne sont pas randomisées. Une telle négligence dans l’utilisation des connaissances est relativement rare en économie, même s’il arrive bien couramment que les auteurs d’études randomisées ne citent pas les travaux non RCT, qu’ils les rejettent comme étant « anecdotiques » ou qu’ils soient incapables de dissocier la corrélation de la causalité (Bédécarrats, Guérin et Roubaud, chap. 7, ce volume), mais il existe des exemples bien pires dans d’autres domaines, tels que la médecine ou l’éducation. Or, les économistes accordent souvent un poids particulier aux résultats issus de RCT sur la seule base de la méthodologie ; ces études sont considérées comme « crédibles », alors qu’elles ne font ni référence aux contextes, ni ne tiennent compte des alternatives.

    7L’économie est un domaine ouvert dans le sens où les études de qualité qui produisent des résultats nouveaux, importants et convaincants sont généralement jugées sur leurs mérites. Il convient toutefois de veiller à ce que le mérite ne serve pas de façade aux préjugés méthodologiques. Lorsque j’entends certains arguer que les RCT ont fait leurs preuves en débouchant sur de bonnes études, je veux être rassuré sur le fait que l’utilisation de la randomisation ne constitue pas en soi une mesure de la valeur et que l’argument n’est pas tout simplement circulaire.

    L’inférence statistique est plus simple avec les RCT qu’avec d’autres méthodes

    8Ce malentendu est à l’origine de nombreuses incompréhensions. Il existe un problème qui attire rarement l’attention : les RCT, encore plus que les études non expérimentales, impliquent souvent des auteurs qui collectent des données, qui suivent les répondants dans le temps et qui identifient et traitent les cas aberrants. Ces tâches sont loin d’être simples et demandent beaucoup de temps ainsi que des compétences spécialisées que tous les économistes ne possèdent pas. Il est probable que les problèmes de collecte ou de traitement des données soient bien plus répandus que les erreurs d’inférence statistique (Bédécarrats, Guérin et Roubaud, chap. 7, ce volume), car ces questions sont loin d’être simples.

    9En matière d’inférence, l’argument de la simplicité comporte deux éléments. Premièrement, la randomisation garantit que les deux groupes, de traitement et de contrôle, sont globalement identiques avant le traitement, de sorte que toute différence observée entre eux après le traitement résulte nécessairement de ce dernier. Deuxièmement, l’inférence statistique nécessite le calcul d’une valeur p pour déterminer la différence entre deux moyennes, une procédure simple qui est enseignée dans les cours de statistiques de base. Ces deux éléments de l’argumentation sont faux.

    10Très tôt, Ronald Aylmer Fisher a compris que la randomisation ne permet pas d’équilibrer les observations entre les traitements et les contrôles, ce que ne tardent pas à constater tous ceux qui mènent des RCT. Ravallion (chap. 1, ce volume), qui a longtemps suivi les RCT à la Banque mondiale et ailleurs, affirme que ce malentendu « est désormais largement ancré dans le discours public » sur le développement, mais aussi dans la presse et le langage courant.

    11Imaginez quatre unités (des villages, par exemple), dont deux seront traitées et deux autres non. Pour ce faire, on peut demander aux anciens du village de décider, par exemple par appel d’offres (ou suite à un pot-de-vin), quels villages sont inclus (ou exclus), puis de sélectionner en vue du traitement les deux villages qui tiennent le plus à être traités (ou y sont le moins réticents). L’attribution des traitements et des contrôles par autosélection est clairement problématique. Beaucoup semblent penser que la randomisation règle le problème de l’autosélection. Il n’y a que six attributions possibles, dont l’une est l’autosélection. On se retrouve donc dans la situation absurde ou une même attribution est jugée satisfaisante si elle a été établie par randomisation, mais ne l’est plus si elle a été déterminée par autosélection. Sur des centaines de villages, l’équilibre ou non dépend du nombre de facteurs à équilibrer, et rien n’empêche que l’attribution réelle soit justement l’attribution par autosélection que nous voulions pourtant éviter. Rien n’est garanti par la randomisation. C’est peut-être l’idée selon laquelle la randomisation est équitable ex ante qui amène certains à penser, par confusion, qu’elle l’est aussi ex post. Mais c’est l’ex post qui compte.

    12Faire en sorte que les groupes de traitement et de contrôle se ressemblent est une bonne chose, mais cela nécessite des informations et une attribution réfléchie, ce qui n’est pas compatible avec la randomisation. Fisher en était conscient et savait qu’il existait des moyens plus précis d’estimer un effet de traitement moyen en évitant la randomisation. Toutefois, il avait compris qu’il n’était pas facile de savoir quoi penser de la différence une fois celle-ci mesurée ; il existera toujours une certaine différence, même lorsque le traitement n’a aucun effet pour aucune unité. La randomisation apporte une solution à ce problème, car elle permet d’émettre des hypothèses probabilistes sur le fait que la différence soit le fruit du hasard ou non. Il y a de nombreuses années, le philosophe Suppes (1982) l’avait formulé de cette manière. Il s’est imaginé qu’on lui présentait une urne avec 50 boules noires et blanches ; il y a soit (A) 15 boules noires et 35 boules blanches, soit (B) 35 boules noires et 15 boules blanches. Il est autorisé à tirer 12 boules et doit parier sur A ou B. Il avait écrit : « J’ai du mal à imaginer un parieur averti qui n’exigerait pas une telle randomisation physique avant de participer à l’expérience ». La randomisation ne garantit pas l’équilibre, mais elle permet de calculer les probabilités, du moins dans des cas simples comme celui-ci, où rien d’autre n’affecte les résultats. Le calcul des probabilités est utile et important, mais ce n’est pas la même chose que l’équilibre.

    13Généralement, les gens sont surpris lorsqu’on dit que l’inférence sur une moyenne – et donc l’inférence sur la différence entre deux moyennes – constitue un problème non résolu. Bahadur et Savage (1956) ont déjà soulevé la question il y a longtemps, en montrant que sans hypothèses limitant l’asymétrie (skewness), la valeur de t calculée ne suivra généralement pas la loi de Student. Si nous supposons à tort que c’est le cas, nous commettrons des erreurs, par exemple en pensant qu’une valeur t élevée indique un effet du traitement, alors qu’en fait, il n’y en a pas. L’asymétrie (terme souvent utilisé à tort de nos jours pour désigner le biais) fait référence au moment d’ordre trois, et notamment à la présence de valeurs aberrantes d’un côté de la distribution. On peut imaginer un tel problème dans toute expérimentation impliquant de l’argent ou dans le domaine de l’éducation ou de la microfinance, où une ou deux personnes sont extrêmement douées, et les autres le sont moins (Banerjee et al., 2019a).

    14Dans le cadre de l’expérience de la RAND sur la santé – l’une des plus célèbres RCT dans le domaine de l’économie – une participante avait eu une grossesse extrêmement coûteuse. Dans ce type de cas, le résultat de la RCT dépend du fait que la ou les valeurs aberrantes se trouvent dans le groupe de traitement ou dans le groupe de contrôle, et avec une valeur aberrante « extrême », soit peu de choses. Vous pensez peut-être disposer de centaines ou de milliers d’observations, mais en fait, vous n’en avez qu’une seule. Les valeurs aberrantes passent pour significatives, car l’utilisation de la distribution t est invalidée par l’asymétrie. Tronquer les valeurs aberrantes ou transformer la variable de résultat, par exemple en prenant des logarithmes, n’aideront pas toujours. Le « bébé à un million de dollars » va provoquer la faillite d’un régime d’assurance dans le monde réel, même si les assureurs préfèrent « exclure une valeur extrême ». Nous devons mesurer les bénéfices en dollars, et non en logarithmes de dollars, sans parler des dollars « après exclusion des valeurs extrêmes ». L’effet médian du traitement serait peut-être plus fiable, mais, une fois encore, c’est la moyenne qui rend le budget déficitaire, pas la médiane, et même dans les cas où nous voudrions connaître l’effet médian du traitement, il n’est pas possible de l’obtenir à partir d’une RCT. Si vous vous intéressez vraiment à la médiane, vous devrez utiliser une autre méthode que les RCT, une méthode qui requiert davantage d’hypothèses.

    15Le problème ici, ce n’est pas que les RCT rencontrent des difficultés particulières, c’est qu’elles ne sont pas exemptes de ces difficultés. Ulrich Mueller a récemment montré que le problème est très répandu dans l’économie appliquée contemporaine, notamment lorsqu’on utilise des erreurs types robustes par cluster (Mueller, 2019). Lorsque les clusters sont de tailles différentes – comme dans beaucoup de travaux d’économétrie appliquée avec une dimension spatiale –, les valeurs p qui proviennent de Stata3, par exemple, ne sont pas fiables. Je pense que le travail de Mueller, qui fournit également une meilleure méthode, modifiera considérablement notre façon de travailler et ce que nous pensons savoir.

    16Dans ses travaux sur un autre problème lié à l’inférence, Alwyn Young a démontré que de nombreuses publications basées sur des RCT n’ont pas les bonnes valeurs p (Young, 2019), de sorte que de nombreux résultats apparemment significatifs – et parfois assez surprenants – sont le fruit du hasard en l’absence d’un effet du traitement. Young propose de revenir à la randomisation à la Fisher pour calculer la significativité. Si le traitement n’a d’effet pour personne et qu’il n’y a pas de facteurs de confusion (confounding factors) post-randomisation, l’effet moyen estimé du traitement n’est que le résultat de l’assignation aléatoire des sujets au groupe du traitement ou au groupe de contrôle. Les facteurs de confusion post-randomisation comprennent tous les éléments qui affectent les résultats, mais qui ne relèvent pas du traitement, comme le bouche-à-oreille dans les zones de traitement, où le programme est proposé, ou le fait que l’assignation au groupe de traitement ou de contrôle ne se fasse pas à l’insu des sujets, des évaluateurs ou des analystes. En examinant toutes les répartitions aléatoires possibles dans les données réelles, nous pouvons établir la distribution des différences entre les deux moyennes sur la base de l’hypothèse d’une absence d’effet pour chaque individu, et calculer ainsi la probabilité d’obtenir un résultat aussi important ou plus extrême que la différence réelle. Cette « inférence de randomisation » teste l’hypothèse selon laquelle le traitement n’a aucun effet pour personne. Si cette hypothèse est généralement intéressante, elle ne nous aide pas vraiment à déterminer ce qui nous intéresse souvent en matière de politique, à savoir si l’effet moyen du traitement est nul. Alors qu’un effet nul pour chaque observation signifie nécessairement que la moyenne doit également être nulle, l’inverse n’est pas vrai, notamment lorsque le traitement affecte de manière contraire différents individus. Un exemple parlant est celui de l’aspirine : une petite dose quotidienne en sauve certains et en tue d’autres. En matière de politique publique, par exemple dans le cadre d’une expérience dans le domaine de l’enseignement, ce qui nous intéresse, c’est de savoir si la nouvelle méthode améliore les notes obtenues aux examens en moyenne, et pas seulement si elle est efficace pour une personne. Autre aspect complexe : il arrive qu’un test statistique admette l’hypothèse selon laquelle chacune des estimations dans un groupe est égale à zéro, mais rejette l’hypothèse selon laquelle leur moyenne est égale à zéro. Par ailleurs, « l’inférence de randomisation » peut elle-même être faussée par un mauvais échantillon.

    17Les niveaux de significativité calculés n’étant pas fiables dans des situations réalistes, il convient de lire avec prudence bon nombre des conclusions de RCT publiées. Poor Economics (Banerjee et Duflo, 2011) présente les conclusions de dizaines d’études, dont beaucoup sont intéressantes et importantes. Mais des résultats qui devraient être annoncés comme des estimations ont tendance à être présentés comme s’il s’agissait de faits établis. En effet, selon la rhétorique des RCT, les essais peuvent établir la vérité. Or, ce n’est pas le cas. Parfois, certains résultats surprenants issus de RCT ne sont absolument pas des résultats, et les valeurs t élevées ne devraient pas nous faire croire le contraire.

    Les RCT sont rigoureuses et scientifiques

    18Ces adjectifs sont souvent utilisés de façon systématique pour qualifier les RCT, et pourtant cette affirmation est rarement, voire jamais, justifiée. Or, cette rhétorique semble avoir du succès, du moins auprès des bailleurs de fonds. Elle va souvent de pair avec un plaidoyer en faveur de l’importance des RCT en médecine, mais rarement avec une analyse réaliste des succès et des échecs des RCT en médecine. Aux États-Unis, les médicaments doivent faire l’objet de RCT concluantes afin d’être autorisés. Pourtant, les opioïdes sur ordonnance, tels que l’OxyContin, ont tué des centaines de milliers d’Américains au cours des vingt dernières années. Les RCT ne fonctionnent pas de la même façon en sciences sociales et en médecine, sujet qui mérite une réflexion plus approfondie. Un jour, j’ai discuté avec un responsable du financement d’une grande fondation d’une série d’essais randomisés dans le champ du développement. Il a volontiers admis que l’applicabilité des résultats était limitée et que certains d’entre eux étaient sans doute incorrects, mais cela ne l’a pas gêné pour autant. Après tout, m’avait-il dit, les RCT sont plus rigoureuses que toute autre méthode. Pour lui, cet argument suffisait. Il avait, je pense, la conviction que rigueur était synonyme de résultats généralisables. Ou peut-être était-il persuadé, comme beaucoup, que toutes les autres méthodes sont pires. Pour lui, se tromper ne semblait pas incompatible avec le principe de rigueur.

    Validité externe

    19« Trouver ce qui fonctionne » est un autre grand slogan rhétorique qui, à en juger par le nombre de fois où il est répété, fait son effet auprès du public. Pourtant, rien ne fonctionne sauf dans un certain contexte, c’est pourquoi trouver ce qui fonctionne, où et dans quelles circonstances, est une véritable mission scientifique. Ce qui fonctionne dépend aussi des bénéficiaires et de l’objectif visé ; cela implique des valeurs aussi bien que des faits. Il n’existe aucune expérimentation ou série d’expérimentations qui puisse répondre sans réserve à ces questions. Dire que les RCT permettent d’identifier ce qui agit pour éliminer la pauvreté dans le monde est tout à fait louable, mais c’est une prétention infondée.

    20Un résultat qui s’avère valable à un endroit précis, à un moment donné et dans un ensemble de circonstances, ne le sera généralement pas ailleurs, à un autre moment ou dans des circonstances différentes. Ce qui a du succès pour vous peut « marcher » pour moi aussi, mais cela peut ne pas me plaire. Encore une fois, cela vaut pour tous les résultats empiriques, quelle que soit la méthode utilisée. Une estimation du revenu moyen aux États-Unis ne sera plus valable dans dix ans, personne ne vous dira le contraire. Pourtant, il est courant de considérer que l’estimation d’un effet de traitement moyen, qui est également une estimation d’une moyenne basée sur un échantillon, est susceptible de se vérifier ailleurs, sauf preuve du contraire.

    21Cette pratique diffère sans doute peu d’une habitude bien ancrée en économie qui consiste à aborder les élasticités comme des constantes : on parle de « l’élasticité » de la main-d’œuvre masculine située dans la tranche d’âge de forte activité ou de « l’élasticité prix » du pain. Je pense que ces élasticités s’appuient sur de fortes intuitions quant à la nature des biens concernés : que la plupart des hommes n’avaient guère d’autre choix que de travailler, alors qu’autrefois leurs épouses l’avaient davantage, que les aliments de base ne sont pas faciles à remplacer, et que la demande de « biens de luxe du quotidien » est influencée par leurs prix, intuitions qui ont été confirmées par de nombreuses études menées en divers endroits. Mais le développement n’en est pas là actuellement. Pour reprendre l’exemple de Pritchett (chap. 2, ce volume), il n’y a, à mon sens, aucune raison de supposer que, s’il vaut mieux des poulets que de l’argent en Sierra Leone, ce sera aussi le cas au Laos ou encore à Trenton, dans le New Jersey. Aucune raison de penser non plus que, s’il valait mieux des poulets dans 60 essais menés dans 60 lieux différents, ce serait aussi le cas dans le 61e. Et n’oubliez pas la poule de Bertrand Russell, qui, après avoir vécu des centaines de fois le même scénario, savait que les pas de l’agriculteur signalaient le moment où elle allait être nourrie, jusqu’à ce que, la veille de Noël, il lui torde le cou. Comme l’a fait remarquer Bertrand Russell, il eût été bien utile audit poulet d’avoir une vision plus subtile de l’uniformité de la nature (Russell, 2012).

    22Une meilleure compréhension est essentielle. La fondation Gates, le plus grand bailleur de fonds dans de nombreux domaines, considère la mise à l’échelle comme l’une de ses missions centrales. Elle a donc pris un ou deux résultats positifs de son initiative pour l’agriculture africaine pour prouver que « ça fonctionne », et l’a étendue à d’autres exploitations agricoles et à d’autres pays, sans chercher à savoir si cela pouvait ou non agir efficacement ailleurs (Schurman, 2018). Il faut se rendre à l’évidence : ce qui a du succès dans une ferme ne fonctionne pas forcément dans une autre, constat que les agriculteurs africains ont sans doute fait, contrairement aux expérimentateurs.

    23C’est une erreur de penser que validité interne et validité externe vont systématiquement de pair et qu’elles caractérisent les études de « grande qualité ». Une RCT peut être parfaitement menée sur un large échantillon et l’Average Treatment Effect (ATE) calculé de façon précise. La validité externe n’est pas une caractéristique de l’étude, mais une caractéristique des circonstances dans lesquelles elle sera mobilisée. Une étude dont le résultat ne s’applique pas ailleurs n’est en rien invalide. La validité externe porte sur la manière dont une étude est mobilisée ; une même étude peut être valide dans certains contextes et pas dans d’autres.

    24Il est toujours tentant de prendre une étude impressionnante et de la porter au-delà de son contexte d’origine. Cela vaut aussi bien pour les études non expérimentales que pour les études expérimentales. Raj Chetty et ses coauteurs (Chetty et al., 2019) ont été des pionniers de l’utilisation des données administratives fusionnées pour décrire de manière incroyablement détaillée des faits sur la dynamique des inégalités aux États-Unis, et ont ainsi permis des avancées considérables en matière de connaissances. Selon leur conclusion importante, entre 1989 et 2015, les enfants afro-américains avaient une plus faible probabilité que les enfants blancs d’avoir des revenus supérieurs à ceux de leurs parents. Pourtant, dans de nombreux articles de presse, l’imparfait « avaient » est remplacé par le présent « ont », et ce malgré les évolutions des tendances relatives au mariage et à l’incarcération dans les deux groupes. Ces études sont certes éminentes, parmi les meilleures de l’économie d’aujourd’hui, mais elles ne sauraient prétendre à une meilleure validité externe que les RCT les plus remarquables. Une fois de plus, la question de la validité externe a une portée générale et les RCT n’y échappent pas. S’il est vrai que sans validité interne, le résultat d’un essai a peu de chances d’être concluant ailleurs, on ne peut affirmer que la validité interne entraîne nécessairement la validité externe. Je n’ai jamais entendu dire le contraire, mais je suis souvent frappé par le contraste entre le soin apporté à la réalisation d’une RCT et l’insouciance dont on fait preuve en préconisant l’utilisation de ses résultats. La formule selon laquelle « la validité interne prime » semble servir à justifier de telles pratiques.

    25Le fait d’imaginer que les résultats d’une RCT seront utilisés dans un contexte différent de celui dans lequel elle a été réalisée peut contribuer à orienter la conception initiale de l’essai afin de le rendre plus utile. Si nous partons du principe que les effets du traitement sont différents selon les sous-populations, alors une stratification selon ces sous-populations permettra non seulement d’améliorer la précision de l’essai, mais aussi de procéder à une nouvelle pondération pour l’adapter à une nouvelle situation. La mise à l’échelle affectera souvent des variables potentielles qui s’avèrent être des constantes entre les branches de l’essai. Par exemple, si dans le cadre d’une politique éducative, davantage d’étudiants sont formés, les salaires risquent de baisser, de sorte que prévoir dans l’essai une branche sur les salaires bas pourrait apporter des informations utiles. Les RCT peuvent contribuer à fournir les outils permettant de modéliser les conséquences politiques plutôt que simplement de contourner ou ignorer le fossé qui existe entre un essai et sa mise en œuvre. Mais une RCT ne suffira probablement pas à elle seule.

    26Le fait que les résultats d’une même étude soient reproduits dans des contextes et des pays différents – comme c’est le cas de l’étude sur les programmes de formation (Banerjee et al., 2015a) parue dans Science – est effectivement surprenant. Cependant, on n’est pas certain que les gains puissent être reproduits par des fonctionnaires confrontés à des incitations financières et politiques réalistes, très différentes de celles auxquelles sont confrontés les assistants diplômés étrangers hautement qualifiés, désireux de voir leur projet réussir. Cette étude transnationale met par ailleurs en avant le manque de clarté quant à la réplication : que signifie-t-elle ? Quelle mesure voulons-nous répliquer ? Que pouvons-nous apprendre de la réplication ? Nous pourrions chercher à obtenir le taux de retour sur investissement, ou bien la proportion de personnes ayant dépassé un seuil de pauvreté local ou mondial par unité de monnaie internationale. Les auteurs utilisent plutôt la « taille de l’effet », qui est l’ATE standardisé par l’écart-type du traitement. Selon Goldberger et Manski (1995 : 769), « la standardisation se borne à donner aux quantités en unités non comparables l’apparence superficielle d’être en unités comparables. Elle est donc pire qu’inutile – elle donne lieu à des inférences trompeuses ».

    Pré-enregistrement des essais

    27L’American Economic Association (AEA) exige que les essais dont les résultats doivent être publiés dans ses revues soient soumis à un enregistrement préalable, ce que j’ai contesté, mais en vain. Je ne pense pas que l’AEA ait intérêt à légiférer sur les méthodes, elle devrait plutôt évaluer les études en fonction de leurs mérites. Mon expérience en tant qu’économiste et membre des comités de l’AEA m’a appris que les désaccords entre économistes qui sont, en vérité, politiques ou personnels, sont souvent présentés comme des divergences méthodologiques. L’AEA a réussi, au moins depuis les années 1930, à éviter tout schisme ; elle est restée une communauté très large, intégrant des économistes de tous bords, présidée par des personnalités allant de Milton Friedman à Kenneth Galbraith, même si je doute qu’ils aient beaucoup d’estime pour les méthodes des uns et des autres (Friedman ayant essayé en vain de faire obstacle à la présidence de Galbraith).

    28Les problèmes de p-hacking, de data mining et de recherche de spécifications sont bel et bien réels. Les bailleurs de fonds qui ont déboursé d’importantes sommes pour une RCT font généralement pression pour trouver au moins un sous-groupe pour qui le traitement s’est avéré efficace. Mais, là encore, ces problèmes ne sont pas spécifiques aux RCT. Certains ont en effet plaidé pour un pré-enregistrement de toutes les études, de sorte qu’avant de commencer à travailler sur une étude d’observation basée sur le recensement, par exemple, je devrais informer l’AEA – ou peut-être le Census Bureau – de mon plan d’analyse des données. Mais il est loin d’être évident de savoir jusqu’où aller : dois-je rapporter une conversation avec un collègue ou une découverte que j’ai lue dans le journal et qui oriente mon programme ou limite mon choix de variables ?

    29Les découvertes dont je suis le plus fier revêtent toutes une part importante de hasard, même si j’étais suffisamment informé pour savoir ce que je regardais, même lorsque je cherchais autre chose. Aucun de ces résultats ne serait apparu dans un plan de pré-analyse et n’aurait donc pu être publié dans la Revue des études correctement réalisées. Bill Easterly a fait remarquer que Christophe Colomb n’aurait pas pu découvrir l’Amérique s’il avait été obligé de s’en tenir à un plan de pré-analyse déposé dans un coffre-fort à Séville ou à Gênes (Easterly, 2012). J’ai du mal à croire que ce que nous avons trouvé, Anne Case et moi, sur les taux de mortalité des personnes en milieu de vie (Case et Deaton, 2015), des résultats auxquels nous ne nous attendions absolument pas, soit attribuable à l’exploration des données (data snooping). Pourtant, j’imagine très bien un rédacteur en chef borné sur le plan statistique rejeter l’article parce que nous n’avons pas présenté le certificat de pré-enregistrement qui autorisait notre travail sur la mortalité des adultes en milieu de vie. Le risque d’étouffer des résultats importants, mais inattendus est sans doute bien pire que le risque de promouvoir des résultats fallacieux.

    Expérimentation : donnez un coup de pied et vous verrez

    30Je suis tout à fait favorable à l’expérimentation (Morduch, chap. 3, ce volume). Mais il n’y a aucun lien logique entre expérimentation et randomisation. En effet, lorsque l’on s’apprête à donner un coup de pied, mieux vaut savoir précisément ce que l’on vise. Il est déconseillé de donner un coup de pied au hasard, au risque de blesser. La randomisation consiste à apprécier la signification de l’événement, et non à préparer un coup de pied. Ce qui est important à retenir ici, c’est que, bien souvent, la randomisation n’est pas utile à l’expérimentation, et peut même transformer une bonne expérience en une expérience inutile, en brouillant des informations qui devraient servir à améliorer notre étude.

    31Les grandes expériences de laboratoire en économie n’ont pas eu recours à la randomisation (Svorenčik, 2015). La révolution industrielle est souvent décrite comme étant le fruit de bricolages sans fin, et non de la randomisation, qui aurait empêché les essais et erreurs volontaires. Un autre exemple que j’ai déjà utilisé dans le passé (Deaton, 2012) est le jeu vidéo d’arcade Angry Birds qui consiste à propulser des oiseaux à l’aide de lance-pierres. Il est possible de les rediriger, d’accélérer le tir, de les faire exploser en plein vol, le but étant de tuer les cochons voleurs d’œufs qui se cachent dans des endroits inaccessibles. Étant donné les innombrables combinaisons possibles, il faudrait énormément de temps pour réaliser une série systématique de RCT, encore qu’un enfant habile pourrait trouver la solution en quelques minutes. Il existe de nombreux types d’expérimentations où la randomisation n’est pas nécessaire ou risquerait de brouiller les résultats. Après tout, la randomisation est aléatoire. Chercher des solutions au hasard est donc inefficace parce que cela revient à envisager beaucoup de possibilités non pertinentes, comme ce fut le cas dans les champs de Fisher (1960).

    RCT et autres méthodes

    32Lorsqu’on parle de RCT, bien souvent on les compare avec d’autres méthodes, généralement celles des variables instrumentales (VI), de régression par discontinuité (RD) ou des différences de différences. Cette comparaison est toutefois beaucoup trop étriquée. Les méthodes économétriques sont mon quotidien, je les utilise et les enseigne depuis plus de quarante ans, j’ai donc pu observer la progression qui a conduit aux RCT. Avant, nous faisions des régressions de y en x, sans trop discuter de ce qui générait la variation en x. Nous avons découvert que les méthodes des différences de différences, des variables instrumentales et de régression par discontinuité permettaient de supprimer la variance indésirable de x et de créer deux groupes jugés identiques, sauf le traitement. On pourrait voir les RCT comme des versions plus épurées des VI, RD, ou des différences de différences, revenant effectivement à la régression, mais avec l’hypothèse garantie que x a été attribué de manière aléatoire. À la lumière de cette évolution, on peut comprendre pourquoi les RCT semblent être la solution ultime, et finissent par le devenir lorsque l’on pense de la sorte.

    33Mais, comme l’a fait remarquer John Stuart Mill il y a déjà bien longtemps (Mill, 1843), la « méthode des différences », qui consiste à comparer deux groupes, l’un traité, l’autre non, n’est qu’une façon parmi d’autres de faire une inférence causale. Trouver la cause d’un accident d’avion n’implique pas de différence (ou du moins on l’espère), et la méthode hypothético-déductive, utilisée par les physiciens, n’implique pas de différence, mais simplement la formulation et la vérification de prédictions. C’est pourquoi, lorsqu’ils organisent les données d’une manière qui contredit bon nombre de nos connaissances préalables sur le fonctionnement du monde, les graphiques et les tableaux croisés peuvent être si puissants. Plus spécifiquement, la commission Cowles a mis au point une méthode de construction de modèles causaux en accordant une attention particulière aux mécanismes et en utilisant un langage qui met l’accent sur la structure causale et les procédures permettant de délimiter les éléments de la structure qui peuvent ou non être estimés à partir des données. Ces modèles pouvaient être examinés afin de tester leurs prédictions et l’adéquation de la structure causale. À l’époque, les économistes utilisaient davantage ces méthodes qu’aujourd’hui, et, pendant de nombreuses années, elles ont été au cœur des textes d’économétrie. Pourtant, je pense que la plupart des étudiants en économie auraient aujourd’hui du mal à définir les formes structurelles et réduites. Les articles comportaient une partie théorique, qui développait des prédictions vérifiables, de préférence des prédictions surprenantes et propres à la théorie, et qui étaient ensuite vérifiées dans la partie empirique. Certaines de ces méthodes peuvent être interprétées comme permettant d’examiner les différences entre les groupes, mais pas toutes.

    Petits versus grands effets

    34Lant Pritchett a avancé un argument particulièrement éloquent, cocasse et passionné : ce qui importe pour réduire la pauvreté, c’est la croissance, et non une évaluation « rigoureuse » (ou non) de chaque projet, qu’il s’agisse d’argent ou de poulets (Pritchett, chap. 2, ce volume). Dans Poor Economics, Banerjee et Duflo (2011) affirment le contraire : ce n’est qu’au cas par cas que nous savons ce que nous faisons, c’est pourquoi nous devons construire des connaissances par le biais de la randomisation, essai après essai.

    35Le débat est (au moins) aussi vieux que la Banque mondiale. Je vais vous en faire un bref historique. La Banque mondiale a commencé « petit », avec des projets de construction de ports, de routes, de centrales électriques, etc. Très vite, elle s’est rendu compte qu’évaluer des projets selon des critères commerciaux ne permettait souvent pas d’améliorer la vie des gens, notamment dans les économies où les prix sont faussés par les tarifs, les offices de commercialisation, le rationnement ou le contrôle des changes. Deux groupes d’éminents économistes n’ont pas tardé à réagir en instaurant des prix fictifs pour remplacer ceux du marché. Dasgupta et al. (1972) ont mis au point une série de méthodes pour les Nations unies ; Little et Mirrlees (1974) en ont élaboré une autre pour l’OCDE. Cette dernière a fait l’objet d’un manuel élaboré par Squire et van der Tak (1975) à l’intention de la Banque mondiale. Les calculs étaient cependant parfois compliqués, dépassant les capacités ou la volonté des agents chargés des prêts, dont les motivations premières étaient de faire circuler l’argent rapidement. Ces règles ont dû sembler incompréhensibles aux décideurs politiques des pays auxquels on a demandé de les appliquer. Pour illustrer l’état primitif de l’évaluation des projets dans une grande partie du monde, Squire a noté plus tard (1989 : 1126-1127) que même l’outil d’évaluation de projet le plus basique, à savoir l’actualisation des bénéfices futurs, était rarement utilisé dans les pays emprunteurs livrés à eux-mêmes. Ce n’était pas le cas en Inde, où les économistes de la Commission de planification calculaient méticuleusement des prix fictifs, certains ravalant néanmoins leur scepticisme. Si l’économie était complètement faussée, évaluer les projets selon les prix du marché ne servait certainement à rien, et les évaluer selon des prix fictifs n’était pas une alternative possible.

    36La solution consistait à passer du petit au grand, à corriger les distorsions en priorité et à remettre la macro-économie sur des rails avant de procéder à l’évaluation des projets, avec comme résultat l’ajustement structurel.

    37Pour soutenir cela, des analyses empiriques, comme celle de Pritchett, ont montré que la croissance économique pouvait contribuer à une réduction importante de la pauvreté. Les grands épisodes de réduction de la pauvreté dans le monde – notamment en Chine et en Inde – ont été alimentés par la croissance économique et par la mondialisation. La croissance globale a été alimentée par la croissance à petite échelle, avec davantage d’emplois, d’opportunités, de routes, d’écoles et de cliniques de meilleure qualité, mais tous ces éléments étaient perçus comme des phénomènes plus ou moins spontanés dans une économie dotée de bonnes institutions et en pleine croissance. Rien de tout cela ne permettait d’expliquer comment stimuler la croissance économique. Les régressions où les unités d’analyse sont les pays ont donc été considérées comme bénéfiques. Elles ont fait l’objet de nombreuses critiques et de railleries, mais elles ont permis d’acquérir de précieuses connaissances, notamment sur l’importance de l’investissement intérieur – essentiel en Chine, en Inde et en Corée – pour la fourniture de biens publics, et sur le fait que l’aide étrangère, aussi bénéfique soit-elle, ne peut guère stimuler la croissance à elle seule. Elles ont par ailleurs systématisé et structuré les résultats, ce qui était préférable aux anecdotes auxquelles chaque pays se livrait individuellement et qui avaient dominé une grande partie de la précédente discussion. Mais nous en avons appris davantage sur ce qui ralentit la croissance que sur ce qui l’accélère. Tous ces éléments sont précieux, mais ne constituent guère la clé pour éliminer la pauvreté en accélérant la croissance. Personne, à ma connaissance, n’a laissé entendre que les RCT étaient la clé de la croissance économique. Difficile d’ailleurs de trouver un exemple où les RCT ont eu un quelconque impact sur la réduction de la pauvreté en Chine (Yang, 2019).

    38La Banque avait à moitié raison. Une meilleure gestion macro-économique dans beaucoup de pays du monde et une meilleure compréhension de la politique monétaire et du rôle de la banque centrale, ainsi que des effets de la sous-évaluation des taux de change et de la taxation des prix des matières premières, ont contribué à une croissance plus forte et une réduction de la pauvreté, surtout avec le temps (Easterly, 2019). Les économistes d’aujourd’hui, partisans de la révolution de la crédibilité et des tests de causalité, ont tendance à rejeter ces résultats arguant qu’ils ne sont, selon eux, ni rigoureux ni crédibles. Pourtant, ils n’ont aucun mal à affirmer que les RCT permettent de réduire efficacement la pauvreté dans le monde.

    39Ceux qui pensent que l’aide extérieure peut favoriser le développement économique doivent chercher la quadrature du cercle. Personne ne doute de l’importance de la perspective macro, mais il faut reconnaître que les outils permettant d’influencer la croissance économique sont limités. Les essais au niveau micro s’avèrent souvent fructueux, mais leur capacité à réduire les taux de pauvreté relève essentiellement d’une question de foi. Les RCT ne peuvent se passer d’une théorie de mise en œuvre, ou de mise à l’échelle, pour guider l’exploitation des résultats dans la pratique. Il convient notamment de prêter attention aux conséquences involontaires – les effets de la mise en œuvre sur les actions du gouvernement et les communautés – qui ne figurent généralement pas dans les critères d’évaluation de l’essai randomisé. Il faut réfléchir aux effets d’équilibre général, car la mise à l’échelle modifiera des prix et des comportements qui étaient constants dans les expérimentations. Lors d’une RCT, on part souvent du principe que les effets indirects n’existent pas (hypothèse dite Stable Unit Treatment Value Assumption – SUTVA). Or, cette hypothèse est régulièrement enfreinte, par exemple dans les projets d’assainissement (Spears, Ban et Cumming, chap. 6, ce volume) ou de déparasitage. Sur le plan individuel, les effets du traitement et les effets indirects sur les autres sont faibles et peuvent rarement être mesurés (ou ne le sont pas). Pourtant, au niveau global, la somme des petits effets indirects et individuels peut annuler ou inverser l’effet.

    Modèles

    40Il existe une tentation très forte de chercher à faire des recommandations politiques sans avoir à construire des modèles. Je comprends qu’il puisse être tentant de laisser parler les données, ou de générer des données qui parlent d’elles-mêmes, mais je crois que ces tentatives sont vouées à l’échec. Pour interpréter une RCT, il faut toujours faire des hypothèses. Nous devons partir du principe que seul le traitement importe, ce qui est impossible à garantir sans une surveillance attentive des facteurs de confusion post-randomisation, tout comme il est impossible d’être sûr que les restrictions d’exclusion sont valables pour faire une estimation à l’aide de variables instrumentales. Les sujets n’acceptent pas toujours leur attribution, qui peut être gérée grâce à l’estimation de l’intention de traiter (intent to treat), même si, bien souvent, ce n’est pas l’effet moyen que l’on s’emploie à découvrir. Nous pouvons aussi construire des modèles expliquant pourquoi les gens acceptent ou n’acceptent pas leur attribution, ce qui est en soi une information potentiellement utile (Heckman et Smith, 1998). Que se passe-t-il si une RCT donne un effet positif lorsque le résultat est mesuré en niveaux, mais qu’elle aboutit à un effet nul lorsque ledit résultat est mesuré en logarithmes ? Ces cas sont faciles à construire4.

    41Comme les praticiens le savent, l’utilisation d’informations préalables permettra d’améliorer la précision (Vivalt, chap. 11, ce volume). En pratique, les effets moyens des traitements sont souvent estimés en effectuant une régression qui inclut des variables de contrôle. Celles-ci doivent être choisies, mais on ne sait pas exactement selon quelles règles les variables sont incluses ou exclues, ni combien en utiliser. La stratification peut également accroître la précision, mais uniquement si elle utilise des informations préalables valables sur les différences des effets moyens du traitement entre les strates.

    42Pour exploiter les résultats des essais, la modélisation est essentielle. Nous avons besoin d’une théorie sur laquelle nous appuyer pour savoir si les résultats sont pertinents ailleurs et, si oui, comment les adapter.

    Causalité

    43Une RCT bien conçue nous renseigne sur la causalité. Mais, là encore, de nombreuses hypothèses doivent être formulées pour passer des données à la conclusion. Dans tout essai randomisé en univers fini, et ils le sont tous, on ne peut jamais exclure la possibilité que le résultat soit dû au hasard. La mesure des résultats peut avoir son importance, comme dans l’exemple sur les niveaux versus les logarithmes. Pour citer les philosophes et épidémiologistes Broadbent et al. (2017 : 1844), « Les conclusions causales ne découlent pas de manière déductive des données sans un solide ensemble d’hypothèses auxiliaires, et ces hypothèses ne sont elles-mêmes pas des conséquences déductives des données. » Dans le même article, ils écrivent : « Selon nous, il est préférable de ne pas qualifier l’estimation d’une étude individuelle comme étant “causale”, même s’il s’agit d’un essai randomisé. C’est l’ensemble des preuves qui permet de déterminer la causalité. La causalité est une conclusion scientifique, une affirmation théorique, et en tant que telle, elle transcende toute étude individuelle » (italique ajouté). La causalité relève de l’esprit, pas des données, une idée que Heckman et Pinto attribuent à Frisch et Haavelmo (Heckman et Pinto, 2015). La triangulation des résultats, ou la découverte des processus de causalité résultant de nombreuses études menées dans le temps est bien illustrée dans cet ouvrage par le chapitre sur l’assainissement (Spears, Ban et Cumming, chap. 6, ce volume).

    44Il convient de noter que ce ne sont pas seulement les résultats d’une RCT qui peuvent ne pas être transférables, mais la causalité elle-même. Cartwright et Hardie (2012) illustrent cela avec une machine de Rube Goldberg, où l’ouverture d’une fenêtre mène, à l’issue d’une longue chaîne de liens de causalité absurdes, mais efficaces, à un crayon taillé par un pivert. Pourtant, ce n’est généralement pas en ouvrant les fenêtres que l’on taille des crayons, de même qu’une chaîne causale dans un contexte donné peut être très différente dans un autre contexte. J’ai l’impression que, lorsque les économistes utilisent le mot « causal » dans les titres de leurs articles, ils invoquent plutôt un seul cas dans un contexte spécifique. Méfiez-vous de Rube Goldberg.

    45Les étudiants en économie formés dans la tradition de Cowles, ainsi que les lecteurs de Judea Pearl (Pearl et Mackenzie, 2018) savent qu’il existe d’autres façons de construire des modèles de causalité. Pearl soutient que nous devons commencer par un modèle causal et l’utiliser ensuite pour confronter les données et tester sa structure et, comme la commission Cowles l’a fait avant lui, il propose une série d’outils et de méthodes pour y parvenir. Bradford-Hill (1965) a étudié avec finesse les nombreux moyens de détecter la causalité, mais il semble que l’économie s’y réfère peu. Bradford-Hill était le pionnier des essais cliniques randomisés il y a soixante-dix ans et il semble parfois que nous perdons des connaissances plutôt que d’en acquérir.

    Éthique

    46Les économistes doivent bien réfléchir à l’éthique des expérimentations. Je n’ai pas grand-chose à ajouter aux discussions sur l’équipoise et le consentement éclairé, qui sont traitées ailleurs (Abramowicz et Szafarz, chap. 10, ce volume). Pourtant, certaines RCT dans le domaine du développement semblent remettre en cause les règles les plus élémentaires. Que dire du consentement éclairé lorsque les personnes ne savent même pas qu’elles participent à une expérimentation ? La bienfaisance est l’une des exigences fondamentales lorsque l’on mène des expérimentations sur des sujets humains. Mais la bienfaisance pour qui ? Les expérimentateurs étrangers ou même les fonctionnaires locaux ne savent pas toujours ce que veulent les gens. Penser savoir ce qui est bon pour les autres ne suffit pas à démontrer la bienfaisance.

    47L’éthique exige également que nous soyons conscients de ce que les RCT sont capables de faire ou non. Les manquements à l’éthique se justifient plus facilement pour ceux qui défendent le point de vue hiérarchique, selon lequel la seule preuve qui compte est celle des RCT, excluant ainsi les options qui pourraient présenter moins de risques pour les sujets ou conduire à de meilleures conclusions. Il n’est pas éthique de dire aux responsables politiques des pays en développement que les RCT sont le seul moyen de recueillir des preuves à des fins de politiques publiques, car cela peut les amener à négliger des informations importantes. La question de l’exactitude des valeurs p, déjà abordée précédemment, se pose également ici. Un essai peu performant qui ne parvient pas à établir ses objectifs est également contraire à l’éthique dès lors qu’il impose des charges aux sujets.

    48Ma principale préoccupation va bien au-delà. Même aux États-Unis, presque toutes les RCT sur le système de protection sociale sont effectuées par des blancs ayant un niveau de revenus et d’éducation plutôt élevé, sur des personnes de couleur dont les revenus et le niveau d’éducation sont plus faibles. D’après ma connaissance de la littérature, la plupart des expériences américaines n’ont pas été faites dans l’intérêt des pauvres qui en étaient les sujets, mais dans l’intérêt des riches (ou du moins des contribuables) qui avaient accepté, parfois à contrecœur, l’obligation de lutter contre les pires effets de la pauvreté, et qui voulaient en minimiser le coût (Gueron et Rolston, 2013). C’est regrettable, mais au moins, les ménages pauvres ont accès aux urnes et font partie de la société dans laquelle vivent les contribuables, avec son système de sécurité sociale. Il y a donc un retour vers leurs bienfaiteurs. Ce n’est pas le cas dans le domaine du développement économique, où les personnes aidées n’ont aucune influence sur les bailleurs de fonds. Certaines RCT réalisées par des économistes occidentaux sur des personnes extrêmement pauvres en Inde, et qui ont été approuvées par des comités d’examen institutionnels américains, semblent contraires à l’éthique, parfois même à la limite de l’illégalité, et n’auraient probablement pas pu être réalisées sur des sujets américains (Sarin, 2019). Il est particulièrement inquiétant que certaines études portent sur des questions économiques qui semblent ne présenter aucun bénéfice pour les sujets. Se servir des pauvres pour étoffer son CV ne devrait pas être admis. Aux États-Unis, alors que les comités d’examen des institutions offrent une protection spéciale aux prisonniers, dont l’autonomie est compromise, il ne semble pas y avoir de protection similaire pour certaines des personnes les plus pauvres du monde. Cela fait d’ailleurs curieusement écho aux débats sur les géants pharmaceutiques qui testent leurs médicaments en Afrique.

    49À mes yeux, les RCT relèvent de ce qu’Easterly (2013) appelle « l’illusion technocratique », soit le péché originel du développement économique et un aspect de ce que Scott (1998) a baptisé le « haut modernisme », selon lequel le savoir technique, même en l’absence d’une pleine participation démocratique, peut résoudre les problèmes sociaux. Selon cette doctrine, qui semble particulièrement répandue dans la Silicon Valley, parmi les fondations, et au sein du mouvement de l’altruisme efficace, la pauvreté mondiale cédera aux bonnes solutions techniques, notamment à l’adoption des RCT comme fondement des politiques basées sur les faits. Ignorer la politique est considéré à tort comme une vertu, et non comme un vice. Si les fondations et les altruistes prétendent savoir ce qui est bon pour les pauvres et sont animés de bonnes intentions, ils ne sont guère capables de prouver que les pauvres sont d’accord avec leurs évaluations ou apprécient leurs remèdes, si bien que leurs intérêts peuvent facilement entrer en conflit avec ceux qu’ils tentent d’aider. Les technocrates croient pouvoir développer les pays des autres depuis l’extérieur, parce qu’ils savent comment trouver ce qui marche. En cela, au moins, il n’y a pas de grande différence entre concevoir un gadget et concevoir une politique sociale. L’un et l’autre sont du ressort des ingénieurs.

    50Réduire la pauvreté par le biais de l’ingénierie est, au mieux, sans espoir et, au pire, désastreux. Les agences de développement sont très friandes du mot « partenariat », mais il n’y a pas de véritable partenariat lorsque tout l’argent se trouve d’un côté. Il ne peut pas non plus y avoir de véritable consentement éclairé dans une RCT lorsque l’argent qui est en jeu provient de l’aide au développement.

    51Trouver ce qui fonctionne et trouver ce qui est souhaitable sont deux choses différentes. Les intentions des bailleurs de fonds, aussi bonnes soient-elles, ne sont pas forcément le gage de ce qui est souhaité. Drèze (2018a) livre une excellente réflexion sur la question du passage de la preuve à la politique. Parmi ses exemples, on peut citer celui de la distribution d’œufs à des écoliers indiens, pays gravement touché par la malnutrition infantile. La mise en place d’une RCT pourrait permettre d’établir que les enfants qui reçoivent des œufs viennent plus souvent à l’école, étudient davantage et sont mieux nourris. Pour de nombreux bailleurs de fonds et défenseurs des RCT, cela suffirait à faire pression pour obtenir le lancement d’une politique de « distribution d’œufs aux écoliers ». Mais cette politique devra faire face à bien des réactions : l’opposition du puissant lobby végétarien, la pression de l’industrie avicole et celle d’un autre groupe qui affirmera que ses œufs en poudre – ou même son substitut d’œuf breveté – seront encore plus efficaces. Ces questions ne sont pas du ressort des expérimentateurs, mais des politiciens ainsi que des nombreux autres experts en administration politique. La plomberie du social devrait rester entre les mains des « plombiers du social », et non d’économistes expérimentaux qui n’ont aucune connaissance particulière, ni aucune légitimité (Duflo, 2017).

    52Travailler au service des citoyens d’autres pays comporte son lot de difficultés. Dans les pays dirigés par des gouvernements peu soucieux du bien-être de leurs citoyens – des régimes basés sur l’exploitation qui voient leurs citoyens comme une ressource à piller –, le pouvoir en place, s’il a le contrôle total, sera nécessairement le bénéficiaire de l’aide étrangère. Cela est d’autant plus flagrant dans les zones de guerre où il est impossible d’intervenir sans glisser un billet aux belligérants au risque de prolonger ou aggraver les souffrances (de Waal, 1997). Ce dilemme vaut aussi en temps de paix. Dans les régimes autoritaires qui exercent un contrôle total, l’aide étrangère n’est acceptée par le gouvernement que si elle sert son propre intérêt. Les agences de développement se voient alors « autorisées » à aider les pauvres ou à fournir des services de santé, tout en offrant une couverture politique au despote « éclairé » qui est ainsi libre de persécuter ou d’éliminer ses opposants (Deaton, 2015). Des questions similaires se posent également dans les démocraties, mais de manière moins marquée ; le passage de l’administration de la preuve à la politique n’est jamais totalement neutre d’un point de vue éthique, mais il est moins délicat lorsque les pauvres ont leur mot à dire et un certain pouvoir.

    53Quel est le rapport avec les RCT ? L’inutilité, tout d’abord. Il est complètement insensé de dépenser des ressources dans des essais randomisés portant sur des écoles ou des médicaments alors qu’un président, en pleine campagne électorale, est en train d’emprisonner ses opposants ou d’inciter à la violence contre ses ennemis politiques et ethniques (Wrong, 2009). Alors que la plupart des pauvres de la planète vivent dans des États soi-disant démocratiques dirigés par des autocrates populistes, les experts en essais randomisés seront confrontés à de plus en plus de dilemmes éthiques. Pourquoi les agences financent-elles des programmes d’aide, ou des RCT pour les soutenir, dans des pays dont les dirigeants ne souscrivent pas aux convictions démocratiques libérales des bailleurs de fonds et des expérimentateurs ? Je ne dis pas qu’il n’y a pas de réponse à cette question, mais seulement que les bailleurs de fonds doivent les connaître.

    54La fondation Bill et Melinda Gates s’est déjà attiré les foudres de la presse5 en remettant l’un de ses prix Global Goal à Narendra Modi pour la construction de toilettes en Inde, alors que ce même Narendra Modi prive les Cachemiris de leurs droits, menace de retirer la citoyenneté à des millions d’Assamais et utilise volontiers le critère religieux pour accorder la citoyenneté aux immigrants. La fondation soutient que la récompense ne reconnaît que les réalisations de Modi en matière d’assainissement. Cela illustre parfaitement les limites et les dangers de l’aide technocratique. Elle donne du pouvoir au despotisme et à l’intolérance. Modi a reçu d’autres prix prestigieux d’agences de développement, dont les Nations unies. Et en Afrique, il y a eu des cas bien pires.

    55Les agences d’aide ferment les yeux sur la répression politique tant que les oppresseurs participent à la réalisation de l’un des objectifs de développement durable, de préférence avec des essais contrôlés randomisés à l’appui. Les RCT sont en soi un outil statistique neutre, mais comme le fait remarquer Dean Spears6, « les RCT fournissent un discours tout prêt et de haut niveau » qui permet « une légitimation mutuelle entre les bailleurs de fonds, les chercheurs et les gouvernements ». Lorsque la méthodologie des RCT est utilisée comme un outil pour « déterminer ce qui fonctionne », sans tenir compte des libertés dans sa définition de ce qui fonctionne, alors elle risque de cautionner l’oppression.

    Remerciements

    56Je remercie vivement Nancy Cartwright, Anne Case, Shoumitro Chatterjee, Nicolas Côté, Jean Drèze, William Easterly, Reetika Khera, Lant Pritchett, Dean Spears et Bastian Steuwer pour leurs commentaires (généreux et utiles) apportés sur une version antérieure, ainsi que pour leur réactivité.

    Notes de bas de page

    1 L’attribution du prix Nobel à Abhijit Banerjee, Esther Duflo et Michael Kremer a été annoncée au moment de la révision de ce prologue. Le prix permettra, comme c’est déjà le cas actuellement, de donner davantage de visibilité au débat sur les avantages et les inconvénients de la conduite des RCT axées sur le développement économique. La presse s’est largement fait l’écho de préoccupations de fond, notamment sur le plan éthique. Ce débat médiatique révèle également de fausses idées très répandues, tant chez les détracteurs que chez les défenseurs, sur le fonctionnement réel des RCT, notamment des idées selon lesquelles les RCT garantissent que les groupes de traitement et de contrôle sont similaires avant le traitement, et qu’elles peuvent démontrer un lien de causalité.

    2 Heckman (chap. 12, ce volume), qui est une version mise à jour de Heckman (1992), et Heckman et Smith (1995). Voir également Manski et Garfinkel (1992), qui contient la version de 1992 du document de Heckman, une excellente introduction générale de Manski et Garfinkel, et plusieurs autres documents toujours pertinents.

    3 Stata est l’un des principaux logiciels de traitement des données statistiques.

    4 Imaginons un traitement binaire simple, qui modifie le revenu logarithmique d’un montant a variant selon les unités, mais dont la moyenne est égale à zéro. L’effet sur le revenu individuel est a.y (y étant le revenu). La moyenne de a.y dépend de la corrélation entre le revenu et l’effet du traitement individuel, qui peut être positif, négatif ou nul.

    5 Hamid et Sabah (2019) ; « Why I resigned from the Gates Foundation », New York Times, 26 septembre ; « Dismay at Gates Foundation prize for Narendra Modi », The Guardian, Lettre, 23 septembre 2019 ; « Bill and Melinda Gates Foundation under fire for award to Narendra Modi », The Guardian, 12 septembre 2019.

    6 Dean Spears, communication personnelle, 14 octobre 2019. Avec son aimable autorisation à le citer.

    Auteur

    • Angus Deaton

      Professeur émérite à l’université de Princeton et professeur présidentiel à l’University of Southern California (USC). Il est l’auteur de La grande évasion et a co-écrit, avec Anne Case, Morts de désespoir. L’avenir du capitalisme. Il travaille sur la santé, le bonheur, le développement, la pauvreté, les inégalités et la question des preuves pour orienter les politiques publiques. Membre de l’Académie nationale des sciences, membre de l’Académie britannique et membre honoraire de la Royal Society of Edinburgh, il a reçu en 2015 le prix de la Banque de Suède en sciences économiques en mémoire d’Alfred Nobel. Il est né à Édimbourg, en Écosse. Il a été fait Knight Bachelor en 2016.

    Précédent Suivant
    Table des matières

    Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

    Voir plus de livres
    La population réunionnaise

    La population réunionnaise

    Analyse démographique

    Frédéric Sandron (dir.)

    2007

    Du social hors la loi

    Du social hors la loi

    L’anthropologie analytique de Christian Geffray

    Yann Guillaud et Frédéric Létang (dir.)

    2009

    Gestion durable des eaux et des sols au Maroc

    Gestion durable des eaux et des sols au Maroc

    Valorisation des techniques traditionnelles méditerranéennes

    Éric Roose, Mohamed Sabir et Abdellah Laouina

    2010

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Bénédicte Gastineau, Flore Gubert, Anne-Sophie Robilliard et al. (dir.)

    2010

    Le projet majeur africain de la Grande Muraille Verte

    Le projet majeur africain de la Grande Muraille Verte

    Concepts et mise en œuvre

    Abdoulaye Dia et Robin Duponnois (dir.)

    2010

    La Grande Muraille Verte

    La Grande Muraille Verte

    Capitalisation des recherches et valorisation des savoirs locaux

    Abdoulaye Dia et Robin Duponnois (dir.)

    2012

    Un arbre au désert

    Un arbre au désert

    Acacia raddiana

    Michel Grouzis et Édouard Le Floc’h (dir.)

    2003

    Parcours de recherche à Madagascar

    Parcours de recherche à Madagascar

    L’IRD-Orstom et ses partenaires

    Christian Feller et Frédéric Sandron (dir.)

    2010

    Pratiques et représentations linguistiques en Guyane

    Pratiques et représentations linguistiques en Guyane

    Regards croisés

    Isabelle Léglise et Bettina Migge (dir.)

    2008

    La pêche aux Antilles

    La pêche aux Antilles

    Gilles Blanchet, Bertrand Gobert et Jean-Alfred Guérédrat (dir.)

    2002

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Benjamin Sultan, Richard Lalou, Mouftaou Amadou Sanni et al. (dir.)

    2015

    Aires marine protégées ouest-africaines

    Aires marine protégées ouest-africaines

    Défis scientifiques et enjeux sociétaux

    Marie Bonnin, Raymond Laë et Mohamed Behnassi (dir.)

    2015

    Voir plus de livres
    1 / 12
    La population réunionnaise

    La population réunionnaise

    Analyse démographique

    Frédéric Sandron (dir.)

    2007

    Du social hors la loi

    Du social hors la loi

    L’anthropologie analytique de Christian Geffray

    Yann Guillaud et Frédéric Létang (dir.)

    2009

    Gestion durable des eaux et des sols au Maroc

    Gestion durable des eaux et des sols au Maroc

    Valorisation des techniques traditionnelles méditerranéennes

    Éric Roose, Mohamed Sabir et Abdellah Laouina

    2010

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Bénédicte Gastineau, Flore Gubert, Anne-Sophie Robilliard et al. (dir.)

    2010

    Le projet majeur africain de la Grande Muraille Verte

    Le projet majeur africain de la Grande Muraille Verte

    Concepts et mise en œuvre

    Abdoulaye Dia et Robin Duponnois (dir.)

    2010

    La Grande Muraille Verte

    La Grande Muraille Verte

    Capitalisation des recherches et valorisation des savoirs locaux

    Abdoulaye Dia et Robin Duponnois (dir.)

    2012

    Un arbre au désert

    Un arbre au désert

    Acacia raddiana

    Michel Grouzis et Édouard Le Floc’h (dir.)

    2003

    Parcours de recherche à Madagascar

    Parcours de recherche à Madagascar

    L’IRD-Orstom et ses partenaires

    Christian Feller et Frédéric Sandron (dir.)

    2010

    Pratiques et représentations linguistiques en Guyane

    Pratiques et représentations linguistiques en Guyane

    Regards croisés

    Isabelle Léglise et Bettina Migge (dir.)

    2008

    La pêche aux Antilles

    La pêche aux Antilles

    Gilles Blanchet, Bertrand Gobert et Jean-Alfred Guérédrat (dir.)

    2002

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Benjamin Sultan, Richard Lalou, Mouftaou Amadou Sanni et al. (dir.)

    2015

    Aires marine protégées ouest-africaines

    Aires marine protégées ouest-africaines

    Défis scientifiques et enjeux sociétaux

    Marie Bonnin, Raymond Laë et Mohamed Behnassi (dir.)

    2015

    Accès ouvert

    Accès ouvert freemium

    ePub

    PDF

    PDF du chapitre

    Suggérer l’acquisition à votre bibliothèque

    Acheter

    Édition imprimée

    IRD Éditions
    • amazon.fr
    • decitre.fr
    • mollat.com
    • leslibraires.fr
    • placedeslibraires.fr
    ePub / PDF

    1 L’attribution du prix Nobel à Abhijit Banerjee, Esther Duflo et Michael Kremer a été annoncée au moment de la révision de ce prologue. Le prix permettra, comme c’est déjà le cas actuellement, de donner davantage de visibilité au débat sur les avantages et les inconvénients de la conduite des RCT axées sur le développement économique. La presse s’est largement fait l’écho de préoccupations de fond, notamment sur le plan éthique. Ce débat médiatique révèle également de fausses idées très répandues, tant chez les détracteurs que chez les défenseurs, sur le fonctionnement réel des RCT, notamment des idées selon lesquelles les RCT garantissent que les groupes de traitement et de contrôle sont similaires avant le traitement, et qu’elles peuvent démontrer un lien de causalité.

    2 Heckman (chap. 12, ce volume), qui est une version mise à jour de Heckman (1992), et Heckman et Smith (1995). Voir également Manski et Garfinkel (1992), qui contient la version de 1992 du document de Heckman, une excellente introduction générale de Manski et Garfinkel, et plusieurs autres documents toujours pertinents.

    3 Stata est l’un des principaux logiciels de traitement des données statistiques.

    4 Imaginons un traitement binaire simple, qui modifie le revenu logarithmique d’un montant a variant selon les unités, mais dont la moyenne est égale à zéro. L’effet sur le revenu individuel est a.y (y étant le revenu). La moyenne de a.y dépend de la corrélation entre le revenu et l’effet du traitement individuel, qui peut être positif, négatif ou nul.

    5 Hamid et Sabah (2019) ; « Why I resigned from the Gates Foundation », New York Times, 26 septembre ; « Dismay at Gates Foundation prize for Narendra Modi », The Guardian, Lettre, 23 septembre 2019 ; « Bill and Melinda Gates Foundation under fire for award to Narendra Modi », The Guardian, 12 septembre 2019.

    6 Dean Spears, communication personnelle, 14 octobre 2019. Avec son aimable autorisation à le citer.

    Expérimentations aléatoires dans le champ du développement

    X Facebook Email

    Expérimentations aléatoires dans le champ du développement

    Ce livre est diffusé en accès ouvert freemium. L’accès à la lecture en ligne est disponible. L’accès aux versions PDF et ePub est réservé aux bibliothèques l’ayant acquis. Vous pouvez vous connecter à votre bibliothèque à l’adresse suivante : https://freemium.openedition.org/oebooks

    Suggérer l’acquisition à votre bibliothèque Acheter ce livre aux formats PDF et ePub

    Si vous avez des questions, vous pouvez nous écrire à access[at]openedition.org

    Expérimentations aléatoires dans le champ du développement

    Vérifiez si votre bibliothèque a déjà acquis ce livre : authentifiez-vous à OpenEdition Freemium for Books.

    Vous pouvez suggérer à votre bibliothèque d’acquérir un ou plusieurs livres publiés sur OpenEdition Books. N’hésitez pas à lui indiquer nos coordonnées : access[at]openedition.org

    Vous pouvez également nous indiquer, à l’aide du formulaire suivant, les coordonnées de votre bibliothèque afin que nous la contactions pour lui suggérer l’achat de ce livre. Les champs suivis de (*) sont obligatoires.

    Veuillez, s’il vous plaît, remplir tous les champs.

    La syntaxe de l’email est incorrecte.

    Référence numérique du chapitre

    Format

    Deaton, A. (2022). La randomisation sous les tropiques revisitée. In F. Bédécarrats, I. Guérin, & F. Roubaud (éds.), Expérimentations aléatoires dans le champ du développement (1‑). IRD Éditions. https://doi.org/10.4000/books.irdeditions.45264
    Deaton, Angus. « La randomisation sous les tropiques revisitée ». In Expérimentations aléatoires dans le champ du développement, édité par Florent Bédécarrats, Isabelle Guérin, et François Roubaud. Marseille: IRD Éditions, 2022. https://doi.org/10.4000/books.irdeditions.45264.
    Deaton, Angus. « La randomisation sous les tropiques revisitée ». Expérimentations aléatoires dans le champ du développement, édité par Florent Bédécarrats et al., IRD Éditions, 2022, https://doi.org/10.4000/books.irdeditions.45264.

    Référence numérique du livre

    Format

    Bédécarrats, F., Guérin, I., & Roubaud, F. (éds.). (2022). Expérimentations aléatoires dans le champ du développement (1‑). IRD Éditions. https://doi.org/10.4000/books.irdeditions.44693
    Bédécarrats, Florent, Isabelle Guérin, et François Roubaud, éd. Expérimentations aléatoires dans le champ du développement. Marseille: IRD Éditions, 2022. https://doi.org/10.4000/books.irdeditions.44693.
    Bédécarrats, Florent, et al., éditeurs. Expérimentations aléatoires dans le champ du développement. IRD Éditions, 2022, https://doi.org/10.4000/books.irdeditions.44693.
    Compatible avec Zotero Zotero

    1 / 3

    IRD Éditions

    IRD Éditions

    • Mentions légales
    • Plan du site
    • Se connecter

    Suivez-nous

    • Flux RSS

    URL : http://www.editions.ird.fr

    Email : editions@ird.fr

    Adresse :

    IRD

    44, bd de Dunkerque

    CS 90009

    13572

    Marseille

    France

    OpenEdition
    • Candidater à OpenEdition Books
    • Connaître le programme OpenEdition Freemium
    • Commander des livres
    • S’abonner à la lettre d’OpenEdition
    • CGU d’OpenEdition Books
    • Accessibilité : partiellement conforme
    • Données personnelles
    • Gestion des cookies
    • Système de signalement