• Contenu principal
  • Menu
OpenEdition Books
  • Accueil
  • Catalogue de 15461 livres
  • Éditeurs
  • Auteurs
  • Facebook
  • X
  • Partager
    • Facebook

    • X

    • Accueil
    • Catalogue de 15461 livres
    • Éditeurs
    • Auteurs
  • Ressources numériques en sciences humaines et sociales

    • OpenEdition
  • Nos plateformes

    • OpenEdition Books
    • OpenEdition Journals
    • Hypothèses
    • Calenda
  • Bibliothèques

    • OpenEdition Freemium
  • Suivez-nous

  • Lettre d’information
OpenEdition Search

Redirection vers OpenEdition Search.

À quel endroit ?
  • IRD Éditions
  • ›
  • Synthèses
  • ›
  • Expérimentations aléatoires dans le cham...
  • ›
  • Partie 1 – Que peuvent les RCT ?
  • ›
  • Les randomistas doivent‑ils (continuer à...
  • IRD Éditions
  • IRD Éditions
    IRD Éditions
    Informations sur la couverture
    Table des matières
    Liens vers le livre
    Informations sur la couverture
    Table des matières
    Formats de lecture

    Plan

    Plan détaillé Texte intégral Introduction Fondements de l’évaluation d’impact L’influence des randomistas sur la recherche pour le développement Prendre les objections éthiques au sérieux Pertinence pour l’élaboration des politiques publiques Conclusion Notes de bas de page Auteur

    Expérimentations aléatoires dans le champ du développement

    Ce livre est recensé par

    Précédent Suivant
    Table des matières

    Chapitre 1

    Les randomistas doivent‑ils (continuer à) faire la loi ?

    Martin Ravallion

    p. 65-102

    Résumé

    La popularité croissante des expérimentations randomisées dans le domaine du développement s’accompagne de débats incessants sur les mérites de cette approche. Ce chapitre passe en revue les questions qu’elle soulève. Il explique en quoi le fait de privilégier systématiquement les Randomized Controlled Trials (RCT) est problématique, et ce, à trois égards. Premièrement, les raisons de cette préférence ne sont, a priori, pas claires. Par exemple, avec un budget donné, même une étude non expérimentale biaisée peut se rapprocher davantage de la vérité qu’une RCT coûteuse. Deuxièmement, les objections éthiques soulevées à l’encontre des RCT ne sont pas dûment prises en compte par leurs partisans. Troisièmement, privilégier systématiquement les RCT entraîne un biais de sélection de ce qui est évalué, ce qui risque de fausser les éléments de preuve nécessaires à l’élaboration des politiques. À l’avenir, les questions posées et la manière d’y répondre devraient être dictées par les lacunes les plus pressantes dans nos connaissances, et non par les préférences méthodologiques de certains chercheurs. Le véritable étalon-or est la meilleure méthode pour répondre à la question qui se présente.

    Remerciements

    François Roubaud a encouragé l’auteur à rédiger ce chapitre. L’auteur remercie Jason Abaluck, Sarah Baird, Radu Ban, Mary Ann Bronson, Caitlin Brown, Sylvain Chabé-Ferret, Kevin Donovan, Ryan Edwards, Markus Goldstein, Miguel Hernan, Emmanuel Jimenez, Max Kasy, Madhulika Khanna, Nishtha Kochhar, Agnès Labrousse, Andrew Leigh, David McKenzie, Rachael Meager, Berk Özler, Dina Pomeranz, Lant Pritchett, Milan Thomas, Vinod Thomas, Eva Vivalt, Dominique van de Walle, Andrew Zeitlin, ainsi que les personnes ayant participé à un atelier d’auteurs à Paris en mars 2019. Le personnel de l’International Initiative for Impact Evaluation qui a bien voulu fournir une mise à jour de sa base de données sur les évaluations d’impact publiées et répondre aux questions de l’auteur.

    Texte intégral Introduction Fondements de l’évaluation d’impact L’influence des randomistas sur la recherche pour le développement Pourquoi les randomistas ont-ils autant d’influence ? L’influence des randomistas est-elle justifiée ? Prendre les objections éthiques au sérieux Pertinence pour l’élaboration des politiques publiques Paramètres pertinents Validité externe Lacunes en matière de connaissances Adapter les efforts de recherche aux défis des politiques publiques Conclusion Notes de bas de page Auteur

    Texte intégral

    Introduction

    1Depuis le début du nouveau millénaire, les évaluations d’impact se sont multipliées de manière exponentielle dans les pays en développement, généralement dans le but d’améliorer l’élaboration des politiques. L’International Initiative for Impact Evaluation (3ie) a compilé des métadonnées sur ces évaluations, illustrées dans la fig. 11 (Cameron et al., 2016 ; Sabet et Brown, 2018). Depuis l’an 2000, le nombre d’évaluations d’impact a été multiplié par 30 par rapport aux 19 années précédentes2, une augmentation spectaculaire.

    2Comme le montre également la fig. 13, il existe deux méthodes principales. Dans la première, certaines unités se voient attribuer de manière aléatoire l’accès à un programme (le « traitement »), tandis que d’autres servent de groupe contrôle. Pour mesurer l’impact du programme, on compare ensuite les résultats moyens de ces deux échantillons. Il s’agit de la version la plus simple d’une évaluation par assignation aléatoire (Randomized Controlled Trials – RCT). La deuxième méthode n’a pas recours à la randomisation. On y trouve notamment des études purement non expérimentales (observationnal) : l’attribution du traitement est considérée comme une donnée, elle est intentionnelle et non pas aléatoire. Le second groupe comprend également des attributions déterministes, par exemple basées sur des a priori concernant les bénéfices potentiels du traitement. Alors que certains essais non randomisés qui servent à orienter l’élaboration des politiques sont purement descriptifs, d’autres cherchent à contrôler les différences avant traitement entre les unités traitées et non traitées en se basant sur ce qui peut être observé dans les données, dans le but de tirer des conclusions causales crédibles sur l’impact.

    Figure 1 – Nombre d’évaluations d’impact publiées chaque année pour les pays en développement.

    Image

    Source : Martin Ravallion, sur la base des données de la 3ie. Note : les courbes ajustées correspondent aux nuages des points voisins les plus proches. Voir la note 3 de ce chapitre sur la possible sous-estimation des évaluations non randomisées au cours des années précédentes.

    3Si les RCT ont commencé à être utilisées dans le domaine du développement vers 1980, ce n’est qu’une vingtaine d’années plus tard qu’elles se sont vraiment intensifiées. Depuis 2000, environ 60 % des évaluations d’impact reposent sur la randomisation. Le dernier recensement de 3ie compte 333 articles ayant recours à cet outil pour l’année 20154. Le taux de croissance est saisissant. En comparant sur la fig. 1 les chiffres des RCT à une tendance exponentielle (et l’ajustement est bon), on constate un taux de croissance annuel d’environ 20 %, soit plus du double du taux de croissance de l’ensemble des publications scientifiques depuis la Seconde Guerre mondiale5. À titre indicatif, si l’on tape « RCT » ou « randomized controlled trials » dans Google Ngram Viewer, on constate que la fréquence de ce groupe de mots (par rapport à l’ensemble des ngrams dans les textes numérisés) a tendance à augmenter dans le temps et se révèle plus élevée à la fin de la série chronologique disponible (2008) qu’elle ne l’a jamais été auparavant.

    4Avant 2000, on n’aurait certainement pas pu prévoir que les RCT allaient connaître une croissance telle que celle illustrée par la fig. 1. En effet, pour bon nombre des opérations réalisées par les gouvernements et autres acteurs dans le domaine du développement, les RCT ne sont pas adaptées. Les RCT n’ont pas toujours été bien accueillies non plus. Il leur est souvent reproché de priver d’un programme, à des fins de recherche, certaines personnes qui en ont besoin au profit d’autres qui n’en ont pas besoin. Il fut un temps où les RCT sur le développement étaient difficiles à vendre. Mais quelque chose a changé. Comment les RCT sont-elles devenues si populaires ? Leur popularité est-elle justifiée ?

    5Les partisans des RCT ont été surnommés les « randomistas6 ». Ils considèrent les RCT comme étant « l’étalon-or » des évaluations d’impact – l’approche la plus « scientifique » et « rigoureuse », garantissant une évaluation d’impact essentiellement athéorique et sans hypothèse, mais fiable7. Ce credo, émanant d’éminents économistes universitaires, a ensuite gagné le discours populaire, avec une influence notable auprès des médias, des agences de développement et des bailleurs de fonds, ainsi que parmi les chercheurs et leurs employeurs8. Ils privilégient les RCT de manière inconditionnelle. Si le contexte dans lequel s’inscrit une évaluation d’impact peut être très varié (types d’interventions, secteurs de l’économie, pays, communautés, groupes sociaux/ethniques), ce statut d’étalon-or est généralement revendiqué, quel que soit le contexte.

    6Il y a eu quelques résistances. Les RCT menées dans le domaine de la politique sociale ont soulevé de nombreuses interrogations (Heckman et Smith, 1995 ; Grossman et Mackenzie, 2005 ; Cartwright, 2007 ; Ravallion, 2009a ; 2009b ; 2012 ; Rodrik, 2009 ; Barrett et Carter, 2010 ; Deaton, 2010a ; Keane, 2010 ; Baele, 2013 ; Basu, 2014 ; Mulligan, 2014 ; Pritchett et Sandefur, 2015 ; Favereau, 2016 ; Ziliak et Teather-Posadas, 2016 ; Hammer, 2017 ; Deaton et Cartwright, 2018 ; Gibson, 2019 ; Young, 2019 ; voir aussi Pritchett, chap. 2, ce volume). Certains détracteurs ont notamment fait valoir que, en premier lieu, les hypothèses requises pour une estimation fiable de l’impact par le biais d’une RCT ne sont pas forcément fondées dans la réalité ; en second lieu, les RCT sont contestables sur le plan éthique ; et enfin, le caractère « boîte noire » des RCT limite leur utilité pour l’élaboration de politiques, y compris pour ce qui est de leur transposition à plus grande échelle et de la difficulté à déterminer le potentiel d’impact dans d’autres contextes. Ces critiques ont suscité des réactions de la part de certains défenseurs des RCT (Banerjee et Duflo, 2009 ; Imbens, 2010 ; 2018 ; Goldberg, 2014 ; Glennerster et Powers, 2016 ; McKenzie, 2019), l’un d’entre eux ayant qualifié de « foutaises » les critiques d’ordre éthique émises à l’encontre des RCT (Fiennes, 2018), alors qu’un détracteur a même qualifié la révolution des RCT de « folie » (et même « bien pire qu’une folie ») (Pritchett, chap. 2, ce volume).

    7Face à l’importance croissante des RCT dans le domaine du développement et aux débats qui se poursuivent, ce chapitre revient, dix ans plus tard, sur la question posée par Ravallion (2009a), « Les randomistas doivent-ils faire la loi ? ». Les randomistas « font la loi » au sens où ils revendiquent une hiérarchie des méthodes, qui est le fondement de leur autorité intellectuelle et du pouvoir de persuasion qu’ils exercent9. Cette hiérarchie est l’objet principal de ce chapitre. Tout en reconnaissant l’intérêt des RCT à certaines fins, ce chapitre montre que l’engouement qui a émergé en faveur des RCT ne repose pas sur une juste appréciation des limites de cet outil de recherche. Ce chapitre n’est pas destiné aux experts des deux camps, mais, plus largement, à la communauté des économistes et aux autres spécialistes des sciences sociales, aux bailleurs de fonds, aux décideurs politiques et à leurs conseillers, aux étudiants et aux jeunes chercheurs.

    8J’ouvrirai ce chapitre par un aperçu de la théorie de l’évaluation d’impact, et notamment des éléments pertinents pour le choix des méthodes. J’aborderai dans le développement suivant l’influence des randomistas sur la recherche pour le développement, les inquiétudes quant à la validité éthique de leur méthode de prédilection, avant d’envisager la pertinence de leur recherche sur le plan politique, puis de conclure.

    Fondements de l’évaluation d’impact

    9Il s’agit d’attribuer des programmes : certaines unités (les « traités ») d’une population bien définie bénéficient du programme et d’autres non. Imaginez que l’on prenne deux échantillons aléatoires dans la population, l’un du groupe traité et l’autre du groupe non traité, puis que l’on mesure les résultats pertinents pour les deux. Il s’agit là d’une expérimentation unique10. La différence entre les résultats moyens correspond à l’estimation de l’impact moyen réel de l’essai pour cette population, également appelé effet moyen du traitement (Average Treatment Effect – ATE). Cette estimation peut différer de la valeur réelle pour diverses raisons : erreurs de mesure, variabilité de l’échantillonnage, effets d’entraînement (« contamination ») entre les deux groupes, effets de surveillance et/ou biais systématique résultant de toute variable de confusion qui modifierait simultanément les résultats et l’état du traitement. La paire d’échantillons de chaque essai donne une estimation différente, parfois trop élevée, parfois trop faible, même s’il nous est impossible de savoir de combien, puisque nous ne connaissons (évidemment) pas la valeur réelle. Tout essai comporte son lot d’erreurs.

    10La RCT idéale correspond à la configuration décrite ci-dessus, où le statut de traitement de l’essai est également attribué de manière aléatoire (en plus du tirage d’échantillons aléatoires dans les deux populations, l’une traitée et l’autre non) et où la seule erreur est due à la variabilité de l’échantillonnage. Cet idéal peut être illusoire en pratique, surtout avec des sujets humains. Nous reviendrons plus tard sur les écarts entre la réalité et l’idéal, mais pour l’instant, nous allons nous baser sur une RCT idéale. Dans ce cas particulier, à mesure que le nombre d’essais augmente, la moyenne de leurs estimations tend à se rapprocher de l’impact moyen réel. C’est en cela que l’on dit qu’une RCT idéale est impartiale, c’est-à-dire que l’erreur expérimentale est ramenée à zéro en espérance. Cette propriété nous permet également d’estimer la variance des estimations. En utilisant à la fois le traitement aléatoire et l’échantillonnage aléatoire, il est donc plus facile de calculer l’erreur type de l’estimation de l’impact issue d’une RCT, afin d’établir un intervalle de confiance statistique11.

    11Les grands randomistas ont parfois omis le qualificatif « en espérance », ou ignoré ses implications sur l’existence d’erreurs expérimentales (comme le notent Deaton et Cartwright, 2018). Pour ces défenseurs des RCT, toute différence dans les résultats moyens entre les échantillons de traitement et de contrôle est attribuable à l’intervention12. Cette erreur courante doit être considérée comme plus qu’une simplification mineure à fin d’exposition13. Cependant, cette simplification est désormais largement ancrée dans le discours public. Outre les experts (si l’on met de côté leurs déclarations non vérifiées), de nombreuses personnes dans la communauté du développement pensent désormais que toute différence mesurée dans une RCT entre le groupe de traitement et le groupe de contrôle est imputable au traitement. Pourtant, ce n’est pas le cas ; même la RCT idéale comporte une erreur expérimentale inconnue.

    12Le cas sans traitement est rare, mais instructif. En l’absence de tout autre effet lié à l’attribution (tel que le suivi), l’impact est nul. Pourtant, l’erreur aléatoire d’un essai peut toujours donner un impact moyen non nul lors d’une RCT. Citons par exemple une RCT menée au Danemark, dans laquelle 860 personnes âgées ont été réparties au hasard et sans le savoir dans des groupes de traitement et de contrôle pendant une période de 18 mois sans aucune intervention réelle (Vass, 2010). À l’issue de cette période, on a observé une différence statistiquement significative (prob. = 0,003) des taux de mortalité.

    13À la lumière de ces observations, il convient de réfléchir au choix des méthodes. Supposons que, avec un budget donné, nous puissions mettre en œuvre soit une RCT, soit une étude non expérimentale. Dans le cas de l’étude non expérimentale, les sujets sont sélectionnés pour le programme. Prenons des échantillons aléatoires de ceux qui participent et de ceux qui ne participent pas. Nous voulons classer les méthodes ex ante selon le degré auquel les estimations de l’essai sont susceptibles de se rapprocher de la valeur réelle. Disons qu’une estimation est « proche de la vérité » si elle se situe dans un intervalle fixe centré sur la valeur réelle. L’accent est mis ici sur la « validité interne » de chaque estimateur – sa précision pour la population en question. La « validité externe » est traitée infra.

    14Si ce statut d’étalon-or est si souvent invoqué, c’est en raison de l’absence de biais dans la RCT idéale. Les économistes se sont beaucoup concentrés sur une source particulière de biais, à savoir la différence entre l’espérance mathématique de l’estimation d’un paramètre et sa valeur réelle (inconnue). Dans certains ouvrages, on appelle cela le « biais systématique », par opposition aux sources d’erreurs spécifiques aux essais, potentiellement nombreuses14. Même selon cette définition étroite, une étude non expérimentale n’est pas nécessairement biaisée. On ajuste généralement le déséquilibre des covariables, y compris dans une RCT. Le biais est supprimé lorsque le statut du traitement est conditionnellement exogène, c’est-à-dire non corrélé avec le terme d’erreur conditionnel aux covariables (bien que cette hypothèse soit clairement plus solide que pour une RCT). Cette hypothèse peut être acceptable ou non, selon le contexte (le programme et les données disponibles). Le caractère exogène ou non du traitement, compte tenu des variables de contrôle, dépend de la capacité de celles-ci à refléter correctement les facteurs déterminants du placement en traitement ; il convient d’en juger pour chaque contexte. Pour déterminer les données dont on a besoin, il faut bien comprendre les déterminants économiques et sociaux du placement dans le cadre du programme, c’est-à-dire les problèmes de décision auxquels sont confrontés les différents acteurs dans le contexte spécifique. Souvent, des facteurs de confusion qui ont été omis subsisteront, même si cela n’implique pas nécessairement des biais importants en ajustant seulement pour les facteurs de confusion observés.

    15Si les facteurs de confusion non mesurés sont très préoccupants, il est possible d’éliminer le biais en trouvant une source de variation exogène dans le statut du traitement qui ne soit pas non plus un déterminant des résultats du traitement donné. Il s’agit d’une variable instrumentale (VI). Une VI valide doit être corrélée avec le statut du traitement et non corrélée avec les résultats, le traitement donné et les variables de contrôle. Dans une régression, cela exige que la VI ne soit pas corrélée avec le terme d’erreur – donnant ce qu’on appelle la « restriction d’exclusion ». Cette condition doit finalement être jugée sur des bases théoriques, même s’il peut être utile d’étudier attentivement les facteurs déterminant le statut de traitement dans le cadre spécifique pour trouver des VI théoriquement plausibles, ainsi que des variables de confusion potentielles. Prenons par exemple un programme dont l’attribution du traitement dépend du fait que le score d’éligibilité soit supérieur à un seuil critique, ainsi que d’autres facteurs rendant l’attribution plus floue. Tant que le seuil est arbitraire (c’est-à-dire que les résultats contrefactuels moyens ne changent pas pour ce qui est du seuil), le fait que le score soit supérieur ou inférieur à cette valeur critique constitue une VI plausible en théorie15. Bien que moins connu des économistes, le biais lié à des facteurs de confusion non mesurés dans une étude non expérimentale peut être éliminé s’il existe une variable intermédiaire qui relie le traitement aux résultats, mais ne dépend pas des facteurs de confusion16.

    16Même si nous sommes d’accord sur le fait qu’une RCT permet d’éliminer plus efficacement les biais dans un contexte spécifique, cela ne justifie pas pour autant sa suprématie, et ce, pour deux raisons majeures. Premièrement, étant donné les contraintes auxquelles sont soumises les RCT dans la pratique, il peut s’avérer impossible de représenter correctement la population concernée. Au moins, lorsque les médias sont libres, les gouvernements sont conscients des risques politiques encourus s’ils soutiennent une recherche douteuse sur le plan éthique. Si les RCT sont parfois réalisées de concert avec les gouvernements, il est souvent plus facile d’accepter des études non expérimentales plus bénignes. C’est pourquoi les randomistas universitaires à la recherche de partenaires locaux jugent plus intéressant de travailler avec des organisations non gouvernementales (ONG) locales. La randomisation peut ainsi permettre de fournir (dans des conditions idéales) une estimation d’impact non biaisée pour une sous-population sélectionnée de manière non aléatoire, comme celle qui se trouve dans la région d’une ONG locale coopérative. En outre, il arrive que le processus de sélection du sous-échantillon compatible soit loin d’être clair (et, souvent, l’article académique correspondant ne mentionne même pas la manière dont il a été choisi). Il est difficile de savoir ce que l’on peut tirer d’une estimation non biaisée pour un sous-échantillon de la population sélectionné de manière non aléatoire. Les impacts potentiels sont si hétérogènes qu’une étude non expérimentale biaisée d’un échantillon aléatoire de toute la population pourrait s’avérer plus proche de la vérité.

    17Deuxièmement, le biais n’est pas la seule chose qui compte. La règle de décision à adopter pour choisir un estimateur (et plus généralement pour concevoir une étude) dépend de l’application. Une règle de décision statistique courante consiste à minimiser l’erreur quadratique moyenne (EQM), c’est-à-dire la valeur attendue de l’écart quadratique entre l’estimation et sa valeur réelle. Comme on le sait en statistique, l’EQM est le biais de l’estimateur au carré plus sa variance17. Cette règle de décision ne nous dit donc pas qu’un estimateur non biaisé est toujours le meilleur18. L’EQM n’est pas la seule règle de décision défendable – par exemple, on pourrait se demander à quelle fréquence les essais se situent dans une certaine distance absolue de la valeur réelle. Ce que je cherche à démontrer, c’est que l’absence de biais ne suffit pas.

    18C’est ici que la dimension économique de l’évaluation d’impact entre en jeu. La variance des estimations diminue lorsque la taille des échantillons est plus importante. De nombreuses études non expérimentales utilisent des données existantes, provenant de registres administratifs (big-data), ainsi que des enquêtes existantes. Les RCT nécessitent généralement de nouvelles enquêtes spécifiques. Ainsi, pour un budget donné, les RCT auront souvent des échantillons de taille plus faible et (donc) des variances plus élevées.

    19Le résultat n’est pas non plus évident lorsqu’un essai non randomisé nécessite de nouvelles enquêtes. Pour réduire les biais, il faut disposer de meilleures données. Avec des questionnaires d’enquête plus longs, la taille des échantillons sera probablement réduite pour un budget donné. Mais il est peu probable que les exigences en matière de données pour une RCT soient différentes. Il faut en effet disposer de données de base pour tester l’équilibre des covariables d’une RCT19. La randomisation supplémentaire (d’un traitement) dans le cadre d’une RCT implique très souvent des frais, et il pourrait bien s’avérer nécessaire d’effectuer une nouvelle randomisation pour assurer l’équilibre des covariables (Morgan et Rubin, 2012). Dans le domaine médical, on considère généralement que les RCT sont plus coûteuses que les études non expérimentales (Hannan, 2008 ; Frieden, 2017). Je ne dispose pas de données précises sur les coûts des évaluations d’impact dans le domaine du développement, mais on entend souvent des voix s’élever pour dénoncer la faiblesse statistique des RCT20. Si l’on compare (sommairement) les coûts des évaluations de la Banque mondiale, on constate que les RCT coûtent plus cher21. Les RCT dans le domaine du développement rencontrent souvent des difficultés de mise en œuvre sur le terrain que l’on ne retrouve pas dans les études non expérimentales. Pour mieux comprendre ce que cela peut signifier pour le choix de la méthode, supposons que chaque essai soit réalisé selon l’une des deux méthodes de distribution normale, à savoir l’une pour une expérimentation randomisée et l’autre pour une expérimentation non randomisée. Les paramètres (moyenne et variance) dépendent de la méthode choisie. La moyenne de la distribution des résultats d’une RCT est considérée comme la véritable moyenne, alors qu’elle ne l’est pas pour les essais non randomisés. Malgré le biais, la variance d’un essai non randomisé pourrait être suffisamment faible pour garantir qu’il soit plus proche de la vérité qu’un essai randomisé. La fig. 2 illustre un cas hypothétique et montre que même une étude non expérimentale biaisée peut être plus proche de la vérité qu’une RCT (non biaisée)22. Les courbes de densité illustrent les estimations d’impact des plans RCT et non RCT, toutes deux fondées sur des distributions normales (les densités peuvent ou non être conditionnées par des covariables). L’impact réel est nul, ce qui correspond à la moyenne de la distribution sur laquelle sont établies les RCT. Les essais non randomisés sont plutôt basés sur une distribution dont la moyenne est de -0,5, soit leur biais systématique. Autre différence : les RCT sont basées sur une distribution avec une variance de 2, alors que, pour l’étude d’observation, elle est de 1. Autrement dit, pour un budget donné, les essais non randomisés permettent de doubler la taille de l’échantillon pour chaque essai.

    Figure 2 – Fonctions de densité pour les estimations de l’impact moyen selon deux modèles hypothétiques d’évaluations d’impact.

    Image

    Source : Martin Ravallion.

    20Quelle méthode est donc la plus efficace en fournissant des estimations qui tendent à être plus proches de la vérité ? On entend par « plus proche de la vérité » la probabilité de se trouver dans un intervalle fixe centré sur la valeur réelle – dans ce cas, un intervalle (– δ, δ) (où δ > 0)23. La fig. 3 donne le pourcentage d’essais proches de la vérité pour chaque méthode. Supposons que nous définissions « plus proche de la vérité » comme une estimation de l’impact dans l’intervalle (– 0,5, 0,5). Lorsque la méthode randomisée est utilisée, nous constatons que, dans 27 % des essais, l’estimation se situe dans cet intervalle, contre 34 % pour la méthode non randomisée. En revanche, si nous définissons « plus proche de la vérité » comme une estimation comprise dans l’intervalle (– 1, 1), alors c’est le cas pour 52 % des RCT contre 62 % pour les études observationnelles. Dans cet exemple, on constate que l’étude non expérimentale est plus proche de la vérité, quelle que soit la δ !

    21Bien sûr, ce n’est là qu’une des nombreuses possibilités, et on peut facilement construire des exemples où les RCT sont plus concluantes. Les fig. 2 et 3 montrent seulement qu’une évaluation d’impact moins biaisée ne nous rapproche pas nécessairement de la vérité. Cette question demeure ouverte, car elle dépend essentiellement du degré de performance des essais que l’on peut se permettre selon le budget. Ce qui est important à retenir ici, c’est que, pour un budget donné, les RCT peuvent tout à fait aboutir à des estimations d’impact moins fiables, qui sont souvent plus éloignées de la vérité que celles d’une étude non expérimentale, même biaisée. Ainsi, le statut « d’étalon-or » revendiqué (de manière inconditionnelle) ne repose sur aucune justification théorique.

    Figure 3 – Proportion d’essais donnant une estimation de l’impact proche de la vérité, avec une comparaison entre une RCT non biaisée et une expérimentation non randomisée biaisée sur un échantillon plus large.

    Image

    Source : Martin Ravallion.

    22Pour la défense des RCT, nous disposons actuellement de peu d’informations sur la distribution des biais des études non expérimentales, alors que, comme nous l’avons noté, l’absence de biais d’une RCT est assortie d’une variance estimable, ce qui facilite le calcul de son intervalle de confiance. Cela souligne la nécessité d’effectuer davantage de recherches sur la distribution des estimations issues des études non expérimentales, par exemple en comparant les estimations avec celles des RCT pour un même contexte (voir par exemple Chabé-Ferret, 2018). Cela dit, si nous continuons à ne réaliser que des RCT (lorsque c’est possible), nous risquons de négliger les études non expérimentales, lesquelles s’avèrent plus souvent proches de la vérité.

    23Si l’on connaît suffisamment bien le contexte et le programme pour identifier les facteurs de confusion pertinents – le modèle de fonctionnement du programme – et si l’on peut recueillir des données à leur sujet ou trouver des facteurs mesurables pour éliminer la confusion, il est possible de mieux appréhender la situation et obtenir ainsi une estimation très fiable de l’impact par simple observation. D’un autre côté, si les possibilités de collecter des données de base sur les facteurs de confusion pertinents sont limitées et si le coût unitaire de la randomisation n’est pas trop élevé (de sorte qu’il est possible d’obtenir des échantillons de taille raisonnable avec le budget disponible), alors il peut être très intéressant de réaliser une RCT. Ce qui est remis en question ici, c’est la fameuse généralisation de « l’étalon-or ».

    24Nous pouvons aller plus loin et nous demander quelle est la méthode de conception optimale pour minimiser (par exemple) l’EQM, sans pour autant dissimuler notre incertitude quant au véritable modèle24. Admettons que quelques-unes au moins des données de base soient des covariables continues et que nous ayons des a priori bayésiens sur l’incertitude du modèle. Nous pouvons alors nous appuyer sur un résultat de Kasy (2016), à savoir qu’il existe une attribution déterministe (non aléatoire) du statut de traitement basé sur les covariables qui permet de minimiser l’EQM attendue25. Il n’y a donc aucun avantage à randomiser l’attribution en fonction des covariables (alors que la prise en compte des éléments observables dans les RCT entraînera des gains d’efficacité). Par conséquent, pour justifier une nette préférence aux RCT, il faut accorder à la randomisation une certaine valeur intrinsèque en tant que fin en soi, et être prêt à renoncer à la précision en matière du véritable impact moyen. Les partisans de cette méthode se sont parfois retranchés sur ces préférences méthodologiques, sans tenir compte de la précision de l’estimation de l’impact ; par exemple, Banerjee et al. (2017b) montrent que les RCT peuvent continuer à dominer tant que l’on accorde un poids suffisamment important au bien-être de ceux qui préfèrent les RCT.

    25L’influence des randomistas provient en partie de la croyance (très répandue) selon laquelle les RCT, lorsqu’elles s’y prêtent, constituent le meilleur outil statistique. Cette analyse de la théorie sous-jacente a jeté un doute considérable sur cette croyance. Comme nous le verrons, les autres sources de leur influence sont tout aussi discutables.

    L’influence des randomistas sur la recherche pour le développement

    26Parmi les premiers exemples de RCT menées dans le cadre de politiques sociales, on peut citer les diverses expérimentations réalisées en matière de politiques sociales aux États-Unis à partir des années 196026. En ce qui concerne les applications plus récentes dans le domaine du développement, la base de données de 3ie compte 133 RCT publiées au cours de la période 1981-1999. La toute première RCT enregistrée dans la base de données concerne un projet de recherche de la Banque mondiale sur les interventions en matière d’éducation (manuels scolaires et cours diffusés à la radio) visant à améliorer les résultats en mathématiques des élèves au Nicaragua (Jamison et al., 1981)27. Parmi les RCT antérieures à 2000, celle réalisée par le gouvernement mexicain pour l’évaluation de Progresa, qui a débuté en 1997, est un exemple particulièrement remarquable. Les résultats (généralement positifs) présentés dans la littérature et découlant des données de cette RCT ont eu une influence sur l’expansion des transferts monétaires conditionnels dans plus de 50 pays aujourd’hui28.

    27Au début du nouveau millénaire, l’idée des RCT dans le domaine du développement n’était donc pas nouvelle. En revanche, elle a beaucoup gagné en popularité. La production annuelle de RCT est bien plus élevée depuis 2000 (fig. 1). De nombreux universitaires et groupes ont apporté leur contribution, le Abdul Latif Jameel Poverty Action Lab (J-PAL) étant celui qui se démarque le plus29. Il a été fondé en 2003, sous le nom de Poverty Action Lab, au sein du département d’économie du Massachusetts Institute of Technology (MIT) par Abhijit Banerjee, Esther Duflo, et Sendhil Mullainathan. Au moment de rédiger le présent ouvrage, le site web du J-PAL30 comptabilise 1 012 RCT terminées ou en cours dans 83 pays. Pour un groupe de recherche universitaire, il est absolument remarquable de parvenir à un tel résultat en seulement 15 ans. En plus de ses propres RCT, le J-PAL a clairement influencé le changement d’orientation de l’économie empirique du développement vers cette méthode d’expérimentation. En effet, malgré ses innombrables expérimentations randomisées, il est peu probable que le J-PAL représente encore la majorité des RCT en cours aujourd’hui.

    28Ces efforts (centrés sur le J-PAL, mais qui vont encore plus loin) ont apporté plus de prestige à ce type de recherche empirique sur l’économie du développement, comme en témoigne l’attribution du prix 2019 de la Banque de Suède en sciences économiques en mémoire d’Alfred Nobel à Abhijit Banerjee, Esther Duflo et Michael Kremer. Comme l’indique le titre du communiqué, le prix a été décerné « pour leur approche expérimentale de la lutte contre la pauvreté ».

    29Dans cette section, nous examinerons dans un premier temps les raisons de l’influence des randomistas sur la recherche pour le développement et nous nous demanderons ensuite si elle est justifiée.

    Pourquoi les randomistas ont-ils autant d’influence ?

    30L’opinion selon laquelle les RCT (lorsqu’elles s’y prêtent) parviennent nettement mieux à inférer la causalité que les études non expérimentales issues d’enquêtes s’est imposée assez largement. La page d’accueil du site du J-PAL indique que : « Notre mission est de réduire la pauvreté en veillant à ce que les politiques soient fondées sur des preuves scientifiques ». Pour atteindre cet objectif, le J-PAL ne réalise que des RCT. Cela ne veut pas dire que les chercheurs du J-PAL considèrent les études non expérimentales comme non scientifiques (et, indépendamment du J-PAL, de nombreux chercheurs affiliés au J-PAL utilisent des méthodes basées sur des données non expérimentales). Toutefois, dans ce contexte, les expressions « preuves scientifiques » et « preuves rigoureuses » – autre favorite, figurant notamment sur le site web du J-PAL – sont des formules toutes faites pour désigner les RCT aux yeux de la plupart des lecteurs, et cela est tout à fait intentionnel. Les implications vont bien au-delà de la revendication du statut « d’étalon-or » : pour certains de leurs défenseurs, les RCT ne sont pas seulement en tête de liste des méthodes approuvées, pour eux, il n’y a rien d’autre sur la liste !

    31L’attrait pour les RCT reflète en partie les défis rencontrés dans l’identification de l’impact causal. Depuis les années 1990, les problèmes d’identification en économie31 font l’objet d’une attention accrue, dont on peut se réjouir, même si certains considèrent que cela a partiellement occulté d’autres questions importantes, telles que les erreurs de mesure (Gibson, 2019). La validité des estimateurs des VI a, quant à elle, suscité une attention plus critique. Il est facile de montrer que si l’une des conditions susmentionnées pour une VI valide n’est pas remplie, l’estimation peut être biaisée – probablement davantage que dans le cas des moindres carrés ordinaires (MCO), qui considèrent le placement comme exogène. Les chercheurs n’ont pas eu de mal à trouver des variables exogènes corrélées avec le statut de traitement choisi (même s’ils ont dû faire les tests appropriés). Il a souvent été beaucoup plus difficile d’accepter, sur le plan théorique, la restriction d’exclusion (selon laquelle la VI ne doit pas être pertinente pour les résultats, compte tenu du statut du traitement et des variables de contrôle). La VI était parfois facilement acceptée, mais ce n’était pas toujours le cas. Vers le milieu des années 1990, les participants aux conférences et les experts ont commencé à souligner régulièrement les raisons pour lesquelles la VI figurant dans certains articles spécifiques pouvait avoir un effet sur les résultats qui était indépendant de la variable endogène. Certains économistes ont ensuite commencé à rejeter presque toute tentative visant à établir une causalité sans répartition aléatoire.

    32Si l’on veut seulement connaître la différence des résultats moyens entre ceux qui bénéficient du traitement et ceux qui n’en bénéficient pas – ce que l’on appelle le paramètre de l’intention de traiter (Intention To Treat – ITT) –, alors la randomisation permet d’éviter ces préoccupations d’estimation de la VI. Dans le cas de la randomisation, l’attribution du traitement est exogène, sans corrélation avec le terme d’erreur de régression. Cependant, l’ITT peut être un paramètre d’intérêt assez limité. Elle est parfois présentée comme étant « pertinente pour la politique », dans la mesure où la politique correspond souvent à l’attribution de la possibilité de traiter. Mais comment réagiriez-vous si vous constatiez que l’impact moyen est (par exemple) nul chez les sujets à qui l’on propose un traitement, mais positif chez ceux qui le suivent ? Ce type de résultat intéresserait sûrement les décideurs politiques et les citoyens. Pour tirer parti d’une RCT, un potentiel participant au traitement voudra connaître l’impact moyen sur les personnes traitées.

    33L’adoption (take up) d’un traitement attribué de manière aléatoire à des sujets humains n’est jamais garantie et il est généralement endogène. Ainsi, le problème économétrique se pose de nouveau dans la pratique. Mais les randomistas ont une solution : utiliser l’attribution randomisée comme VI du traitement réel. Le take up est clairement subordonné à l’attribution, de sorte que cette VI est corrélée au statut du traitement. Comme elle est aléatoire, la VI n’est pas non plus corrélée (en espérance) avec le terme d’erreur lorsque l’effet du traitement est identique pour toute la population. Nous reviendrons plus tard sur les complications qui peuvent survenir lorsque les impacts varient d’une manière que le chercheur ignore, mais qui est connue de chaque participant, qui réagit en conséquence.

    34Au-delà de ces arguments économétriques, un certain nombre d’autres facteurs ont contribué au rayonnement croissant des randomistas dès le début des années 2000. Les chercheurs qui n’utilisaient pas la randomisation ont commencé à être critiqués par les randomistas, et leurs articles ont peu à peu cessé d’être cités dans la littérature spécialisée. Ce processus s’est déroulé en partie à travers les commentaires des relecteurs évaluant les articles pour les revues scientifiques, qui ne sont pas publics. Si les rédacteurs en chef des revues ne sont pas obligés d’accepter ce genre de critiques, les grands randomistas semblent avoir eu de l’influence et ont fini par occuper une place importante auprès des rédacteurs en chef et des comités de rédaction des revues économiques. Parfois, les critiques ont aussi pris une dimension publique, comme c’est le cas de l’étude de Finkelstein et Taubman (2015), qui remettait en question le fait que les méthodes utilisant des données d’enquêtes et d’autres méthodes non randomisées soient souvent utilisées dans l’évaluation des politiques de prestation de soins de santé. Cette conclusion a ensuite été rapportée dans le New York Times sous le titre « Few Health System Studies use Top Method, Report Says » (Tavernise, 2015 ; l’italique a été ajouté par mes soins) où « top » fait explicitement référence à une RCT. Si le message est clair, il n’est pas pour autant tout à fait exact. Selon quelques spécialistes de la santé publique, trop d’attention a été accordée aux évaluations des traitements individuels au détriment de la recherche sur les systèmes de santé32.

    35Les plus grands randomistas ont également fait un bon travail de sensibilisation en apprenant aux autres à utiliser leur méthode de prédilection33. Les économistes du développement s’y sont rapidement mis, tout comme certaines ONG. Ils n’ont cessé de revoir à la hausse les critères qui définissent une bonne RCT, même si l’observation de Heckman et Smith (1995), selon laquelle les RCT font l’objet d’un examen moins critique que les autres méthodes, semble toujours valable aujourd’hui.

    36Les fondateurs du J-PAL ont également fait part de leur désir de rendre le monde meilleur en élaborant des politiques fondées sur des preuves, ce qui a contribué à renforcer leur influence. Cette volonté avait été exprimée dès le départ par le J-PAL. Dans cette optique, le fait de réaliser beaucoup de RCT permettrait de caractériser ce qui fonctionne ou non, afin d’en tirer les enseignements nécessaires (Banerjee, 2006). Une analogie est établie avec les RCT réalisées dans le cadre d’essais cliniques pour déterminer en moyenne quel médicament est le plus efficace (Favereau, 2016).

    37Certains adeptes ont clairement été attirés par le zèle des grands randomistas. Partant de cela, « l’éthique expérimentale a été proposée comme le moyen de changer l’esprit du développement » (Donovan, 2018 : 27). Les randomistas peuvent être considérés comme un mouvement épistémique qui attire ses « vrais adeptes34 » en défendant les RCT avec un « zèle quasi religieux » (Heckman, chap. 12, ce volume). Ce mouvement, qui défend bec et ongles les RCT, promet à ses adeptes une « révolution tranquille » (Banerjee et Duflo, 2011 : 265).

    38Les partisans (notamment les bailleurs de fonds) ont également été attirés par la simplicité des RCT, qui sont « plus transparentes et plus faciles à expliquer » (Duflo, 2017 : 17). Les non-économistes comprennent plus facilement une RCT que les méthodes généralement privilégiées dans les études non expérimentales, qui devenaient de plus en plus sophistiquées et techniquement complexes au moment où le J-PAL a été créé.

    L’influence des randomistas est-elle justifiée ?

    39Comme nous l’avons vu dans la partie précédente, les fondements statistiques ne nous indiquent pas que les RCT (lorsqu’elles s’y prêtent) sont nécessairement plus fiables, quel que soit le contexte, et trônent donc au sommet de la hiérarchie des méthodes. Il s’agit plus d’une question de foi que de science. Dans certains milieux, les méthodes qui ne sont pas basées sur la randomisation ont été clairement rejetées, ce qui témoigne d’une réaction excessive face aux difficultés rencontrées pour identifier les effets de causalité de cette façon.

    40L’analogie avec les essais cliniques n’est pas non plus convaincante. Il n’est pas évident qu’il soit possible d’utiliser des RCT de type « boîte noire » pour déterminer ce qui fonctionne ou non dans le domaine du développement, compte tenu de la diversité des interventions et des contextes. Bien souvent, les arguments avancés en faveur des RCT manquent d’une justification économique claire pour expliquer l’intervention, ou d’une structure cohérente pour comprendre pourquoi elle pourrait fonctionner ou non (Heckman et Smith, 1995).

    41Alors que les randomistas spécialisés dans le développement invoquaient les essais cliniques comme modèle, les chercheurs en médecine adoptaient un point de vue plus nuancé35. D’un côté, certaines publications récentes laissent entendre que les préoccupations passées concernant le biais des études observationnelles causale en matière de santé et de médecine étaient excessives. D’un autre côté, il semble désormais admis que les avantages liés à la suppression des biais systématiques doivent être mis en balance avec les coûts et les risques des RCT cliniques.

    42Cependant, quelle que soit la validité de ces points, il faut reconnaître que le contexte médical est différent. Les économistes (et autres spécialistes en sciences sociales) traitent des personnes (en tant qu’individus et groupes) vivant dans des environnements sociaux et/ou économiques au sein desquels elles sont susceptibles de présenter une plus grande hétérogénéité, et dans lesquels le champ d’action est certainement plus vaste que dans les essais cliniques. Bien souvent, nous ne savons pas grand-chose du contexte spécifique a priori.

    43Certains problèmes d’inférence plus profonds se cachent derrière les affirmations des randomistas – des problèmes connus des experts des deux camps, mais mal compris de manière plus générale. Il existe très certainement une forme d’hétérogénéité non observée dans les impacts du traitement. Les sources sont nombreuses, et comprennent à la fois les circonstances (« circumstances ») de l’individu (comme l’expérience passée avec le type d’intervention) et les efforts déployés par les agents (reflétant leurs convictions sur l’impact)36. Cette hétérogénéité soulève la question suivante : « pour qui est l’impact ? » Angrist, Imbens et Rubin (1996) y ont répondu en montrant que l’estimateur par VI donne l’impact moyen pour un sous-ensemble de sujets traités, à savoir les « compliers », dont le statut de traitement a été modifié par la répartition aléatoire37.

    44Lors de l’estimation de l’impact moyen sur les sujets traités, la validité de l’attribution aléatoire comme VI pour répondre au take up sélectif peut être mise en doute en présence de réponses comportementales présentant une telle hétérogénéité non observée des impacts du traitement (Heckman et Vytlacil, 2005 ; Heckman et al., 2006). Les différences d’impact doivent alors être reléguées dans le terme d’erreur de la régression, en interaction avec le take up sélectif de l’attribution aléatoire. Les unités avec un rendement du traitement élevé seront plus susceptibles d’y adhérer. L’effet d’interaction, qui apparaît ensuite dans le terme d’erreur doit être corrélé à l’attribution aléatoire. La restriction d’exclusion ne s’applique pas. Bien sûr, cela n’a pas d’importance si l’on ne veut que l’ITT.

    45Il est rarement facile d’identifier les impacts des programmes sociaux, que l’attribution soit aléatoire ou non. Supposons que les caractéristiques latentes qui renforcent l’impact au niveau individuel aient également une importance pour les résultats contrefactuels d’une RCT avec une observance sélective. Le choix de la méthode d’estimation dépend alors essentiellement du paramètre d’impact à l’étude, du type de programme évalué et des réactions comportementales à ce programme (comme le montre Ravallion, 2014). Si les facteurs latents conduisant à un meilleur rendement du traitement sont associés à des résultats contrefactuels plus faibles, alors « la solution VI » pour le traitement endogène peut être pire que la maladie. En effet, l’estimateur des MCO peut même être non biaisé, malgré le take up sélectif. Il est essentiel que les praticiens réfléchissent bien aux possibles réponses comportementales à des impacts hétérogènes dans chaque application, comme dans toute étude non expérimentale.

    46Dans la pratique, la conception des RCT peut également nuire à l’identification. Il arrive que l’attribution aléatoire se fasse sur des grappes d’individus, par exemple des villages. Certaines grappes reçoivent le traitement et d’autres non. Les sujets faisant partie d’une grappe de traitement sont libres de suivre le traitement comme bon leur semble. Il s’agit d’une conception désormais classique dans le domaine du développement38. Mais elle se heurte à un problème chaque fois qu’il y a une interférence au sein des sous-groupes, de sorte que les non-participants des sous-groupes de traitement sélectionnés sont affectés par le programme. Par exemple, pour la RCT en grappes, Ravallion et al. (2015) ont montré un film didactique pour informer les gens de leurs droits en vertu de la loi indienne sur la garantie de l’emploi rural. Il était impossible de faire respecter une attribution des billets à certains individus au sein des villages, puisque le film devait être projeté dans des lieux publics, souvent ouverts, du village. L’accès au film a donc été attribué de manière aléatoire entre les villages, les habitants étant libres d’aller le voir ou non. Certains n’ont pas assisté à la projection, mais ils pouvaient (bien entendu) en discuter avec d’autres qui avaient vu le film, ce qui s’est avéré avoir un impact important sur les connaissances. La randomisation par grappes a dû être combinée à un modèle comportemental expliquant pourquoi certaines personnes ont regardé le film (Alik-Lagrange et Ravallion, 2019). Ce n’est qu’à partir de là que l’effet direct du traitement (regarder le film) a pu être isolé de l’effet indirect (vivre dans un village ayant accès au film). Dans cet exemple, les effets d’entraînement au sein des grappes enfreignent la restriction d’exclusion, et le fait d’utiliser l’attribution par grappes comme VI pour rendre compte du taux de take up individuel n’est donc pas très efficace.

    47Contrairement aux affirmations sur l’identification précise de l’impact causal moyen à l’aide d’une répartition aléatoire, des hypothèses et des modèles sont généralement nécessaires dans la pratique. Les hypothèses comportementales qui sous-tendent les études randomisées ne sont pas toujours explicites, ce qui ne facilite pas les choses (Keane, 2010). En revanche, les approches structurelles poussent à davantage de clarté.

    48Certaines préoccupations ont suscité moins d’attention dans la littérature qu’elles ne le méritent. On peut citer l’exemple de l’effet Hawthorne, selon lequel le suivi modifie le comportement. Par exemple, si vous savez que vous faites partie du groupe de contrôle, vous pourriez avoir tendance à chercher un traitement de substitution. Ou bien certains sujets du groupe de traitement pourraient chercher à faire plaisir à l’expérimentateur39. Les RCT en économie sont rarement en double aveugle, contrairement aux essais cliniques, c’est pourquoi les biais associés au suivi sont plus fréquents, et ils méritent une plus grande attention dans le domaine du développement40. Un deuxième exemple est l’objet de la section suivante.

    Prendre les objections éthiques au sérieux

    49Les préoccupations éthiques ne sont jamais très éloignées de l’élaboration des politiques. Ne pas prendre au sérieux la dimension éthique des évaluations présente deux dangers. Premièrement, il se peut que des évaluations jugées inacceptables sur le plan moral soient réalisées, le plus souvent dans des régions pauvres, où les populations sont vulnérables et où les institutions chargées de protéger leurs droits sont fragiles. Deuxièmement, cela risque de faire obstacle à des évaluations utiles sur le plan social, car trop risquées sur le plan politique, en grande partie par ignorance des avantages qu’elles présentent.

    50Pour certains détracteurs des RCT, « les randomisateurs sont prêts à sacrifier le bien-être des participants pour “tirer des enseignements” de l’étude » (Ziliak et Teather-Posadas, 2016)41. Ils ont par ailleurs souvent souligné que, dans une RCT, certaines personnes qui ont besoin du traitement ne le reçoivent pas, tandis que d’autres bénéficient d’un traitement dont elles n’ont pas besoin. Certains dénoncent également le fait que, dans les pays pauvres, les RCT ne font pas l’objet du même examen éthique attendu (sans être garanti) que dans les pays riches42. Dans certains essais cliniques randomisés menés dans des pays en développement et portant sur des traitements potentiellement dangereux, il a été rapporté que des participants n’étaient pas du tout conscients des risques sanitaires auxquels ils s’exposaient s’ils étaient traités43. Baele (2013) soutient que les randomistas du développement ne se sont pas suffisamment souciés de la dimension éthique de leurs RCT. Face aux détracteurs des RCT, Glennerster et Powers (2016) avancent une argumentation éthique prudente.

    51La question de la validité éthique ne se pose pas de la même manière pour toutes les évaluations. Parfois, une évaluation d’impact s’appuie sur un programme existant, si bien que rien ne change dans le fonctionnement du programme. L’évaluation tient pour acquis les bénéfices du programme. Ainsi, si celui-ci est jugé éthique, on peut en déduire que l’évaluation l’est aussi. On peut qualifier ces évaluations « d’acceptables sur le plan éthique ».

    52D’autres évaluations d’impact modifient délibérément le mécanisme d’attribution (connu ou probable) du programme – qui bénéficie du programme et qui n’en bénéficie pas. De ce fait, le caractère éthique de l’intervention telle qu’elle est mise en œuvre à grande échelle n’implique pas nécessairement que l’évaluation soit éthique, elle aussi. On dit alors que ces évaluations sont « contestables sur le plan éthique », et les RCT en sont les principaux exemples dans la pratique. Les programmes à grande échelle ne s’appuient presque jamais sur une attribution aléatoire, de sorte que les RCT ont un autre mécanisme d’attribution, avec des bénéfices potentiellement très différents, étant donné l’hétérogénéité des impacts. Ainsi, la dimension éthique d’une RCT peut être contestée alors que le programme lui-même est satisfaisant à cet égard.

    53Il est sans doute assez extrême (position assez rare chez les économistes) de dire que les bonnes fins ne justifient jamais les mauvais moyens. Du point de vue éthique, il est défendable de juger les processus en partie en se basant sur leurs résultats ; en effet, l’idée selon laquelle les conséquences l’emportent souvent sur les processus – l’utilitarisme en étant le principal exemple – est une idée ancienne et répandue en philosophie morale. En soi, mener une RCT n’est pas contraire à l’éthique tant que celle-ci est motivée par les avantages qui peuvent découler des nouvelles connaissances. Toutefois, les avantages qui en découlent doivent être soigneusement soupesés par rapport aux risques liés au processus. Cela est particulièrement vrai dans les (nombreux) cas où il est possible de réaliser une étude non expérimentale acceptable sur le plan éthique.

    54La question de l’éthique a fait l’objet de nombreuses discussions dans la recherche médicale, où le principe d’équipoise exige qu’il n’y ait pas de cas antérieur déterminant laissant penser que le traitement aurait un impact44. Nous ne devons procéder à une randomisation ou continuer une RCT que si nous ignorons s’il est préférable d’être dans le groupe de traitement ou de contrôle45. Si les évaluateurs prennent au sérieux la validité éthique, certaines RCT de développement seront jugées inacceptables et donc rejetées, puisque nous sommes déjà plutôt sûrs des résultats et que les avantages tirés des connaissances ne seront probablement pas assez importants pour justifier une recherche contestable sur le plan éthique46.

    55Le principe d’équipoise est rarement appliqué aux RCT menées dans le domaine du développement et des politiques sociales. D’ailleurs, c’est plutôt le contraire qui semble se produire. Dans un récent appel à propositions, un important bailleur de fonds philanthropique a explicitement exprimé sa préférence pour toute proposition de RCT « qui s’appuie sur des preuves préalables très prometteuses, suggérant qu’elle pourrait produire des impacts importants sur les résultats… » (Laura and John Arnold Foundation, 2018 : 2). D’un côté, on peut comprendre la préférence du bailleur de fonds, étant donné que les RCT coûtent cher et qu’il y a un désir d’avoir un impact avec des ressources limitées. Certains filtres ex ante de ce type sont sensés. On ne voudrait pas financer une RCT pour une intervention qui a peu de chances de se concrétiser sur le terrain. L’exemple ci-dessus met toutefois en évidence une certaine contradiction entre les objectifs des bailleurs de fonds et les préoccupations éthiques. La certitude ex ante d’un « impact considérable sur les résultats » nous fait craindre de priver de traitement ceux qui en ont besoin (et de le gaspiller en le donnant à ceux qui n’en ont pas besoin). Cela révèle également une inquiétude par rapport aux processus de financement qui déterminent ce qui est évalué. Nous reviendrons sur ce sujet dans la partie suivante.

    56Certains ont défendu le caractère éthique des RCT. Parmi les arguments avancés, on peut citer celui affirmant que les RCT sont justifiées chaque fois qu’un rationnement est nécessaire : lorsqu’il n’y a pas assez d’argent pour couvrir tout le monde, l’attribution aléatoire apparaît comme une solution équitable47. Cela a du sens lorsque l’on dispose de très peu d’informations. Parfois, dans le domaine du développement, nous en savons très peu ex ante sur la meilleure façon de répartir les participants afin de maximiser l’impact. Néanmoins, lorsque d’autres attributions sont possibles et que l’on dispose d’informations préalables sur les personnes susceptibles d’en bénéficier, il est sans doute plus juste de se servir de ces informations, et de ne pas procéder à une attribution aléatoire, du moins pas de manière systématique.

    57Il a également été avancé que la méthode de la randomisation conditionnelle (également appelée randomisation par « bloc » ou par « strate ») peut dissiper les préoccupations d’ordre éthique. Il s’agit de sélectionner d’abord les types de participants éligibles en fonction de la connaissance préalable des gains probables, et seulement ensuite d’attribuer aléatoirement l’intervention, étant donné que tous ne peuvent pas être couverts. Par exemple, si l’on évalue un programme de formation ou un programme qui exige des compétences pour obtenir un impact maximal, on peut raisonnablement supposer (en s’appuyant sur certaines preuves) que l’éducation et/ou l’expérience antérieure renforceront l’impact, et concevoir ensuite l’évaluation en conséquence. Cette méthode présente des avantages éthiques par rapport à la randomisation pure lorsqu’il existe des antécédents sur les impacts probables.

    58Mais il y a un piège. Ce qui est observable par l’évaluateur n’est généralement qu’un sous-ensemble des éléments visibles sur le terrain. Au niveau d’un village (par exemple), il y aura souvent plus d’informations que celles dont dispose l’évaluateur – des informations indiquant au niveau local que le programme est attribué à des personnes qui n’en ont pas besoin, et vice versa. Mais quelles informations devraient permettre de trancher ? Prétendre ne pas savoir serait une piètre excuse pour un évaluateur lorsque les autres parties prenantes savent très bien qui est dans le besoin et qui ne l’est pas.

    59Il a également été avancé que les modèles d’attribution aléatoire sont moins problématiques sur le plan éthique. L’idée est de n’interdire à personne l’accès à la prestation principale, mais plutôt de randomiser l’accès à une forme quelconque d’incitation ou d’information. Cela ne résout pas la question éthique, mais la déplace simplement de la prestation objet de l’étude vers un autre domaine. La validité éthique reste une préoccupation lorsque l’incitation est délibérément refusée à certaines personnes à qui elle profiterait et donnée à d’autres qui n’en ont pas l’utilité.

    60Prenons, par exemple, la RCT de Bertrand et al. (2007). Une des branches du traitement offrait une récompense financière importante aux participants qui obtenaient rapidement leur permis de conduire à Delhi, en Inde, ce qui les encourageait à verser des pots-de-vin aux fonctionnaires chargés de la délivrance des permis. Cette RCT ne permettait pas de verser directement des pots-de-vin ni de délivrer des permis à des personnes qui ne savaient manifestement pas conduire, mais ces résultats étaient prévisibles. Cette RCT devait permettre de vérifier que la corruption existe bel et bien en Inde et qu’elle a des effets réels. Cependant, il ne semble pas y avoir eu de doute sérieux préalable quant à la véracité de cette affirmation.

    61Les RCT peuvent être conçues pour aider à répondre aux préoccupations éthiques. Une option consiste à utiliser un « essai d’équivalence » dans le cadre duquel le groupe de contrôle reçoit ce qui est considéré comme le meilleur traitement suivant48. Contrairement aux contextes biomédicaux, il est possible que les avis soient partagés sur la meilleure option pour chaque application de développement spécifique. Néanmoins, il semble peu probable que les contrôles de type « ne rien faire » ou placebo, couramment utilisés, soient jugés acceptables lors d’un examen éthique minutieux dans la plupart des applications de développement. Il existe généralement une alternative. L’option « ne rien faire » n’est pas non plus susceptible de constituer un contrefactuel particulièrement pertinent pour la plupart des décideurs politiques.

    62Autre option : la randomisation adaptative. Elle est possible lorsque l’attribution est séquencée et que les réponses sont observées à chaque étape. Cette méthode permet de modifier l’attribution en cours de route, en fonction des preuves recueillies sur les impacts49. Narita (2018) a proposé un plan adaptatif intéressant, semblable à celui du marché pour les expériences sociales, qui tient compte de la volonté de chaque participant de payer pour pouvoir bénéficier du traitement, compte tenu des connaissances préalables sur ses effets50. Contrairement à une RCT classique, on aboutit à une expérience d’optimum de Pareto51, mais avec des propriétés statistiques similaires pour les estimations d’impact. Au moment où je rédige ce chapitre, cette idée ne semble pas avoir été mise en œuvre sur le terrain.

    63Aux États-Unis et ailleurs, les Institutional Review Boards (IRB) sont devenus courants lorsqu’il y a des propositions d’études sur des sujets humains. La plupart des institutions de recherche disposent d’un IRB spécifique. Ils sont en grande partie autorégulés. À quelques exceptions près, les processus des IRB appliqués dans le cadre de RCT de développement ne semblent pas avoir fait l’objet d’une évaluation systématique de leur efficacité. Une chose est sûre, les IRB doivent se concentrer davantage sur l’évaluation des bénéfices attendus d’une évaluation éthiquement contestable en tenant compte des connaissances existantes. Il existe des synthèses des connaissances actuelles qui peuvent être utiles et qui sont de plus en plus courantes52.

    64Si on les bouscule un peu, bon nombre de randomistas reconnaissent les préoccupations éthiques évoquées ci-dessus, même s’ils ne leur accordent que peu d’attention dans leurs articles. Ils partent du principe (le plus souvent implicite) que les avantages générés par leurs RCT compensent ces préoccupations. Il n’est pas toujours évident de savoir si cela est vrai ou non, et ce point mérite une plus grande attention.

    65Nous devrions également nous demander dans quelle mesure les efforts de recherche compensent les lacunes en matière de connaissances. Ces déséquilibres soulèvent d’autres préoccupations éthiques, compte tenu des défis pressants en matière de développement et des ressources limitées pour la recherche. La section suivante aborde ces questions.

    Pertinence pour l’élaboration des politiques publiques

    66S’il est évident que des preuves solides ne suffisent absolument pas pour élaborer de bonnes politiques, les décideurs politiques se tournent de plus en plus vers ces éléments de preuve empirique dans l’espoir d’éclairer leurs choix et de remporter des débats politiques. La pertinence de la recherche évaluative en termes de politiques publiques constitue donc un enjeu important.

    67À ma connaissance, l’influence de toutes ces RCT sur la politique de développement n’a pas encore fait l’objet d’une évaluation complète et objective. On peut néanmoins citer des exemples de recherches pertinentes pour les politiques qui ont recours aux RCT. Prenons par exemple le cas de Banerjee et al. (2015a), qui ont mené des RCT dans six pays (Éthiopie, Ghana, Honduras, Inde, Pakistan et Pérou) afin d’évaluer l’approche mise en place depuis longtemps par le Building Resources Across Communities (BRAC) pour lutter contre la pauvreté en utilisant à la fois des transferts (actifs et espèces) ciblant les plus pauvres, avec une formation en matière d’alphabétisation et de renforcement des compétences53. Selon les chercheurs, l’adoption de l’approche du BRAC a permis de réaliser des gains économiques environ trois ans après le transfert initial d’actifs et un an après la fin des versements. En supposant que l’on extrapole ces gains dans un avenir lointain – ce qui est clairement une hypothèse forte –, leur valeur actuelle dépasse souvent le coût du programme semblable à celui du BRAC (Banerjee et al., 2015a).

    68Sans prétendre à un examen exhaustif, cette réflexion met en évidence, en s’appuyant sur la littérature, certaines limites des RCT lorsqu’il s’agit de guider les politiques de développement.

    Paramètres pertinents

    69Même dans des conditions idéales, une RCT ne permet d’estimer qu’un sous-ensemble relativement limité de paramètres qui intéressent les décideurs politiques. En réalité, on s’attend à ce qu’il y ait à la fois des gagnants et des perdants, selon le contexte et les caractéristiques des unités participantes (et, comme on l’a vu, certaines de ces caractéristiques ne sont pas observées par l’analyste, bien qu’elles soient toujours des facteurs de motivation du comportement, notamment en ce qui concerne le choix d’adhérer au traitement ou non). Les impacts suivent donc une certaine distribution. Les décideurs politiques peuvent vouloir connaître la proportion des gagnants et des perdants au sein de la population, ou les types de personnes qui sont gagnants ou perdants. Pour identifier ces paramètres utiles à l’élaboration des politiques, il faut généralement disposer de plus de données et de méthodes économétriques structurelles. Un modèle structurel exhaustif n’est pas nécessairement essentiel pour traiter la question qui nous intéresse, mais (à l’inverse) une RCT fournira rarement les informations nécessaires.

    70Il existe des moyens fiables d’en apprendre davantage sur les impacts individuels plutôt que de se limiter à leur moyenne. Par exemple, l’estimateur local des variables instrumentales proposé par Heckman, Urzua, et Vytlacil (2006) vise à identifier les effets marginaux du traitement (Marginal Treatment Effect – MTE) pour toutes les valeurs de la probabilité empirique d’être traité. Contrairement à une RCT classique, les « essais sélectifs » permettent d’identifier les MTE en basant la probabilité d’attribution du traitement (plutôt que du contrôle) sur la volonté de payer exprimée par les agents (Chassang et al., 2012). On peut ensuite regrouper les résultats pour obtenir l’impact moyen, comme avec une RCT. Mais on en apprend beaucoup plus que l’impact moyen.

    71Parfois, il est aussi possible de poser en toute fiabilité des questions contre-factuelles dans les enquêtes. C’est ce qu’ont fait Murgai et al. (2015), en demandant aux participants à un programme d’emploi ce qu’ils pensaient pouvoir toucher autrement (en comparant avec les résultats observés sur le marché du travail local). Cela permet d’en apprendre davantage sur la répartition des impacts, même si (bien sûr) il y a des erreurs de mesure dans les réponses aux enquêtes, et qu’il faudra donc très certainement faire une moyenne.

    72Pour juger de la performance, les décideurs politiques cherchent souvent à savoir qui bénéficie du programme, ce qui est (en partie) déterminé par le mécanisme d’attribution découlant de sa conception. S’il est déterminé par la demande, quelles sont les caractéristiques de ceux qui choisissent d’y adhérer ? S’il est rationné, à qui profite-t-il ? Ces questions se posent au premier stade des méthodes non expérimentales importantes qui utilisent l’appariement (matching) et qui commencent par un modèle statistique permettant de déterminer qui bénéficie ou non du programme54. Bien entendu, s’il s’agit d’une RCT, l’attribution n’est en principe pas prévisible, et si le programme est suivi de tous, on ne peut rien apprendre sur les types de personnes susceptibles d’y participer lorsque le programme sera mis en œuvre à plus grande échelle.

    73Dans le cas d’une observance imparfaite, nous pouvons en tirer des leçons grâce à la première étape de l’estimateur VI susmentionné. En effet, comme le soutiennent Heckman et Pinto (2019), une fois que nous admettons que le take up de l’attribution aléatoire est le résultat d’un choix rationnel, nous pouvons l’utiliser pour étudier à la fois les déterminants de la participation et identifier un plus large éventail d’autres paramètres. Par exemple, en faisant varier les incitations dans une RCT classique et en invoquant l’axiome faible des préférences révélées, les résultats de Heckman et Pinto (2019) peuvent être appliqués au problème du faible take up des politiques sociales, qui est assez fréquent chez les personnes pauvres et/ou socialement exclues. Au lieu de considérer l’observance sélective des sujets humains comme une nuisance statistique, nous pouvons en tirer des enseignements.

    74Une RCT peut également être utilisée pour évaluer l’impact probable ex ante, et ensuite faire une évaluation séparée du programme réel à l’échelle, en utilisant un estimateur basé sur l’observation. Cela semble prometteur, mais il faut comprendre que, compte tenu du take up sélectif et des impacts hétérogènes, on évalue essentiellement deux programmes différents, dont seulement un est effectivement mis en œuvre par le gouvernement. Il est facile de deviner lequel intéressera le plus les décideurs politiques. La deuxième évaluation sera-t-elle effectuée ? Il est possible que non si l’on adopte le point de vue de « l’étalon-or ».

    75La difficulté de cette évaluation de l’efficacité d’une politique réside dans le fait que la RCT est une construction plutôt artificielle, à la différence de presque toutes les politiques envisageables dans le monde réel.

    Validité externe

    76Les décideurs politiques souhaitent évidemment tirer des leçons de ces expérimentations pour savoir si une intervention donnée peut fonctionner dans un autre contexte. Il s’agit de la question de la validité externe. Elle peut être contestée pour un certain nombre de raisons, notamment les effets de supervision (monitoring), les effets d’équilibre général, les problèmes d’échantillonnage et le soin spécifique apporté à administrer le traitement dans le cadre de la RCT (Duflo, Glennerster et Kremer, 2011).

    77Ces questions sont souvent ignorées dans la littérature relative aux RCT de développement, ou bien elles ne sont traitées que superficiellement. Peters, Langbein, et Roberts (2018) constatent que la majorité des 54 RCT dans le domaine du développement, publiées dans huit revues économiques (2009-2014), n’abordent pas les raisons de l’invalidité externe et ne fournissent pas les informations nécessaires pour y remédier. Si plusieurs RCT portant sur une intervention donnée donnaient des résultats convergents, nous pourrions alors nous fier davantage à leur validité externe. Mais ce n’est pas le cas. Vivalt (2020) a documenté les écarts constatés dans les estimations d’impact d’un programme donné selon les contextes (et même les types d’évaluateurs). Ses conclusions mettent en garde contre les généralisations. Comme le fait également remarquer Vivalt, le manque de documentation sur les facteurs contextuels n’aide pas. Dans les exemples qu’ils donnent (pour les programmes de microcrédit), Pritchett et Sandefur (2015) montrent qu’une RCT (présumée) valide sur le plan interne et réalisée dans un contexte donné est inférieure à une étude non expérimentale permettant de prédire l’impact dans un autre contexte. Cette variabilité des estimations n’est pas entièrement due à l’hétérogénéité des impacts réels ; une estimation de sept RCT sur le microcrédit a montré que 60 % de la variabilité est due à la variation d’échantillonnage (Meager, 2019). En pratique, les décideurs politiques ont beaucoup de mal à distinguer la variation d’échantillonnage de la variabilité de l’impact réel.

    78Mener des RCT en collaboration avec des ONG, comme nous l’avons évoqué plus haut, présente des avantages qui ont également soulevé des questions quant à la validité externe. La RCT menée par Duflo et al. (2015a) sur la scolarisation au Kenya en est un exemple. Des écoles choisies de manière aléatoire ont reçu les ressources nécessaires pour engager un enseignant supplémentaire avec un contrat à durée limitée. Les enfants ayant des enseignants contractuels ont obtenu de bien meilleurs résultats aux tests que ceux ayant des enseignants fonctionnaires. Cette expérience a été mise en œuvre par une ONG locale. Cependant, Bold et al. (2018) ont tenté de reproduire cette expérimentation à grande échelle, en réalisant une RCT avec suivi, mais cette fois avec une branche mise en place par le gouvernement (ainsi qu’une autre par l’ONG). Il en est ressorti que l’amélioration des résultats des tests était en fait liée à la mise en œuvre par une ONG et non au type d’enseignant. L’effet « enseignant » constaté par Duflo, Dupas et Kremer (2015) avait disparu.

    79Une estimation en forme réduite (qu’elle provienne d’une RCT ou non) est une « boîte noire » qui n’apporte pas beaucoup d’éléments pour répondre aux objectifs de l’élaboration des politiques. Tirer des leçons des RCT pose des problèmes spécifiques. Réfléchir à la manière dont nous pourrions tirer des enseignements d’une RCT sur le passage d’une intervention à une plus grande échelle constitue un objectif important. Une RCT mélange de manière aléatoire des personnes à faible impact (pour lesquelles les bénéfices attendus du programme sont faibles) avec des personnes à fort impact, sur la base de caractéristiques latentes. Le programme mis en œuvre à grande échelle comptera vraisemblablement davantage de personnes à fort impact, qui seront attirées par le programme55. Compte tenu de cette sélection intentionnelle basée sur les impacts attendus (hétérogènes), le programme national est fondamentalement différent de celui de la RCT, qui ne contient sans doute que peu d’informations utiles pour évaluer le programme à grande échelle.

    80Cela reflète une observation plus générale de Moffitt (2006), selon laquelle de nombreuses choses peuvent changer – les inputs et même le programme lui-même – lors de la mise à l’échelle d’un projet pilote. Une ONG qui souhaite attirer des bailleurs de fonds aura tout intérêt à montrer l’impact d’un essai qui n’est pas caractéristique de ses opérations habituelles. Les jeunes chercheurs qui effectuent un essai sur le terrain sont susceptibles de déployer davantage d’efforts que les responsables gouvernementaux qui mettent en œuvre la version à grande échelle. La validité externe impose des contraintes sur la conception et l’exécution des essais pilotes qui ne sont pas suffisamment prises en compte dans la pratique.

    81Pour en savoir plus sur la validité externe, une approche consiste à répéter l’évaluation dans différents contextes. Par exemple, Galasso et Ravallion (2005) ont étudié, à l’aide d’une méthode non expérimentale, les performances du programme bengali « Food-for-Education » dans 100 villages et ont corrélé les résultats avec les caractéristiques de ces villages. Les différences de performance étaient en partie imputables aux caractéristiques observables dans les villages, telles que l’inégalité de répartition des terres à l’intérieur des villages (les villages les plus inégaux parvenant moins bien à atteindre les pauvres). Dans les évaluations précédentes, le fait de ne pas tenir compte de ces différences a été considéré comme une véritable lacune56. Regarder à l’intérieur de la boîte noire d’une évaluation d’impact peut apporter un éclairage utile sur sa validité externe et ses implications politiques. Pour ce faire, il faut généralement disposer d’informations extérieures à la conception initiale de l’évaluation. On peut citer comme exemple la RCT Proempleo de Galasso et al. (2004). D’un côté, des personnes participant à un programme d’emploi ont reçu de manière aléatoire des coupons pour des subventions salariales, de l’autre il y avait le groupe de contrôle randomisé. En théorie, la subvention salariale permet de réduire le coût de la main-d’œuvre pour l’entreprise et rend donc l’embauche plus attrayante. Conformément aux prévisions de cette théorie, la RCT a eu un impact significatif sur l’emploi. Toutefois, une vérification ultérieure des registres administratifs a révélé un recours très faible des entreprises aux subventions salariales. Proempleo n’a donc pas fonctionné comme le prévoyait la théorie. Des entretiens qualitatifs de suivi avec les entreprises et les travailleurs ont indiqué que les coupons avaient une valeur de certification pour les travailleurs – une sorte de « lettre de recommandation » réservée à peu de personnes (le fait qu’elle ait été attribuée de manière aléatoire n’ayant pas été signalé au niveau local dans cette RCT). Cela n’a pas été révélé grâce à la RCT, mais a nécessité des données d’observation supplémentaires. Cela n’avait pas été prévu par les chercheurs ex ante. D’ailleurs, s’ils s’en étaient tenus strictement au plan de pré-analyse, ils seraient passés à côté d’un élément crucial, pertinent pour les politiques, qui explique l’impact du programme. Les données supplémentaires ont également révélé l’importance de fournir des informations sur la façon d’obtenir un emploi, ce qui a eu des répercussions sur la transposition du programme à plus grande échelle. Un passage à grande échelle de la subvention salariale en se basant sur la seule RCT aurait été une erreur.

    82Un pan de la littérature a utilisé la randomisation (soit de l’intervention, soit d’un déterminant clé de son placement) pour mettre en lumière des paramètres structurels plus profonds. Cela a été le cas dans certaines des premières applications en matière d’évaluation de la politique sociale aux États-Unis (Heckman, chap. 12, ce volume). Dans un exemple d’applications récentes en matière de développement, Todd et Wolpin (2006) utilisent la RCT dont j’ai parlé précédemment pour le projet Progresa au Mexique afin de modéliser les réponses comportementales dynamiques à l’incitation à la scolarisation fournie par ce programme. Ces recherches peuvent nous aider à comprendre les impacts d’un programme et faciliter les simulations de politiques alternatives. Todd et Wolpin montrent que l’extension de la subvention de Progresa vers des niveaux de scolarisation plus élevés permettrait d’améliorer l’impact global. Dans le même ordre d’idées, il est possible d’utiliser une RCT pour tester un ou plusieurs liens clés de la « théorie du changement » qui sous-tend la logique d’un programme, même si l’outil n’est pas applicable au programme lui-même. Cela fait écho aux arguments de Heckman (1992) et de Heckman et Pinto (2019) sur la possibilité de mener des expériences plus ambitieuses fondées sur la théorie.

    Lacunes en matière de connaissances

    83Pour faciliter l’élaboration des politiques de lutte contre la pauvreté, les chercheurs devraient idéalement combler les écarts entre nos connaissances sur l’efficacité des politiques et les connaissances nécessaires aux décideurs politiques. De toute évidence, les choses ne se passent pas comme nous pourrions l’espérer. Par exemple, Kapur (2018) rapporte un entretien avec Arvind Subramanian, ancien conseiller économique en chef du gouvernement indien (Government of India – GOI) : « Lorsqu’on lui a demandé, parmi toutes ces RCT coûteuses, combien avaient fait avancer la politique en Inde, Arvind Subramanian […] a eu du mal à en trouver ne serait-ce qu’une seule qui lui ait été utile pour résoudre les dizaines de questions politiques urgentes auxquelles il était confronté57. »

    84Pourquoi y a-t-il de telles lacunes dans les connaissances ? Il existe des facteurs aléatoires, mais aussi des « défaillances du marché du savoir » plus systématiques (Ravallion, 2009b). L’une des raisons de cette situation est la présence d’externalités dans les évaluations. Certains éléments portent à croire que la réalisation d’une évaluation d’impact d’un projet de développement en cours peut contribuer à améliorer certains aspects de sa mise en œuvre, notamment en accélérant le déblocage des fonds (Legovini et al., 2015). Cependant, les enseignements tirés d’une évaluation sont également utiles pour les projets futurs, qui (avec un peu d’espoir) profiteront des leçons tirées des évaluations précédentes. On ne peut pas attendre des chefs de projet actuels qu’ils tiennent bien compte de ces avantages externes lorsqu’ils décident du budget à consacrer à l’évaluation de leur propre projet. Les externalités varient considérablement selon les types d’évaluation, et sont nettement plus importantes lorsque les évaluations sont plus innovantes, voire les premières du genre. Les externalités des évaluations jouent également un rôle dans le « biais de myopie » dans le domaine du développement, si bien que les évaluations à long terme sont rares (Ravallion, 2009b ; Bouguen et al., 2019).

    85Les lacunes du marché des connaissances découlent également des biais de publication liés à la fois aux processus de sélection des éditeurs de revues et au comportement des auteurs, notamment en matière de documentation de leurs résultats. Les résultats négatifs ou nuls ont moins de chances d’être publiées ou même de faire l’objet d’une quelconque mention58. Les réplications ultérieures des expériences en économie trouvent souvent des effets moins importants59. Dans certains cas, les résultats antérieurs ont été reproduits correctement, mais ils se sont révélés très sensibles à des aspects discutables de l’analyse des données, qui n’étaient pas évidents dans l’article original60.

    86La dynamique des processus de publication explique également la persistance des lacunes en matière de connaissances. La littérature n’est pas exempte d’erreurs et il faut parfois du temps pour les corriger. Compte tenu de son originalité, le premier article sur un sujet donné a de grandes chances d’être publié et de bénéficier d’une grande visibilité. Les articles suivants auront tendance à être relégués dans des revues de moindre importance, à être moins souvent cités, ou même à ne pas être publiés du tout. L’auteur de l’article original devient alors le gardien des connaissances sur le sujet. On peut parfois réussir à le contourner, mais il exerce toujours une influence considérable. Cependant, il se peut que le premier article soit erroné. De plus, les mesures visant à encourager les efforts de réplication semblent faibles en économie61. Pourtant, en sciences, les échecs de réplication sont fréquents (Ioannidis, 2005a). Le premier constat de la distribution des impacts peut donc avoir un effet de distorsion durable sur les connaissances reconnues.

    87L’invalidité externe soulève également des inquiétudes quant au processus d’accumulation des connaissances. Même si le premier article s’avère proche de la vérité dans le contexte spécifique, il peut avoir une validité limitée dans d’autres circonstances. Lorsque le sujet concerne l’impact d’une politique, ou une problématique très pertinente pour l’impact en question, les connaissances sur les politiques auront tendance à être faussées en conséquence.

    88Il s’agit là de préoccupations d’ordre général, qui ne se limitent pas aux RCT. Cependant, la hiérarchie des méthodes basée sur « l’étalon-or » pourrait bien aggraver les choses, comme nous allons le voir maintenant.

    Adapter les efforts de recherche aux défis des politiques publiques

    89Les lacunes en matière de connaissances sont également dues à un décalage des efforts d’évaluation. Les évaluateurs spécialisés dans le développement ignorent trop souvent les possibilités de fongibilité. Les bénéficiaires (gouvernementaux ou non) peuvent réaffecter leurs propres efforts pour répondre à de nouveaux fonds, comme l’aide au développement. Les bailleurs de fonds financent souvent autre chose de manière implicite. Même si cette conséquence est moins connue, il se peut que les bailleurs de fonds et les niveaux supérieurs de gouvernement apprécient mal leur propre impact : ils évaluent le projet que le bénéficiaire de l’aide a proposé de financer plutôt que le projet qui a été réellement financé, compte tenu des possibilités de fongibilité. Les efforts d’évaluation ne sont alors pas en phase avec les efforts de développement.

    90S’il ne faut pas incriminer les RCT, les préférences méthodologiques marquées des évaluateurs risquent toutefois de renforcer ce déséquilibre. Les randomistas du développement ont eu à la fois des effets de production et de substitution des connaissances. La multiplication des RCT depuis 2000 (fig. 1) suggère au moins un effet de production positif. Toutefois, comme nous l’avons déjà évoqué, les validités interne et externe de ces RCT dans le champ du développement ne sont pas tout à fait évidentes. Nous ignorons le contrefactuel – ce que nous aurions appris si ces ressources (financières et humaines) avaient été déployées ailleurs.

    91L’effet de substitution est lié aux méthodes utilisées. Prenons l’exemple de la Banque mondiale. Alors que la première RCT enregistrée dans la base de données de 3ie a été réalisée par la Banque mondiale, jusqu’au début des années 2000, cet outil n’était considéré que comme l’une des nombreuses options fiables en matière d’évaluation d’impact. Depuis, la Banque mondiale s’est nettement orientée vers les RCT, ce qui a été salué par certains analystes. Par exemple, dans un éditorial de The Lancet, on peut lire (dans la plus grande ignorance de l’histoire) que « la Banque mondiale se tourne enfin vers la science » (Lancet, 2004 : 731)62. L’Independant Evaluation Group (IEG) de la Banque mondiale rapporte que plus de 80 % des évaluations d’impact réalisées entre 2007 et 2010 ont utilisé la randomisation, contre 57 % en 2005-2006 et seulement 19 % les années précédentes (World Bank, 2012).

    92Même si nous supposons que toutes ces RCT ont eu un effet positif sur les connaissances, l’effet de substitution pourrait bien fonctionner dans l’autre sens. Ce dernier comporte trois aspects. Premièrement, le fait de mettre l’accent sur l’identification des effets causaux par le biais des RCT a détourné l’attention des autres méthodes d’investigation empirique, notamment de la recherche descriptive, qui est clairement sous-estimée aujourd’hui dans la recherche sur le développement. Certains des enseignements politiques tirés d’articles de recherche basés sur les RCT auraient pu provenir de bonnes « descriptions robustes » (« thick descriptions », utilisant des méthodes qualitatives et/ou quantitatives) des processus du monde réel liant les interventions aux résultats.

    93Deuxièmement, on craint que l’accent mis sur les programmes individualisés attribués n’ait détourné l’attention de la recherche systémique, qui recourt généralement à des modèles structurels. En économie, plus largement, les travaux structurels dans l’enseignement et la recherche ont perdu de leur importance, comme l’ont noté Keane (2010) et d’autres. Ce problème est également une source de préoccupation importante pour la recherche sur la santé publique (Rutter et al., 2017).

    94Troisièmement, l’évaluation d’impact du portefeuille de politiques de développement pose un problème, car la randomisation n’est possible que pour un sous-ensemble non aléatoire de politiques et de contextes. Il devient donc impossible de faire des inférences sur un large éventail de politiques si l’on se fie uniquement aux RCT. La randomisation est généralement mieux adaptée aux programmes dont les participants et les non-participants sont clairement identifiés, dont la durée est relativement courte, qui n’exigent pas l’imposition de redevances/taxes et dont les coûts ou les avantages peuvent difficilement bénéficier au groupe de non-participants. Les RCT sont donc plus adaptées aux biens privés, qui sont faciles à attribuer parmi les ménages individuels, qu’aux biens publics dont les avantages sont partagés entre de nombreuses personnes (Hammer, 2017). Il existe des exceptions (comme pour certains biens publics locaux). Toutefois, il est généralement beaucoup plus difficile de randomiser le lieu des projets d’infrastructure de moyenne ou grande ampleur et il semble impossible de randomiser les réformes sectorielles et macro-économiques. Cet outil n’est donc utile que pour un nombre limité de politiques essentielles à la stratégie de développement d’un pays.

    95Pour évaluer l’impact de la fourniture de biens privés, il faut une justification économique de cette « politique ». Les marchés ne pourraient-ils pas fournir le bien privé de manière efficace, sans devoir procéder à une évaluation d’impact ? Il peut y avoir de bonnes raisons pour justifier la réalisation d’une évaluation d’un bien privé dans un contexte spécifique, mais le plus souvent, il semble que les randomistas ne font que poursuivre les opportunités de randomisation. Certes, les objectifs de redistribution sont parfois évoqués, mais de manière assez superficielle. Les impacts distributifs (sur la pauvreté, par exemple) sont rarement abordés avec rigueur, ni même identifiés comme des résultats explicites. Autrement dit, l’économie publique est souvent absente.

    96Prenons l’exemple de la déforestation dans les pays en développement pour illustrer en quoi le recours intensif aux RCT fausse les connaissances nécessaires à l’élaboration des politiques. Il est fréquent que les ménages qui possèdent des bois et coupent leurs arbres ne tiennent pas compte du coût externe de leur contribution au réchauffement climatique. Il existe une solution connue depuis longtemps : la taxe pigouvienne. Mais elle serait difficile à mettre en œuvre par le biais d’une RCT, puisque la taxation est principalement du ressort des gouvernements, qui seraient (naturellement) réticents. Au lieu de cela, on peut randomiser les indemnités versées à ceux qui choisissent de ne pas abattre leurs arbres, comme c’est le cas avec la RCT menée en Ouganda par Jayachandran et al. (2017). Cette politique peut être mise en œuvre par une ONG locale, en contournant le gouvernement. Il y a ici une justification d’économie publique, mais l’utilisation d’une RCT limite les options de politique évaluées. En particulier, la politique fiscale aura probablement des impacts différents (ne serait-ce que parce que la politique de versement donne une valeur supplémentaire au stock d’arbres, générant un effet revenu, distinct de l’effet prix).

    97Bien entendu, aucun outil ne peut à lui seul convenir à toutes les situations. Reste à savoir si nous avons trouvé aujourd’hui un équilibre raisonnable entre les efforts de recherche et les défis politiques. La hiérarchie (discutable) des méthodes préconisées par les randomistas rend cet équilibre plus difficile à atteindre. En effet, aussi pour les biens privés, l’idée même de l’attribution aléatoire est contraire aux objectifs de nombreux programmes de développement, qui visent généralement à toucher certains types de personnes ou de lieux. En offrant des transferts monétaires aux pauvres – type d’intervention très prisé des RCT dans le domaine du développement –, les gouvernements pourront, si tout va bien, obtenir de meilleurs résultats qu’avec une attribution aléatoire.

    98Le rapport de l’IEG déjà cité décrit le déséquilibre dans la répartition des évaluations d’impact de la Banque mondiale entre les différents secteurs de ses opérations, ainsi que le manque apparent de cohérence entre le portefeuille d’évaluation et les priorités sectorielles et de développement de la Banque mondiale (World Bank, 2012). Même si je n’ai pas de preuves, je soupçonne également un déséquilibre entre les efforts d’évaluation selon la durée estimée des bénéfices du projet. Les évaluations à long terme des projets de développement de la Banque mondiale sont rares, malgré les arguments avancés concernant les effets à long terme. Mon expérience personnelle m’a montré combien il est difficile d’organiser et de mettre en œuvre des évaluations à long terme à la Banque mondiale63. Il y a tout lieu de penser que le fait de privilégier les RCT exacerbe le biais de myopie des connaissances en matière de développement.

    99Cela n’a pas seulement lieu à la Banque mondiale. Le biais sectoriel observé dans les RCT au sens large est évident d’après les résultats de Cameron et al. (2016), qui présentent un tableau croisé de plus de 2 200 évaluations d’impact publiées (dans la base de données de 3ie susmentionnée) par méthode et par secteur64. Au total, les deux tiers environ de ces évaluations ont recours aux RCT, mais ces dernières ont tendance à se limiter à certains secteurs, notamment l’éducation (58 % ont utilisé une RCT), la santé, la nutrition et la population (83 % ; 93 % pour la santé seule), les technologies de l’information et de la communication (67 %), et l’eau et l’assainissement (72 %). Les études non expérimentales sont plus fréquentes – moins d’un tiers des évaluations utilisent une RCT – dans les domaines de l’agriculture et du développement rural, de la politique économique, de l’énergie, de l’environnement et de la gestion des catastrophes, du développement du secteur privé, des transports et du développement urbain. La réalisation d’évaluations d’impact est également inégale sur le plan géographique (même si l’on tient compte de la population). L’Inde en a enregistré le plus grand nombre absolu, mais le Kenya le plus grand nombre par habitant65. La répartition géographique des RCT est influencée par les relations qu’entretiennent les chercheurs avec les ONG locales.

    100Ce biais se manifeste à la fois du côté de l’offre et de la demande. Du côté de l’offre des évaluations, on constate aujourd’hui que de nombreux économistes et autres spécialistes des sciences sociales et politiques, séduits par la promesse d’identifier clairement un effet de causalité, cherchent quelque chose à randomiser. Si la randomisation n’est pas possible, ils se tournent vers une autre question.

    101Du côté de la demande, les gouvernements (et les agences de développement) sont libres, en règle générale, dans leur choix des sujets à évaluer. Ils ne savent néanmoins pas toujours de quel type de preuves ils ont besoin (Duflo, 2017), ce qui est préoccupant. La politique joue également un rôle. Ils peuvent être tentés de choisir des programmes pour lesquels une évaluation négative ne risque pas, ou peu, de leur nuire politiquement, ou de choisir ceux qui sont réellement importants, mais pour lesquels il y a de bonnes raisons de croire à un résultat politiquement satisfaisant (ce qui soulève à nouveau des préoccupations d’ordre éthique). Les autres programmes importants ne seront pas évalués. Les risques sont évidents.

    102Pour répondre à ces préoccupations, il faut des agendas d’évaluation plus stratégiques, qui ne soient pas motivés par les préférences méthodologiques des chercheurs. C’est ce que nous commençons à voir pour les RCT. Si l’on peut s’en réjouir, les stratégies sont néanmoins toujours menées par des chercheurs universitaires, en fonction de leurs intérêts et consacrées à un seul outil. Si nous sommes vraiment soucieux d’obtenir des estimations d’impact non biaisées du portefeuille des politiques de développement, il vaudrait certainement mieux choisir avec soin (ou peut-être même au hasard !) ce qui est évalué, et ensuite trouver la meilleure méthode pour les programmes sélectionnés, en considérant les RCT comme une option parmi d’autres. Il s’agit là d’une obligation si nous avons vraiment à cœur d’obtenir une évaluation impartiale de l’impact global sur le développement. Si la recherche peut servir cet objectif, cela ne se fera sûrement pas automatiquement.

    Conclusion

    103Nous assistons à une évolution bienvenue vers une culture de l’expérimentation pour lutter contre la pauvreté et relever d’autres défis en matière de développement. Les RCT figurent au menu des outils existants à cet effet. Toutefois, elles ne méritent pas le statut privilégié que leur ont accordé leurs défenseurs, et qui a tant influencé les chercheurs, les agences de développement, les bailleurs de fonds et l’ensemble de la communauté du développement. Pour pouvoir établir un classement fiable de deux modèles d’évaluation, il ne suffit pas de savoir que l’un d’entre eux a recours à la randomisation.

    104La popularité des RCT repose sur une prétendue hiérarchie des méthodes, avec au sommet les RCT faisant figure « d’étalon-or ». Lorsqu’on l’examine de près, cette hiérarchie ne tient pas la route. Malgré les nombreuses revendications contraires, une RCT ne met pas sur un pied d’égalité les résultats contrefactuels entre les unités traitées et les unités de contrôle. L’absence de biais systématique ne signifie pas que l’erreur expérimentale d’une RCT ponctuelle est inférieure à l’erreur d’une autre méthode non aléatoire. Il est impossible de le savoir. Parmi toutes les méthodes envisageables pour un projet (avec un budget donné pour l’évaluation), l’option de la RCT n’est pas nécessairement celle qui va se rapprocher au plus près de la vérité. En effet, si la taille de l’échantillon d’une étude non expérimentale est supérieure à celle d’une RCT dans un même contexte, alors les essais par étude non expérimentale se rapprochent plus souvent de la vérité, même en présence de biais.

    105Il existe encore un champ des possibles assez vaste pour réaliser des études non expérimentales, ainsi que d’autres études non randomisées utiles (telles que des assignations expérimentales déterministes), fondées sur la théorie. Si la modélisation fait l’objet d’incertitudes, elles ne sont généralement pas aussi grandes que ne le laissent entendre les randomistas. De plus, lorsque nous examinons les RCT en pratique, nous constatons qu’elles sont confrontées à des problèmes d’erreurs de mesure, d’observance sélective et de contamination. Il apparaît alors évident que cet outil ne peut pas répondre aux questions que nous posons sur la pauvreté et les politiques de lutte contre celle-ci sans faire le même type d’hypothèses que celles que l’on trouve dans les études non expérimentales, hypothèses que les randomistas entendent éviter.

    106Les RCT sont également contestables d’un point de vue éthique, notamment concernant certaines dimensions qui touchent moins les études non expérimentales. Il est impossible d’interpréter la dimension éthique des RCT sans évaluer les bénéfices attendus des nouvelles connaissances, au regard de ce qui est déjà connu. Les commissions d’examen doivent accorder plus d’attention à la situation ex ante, où une intervention est délibérément refusée à ceux qui en ont besoin, et délibérément accordée à ceux qui n’en ont pas besoin, dans un but d’apprentissage. Dans certains contextes spécifiques, les arguments peuvent être valables, compte tenu des limites des connaissances existantes, mais ils doivent être présentés de manière crédible et non pas simplement tenus pour acquis.

    107Les affirmations controversées concernant la supériorité des RCT comme étant « l’étalon-or » ont faussé l’utilisation des évaluations d’impact destinées à éclairer l’élaboration des politiques de développement. Ce biais provient du fait que la randomisation n’est possible que pour un sous-ensemble non aléatoire de politiques. Lorsqu’un programme s’étend à l’ensemble d’une communauté ou d’une économie, ou lorsqu’il y a des effets de contamination ou d’entraînement entre les personnes traitées et celles qui ne le sont pas, une RCT n’apportera pas grand-chose, et pourrait bien s’avérer trompeuse. Cet outil ne convient qu’à un éventail assez restreint de politiques de développement, et même dans ce cas, il ne permet pas de répondre à bon nombre des questions que se posent les décideurs politiques. Défendre les RCT comme étant la meilleure, voire la seule, méthode scientifique d’évaluation d’impact risque de fausser nos connaissances en matière de lutte contre la pauvreté. Ce risque était l’une des principales préoccupations de Ravallion (2009a), et l’expérience n’a fait que la renforcer.

    108Malgré les grands progrès réalisés au cours des dix dernières années, il y a encore des raisons de douter que la recherche évaluative sur le développement corresponde bien aux défis politiques actuels. Ce chapitre a démontré que, pour un meilleur alignement, il faut :

    • abandonner les revendications selon lesquelles il existe une hiérarchie inconditionnelle des méthodes avec au sommet les RCT, et montrer clairement que les preuves « scientifiques » et « rigoureuses » ne se limitent pas aux RCT ;
    • exiger une déclaration ex ante claire et bien documentée des bénéfices attendus d’une RCT, à mettre en balance avec des compromis éthiques douteux ;
    • expliciter les hypothèses comportementales qui sous-tendent les évaluations randomisées, à l’instar des règles des approches structurelles ;
    • aller au-delà des impacts causaux moyens, pour inclure d’autres paramètres d’intérêt politique et mieux comprendre les mécanismes qui lient les interventions aux résultats ;
    • considérer les RCT comme un outil parmi d’autres pour remédier aux lacunes de connaissances relatives au portefeuille des politiques de développement.

    Notes de bas de page

    1 Les chiffres couvrent la période 1981-2015.

    2 La base de données de 3ie recense 4 501 évaluations d’impact sur la période 1981-2015, dont 4 338 ont été publiées entre 2000 et 2015. Depuis l’an 2000, 271 évaluations d’impact sont réalisées en moyenne tous les ans, contre 9 entre 1981 et 1999.

    3 La série de 3ie est basée sur la recherche de mots-clés sélectionnés dans des textes numérisés. Le personnel de la série de 3ie m’a averti (dans une correspondance) que leurs anciens protocoles de recherche étaient probablement moins efficaces pour récupérer les études non expérimentales que les RCT antérieurs à 2000. Par conséquent, les chiffres des évaluations non randomisées de la fig. 1, qui sont plus anciens et plus bas, peuvent être trompeurs. Les comptages de 3ie recensent beaucoup plus de RCT que celles rapportées dans Bouguen et al. (2019) (ces derniers donnant les totaux cumulés et non les flux annuels).

    4 Pour donner une idée aux économistes, cela correspond à peu près au nombre total d’articles (dans tous les domaines) publiés chaque année dans l’American Economic Review, le Journal of Political Economy, le Quarterly Journal of Economics, Econometrica et la Review of Economic Studies (Card et DellaVigna, 2013).

    5 La régression logarithmique du nombre de RCT dans le temps donne un coefficient de 0,20 (s.e. = 0,01 ; n = 32 ; R2 = 0,96) ou de 0,18 (0,01 ; n = 16 ; R2 = 0,96) si on ne prend la série qu’à partir de 2000. À l’époque moderne (depuis la Seconde Guerre mondiale), le taux de croissance des publications scientifiques est estimé à 8-9 % par an (Bornmann et Mutz, 2014).

    6 Ce terme « randomistas » n’est pas péjoratif. Les partisans des RCT l’emploient également volontiers, comme Leigh (2018).

    7 Par exemple, Banerjee (2006) écrit que : « Les expérimentations randomisées comme celles-ci – c’est-à-dire les essais où l’intervention est attribuée au hasard – constituent le meilleur moyen et le plus simple d’évaluer l’impact d’un programme. » De même, Imbens (2010 : 407) affirme que « les expériences randomisées tiennent effectivement une place particulière dans la hiérarchie des preuves : elles se situent au sommet ». Et Duflo (2017 : 3) parle des RCT comme étant « l’outil de choix ».

    8 Une phrase de la page Wikipedia en anglais sur les évaluations d’impact témoigne de l’influence accrue de l’étalon-or : « Les expérimentations randomisées sur le terrain sont les plans de recherche les plus performants pour évaluer l’impact d’un programme […] car elles permettent une estimation juste et précise des effets réels d’un programme. » Dans un autre exemple, Keating (2014) écrit que « les randomistas, partisans des expérimentations randomisées, ont récemment transformé notre conception du développement économique et de l’aide aux pays pauvres ». Dans le même ordre d’idées, l’ouvrage de Leigh (2018) s’intitule Randomistas : comment les chercheurs radicaux ont changé notre monde.

    9 L’observation de McKenzie (2019) selon laquelle seuls 10 % de tous les articles sur l’économie du développement (tous domaines confondus, dans 14 revues) portent sur des RCT ne permet donc pas de réfuter la revendication de la suprématie des randomistas, dans le sens utilisé ici.

    10 Le terme « expérimentation » est parfois défini comme une situation sous le contrôle total de l’évaluateur, ce qui est le cas avec une RCT ; voir, par exemple, Cox et Reid (2000). Cependant, il est extrêmement rare que l’évaluateur contrôle tout dans les RCT impliquant des sujets humains, comme c’est le cas pour les évaluations de politiques sociales. Dans ce chapitre, j’utilise le terme « expérimentation » dans son sens le plus large, en excluant cette idée de contrôle total. Il peut s’agir ou non d’une RCT.

    11 Les pratiques actuelles à cet égard peuvent être remises en question. Young (2019) soulève un certain nombre de préoccupations d’erreurs types dans des estimations d’impact faites dans le passé au moyen de RCT avec des contrôles de régression et montre que de nombreuses publications économiques ont surestimé la signification statistique de leurs estimations d’impact. Voir également les discussions dans Deaton et Cartwright (2018) et Imbens (2018).

    12 Par exemple, en ce qui concerne les RCT, Banerjee et Duflo (2017) affirment que « toute différence entre le groupe de traitement et le groupe de contrôle peut être attribuée avec certitude au traitement ». Banerjee et al. (2019a) soutiennent quant à eux qu’une RCT garantit que « toute différence entre les unités de traitement et de contrôle reflète l’impact du traitement ». On trouve une affirmation semblable, mais sans fondement, dans « l’Introduction à l’évaluation » du site web du Abdul Latif Jameel Poverty Action Lab (J-PAL) (sur laquelle nous revenons supra). Après avoir présenté les grandes lignes d’une RCT réalisée dans le cadre d’un projet de purification de l’eau, avec des groupes de traitement et de contrôle, le J-PAL précise que « toute différence constatée par la suite peut être attribuée au fait que l’un a bénéficié du programme de purification de l’eau, et l’autre non ». On trouve un autre exemple dans un manuel technique sur l’évaluation d’impact de la Banque interaméricaine de développement et de la Banque mondiale (Gertler et al., 2016).

    13 Comme le suggère Imbens (2018), dans ses commentaires sur Deaton et Cartwright (2018).

    14 Sur les multiples sources de « biais », voir Hernánet Robins (2018).

    15 Il s’agit d’un exemple de régression par discontinuité ; pour un traitement formel, voir Hahn et al. (2001).

    16 C’est ce que l’on appelle parfois le réglage « front-door » par opposition au réglage « back-door », qui utilise une VI (Pearl et Mackenzie, 2018) (voir les chap. 4 et 7, ce volume). Pour un exemple de réglage « front-door » voir Glynn et Kashin (2018). Pour un traitement plus formel, voir Pearl (2009 : chap. 3).

    17 Si β est la vraie valeur et Image  son estimateur, alors (par définition) :
    EQM = E((Image  – β)2) = (E(β) – β)2 + E((Image  – E(Image ))2). Le premier Image terme du membre droit correspond au biais de au carré, tandis que le second terme correspond à sa variance.

    18 Les textes d’introduction à l’économétrie le montrent bien. Par exemple, selon Jonston (1984 : 28) « en ce qui concerne le critère de l’erreur quadratique moyenne, il peut être préférable d’avoir un estimateur biaisé plutôt qu’un estimateur avec un biais plus faible ou nul si sa variance est suffisamment faible pour compenser le biais plus important ». Voir également la discussion à ce sujet dans Green (1991 : 97-99).

    19 Pour les RCT, il est généralement recommandé de réaliser des tests d’équilibrage ex post, ainsi que des ajustements rétrospectifs (Cox et Reid, 2000 ; Hinkelmann et Kempthorne, 2008 ; Bruhn et McKenzie, 2009 ; Hernán et Robins, 2018).

    20 Par exemple, au sujet des RCT dans le domaine du développement, White (2014) indique que « la puissance statistique réelle de nombreuses RCT n’est que de 50 % environ. Ainsi, le recours à une RCT ne vaut pas mieux que de jouer à pile ou face pour déterminer si une intervention fonctionne ou pas ». La variabilité de l’échantillonnage semble expliquer la moitié ou plus de la variabilité des estimations d’impact des RCT ; voir Meager (2019) en référence aux programmes de microcrédit.

    21 Ces derniers temps, les évaluations d’impact de la Banque mondiale étaient généralement des RCT dont le coût moyen était considérablement plus élevé que les évaluations réalisées dans le cadre de la coopération financière internationale (au sein du groupe de la Banque mondiale), où les études non expérimentales sont plus courantes (World Bank, 2012). Ceci n’est précisé qu’à titre indicatif, puisque la comparaison n’est pas dûment contrôlée.

    22 Green (1991, section 4.0.3) utilise un exemple similaire pour montrer qu’un estimateur plus biaisé peut avoir une EQM plus faible.

    23 Pour certaines applications, l’intervalle n’a pas besoin d’être symétrique par rapport à la valeur réelle, c’est-à-dire que les erreurs dans un sens sont plus coûteuses par rapport à l’objectif convenu.

    24 Selon Kasy (2016), cela peut être considéré comme un problème dans la théorie de la décision statistique, c’est-à-dire le fait de choisir une méthode d’estimation pour minimiser une fonction de perte à partir des données réellement disponibles.

    25 Cela vaut pour toute fonction de risque bayésienne et pour la règle de décision « minimax » dans le pire des cas (Kasy, 2016). Kasy fournit un logiciel permettant de mettre en œuvre l’attribution optimale du traitement afin de minimiser l’EQM. Notez qu’une covariable continue garantit une attribution optimale unique du statut de traitement. Avec des covariables discrètes, une RCT peut s’avérer tout aussi performante, mais pas plus performante.

    26 Sur les RCT menées par le passé dans le cadre de la politique sociale américaine, voir les discussions de Burtles (1995) et de List et Rasul (2011). Pour plus de détails sur l’histoire plus générale des RCT, voir Ziliak (2014) et Leigh (2018).

    27 Banerjee et al. (2019a) affirment que l’utilisation des RCT dans le domaine du développement a été « déclenchée » en 1994 par une étude de l’un des auteurs (Kremer). Mais cela faisait au moins 13 ans que des RCT dans le domaine du développement étaient déjà publiées.

    28 Concernant l’évaluation d’impact de Progresa et son influence, voir Skoufias et Parker (2001) et Fiszbein et Schady (2010).

    29 L’organisation à but non lucratif Innovations for Poverty Action (IPA), fondée en 2002 par Dean Karlan à Yale constitue un autre groupe important qui réalise et promeut les RCT. L’IPA et le J-PAL travaillent souvent ensemble, et entretiennent des liens étroits. Au sein des organisations internationales, le groupe le plus important qui réalise des RCT est le groupe Development Impact Evaluation (DIME) de la Banque mondiale ; les trois quarts des évaluations du DIME utilisent cette méthode (World Bank, 2016).

    30 https://www.povertyactionlab.org/

    31 Dans l’usage courant, on dit qu’un paramètre est « identifié » lorsque sa valeur peut, en principe, être déduite des données à partir de certaines hypothèses.

    32 Voir, par exemple, Rutter et al. (2017), Garchitorena et al. (chap. 5, ce volume).

    33 La formidable « boîte à outils des RCT », conçue par Duflo, Glennerster et Kremer (2011), en est un exemple. Le blog Development Impact de la Banque mondiale fournit un soutien méthodologique très utile pour la réalisation des RCT : https://blogs.worldbank.org/impactevaluations.

    34 Un critique de Leigh (2018) décrit ce dernier comme un « vrai adepte » et raconte ensuite les différents choix personnels que Leigh opère dans sa vie sur la base des résultats des RCT (Wydick, 2018).

    35 On trouve des exemples des points suivants dans Concato et al. (2000), Silverman (2009), Bothwell et al. (2016), et Frieden (2017).

    36 Concernant cette source, voir Chassang et al. (2012), qui étudient les conséquences sur la validité externe des RCT.

    37 Voir également la discussion dans Pearl (2009, chap. 8).

    38 Bien sûr, si l’on peut utiliser la double randomisation – aussi bien au sein des villages qu’entre eux –, on peut alors facilement traiter ce type d’interférence (Baird et al., 2017). Les randomisations en grappes sont conçues pour les situations dans lesquelles la randomisation à l’intérieur d’une grappe n’est pas possible. Ce type de situation est courant dans le domaine du développement.

    39 Au cours d’une RCT, la connaissance de l’intention de l’expérimentateur a été attribuée de façon aléatoire, mais aucun effet significatif n’a été constaté (Mummolo et Peterson, 2019). D’autres tests de ce type sont nécessaires.

    40 Cet aspect de la différence entre les RCT en économie et les RCT cliniques est abordé plus en détail dans Favereau (2016). Pour en savoir plus sur l’effet Hawthorne dans le domaine de la santé, voir Friedman et Gokul (2014).

    41 Voir également les commentaires de Barrett et Carter (2010), Baele (2013), et Mulligan (2014).

    42 Aux États-Unis, la dimension éthique de l’utilisation des RCT pour l’évaluation des politiques sociales fédérales n’a pas reçu la même attention que pour les essais cliniques. Blustein (2005) en expose les raisons.

    43 Voir, par exemple, Sathyamala (2019) sur une RCT visant à étudier les risques sanitaires d’un contraceptif en Afrique.

    44 Il y a une discussion intéressante chez Freedman (1987), qui a introduit le principe d’équilibre dans les essais cliniques. Dans le contexte des évaluations de l’impact sur le développement, voir Baele (2013) et McKenzie (2013).

    45 Ici, le « nous » renvoie plutôt à un ensemble de personnes ayant une bonne connaissance de la littérature et une expérience pertinente. C’est ce que l’on appelle parfois « l’équipoise communautaire »

    46 Voir les exemples évoqués dans Barrett et Carter (2010), Ziliak et Teather-Posadas (2016) et Narita (2018).

    47 Voir, par exemple, le rapport de Goldberg (2014) sur les commentaires de Mulligan (2014). La même remarque est formulée par Fiennes (2018).

    48 Cette idée a été largement débattue dans le domaine biomédical, notamment dans le cadre des révisions apportées en 2000 à la déclaration d’Helsinki de 1964 par l’Association médicale mondiale. Pour plus de détails, voir Levine (2006).

    49 La recherche biomédicale s’intéresse sérieusement à ces questions. Par exemple, la Food and Drug Administration (2010) a publié des lignes directrices des évaluations adaptatives. Voir aussi Cox et Reid (2000 : chap. 3).

    50 Voir également Chassang et al. (2012) et la discussion dans Özler (2018).

    51 Un optimum de Pareto est une allocation de ressources sans alternative, c’est-à-dire que tous les agents économiques sont dans une situation telle qu’il est impossible d’améliorer le sort de l’un d’entre eux sans réduire la satisfaction d’un autre.

    52 On les appelle parfois « revues systématiques » ; voir par exemple la base de données de 3ie et la Campbell Collaboration sur ces revues.

    53 L’ONG a débuté au Bangladesh (au départ sous le nom de Bangladesh Rural Advancement Committee), mais travaille maintenant dans de nombreux pays.

    54 Il s’agit de l’appariement des coefficients de propension. Les valeurs prédites de ce modèle correspondent aux « scores de propension » utilisés pour sélectionner des groupes de traitement et de comparaison équilibrés dans des études non expérimentales (Rosenbaum et Rubin, 1983).

    55 C’est un exemple de ce que Heckman et Smith (1995) ont surnommé « biais de randomisation ». Voir également la discussion de Heckman (chap. 12, ce volume), qui revient sur cette question à la suite de l’essor des RCT dans le domaine du développement.

    56 Voir par exemple les commentaires de Moffitt (2004) sur les essais de réformes de l’aide sociale aux États-Unis.

    57 Voir aussi les commentaires de Basu (2014), un autre ancien conseiller économique en chef du gouvernement indien.

    58 Sur 221 études en sciences sociales, il a été constaté que « les résultats positifs ont 40 % plus de chances d’être publiés que les résultats négatifs et 60 % plus de chances de faire l’objet d’un compte rendu » (Franco et al., 2014 : 1502). La distribution des valeurs p rapportées dans les articles publiés dans l’American Economic Review (AER), le Quarterly Journal of Economics (QJE) et le Journal of Political Economy suggère que les chercheurs ont tendance à faire des choix de spécification qui gonflent la significativité de leurs résultats pour franchir la barre des « 5 % » (Brodeur et al., 2016). Christensen et Miguel (2018) étudient les caractéristiques de ces biais dans les publications de recherche économique et discutent de la manière dont ceux-ci pourraient être réduits.

    59 Camerer et al. (2016) ont reproduit 18 expériences de laboratoire publiées dans l’AER et le QJE. En moyenne, l’effet reproduit était inférieur d’un tiers à l’effet original.

    60 Voir, par exemple, Bédécarrats et al. (2019a), qui met en doute la validité interne et externe de la RCT originale de Crépon et al. (2015).

    61 Voir la discussion de Rodrik (2009). Depuis lors, le 3ie a soutenu les efforts de réplication des évaluations d’impact dans le domaine du développement par le biais de sa Replication Window et son Journal of Development Effectiveness.

    62 Sur l’influence des RCT à la Banque mondiale, voir Webber et Prouse (2018).

    63 Ceci est largement basé sur l’étude rapportée par Chen et al. (2009).

    64 En plus des RCT, voici les autres méthodes identifiées : les différences de différences, les variables instrumentales, les régressions par discontinuité et l’appariement. Plusieurs méthodes sont admises dans les comptages.

    65 Pour plus de détails, voir Cameron et al. (2016) et Sabet et Brown (2018).

    Auteur

    • Martin Ravallion

      Actuellement titulaire de la première chaire Edmond D. Villani d’économie à l’université de Georgetown. Avant de rejoindre Georgetown en 2013, il était directeur du Groupe de recherche sur le développement (département de recherche de la Banque mondiale). Il a rejoint la Banque mondiale en 1988 et a travaillé dans presque tous les secteurs et toutes les régions au cours des 24 années qui ont suivi. Avant de rejoindre la Banque mondiale, il était professeur à l’Australian National University. Au cours des 30 dernières années, il s’est principalement intéressé à la pauvreté et aux politiques de lutte contre celle-ci. Il a conseillé de nombreux gouvernements et agences internationales sur ce sujet.

    Précédent Suivant
    Table des matières

    Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

    Voir plus de livres
    La population réunionnaise

    La population réunionnaise

    Analyse démographique

    Frédéric Sandron (dir.)

    2007

    Du social hors la loi

    Du social hors la loi

    L’anthropologie analytique de Christian Geffray

    Yann Guillaud et Frédéric Létang (dir.)

    2009

    Gestion durable des eaux et des sols au Maroc

    Gestion durable des eaux et des sols au Maroc

    Valorisation des techniques traditionnelles méditerranéennes

    Éric Roose, Mohamed Sabir et Abdellah Laouina

    2010

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Bénédicte Gastineau, Flore Gubert, Anne-Sophie Robilliard et al. (dir.)

    2010

    Le projet majeur africain de la Grande Muraille Verte

    Le projet majeur africain de la Grande Muraille Verte

    Concepts et mise en œuvre

    Abdoulaye Dia et Robin Duponnois (dir.)

    2010

    La Grande Muraille Verte

    La Grande Muraille Verte

    Capitalisation des recherches et valorisation des savoirs locaux

    Abdoulaye Dia et Robin Duponnois (dir.)

    2012

    Un arbre au désert

    Un arbre au désert

    Acacia raddiana

    Michel Grouzis et Édouard Le Floc’h (dir.)

    2003

    Parcours de recherche à Madagascar

    Parcours de recherche à Madagascar

    L’IRD-Orstom et ses partenaires

    Christian Feller et Frédéric Sandron (dir.)

    2010

    Pratiques et représentations linguistiques en Guyane

    Pratiques et représentations linguistiques en Guyane

    Regards croisés

    Isabelle Léglise et Bettina Migge (dir.)

    2008

    La pêche aux Antilles

    La pêche aux Antilles

    Gilles Blanchet, Bertrand Gobert et Jean-Alfred Guérédrat (dir.)

    2002

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Benjamin Sultan, Richard Lalou, Mouftaou Amadou Sanni et al. (dir.)

    2015

    Aires marine protégées ouest-africaines

    Aires marine protégées ouest-africaines

    Défis scientifiques et enjeux sociétaux

    Marie Bonnin, Raymond Laë et Mohamed Behnassi (dir.)

    2015

    Voir plus de livres
    1 / 12
    La population réunionnaise

    La population réunionnaise

    Analyse démographique

    Frédéric Sandron (dir.)

    2007

    Du social hors la loi

    Du social hors la loi

    L’anthropologie analytique de Christian Geffray

    Yann Guillaud et Frédéric Létang (dir.)

    2009

    Gestion durable des eaux et des sols au Maroc

    Gestion durable des eaux et des sols au Maroc

    Valorisation des techniques traditionnelles méditerranéennes

    Éric Roose, Mohamed Sabir et Abdellah Laouina

    2010

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Madagascar face au défi des Objectifs du millénaire pour le développement

    Bénédicte Gastineau, Flore Gubert, Anne-Sophie Robilliard et al. (dir.)

    2010

    Le projet majeur africain de la Grande Muraille Verte

    Le projet majeur africain de la Grande Muraille Verte

    Concepts et mise en œuvre

    Abdoulaye Dia et Robin Duponnois (dir.)

    2010

    La Grande Muraille Verte

    La Grande Muraille Verte

    Capitalisation des recherches et valorisation des savoirs locaux

    Abdoulaye Dia et Robin Duponnois (dir.)

    2012

    Un arbre au désert

    Un arbre au désert

    Acacia raddiana

    Michel Grouzis et Édouard Le Floc’h (dir.)

    2003

    Parcours de recherche à Madagascar

    Parcours de recherche à Madagascar

    L’IRD-Orstom et ses partenaires

    Christian Feller et Frédéric Sandron (dir.)

    2010

    Pratiques et représentations linguistiques en Guyane

    Pratiques et représentations linguistiques en Guyane

    Regards croisés

    Isabelle Léglise et Bettina Migge (dir.)

    2008

    La pêche aux Antilles

    La pêche aux Antilles

    Gilles Blanchet, Bertrand Gobert et Jean-Alfred Guérédrat (dir.)

    2002

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest

    Benjamin Sultan, Richard Lalou, Mouftaou Amadou Sanni et al. (dir.)

    2015

    Aires marine protégées ouest-africaines

    Aires marine protégées ouest-africaines

    Défis scientifiques et enjeux sociétaux

    Marie Bonnin, Raymond Laë et Mohamed Behnassi (dir.)

    2015

    Accès ouvert

    Accès ouvert freemium

    ePub

    PDF

    PDF du chapitre

    Suggérer l’acquisition à votre bibliothèque

    Acheter

    Édition imprimée

    IRD Éditions
    • amazon.fr
    • decitre.fr
    • mollat.com
    • leslibraires.fr
    • placedeslibraires.fr
    ePub / PDF

    1 Les chiffres couvrent la période 1981-2015.

    2 La base de données de 3ie recense 4 501 évaluations d’impact sur la période 1981-2015, dont 4 338 ont été publiées entre 2000 et 2015. Depuis l’an 2000, 271 évaluations d’impact sont réalisées en moyenne tous les ans, contre 9 entre 1981 et 1999.

    3 La série de 3ie est basée sur la recherche de mots-clés sélectionnés dans des textes numérisés. Le personnel de la série de 3ie m’a averti (dans une correspondance) que leurs anciens protocoles de recherche étaient probablement moins efficaces pour récupérer les études non expérimentales que les RCT antérieurs à 2000. Par conséquent, les chiffres des évaluations non randomisées de la fig. 1, qui sont plus anciens et plus bas, peuvent être trompeurs. Les comptages de 3ie recensent beaucoup plus de RCT que celles rapportées dans Bouguen et al. (2019) (ces derniers donnant les totaux cumulés et non les flux annuels).

    4 Pour donner une idée aux économistes, cela correspond à peu près au nombre total d’articles (dans tous les domaines) publiés chaque année dans l’American Economic Review, le Journal of Political Economy, le Quarterly Journal of Economics, Econometrica et la Review of Economic Studies (Card et DellaVigna, 2013).

    5 La régression logarithmique du nombre de RCT dans le temps donne un coefficient de 0,20 (s.e. = 0,01 ; n = 32 ; R2 = 0,96) ou de 0,18 (0,01 ; n = 16 ; R2 = 0,96) si on ne prend la série qu’à partir de 2000. À l’époque moderne (depuis la Seconde Guerre mondiale), le taux de croissance des publications scientifiques est estimé à 8-9 % par an (Bornmann et Mutz, 2014).

    6 Ce terme « randomistas » n’est pas péjoratif. Les partisans des RCT l’emploient également volontiers, comme Leigh (2018).

    7 Par exemple, Banerjee (2006) écrit que : « Les expérimentations randomisées comme celles-ci – c’est-à-dire les essais où l’intervention est attribuée au hasard – constituent le meilleur moyen et le plus simple d’évaluer l’impact d’un programme. » De même, Imbens (2010 : 407) affirme que « les expériences randomisées tiennent effectivement une place particulière dans la hiérarchie des preuves : elles se situent au sommet ». Et Duflo (2017 : 3) parle des RCT comme étant « l’outil de choix ».

    8 Une phrase de la page Wikipedia en anglais sur les évaluations d’impact témoigne de l’influence accrue de l’étalon-or : « Les expérimentations randomisées sur le terrain sont les plans de recherche les plus performants pour évaluer l’impact d’un programme […] car elles permettent une estimation juste et précise des effets réels d’un programme. » Dans un autre exemple, Keating (2014) écrit que « les randomistas, partisans des expérimentations randomisées, ont récemment transformé notre conception du développement économique et de l’aide aux pays pauvres ». Dans le même ordre d’idées, l’ouvrage de Leigh (2018) s’intitule Randomistas : comment les chercheurs radicaux ont changé notre monde.

    9 L’observation de McKenzie (2019) selon laquelle seuls 10 % de tous les articles sur l’économie du développement (tous domaines confondus, dans 14 revues) portent sur des RCT ne permet donc pas de réfuter la revendication de la suprématie des randomistas, dans le sens utilisé ici.

    10 Le terme « expérimentation » est parfois défini comme une situation sous le contrôle total de l’évaluateur, ce qui est le cas avec une RCT ; voir, par exemple, Cox et Reid (2000). Cependant, il est extrêmement rare que l’évaluateur contrôle tout dans les RCT impliquant des sujets humains, comme c’est le cas pour les évaluations de politiques sociales. Dans ce chapitre, j’utilise le terme « expérimentation » dans son sens le plus large, en excluant cette idée de contrôle total. Il peut s’agir ou non d’une RCT.

    11 Les pratiques actuelles à cet égard peuvent être remises en question. Young (2019) soulève un certain nombre de préoccupations d’erreurs types dans des estimations d’impact faites dans le passé au moyen de RCT avec des contrôles de régression et montre que de nombreuses publications économiques ont surestimé la signification statistique de leurs estimations d’impact. Voir également les discussions dans Deaton et Cartwright (2018) et Imbens (2018).

    12 Par exemple, en ce qui concerne les RCT, Banerjee et Duflo (2017) affirment que « toute différence entre le groupe de traitement et le groupe de contrôle peut être attribuée avec certitude au traitement ». Banerjee et al. (2019a) soutiennent quant à eux qu’une RCT garantit que « toute différence entre les unités de traitement et de contrôle reflète l’impact du traitement ». On trouve une affirmation semblable, mais sans fondement, dans « l’Introduction à l’évaluation » du site web du Abdul Latif Jameel Poverty Action Lab (J-PAL) (sur laquelle nous revenons supra). Après avoir présenté les grandes lignes d’une RCT réalisée dans le cadre d’un projet de purification de l’eau, avec des groupes de traitement et de contrôle, le J-PAL précise que « toute différence constatée par la suite peut être attribuée au fait que l’un a bénéficié du programme de purification de l’eau, et l’autre non ». On trouve un autre exemple dans un manuel technique sur l’évaluation d’impact de la Banque interaméricaine de développement et de la Banque mondiale (Gertler et al., 2016).

    13 Comme le suggère Imbens (2018), dans ses commentaires sur Deaton et Cartwright (2018).

    14 Sur les multiples sources de « biais », voir Hernánet Robins (2018).

    15 Il s’agit d’un exemple de régression par discontinuité ; pour un traitement formel, voir Hahn et al. (2001).

    16 C’est ce que l’on appelle parfois le réglage « front-door » par opposition au réglage « back-door », qui utilise une VI (Pearl et Mackenzie, 2018) (voir les chap. 4 et 7, ce volume). Pour un exemple de réglage « front-door » voir Glynn et Kashin (2018). Pour un traitement plus formel, voir Pearl (2009 : chap. 3).

    17 Si β est la vraie valeur et Image  son estimateur, alors (par définition) :
    EQM = E((Image  – β)2) = (E(β) – β)2 + E((Image  – E(Image ))2). Le premier Image terme du membre droit correspond au biais de au carré, tandis que le second terme correspond à sa variance.

    18 Les textes d’introduction à l’économétrie le montrent bien. Par exemple, selon Jonston (1984 : 28) « en ce qui concerne le critère de l’erreur quadratique moyenne, il peut être préférable d’avoir un estimateur biaisé plutôt qu’un estimateur avec un biais plus faible ou nul si sa variance est suffisamment faible pour compenser le biais plus important ». Voir également la discussion à ce sujet dans Green (1991 : 97-99).

    19 Pour les RCT, il est généralement recommandé de réaliser des tests d’équilibrage ex post, ainsi que des ajustements rétrospectifs (Cox et Reid, 2000 ; Hinkelmann et Kempthorne, 2008 ; Bruhn et McKenzie, 2009 ; Hernán et Robins, 2018).

    20 Par exemple, au sujet des RCT dans le domaine du développement, White (2014) indique que « la puissance statistique réelle de nombreuses RCT n’est que de 50 % environ. Ainsi, le recours à une RCT ne vaut pas mieux que de jouer à pile ou face pour déterminer si une intervention fonctionne ou pas ». La variabilité de l’échantillonnage semble expliquer la moitié ou plus de la variabilité des estimations d’impact des RCT ; voir Meager (2019) en référence aux programmes de microcrédit.

    21 Ces derniers temps, les évaluations d’impact de la Banque mondiale étaient généralement des RCT dont le coût moyen était considérablement plus élevé que les évaluations réalisées dans le cadre de la coopération financière internationale (au sein du groupe de la Banque mondiale), où les études non expérimentales sont plus courantes (World Bank, 2012). Ceci n’est précisé qu’à titre indicatif, puisque la comparaison n’est pas dûment contrôlée.

    22 Green (1991, section 4.0.3) utilise un exemple similaire pour montrer qu’un estimateur plus biaisé peut avoir une EQM plus faible.

    23 Pour certaines applications, l’intervalle n’a pas besoin d’être symétrique par rapport à la valeur réelle, c’est-à-dire que les erreurs dans un sens sont plus coûteuses par rapport à l’objectif convenu.

    24 Selon Kasy (2016), cela peut être considéré comme un problème dans la théorie de la décision statistique, c’est-à-dire le fait de choisir une méthode d’estimation pour minimiser une fonction de perte à partir des données réellement disponibles.

    25 Cela vaut pour toute fonction de risque bayésienne et pour la règle de décision « minimax » dans le pire des cas (Kasy, 2016). Kasy fournit un logiciel permettant de mettre en œuvre l’attribution optimale du traitement afin de minimiser l’EQM. Notez qu’une covariable continue garantit une attribution optimale unique du statut de traitement. Avec des covariables discrètes, une RCT peut s’avérer tout aussi performante, mais pas plus performante.

    26 Sur les RCT menées par le passé dans le cadre de la politique sociale américaine, voir les discussions de Burtles (1995) et de List et Rasul (2011). Pour plus de détails sur l’histoire plus générale des RCT, voir Ziliak (2014) et Leigh (2018).

    27 Banerjee et al. (2019a) affirment que l’utilisation des RCT dans le domaine du développement a été « déclenchée » en 1994 par une étude de l’un des auteurs (Kremer). Mais cela faisait au moins 13 ans que des RCT dans le domaine du développement étaient déjà publiées.

    28 Concernant l’évaluation d’impact de Progresa et son influence, voir Skoufias et Parker (2001) et Fiszbein et Schady (2010).

    29 L’organisation à but non lucratif Innovations for Poverty Action (IPA), fondée en 2002 par Dean Karlan à Yale constitue un autre groupe important qui réalise et promeut les RCT. L’IPA et le J-PAL travaillent souvent ensemble, et entretiennent des liens étroits. Au sein des organisations internationales, le groupe le plus important qui réalise des RCT est le groupe Development Impact Evaluation (DIME) de la Banque mondiale ; les trois quarts des évaluations du DIME utilisent cette méthode (World Bank, 2016).

    30 https://www.povertyactionlab.org/

    31 Dans l’usage courant, on dit qu’un paramètre est « identifié » lorsque sa valeur peut, en principe, être déduite des données à partir de certaines hypothèses.

    32 Voir, par exemple, Rutter et al. (2017), Garchitorena et al. (chap. 5, ce volume).

    33 La formidable « boîte à outils des RCT », conçue par Duflo, Glennerster et Kremer (2011), en est un exemple. Le blog Development Impact de la Banque mondiale fournit un soutien méthodologique très utile pour la réalisation des RCT : https://blogs.worldbank.org/impactevaluations.

    34 Un critique de Leigh (2018) décrit ce dernier comme un « vrai adepte » et raconte ensuite les différents choix personnels que Leigh opère dans sa vie sur la base des résultats des RCT (Wydick, 2018).

    35 On trouve des exemples des points suivants dans Concato et al. (2000), Silverman (2009), Bothwell et al. (2016), et Frieden (2017).

    36 Concernant cette source, voir Chassang et al. (2012), qui étudient les conséquences sur la validité externe des RCT.

    37 Voir également la discussion dans Pearl (2009, chap. 8).

    38 Bien sûr, si l’on peut utiliser la double randomisation – aussi bien au sein des villages qu’entre eux –, on peut alors facilement traiter ce type d’interférence (Baird et al., 2017). Les randomisations en grappes sont conçues pour les situations dans lesquelles la randomisation à l’intérieur d’une grappe n’est pas possible. Ce type de situation est courant dans le domaine du développement.

    39 Au cours d’une RCT, la connaissance de l’intention de l’expérimentateur a été attribuée de façon aléatoire, mais aucun effet significatif n’a été constaté (Mummolo et Peterson, 2019). D’autres tests de ce type sont nécessaires.

    40 Cet aspect de la différence entre les RCT en économie et les RCT cliniques est abordé plus en détail dans Favereau (2016). Pour en savoir plus sur l’effet Hawthorne dans le domaine de la santé, voir Friedman et Gokul (2014).

    41 Voir également les commentaires de Barrett et Carter (2010), Baele (2013), et Mulligan (2014).

    42 Aux États-Unis, la dimension éthique de l’utilisation des RCT pour l’évaluation des politiques sociales fédérales n’a pas reçu la même attention que pour les essais cliniques. Blustein (2005) en expose les raisons.

    43 Voir, par exemple, Sathyamala (2019) sur une RCT visant à étudier les risques sanitaires d’un contraceptif en Afrique.

    44 Il y a une discussion intéressante chez Freedman (1987), qui a introduit le principe d’équilibre dans les essais cliniques. Dans le contexte des évaluations de l’impact sur le développement, voir Baele (2013) et McKenzie (2013).

    45 Ici, le « nous » renvoie plutôt à un ensemble de personnes ayant une bonne connaissance de la littérature et une expérience pertinente. C’est ce que l’on appelle parfois « l’équipoise communautaire »

    46 Voir les exemples évoqués dans Barrett et Carter (2010), Ziliak et Teather-Posadas (2016) et Narita (2018).

    47 Voir, par exemple, le rapport de Goldberg (2014) sur les commentaires de Mulligan (2014). La même remarque est formulée par Fiennes (2018).

    48 Cette idée a été largement débattue dans le domaine biomédical, notamment dans le cadre des révisions apportées en 2000 à la déclaration d’Helsinki de 1964 par l’Association médicale mondiale. Pour plus de détails, voir Levine (2006).

    49 La recherche biomédicale s’intéresse sérieusement à ces questions. Par exemple, la Food and Drug Administration (2010) a publié des lignes directrices des évaluations adaptatives. Voir aussi Cox et Reid (2000 : chap. 3).

    50 Voir également Chassang et al. (2012) et la discussion dans Özler (2018).

    51 Un optimum de Pareto est une allocation de ressources sans alternative, c’est-à-dire que tous les agents économiques sont dans une situation telle qu’il est impossible d’améliorer le sort de l’un d’entre eux sans réduire la satisfaction d’un autre.

    52 On les appelle parfois « revues systématiques » ; voir par exemple la base de données de 3ie et la Campbell Collaboration sur ces revues.

    53 L’ONG a débuté au Bangladesh (au départ sous le nom de Bangladesh Rural Advancement Committee), mais travaille maintenant dans de nombreux pays.

    54 Il s’agit de l’appariement des coefficients de propension. Les valeurs prédites de ce modèle correspondent aux « scores de propension » utilisés pour sélectionner des groupes de traitement et de comparaison équilibrés dans des études non expérimentales (Rosenbaum et Rubin, 1983).

    55 C’est un exemple de ce que Heckman et Smith (1995) ont surnommé « biais de randomisation ». Voir également la discussion de Heckman (chap. 12, ce volume), qui revient sur cette question à la suite de l’essor des RCT dans le domaine du développement.

    56 Voir par exemple les commentaires de Moffitt (2004) sur les essais de réformes de l’aide sociale aux États-Unis.

    57 Voir aussi les commentaires de Basu (2014), un autre ancien conseiller économique en chef du gouvernement indien.

    58 Sur 221 études en sciences sociales, il a été constaté que « les résultats positifs ont 40 % plus de chances d’être publiés que les résultats négatifs et 60 % plus de chances de faire l’objet d’un compte rendu » (Franco et al., 2014 : 1502). La distribution des valeurs p rapportées dans les articles publiés dans l’American Economic Review (AER), le Quarterly Journal of Economics (QJE) et le Journal of Political Economy suggère que les chercheurs ont tendance à faire des choix de spécification qui gonflent la significativité de leurs résultats pour franchir la barre des « 5 % » (Brodeur et al., 2016). Christensen et Miguel (2018) étudient les caractéristiques de ces biais dans les publications de recherche économique et discutent de la manière dont ceux-ci pourraient être réduits.

    59 Camerer et al. (2016) ont reproduit 18 expériences de laboratoire publiées dans l’AER et le QJE. En moyenne, l’effet reproduit était inférieur d’un tiers à l’effet original.

    60 Voir, par exemple, Bédécarrats et al. (2019a), qui met en doute la validité interne et externe de la RCT originale de Crépon et al. (2015).

    61 Voir la discussion de Rodrik (2009). Depuis lors, le 3ie a soutenu les efforts de réplication des évaluations d’impact dans le domaine du développement par le biais de sa Replication Window et son Journal of Development Effectiveness.

    62 Sur l’influence des RCT à la Banque mondiale, voir Webber et Prouse (2018).

    63 Ceci est largement basé sur l’étude rapportée par Chen et al. (2009).

    64 En plus des RCT, voici les autres méthodes identifiées : les différences de différences, les variables instrumentales, les régressions par discontinuité et l’appariement. Plusieurs méthodes sont admises dans les comptages.

    65 Pour plus de détails, voir Cameron et al. (2016) et Sabet et Brown (2018).

    Expérimentations aléatoires dans le champ du développement

    X Facebook Email

    Expérimentations aléatoires dans le champ du développement

    Ce livre est diffusé en accès ouvert freemium. L’accès à la lecture en ligne est disponible. L’accès aux versions PDF et ePub est réservé aux bibliothèques l’ayant acquis. Vous pouvez vous connecter à votre bibliothèque à l’adresse suivante : https://freemium.openedition.org/oebooks

    Suggérer l’acquisition à votre bibliothèque Acheter ce livre aux formats PDF et ePub

    Si vous avez des questions, vous pouvez nous écrire à access[at]openedition.org

    Expérimentations aléatoires dans le champ du développement

    Vérifiez si votre bibliothèque a déjà acquis ce livre : authentifiez-vous à OpenEdition Freemium for Books.

    Vous pouvez suggérer à votre bibliothèque d’acquérir un ou plusieurs livres publiés sur OpenEdition Books. N’hésitez pas à lui indiquer nos coordonnées : access[at]openedition.org

    Vous pouvez également nous indiquer, à l’aide du formulaire suivant, les coordonnées de votre bibliothèque afin que nous la contactions pour lui suggérer l’achat de ce livre. Les champs suivis de (*) sont obligatoires.

    Veuillez, s’il vous plaît, remplir tous les champs.

    La syntaxe de l’email est incorrecte.

    Référence numérique du chapitre

    Format

    Ravallion, M. (2022). Les randomistas doivent‑ils (continuer à) faire la loi ?. In F. Bédécarrats, I. Guérin, & F. Roubaud (éds.), Expérimentations aléatoires dans le champ du développement (1‑). IRD Éditions. https://doi.org/10.4000/books.irdeditions.45279
    Ravallion, Martin. « Les randomistas doivent‑ils (continuer à) faire la loi ? ». In Expérimentations aléatoires dans le champ du développement, édité par Florent Bédécarrats, Isabelle Guérin, et François Roubaud. Marseille: IRD Éditions, 2022. https://doi.org/10.4000/books.irdeditions.45279.
    Ravallion, Martin. « Les randomistas doivent‑ils (continuer à) faire la loi ? ». Expérimentations aléatoires dans le champ du développement, édité par Florent Bédécarrats et al., IRD Éditions, 2022, https://doi.org/10.4000/books.irdeditions.45279.

    Référence numérique du livre

    Format

    Bédécarrats, F., Guérin, I., & Roubaud, F. (éds.). (2022). Expérimentations aléatoires dans le champ du développement (1‑). IRD Éditions. https://doi.org/10.4000/books.irdeditions.44693
    Bédécarrats, Florent, Isabelle Guérin, et François Roubaud, éd. Expérimentations aléatoires dans le champ du développement. Marseille: IRD Éditions, 2022. https://doi.org/10.4000/books.irdeditions.44693.
    Bédécarrats, Florent, et al., éditeurs. Expérimentations aléatoires dans le champ du développement. IRD Éditions, 2022, https://doi.org/10.4000/books.irdeditions.44693.
    Compatible avec Zotero Zotero

    1 / 3

    IRD Éditions

    IRD Éditions

    • Mentions légales
    • Plan du site
    • Se connecter

    Suivez-nous

    • Flux RSS

    URL : http://www.editions.ird.fr

    Email : editions@ird.fr

    Adresse :

    IRD

    44, bd de Dunkerque

    CS 90009

    13572

    Marseille

    France

    OpenEdition
    • Candidater à OpenEdition Books
    • Connaître le programme OpenEdition Freemium
    • Commander des livres
    • S’abonner à la lettre d’OpenEdition
    • CGU d’OpenEdition Books
    • Accessibilité : partiellement conforme
    • Données personnelles
    • Gestion des cookies
    • Système de signalement