Version classiqueVersion mobile

Faire preuve par le chiffre ?

 | 
Arthur Jatteau

La construction de la preuve par le chiffre et ses effets heuristiques et politiques

Chapitre 3. Que vaut la preuve produite par les expérimentations aléatoires ?

Texte intégral

  • 1  Cité par Alain Supiot, La gouvernance par les nombres. Cours au Collège de France (2012-2014), Par (...)

« Ce qui manque ne peut pas être compté1. »
Ecclésiaste, I, 15

  • 2  « Quand on parle de preuve solide, on devra avoir en tête les preuves produites par les expériment (...)

1Les randomistes produiraient de la « hard evidence » (« When we talk about hard evidence, we will therefore have in mind evidence from a RCT2 » écrit ainsi Abhijit Banerjee), c’est-à-dire des preuves « solides ». Situées au sommet de la hiérarchie des preuves, les expérimentations aléatoires constitueraient la meilleure méthode en matière de production de preuves. Nous allons partir de cette affirmation et tenter de l’investiguer, proposant ainsi une « enquête épistémologique ». La méthode de la randomisation est robuste, bien documentée, et l’on ne manque pas de textes théoriques à son sujet. Pourtant, sa particularité – s’appliquer « au terrain » et non « au laboratoire » – impose de s’interroger sur sa traduction concrète. Du bureau de Harvard à la région de Busia dans l’Ouest kényan, de l’universitaire au paysan, il y a de nombreuses étapes qui peuvent constituer autant de « bruits dans le signal », pour reprendre l’expression très économétrique d’un assistant de recherche. C’est précisément ce « bruit » qui mérite d’être pris en compte, dans la mesure où il nous informe sur la valeur de la preuve produite par la randomisation.

  • 3David Evans, Michael Kremer et Mũthoni Ngatia, « The impact of distributing school uniforms on chi (...)

2À l’issue d’une expérimentation aléatoire, des chiffres sont produits, présentés comme des résultats clairs et aisément compréhensibles. Au Kenya, on a par exemple essayé de voir l’effet de la distribution gratuite d’uniformes aux élèves sur leur présence à l’école. À l’issue de l’expérience, l’absentéisme du groupe de traitement est 43 % plus faible que dans le groupe de contrôle3. Le résultat est simple. Il ne provient pas d’une équation économétrique complexe et ne prête guère à discussion. Mais qu’est-ce qui se cache derrière ce chiffre ? Au-delà de ce qu’il nous dit, il s’agit de comprendre ce qu’il ne nous dit pas. Ce faisant, c’est sa « valeur », en tant que preuve, qui nous intéresse. Est-elle si solide qu’en théorie ? Comment en pratique se traduit la théorie des expérimentations aléatoires ?

  • 4Michael Lipsky, Street-level bureaucracy: dilemmas of the individual in public services, New York, (...)
  • 5  Patrick Hassenteufel, Sociologie politique : l’action publique, Paris, Armand Colin, 2011, 320 p., (...)
  • 6Ibid., p. 100.
  • 7Ibid., p. 110.

3La sociologie de l’action publique mobilise depuis longtemps (avec le rôle précurseur des travaux de Lipsky4) cette approche « bottom-up5 ». Comme c’est le cas avec les expérimentations aléatoires, en matière de politiques publiques il y a plusieurs étapes et plusieurs acteurs entre la prise de décision et sa mise en œuvre. Or, plus ces strates sont nombreuses, plus les risques de distorsion entre ce qui a été décidé (en l’occurrence, le « traitement » et le design de l’expérimentation) et ce qui est réalisé sur le terrain risque d’être modifié à mesure de la mise en œuvre6. C’est la raison pour laquelle nous avons privilégié cette approche « par le bas » dans ce chapitre, afin d’y traiter les questions posées non pas seulement sur le plan théorique, mais également, et surtout, au regard de la pratique des expérimentations aléatoires, en privilégiant donc l’étude de leur mise en œuvre7.

4Lorsque l’on se penche sur la nature de la preuve ainsi produite, il faut se demander dans quelle mesure elle « tient » en dehors du contexte dans lequel elle a été obtenue – si tant est que, dans ce contexte, elle soit suffisamment « solide ». Il s’agit bien du problème de la « validité externe » que nous avons déjà évoqué en première partie. Il apparaît, qu’à l’instar des essais cliniques randomisés ou des expérimentations sociales américaines des années 1960-1980, cette question soit toujours ouverte. Elle est cruciale dans la mesure où elle nous informe sur la teneur de la preuve produite par cette méthode, dont l’objectif premier est d’évaluer des programmes à des fins de généralisation (I).

  • 8  Isabelle Bruno, « Défaire l’arbitraire des faits. De l’art de gouverner (et de résister) par les “ (...)

5Ensuite, nous poursuivrons notre enquête sur la traduction pratique de la randomisation. Les promoteurs de cette méthode la voient comme la forme ultime de l’évaluation quantitative. Par la grâce de l’aléatoire, elle mettrait un terme aux débats méthodologiques en la matière. Cette croyance dans la supériorité du chiffre se retrouve dans l’usage actuel de la randomisation et fait aujourd’hui consensus auprès de tout un pan de l’économie « mainstream » et dans le système des publications, où l’absence d’usage du quantitatif limite les chances de publier. La quantification est considérée comme le fondement même de la science, sans que pour autant, comme nous le verrons, le qualitatif soit totalement absent. Il s’agit donc d’explorer cette quantification, de montrer comment les « faits sont faits8 » et d’en apprécier les effets (II).

6Enfin, dans un dernier temps nous chercherons des voies de dépassement des limites que nous aurons soulevées. Le « traitement » qui est fait des expérimentations aléatoires à l’heure actuelle, très largement mono-­méthodologique, renvoie directement à la question des croisements disciplinaires. Quelles possibilités ces derniers offrent-ils pour repenser les expérimentations aléatoires ? Nous montrerons qu’une investigation épistémologique des expérimentations aléatoires débouche nécessairement sur un questionnement des frontières disciplinaires et ouvre la voie à leur éventuel dépassement (III).

I. Le problème de la généralisation

7La question de la généralisation est totalement centrale, que l’on se situe dans le domaine des sciences expérimentales ou plus largement dans celui des sciences sociales. Dans quelle mesure peut-on extrapoler une connaissance, un résultat, et l’appliquer à un autre contexte, à une autre époque, sont autant de questions qui prennent sens bien au-delà des seules expérimentations aléatoires.

8Notons dès à présent avec Bernard Gomel et Évelyne Serverin que le mot de « généralisation » est lui-même ambigu :

  • 9  Bernard Gomel et Évelyne Serverin, « Évaluer l’expérimentation sociale », Document de travail, Cen (...)

« […] D’un côté, la généralisation est une opération intellectuelle d’un chercheur qui est ou non autorisé à étendre ses conclusions au-delà du champ étroit de son expérimentation ; de l’autre, la généralisation est l’opération institutionnelle par laquelle une disposition prise “à titre expérimental” […] est étendue […]9. »

  • 10  Éric Monnier, Évaluations de l’action des pouvoirs publics, Paris, Economica, 1992.

9Nous laissons le deuxième sens au chapitre suivant, même si l’on peut déjà noter que ce genre de généralisation demeure peu fréquent, et nous nous concentrons sur le premier. C’est celui-là qu’il faut entendre désormais lorsque l’on parle de validité externe, dont Éric Monnier propose une définition très claire : c’est « la possibilité de généraliser les résultats à des personnes, sites ou époques différents de ceux qui faisaient l’objet de l’expérimentation10. »

10Parce que les randomistes prétendent éclairer les politiques publiques et les dispositifs de lutte contre la pauvreté, cette question de la généralisation revêt un caractère particulièrement important. Elle ne saurait être prise à la légère, dans la mesure où elle conditionne en bonne partie l’adéquation entre la méthode choisie et l’objectif d’éclairer in fine la décision publique. Une expérimentation aléatoire qui n’aurait aucune validité externe et qui ne serait pas informative au-delà du contexte dans lequel elle s’est déroulée serait de peu d’utilité pour les décideurs. C’est donc bien la valeur de la preuve fournie, dans sa capacité à produire des connaissances « générales », qui est en jeu ici. Or, on constate un certain relâchement, qui n’est pas général mais qui est suffisamment fréquent pour que cela puisse constituer un problème, dans le traitement qui est fait de la validité externe. À lire les randomistes, cette question ne nous apparaît pas traitée à sa juste valeur, trop souvent laissée à l’appréciation, voire à l’intuition des chercheurs (A).

  • 11  Voir par exemple Adrien Bouguen et Marc Gurgand, « Randomized Controlled Experiments in Education  (...)

11Pour autant, les randomistes sont bien conscients de ce problème et l’évoquent systématiquement quand ils présentent les avantages et les limites de leur méthode11. La réponse principale qu’ils ont longtemps fournie, et qui est aujourd’hui très souvent complétée par un recours accru à la théorie (sans que ce qui est entendu par ce terme soit toujours bien clair), est celle des réplications. Il s’agit de reproduire une même expérimentation aléatoire dans différents contextes, afin d’espérer en dégager des connaissances. Nous essaierons de montrer que ces réponses ne sont guère, en l’état, convaincantes (B).

  • 12  A. Bouguen et J. Seban, « L’assignation aléatoire comme méthode d’évaluation des politiques publiq (...)
  • 13  Abhijit V. Banerjee et Esther Duflo, « L’approche expérimentale en économie du développement », Re (...)

12Enfin, derrière cette question de la généralisation se cache celle, plus centrale encore, de la causalité. Les randomistes arguent souvent du fait que leur méthode permettrait de faire un pas décisif en matière d’« inférence causale12 », prétendant ainsi mesurer l’« effet causal13 ». Pourtant, nous verrons qu’une attention précise portée à cette question de la causalité complexifie sa prise en compte par une simple expérimentation aléatoire (C).

A. La preuve au-delà du contexte

1. L’importance de la validité externe

  • 14Christopher B. Barrett et Michael R. Carter, « Retreat From Radical Skepticism: Rebalancing Theory (...)

13Les incertitudes qui pèsent sur la validité externe sont nombreuses. Le contexte est un élément important, dans la mesure où certaines variables agissent nécessairement sur les « outcomes » sans que l’on puisse pour autant en tenir compte dans l’expérimentation14. Il est en effet difficile de randomiser l’environnement ou la structure administrative, par exemple.

14En matière de validité externe, il convient de distinguer la question du contexte, qui renvoie à la transposabilité d’un programme, de celle des effets d’émergence, connus dans la littérature randomiste sous le terme d’effets d’équilibre général. Le contexte n’est pas le même entre la région de Busia, dans l’Ouest kényan, et l’État du Kerala, en Inde. Reproduire un programme de la première région à la seconde, par exemple, suppose de penser la différence de contexte. La généralisation d’un programme à tout le Kenya renvoie à un autre problème, mais ces deux aspects peuvent être rangés sous le terme générique de « validité externe ».

  • 15Christopher B. Barrett et Michael R. Carter, « The Power and Pitfalls of Experiments in Developmen (...)

15Les effets d’émergence sont assez bien documentés15 et se posent avec une certaine acuité dans les expérimentations ayant trait à l’emploi. Aider davantage certains chômeurs peut améliorer leur sort, mais généraliser un tel dispositif aura-t-il vraiment un impact sur le taux de chômage (effet « file d’attente ») ?

  • 16Tessa Bold, Mwangi Kimenyi, Germano Mwabu, Alice Ng’ang’a et Justin Sandefur, « Scaling up what wo (...)

16Bold et ses co-auteurs essaient de voir si les effets d’un programme, une fois généralisé, risquent de différer de ceux trouvés lors d’une expérimentation aléatoire16. Elle étudie l’expérience où des enseignants étaient embauchés de manière contractuelle. Alors que pendant l’expérimentation c’était une ONG qui avait procédé au recrutement, à sa généralisation, c’est le gouvernement qui s’en est chargé. Bold et ses co-auteurs montrent que l’impact est alors nul : l’embauche de ces enseignants n’améliore pas le niveau des élèves, ce qui était le cas à l’issue de l’expérimentation. D’autres effets apparaissent, comme la résistance des syndicats. Cet exemple illustre bien le fait qu’une expérimentation réussie ne présage en rien des effets de la généralisation d’un programme. Rares sont les articles qui cherchent, à l’instar de celui-ci, à investiguer cette question de la généralisation.

  • 17  La revue The Lancet invite d’ailleurs dès 2004 les économistes qui souhaiteraient suivre cette voi (...)
  • 18Donald T. Campbell, « Reforms as experiments », American Psychologist, 1969, vol. 24, no 4, p. 407 (...)

17La validité externe est un problème qui n’est pas propre aux expérimentations sociales aléatoires (nous en avons déjà longuement parlé à propos des essais cliniques randomisés17). Il en est d’ailleurs question dès les premiers écrits qui essayaient de cadrer théoriquement cette méthode. Donald Campbell lui-même consacre des passages entiers à ce sujet18. Cette question de la transposabilité des résultats obtenus dans un certain contexte est consubstantielle à l’expérimentation elle-même. Grégoire Chamayou note ainsi qu’elle se posait déjà lors des expériences menées dans le monde colonial :

  • 19  Grégoire Chamayou, Les corps vils. Expérimenter sur les êtres humains aux xviiie et xixe siècles, (...)

« […] Le médecin anglais Quier […] rend compte de ses expériences à ses collègues de Londres. Mais, très vite, une question apparaît : les résultats obtenus par Quier en Jamaïque sur des femmes noires valent-ils pour les mères anglaises ? Peut-on transposer les conclusions d’une “race” à une autre ? Comme l’explique Londa Schiebinger, une telle interrogation était relativement nouvelle : “Le travail de Quier posait une question nouvelle et potentiellement explosive : celle de savoir si des expériences médicales conduites sur des noirs étaient valides pour des blancs. […]”19 »

  • 20  C’est la même question que pose Guala à propos des expériences de laboratoire. Voir Francesco Gual (...)

18Cette question de la généralisation est centrale dans la mesure où elle renvoie à ce que l’on peut réellement apprendre des expérimentations aléatoires. Quelle utilité ont-elles si elles ne sont pas généralisables20 ?

  • 21Dani Rodrik, « The new development economics: we shall experiment, but how shall we learn? », HKS (...)

19Or, plusieurs économistes soulignent le manque de validité externe des expérimentations aléatoires. Dani Rodrik, par exemple pointe la faiblesse de la validité externe de cette méthode telle qu’elle est appliquée actuellement21 :

  • 22  « L’évaluation typique aura été menée dans un lieu particulier, sur un groupe particulier, et dans (...)

« The typical evaluation will have been carried out in a specific locale on a specific group and under specific experimental conditions. Its generalizability to other settings is never assured – this is the problem of “external validity” – and it is certainly not established by the evaluation itself22. »

20Il pose une limite selon lui fondamentale des expérimentatins aléatoires :

  • 23  « Les expérimentations aléatoires n’ont pas produit de preuves concrètes en ce qui concerne la que (...)

« Randomized evaluation did not yield hard evidence when it comes to the actual policy questions of interest. This should not have been a surprise : the only truly hard evidence that randomized evaluations typically generate relates to questions that are narrowly limited in scope and application that they are in themselves uninteresting. The “hard evidence” from the randomized evaluation has to be supplemented with lots of soft evidence before it becomes usable23. »

  • 24Angus Deaton, « Instruments, randomization, and learning about development », Journal of Economic (...)
  • 25Lant Pritchett et Justin Sandefur, « Context Matters for Size: Why External Validity Claims and De (...)
  • 26Ibid., p. 3.
  • 27F. Guala, « Experimental Localism and External Validity », op. cit., p. 1196.

21Pour Angus Deaton, il est très clair que les résultats obtenus par une expérimentation aléatoire prise isolément ne sont pas extrapolables hors du contexte dans lequel ils ont été obtenus24, car c’est la combinaison d’un mécanisme et d’un contexte qui produit un « outcome » et l’on ne peut donc pas faire abstraction du second. Or, ce qui a « marché » dans un contexte ne fonctionne pas forcément ailleurs25. La validité externe des expérimentations aléatoires n’est donc jamais totalement assurée26. Francesco Guala parle même de « localisme radical » à leur sujet27.

  • 28Pieter Gautier, Paul Muller, Bas van der Klaauw, Michael Rosholm et Michael Svarer, « Estimating E (...)
  • 29  Pour une présentation de cette méthode, voir A. Jatteau, Les expérimentations aléatoires en économ (...)

22Pieter Gautier et ses co-auteurs cherchent à tester ce point28. À l’aide de la méthode des différences de différences29, ils montrent que lors d’une expérimentation aléatoire menée au Danemark en matière d’emploi, celle-ci a un effet sur les membres du groupe de contrôle, qui trouvent du travail moins vite que s’ils n’avaient pas fait partie de l’expérience. Ainsi, concluent les auteurs, les résultats pris isolément de cette randomisation sont positifs, alors qu’en réalité, pris globalement, les effets du programme sont nuls voire négatifs.

  • 30  Voir par exemple A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développeme (...)
  • 31  Marie-Christine Bureau, François Sarfati, Jules Simha et Carole Tuchszirer, « L’expérimentation da (...)
  • 32  « étalon-or ».
  • 33  « des preuves tangibles ».
  • 34  « La nouvelle économie empirique du développement ».

23Si les randomistes évoquent systématiquement le problème dans leurs écrits méthodologiques30, aucun traitement particulier ne lui est consacré dans la pratique. Le problème apparaît ainsi sous-estimé (Marie-Christine Bureau et ses co-auteurs parlent à juste titre de « point aveugle31 »), alors que son importance est primordiale pour qui espère voir les programmes testés s’étendre au-delà de l’expérimentation. Il existe un certain contraste entre la volonté de présenter les expérimentations aléatoires comme un « gold standard32 », c’est-à-dire comme la seule méthode capable de fournir de la « hard evidence33 », et le traitement de la question de la montée en généralité, qui relève plus de l’intuition que de la démonstration scientifique. Kaushik Basu ne dit pas autre chose, dans son article discutant de ce qu’il nomme « new empirical development economics 34 » :

  • 35« Nous faisons le lien entre nos résultats statistiques et nos “connaissances” préalables qui, pou (...)

« We are combining our statistical finding with our prior “knowledge” that, for matters of health, knowledge acquired from one population can be carried over to another. […] These statistical findings are not useless for prediction but they have to be combined with unscientific intuition for them to be considered useful. We cannot reject the unscientific and claim that our method has predictive power35. »

24Sur le terrain, il semble que la prise en compte de ce problème soit à géométrie variable. Certains chercheurs le prennent très au sérieux alors que d’autres accordent plutôt le primat aux questions de publication, comme nous le verrons dans la suite. Dans les expérimentations aléatoires menées par la Banque mondiale, il semble que cette question soit davantage prise en compte, ce qui s’explique par le caractère principalement opérationnel de l’institution, et par des considérations sans doute moindres quant aux publications.

25Une des premières réactions que l’on obtient quand on questionne les chercheurs à propos de la validité externe est essentiellement rhétorique (la deuxième renvoie aux réplications, comme nous allons le voir) :

« C’est comme plein d’évaluations. […] [Ce sont] des problèmes dans tout type d’évaluation. » (Entretien avec Ophélie, assistante de recherche).

« Cette discussion sur la validité externe, elle met toujours un petit peu mal à l’aise, parce qu’elle est propre à tout travail empirique. Ça n’a rien à voir... Fondamentalement, ça n’a rien à voir l’expérimentation contrôlée et la validité externe. » (Entretien avec Nathan, chercheur).

« Moi y a un truc que je tenais à souligner, c’est que la validité externe, c’est un truc plus général qu’aux expérimentations. Je pense qu’il faut pas centrer la critique sur les expérimentations, je pense que c’est une critique plus générale. C’est une critique qui est générale à toute sorte d’évaluations effectuées à partir de données micro-économiques. […] C’est marrant, parce qu’y a d’autres problèmes qui sont plus typiques aux expérimentations. La validité externe pour le coup c’est pas très spécifique. » (Entretien avec Stéphane, chercheur).

26C’est tout à fait exact d’affirmer que cette critique n’est pas propre aux expérimentations, mais cela ne remet pas en cause la pertinence et la portée d’un tel problème. Ces réponses, régulièrement avancées, font penser à des « éléments de langage » et laissent supposer que cette limite potentielle de la méthode n’est pas considérée comme particulièrement grave.

2. Des glissements en matière de validité externe

27Le statut de la généralisation dans les articles relatant des expérimentations aléatoires n’est pas toujours clair. Il existe un certain flottement en la matière. Si certains chercheurs se montrent très prudents à ce sujet, d’autres effectuent des glissements vers la généralisation.

  • 36Karthik Muralidharan et Venkatesh Sundararaman, « Contract Teachers: Experimental Evidence from In (...)

28L’article de Karthik Muralidharan et Venkatesh Sundararaman en est un bon exemple36. L’expérimentation dont ils traitent consiste à étudier l’impact de l’emploi d’un enseignant contractuel supplémentaire dans certaines écoles, en plus des autres enseignants employés (fonctionnaires ou contractuels). À la fin des deux années du programme, les élèves des écoles qui ont bénéficié d’un instituteur contractuel supplémentaire obtiennent des résultats significativement meilleurs que ceux du groupe de contrôle. La réduction du nombre d’enfants par classe permise par l’embauche d’un enseignant supplémentaire en est l’une des causes, mais les auteurs montrent que ce n’est pas la seule. Les contractuels sont moins souvent absents que les fonctionnaires et ils s’investissent davantage dans leur activité d’enseignant. Dès l’introduction, le débat est d’emblée posé de manière très générale, ce qui sous-entend que l’article va pouvoir apporter une réponse elle-même très générale à la question de la taille des classes et de la contractualisation du corps enseignant, sans qu’il soit fait spécifiquement mention du caractère particulier du projet évalué. Puis, par la suite, les deux chercheurs affirment que :

  • 37« Andhra Pradesh [la région indienne où se déroule l’expérience] a des moyennes proches de celles (...)

« Andhra Pradesh is close to all-India average on various measures of human development such as gross enrollment in primary school, literacy and infant mortality, as well as on measures of service delivery such as teacher absence37. »

  • 38« Étendre le recours aux enseignants contractuels peut être efficient d’un point de vue du coût po (...)

29Il est tentant de déduire de cette phrase qu’il serait logique de généraliser les résultats obtenus. On peut cependant douter du fait qu’une région soit dans la moyenne nationale suivant plusieurs indicateurs statistiques suffise à rendre transposables les résultats d’une expérimentation qui s’y déroule… En conclusion, Karthik Muralidharan et Venkatesh Sundararaman écrivent : « The hiring of contract teachers can be a more cost-efficient way of providing teachers ». Alors même que les résultats sur lesquels ils s’appuient proviennent d’une expérimentation, menée à une période donnée, sur deux cents écoles d’une seule région indienne, les chercheurs ajoutent : « Expanding the use of contract teachers could be a highly cost effective way of improving education outcomes in developing countries38. » On peut encore citer les dernières phrases de leur article :

  • 39« Tandis que les gouvernements des pays en développement font face au défi de l’amélioration de la (...)

« As governments in developing countries face the challenge of improving education quality, it is not clear that expanding spending along existing patterns is the most effective way of doing so. With over 25 % of teachers in India absent and less than half of them engaged in teaching activity at any point of time, improving teacher incentives is an imperative for effective use of public funds. The use of teachers on fixed-term renewable contracts can be a highly effective policy […]39. »

  • 40Gérard Lassibille et Trang Nguyen, « Improving Management in Education: Evidence from a Randomized (...)
  • 41  « Les données disponibles jusqu’à maintenant montre que plus de ressources seules, telles que des (...)
  • 42  Surtout quand on sait que des résultats contraires ont été trouvés dans d’autres contextes. En 199 (...)

30Certes, les auteurs sont relativement précautionneux et utilisent « can » et « could », mais leurs propos contiennent des termes très généraux. On peut également se référer à un article de Gérard Lassibille et Trang Nguyen, qui analyse une expérimentation à Madagascar cherchant à perfectionner la surveillance (« monitoring ») des écoles afin d’améliorer l’éducation qui y est donnée40. Dans une note de bas de page, ils écrivent : « Evidence to date shows that more resources alone, such as textbooks, flip charts, additional teachers, do not lead to improved learning at the school41 ». Les trois expérimentations aléatoires auxquelles ils se réfèrent constituent-elles une preuve suffisante pour formuler de telles recommandations de développement42 ?

  • 43E. Duflo, P. Dupas, et M. Kremer, Peer Effects, Pupil Teacher Ratios and Teacher Incentives: Evide (...)
  • 44« il est impossible de savoir si les résultats de cette étude se généraliseront tant que d’autres (...)

31Dans un article paru en 2009, Esther Duflo et ses deux co-auteurs cherchent à savoir si structurer les classes selon le niveau des élèves (les forts avec les forts, etc.) permet d’améliorer les résultats scolaires43. Parmi d’autres enseignements (notamment concernant les enseignants), ils montrent que les élèves bénéficiant du « traitement » (être dans une classe en fonction de son niveau) obtiennent de meilleurs scores aux tests de fin d’année que ceux du groupe témoin. Les trois auteurs semblent prendre certaines précautions en introduction : « it is impossible to know if the results of this will generalize until further studies are conducted in different contexts […]44. » Nous discuterons plus loin dans notre travail de cette idée selon laquelle la reproduction d’une expérimentation particulière dans d’autres contextes permettrait d’en tirer des conclusions plus générales. Cependant, ils écrivent à la fin :

  • 45  « Un défi majeur du système éducatif dans les pays en développement est le fait que les élèves soi (...)

« A central challenge of educational systems in developing countries is that students are extremely diverse, and the curriculum is largely not adapted to new learners. These results show that grouping students by preparedness or prior achievement and focusing the teaching material at a level pertinent for them could potentially have large positive effects with little or no additional resource cost45. »

32Les trois auteurs explicitent encore dans leur dernier paragraphe le caractère généralisable de leurs résultats :

  • 46  « Nous estimons que la traçabilité peut vraisemblablement avoir les mêmes effets dans d’autres pay (...)

« We believe that tracking might be reasonably likely to have a similar impact in other low income countries in sub-Saharan Africa and South Asia, where the student population is often heterogeneous, and the educational rewards teachers for progress at the top of the distribution46. »

  • 47D. Rodrik, « The new development economics: we shall experiment, but how shall we learn? », op. ci (...)
  • 48Jessica Cohen et Pascaline Dupas, « Free distribution or cost-sharing? Evidence from a randomized (...)
  • 49Dani Rodrik, « Jeff Sachs vindicated »,
  • 50  « Lorsque j’ai lu cette étude pour la première fois, ma première réaction a été de dire qu’elle ré (...)
  • 51  En toute logique, les expérimentations aléatoires pourraient contribuer à invalider une théorie, e (...)
  • 52« On peut avoir des doutes légitimes sur la possibilité de généralisation des résultats de Cohen-D (...)

33En matière d’extrapolation quelque peu spéculative, Dani Rodrik évoque un article phare du J-PAL47, celui de Jessica Cohen et Pascaline Dupas sur la tarification des moustiquaires dans une région du Kenya48. Leur expérimentation vise à trancher le débat sur le prix à fixer pour les biens de santé : vaut-il mieux les faire payer, même à un prix faible, afin de pousser les personnes visées à les utiliser en partant de l’idée que l’on attache plus d’importance à ce que l’on paie ? L’idée qui est derrière ce propos est de s’assurer que ceux qui obtiennent ces moustiquaires sont ceux qui en ont le plus besoin car ce sont eux qui auraient la propension marginale à payer la plus élevée. Ou alors cela risque-t-il de trop réduire la demande, au point qu’il vaille mieux les distribuer gratuitement ? En montrant que c’est cette dernière solution qui est la meilleure, Jessica Cohen et Pascaline Dupas prétendent mettre fin à la controverse qui agite depuis longtemps les économistes du développement49. « When I first read this study, my initial reaction was that it settled the question and for all. Free distribution is the way to go50 », écrit Dani Rodrik. Il est vrai que cette étude a le mérite d’invalider une loi prétendument universelle51. Mais après réflexion, Rodrik précise que « one can have genuine doubts as to the extent to which the Cohen-Dupas results can be generalized52. » Il liste ensuite plusieurs points qui particularisent cette expérimentation, dont nous livrons ici uniquement les deux plus importants et qui, dès lors, compliquent toute généralisation :

  1. Dans la région kenyane où s’est déroulée l’expérimentation, de nombreuses activités de « social marketers » ont lieu depuis des années, encourageant l’utilisation de moustiquaires. Il est donc possible que les résultats obtenus par les deux chercheuses aient été biaisés (vers le haut) et exagérés par rapport à ce qu’ils auraient pu être dans d’autres contextes.

  2. L’étude visait plus particulièrement les femmes enceintes, ce qui constitue un groupe particulier d’utilisateurs potentiels et limite les possibilités de généraliser à une population plus large.

  • 53  « On peut croire dans les résultats pour cette zone particulière du Kenya mais on ne doit pas espé (...)

34En guise de conclusion, le chercheur affirme : « Believe the results for Western Kenyan at this particular juncture, but do not except them to hold in other setting with other background conditions53. » Dès lors, Dani Rodrik ne voit pas en quoi les expérimentations aléatoires seraient supérieures aux autres :

  • 54  « Malgré l’identification claire fournie par le champ des expérimentations aléatoires, ceux qui cr (...)

« Despite the clean identification provided by the randomized field experiment, those who believe we have learned something general about free distribution have to resort to credibility-enhancing arguments that feel rather similar to those that practitioners of cross-section econometrics and qualitative studies have to resort – although the effort will now be directed at convincing critics about the generalizability of their results and not about identification or relevance54. »

  • 55Edward Miguel et Michael Kremer, « Worms: identifying impacts on education and health in the prese (...)
  • 56A. V. Banerjee (dir.), Making Aid Work, op. cit., p. 16‑17.

35Dans un ouvrage de 2007, Abhijit Banerjee avait déjà tendance à présupposer la validité externe. Par exemple, il déduit de la célèbre expérimentation sur les vermifuges55, en la comparant à d’autres ayant le même objectif (diminuer l’absentéisme des élèves), que la meilleure façon d’y arriver est de les soigner contre les vers intestinaux56. Dans leur ouvrage, Repenser la pauvreté, qui s’attache à tirer les leçons des centaines d’expérimentations menées par le J-PAL, Esther Duflo et Abhijit Banerjee procèdent à de nombreuses généralisations, faites à partir d’expérimentations isolées, qui apparaissent quelque peu contestables, comme le relève également Martin Ravallion, dans une recension critique de l’ouvrage :

  • 57« Plus d’une fois j’ai eu l’impression que Abhijit Banerjee et Esther Duflo allaient trop loin en (...)

« More than once I felt Abhijit Banerjee and Esther Duflo were going too far in drawing broad lessons about the best “way to fight global poverty” from their field observations and experimental trials in specific settings57. »

  • 58  A. V. Banerjee et E. Duflo, Repenser la pauvreté, trad. fr. Julie Maistre, Paris, Seuil, 2012, p.  (...)

36C’est le cas par exemple en matière d’éducation, où ils tirent des conclusions à portée universelle sur des expériences isolées menées en Inde58.

37On le voit : les nombreux glissements à propos de la validité externe, dont nous avons donné un aperçu non-exhaustif, soulignent en creux le manque de considération du problème dans les publications relatant les expérimentations aléatoires. Il faut préciser aussi que ces glissements répondent à une demande de généralisation, souvent même implicite, qui provient notamment des donneurs d’ordre. Quand la fondation Gates finance une expérimentation sur un programme en particulier, elle attend des réponses concernant ce programme en général, et non des réponses dans le contexte particulier de l’expérimentation.

38Cela étant, des réponses sont apportées à la question de la validité externe, qu’il s’agit maintenant de présenter et d’apprécier au regard des enjeux.

B. Les réponses à la critique sur la validité externe

1. Les réplications, une solution peu convaincante

  • 59  La vidéo de la conférence est disponible sur le site de l’École d’Économie de Paris (http://www.pa (...)
  • 60D. T. Campbell, « Reforms as experiments », op. cit.

39À une question que nous lui posions sur la validité externe lors d’une conférence donnée à l’École d’Économie de Paris en 2011, Esther Duflo répondait qu’il fallait « cumuler les expériences59. » De fait, plusieurs articles de recherche qu’elle a écrits ou co-écrits avancent cette idée, que proposait déjà Donald Campbell60 :

  • 61« Une première réponse […] est de répliquer des expériences concluantes dans des contextes différe (...)

« A first answer […] is to replicate successful experiments in different contexts. This has two advantages. First, in the process of transplanting a program, circumstances will require changes, and the program will show its robustness if its effectiveness survives these changes. Second, obtaining several estimates in different contexts will provide some guidance about whether the impacts of the program differ significantly for different groups61. »

  • 62  Il est frappant de constater à quel point les différents articles produits par Duflo et ses collèg (...)
  • 63   « Une façon d’apprendre la généralisabilité est d’encourager des réplications adaptées d’évaluati (...)

40Autrement dit, si une expérimentation menée dans un certain contexte est reproduite dans un autre et donne des résultats similaires, alors on gagne en généralité. Mais on peut relever que Campbell évoque des changements qui pourraient être requis dans le cas d’une réplication. Le passage d’un autre article de synthèse suggère la même chose62 : « One way to learn about generalizability is to encourage adapted replications of randomized evaluations in key domains of interests in several different settings63. » Les expérimentations doivent donc être « adaptées » au nouveau contexte dans lequel elles sont développées. Mais si le « traitement » ou la façon de l’administrer change, alors peut-on réellement parler de réplication ? Cette nuance émise dans ces deux citations pose la question des changements « acceptables » pour qu’une expérimentation soit considérée comme la réplication d’une autre, suffisamment pour que l’on puisse en tirer un effet de connaissance. On peut déjà se demander si ce dernier n’est pas d’autant plus faible que les différences entre les expérimentations sont d’autant plus fortes…

41La réplication constitue une réponse à la critique sur la validité externe qui revient régulièrement et que reprennent Abhijit Banerjee et Esther Duflo dans Repenser la pauvreté :

  • 64  A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 36‑37.

« Une seule étude n’apporte pas de réponse définitive quant à savoir si un programme “fonctionne” de façon universelle. Mais il est possible de mener une série d’expérimentations différant soit par le lieu où elles sont conduites, soit quant à l’intervention exacte sur laquelle porte l’évaluation (ou les deux). Combiner les expérimentations nous permet à la fois de vérifier la solidité de nos conclusions (ce qui fonctionne au Kenya fonctionne-t-il aussi à Madagascar ?) et de mieux comprendre quelles théories sont susceptibles d’expliquer ces données […]. La nouvelle théorie élaborée à partir de là permet de concevoir des interventions et de nouvelles expérimentations et nous aide également à comprendre des résultats antérieurs que nous ne parvenions pas à expliquer. Peu à peu, nous obtenons un tableau plus complet sur la façon dont les pauvres vivent réellement leur vie […]64 »

42Comme nous allons le voir, ce « peu à peu » – c’est-à-dire la façon dont on passe de ce cumul d’expérimentations à un « tableau plus complet » – demeure bien flou.

43Il est frappant de constater à quel point cette argumentation, très présente dans la littérature, se retrouve dans le discours des randomistes. C’est de loin la première réponse qu’ils apportent lorsqu’ils sont interrogés sur la validité externe :

« C’est vrai que quand on fait des évaluations d’impact, que ce soit des évaluations randomisées ou d’autres, en général ce que l’on dit c’est que notre inquiétude principale c’est la validité interne, mais qu’après pour y répondre, bah faut répliquer une expérimentation hors du contexte. […] Donc ça c’est une réponse : qu’il faut répliquer les trucs. » (Entretien avec Yanis, assistant de recherche).

« Est-ce qu’il y avait une validité externe suffisante ? Voilà... On a besoin je pense de répliquer ça. » (Entretien avec Octave, chercheur).

« Donc je pense qu’il faut être conscient des défauts, il faut répliquer parce qu’y a des problèmes de validité externe, on le sait, y a des trucs qui marchent à un endroit, pas à d’autres. » (Entretien avec Manon, assistante de recherche).

44Comme nous l’avons précédemment suggéré, le fait qu’un laboratoire domine à ce point la production académique d’une méthode, et qu’il soit lui-même très hiérarchisé, contribue à l’uniformité des discours méthodologiques. Or, pour des raisons qui ont trait notamment à la pression faite pour que les recherches soient publiées, les programmes répliqués étant moins susceptibles d’attirer les faveurs des éditeurs de revue que les originaux, les réplications demeurent peu nombreuses.

  • 65E. Miguel et M. Kremer, « Worms: identifying impacts on education and health in the presence of tr (...)
  • 66  Qui sont d’ailleurs fort ingénieusement analysées par les auteurs.
  • 67  Les vers parasitaux touchent énormément d’enfants dans cette région du Kenya et dans de nombreux p (...)

45La plus citée des « réplications » est celle de l’article sur les vermifuges65. Il s’agit d’essayer d’analyser les effets d’une distribution de vermifuges à des enfants indiens de 6 à 18 ans sur des « outcomes » en matière d’éducation et de santé. Parce que les médicaments distribués sont peu chers et qu’ils produisent de fortes externalités66, les résultats sont considérés comme très bons. L’absentéisme à l’école a été par exemple réduit d’un quart67 et le coût par année de scolarisation supplémentaire est très faible.

  • 68Gustavo J. Bobonis, Edward Miguel et Charu Puri-Sharma, « Anemia and school participation », The J (...)

46Gustavo Bobonis et ses co-auteurs ont essayé de reproduire cette expérimentation en Inde68. Selon Abhijit Banerjee et Esther Duflo :

  • 69  A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p (...)

« En combinant déparasitage et distribution de complément en fer, Bobonis et al. [2006] ont obtenu un impact sur l’assiduité à l’école dans le nord de l’Inde similaire à celui que Miguel et Kremer [2004] ont trouvé au Kenya69. »

47Le fait d’avoir des expérimentations similaires permet la généralisation, poursuivent les deux chercheurs :

  • 70« Cette [réplication] soutient la conclusion de la recherche sur le déparasitage au Kenya [...] se (...)

« This [replication] supports the conclusion of the deworming research in Kenya […] that school health programs may be one of the most cost-effective ways of increasing school participation and, importantly, suggest that this conclusion may be relevant in low-income countries outside of Africa70 »

48On peut s’interroger sur cette conclusion : deux expérimentations locales, touchant des zones géographiques de faible étendue, autorisent-elles à formuler des conclusions sur les pays pauvres en général ?

  • 71  Il aurait été intéressant d’avoir des explications sur cette différence, mais la présentation des (...)

49De plus, il est intéressant de se pencher sur la réplication sur laquelle s’appuient ces propos. Certains détails apparemment mineurs remettent en cause la nature même des réplications. Ainsi, la tranche d’âge considérée par les deux articles n’est pas la même, puisque la distribution de médicaments était destinée aux enfants de 2 à 6 ans en Inde71. Parle-t-on du même programme ? On pourrait répondre que « ce qui compte » n’est pas tant la population-cible que le « traitement ». Or, ce dernier diffère également entre les deux expérimentations :

  • 72« Le programme a alors été modifié pour répondre aux besoins des enfants d’écoles maternelles dans (...)

« The program was then modified to meet the needs of preschool children in urban India, with iron supplementation added given the high level of anemia in that population72. »

50Parce que le contexte l’impose, il a fallu modifier le « traitement ». Mais si l’on modifie le « traitement » et l’âge de la population considérée, est-on encore autorisé à parler de réplication ?

  • 73G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Iron Deficiency Anemia and School Participation », o (...)
  • 74G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit.
  • 75G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Iron Deficiency Anemia and School Participation », o (...)

51Par ailleurs, des différences existent entre les deux versions de l’article de Gustavo Bobonis et ses co-auteurs, le « Working Paper »73 et l’article publié dans la revue The Journal of Human Resources74 (moins prestigieuse que celle dans laquelle est paru celui d’Edward Miguel et Michael Kremer…). Dans le paragraphe faisant le lien avec l’article sur les vers intestinaux au Kenya, il est écrit dans les deux versions : « This study is most closely related to Miguel and Kremer (2004) […]75. » Dans le document de travail viennent ensuite ces quelques lignes qui soulignent le caractère généralisable et généralisé des résultats :

  • 76« […] La démonstration qu’une relation similaire s’établit dans une autre configuration géographiq (...)

« […] The demonstration that a similar relationship holds in another geographic setting (urban India), with a younger age group, and a different health intervention provides compelling evidence that there is a robust positive relationship between child health status and school participation in poor countries76. »

  • 77G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit., p. 695.

52La phrase est présente également dans l’article de la revue77, mais elle est précédée d’une précision absente du « Working Paper » et qui revêt selon nous une importance capitale dans le débat qui nous occupe :

  • 78« L’intervention médicale dans cette étude était plus restreinte, consistant à administrer des méd (...)

« The medical intervention in that study was narrower, consisting of deworming drugs alone, unlike the current program, which features iron supplementation and Vitamin A in addition to deworming78. »

53L’article de la revue précise donc bien que le « traitement » diffère. On pourrait spéculer sur les raisons qui ont poussé les auteurs à ajouter cette phrase dans la version publiée dans The Journal of Human Resources et à ne pas y faire référence dans leur document de travail (recommandation d’un referee ? volonté de masquer la nature toute relative de la réplication ?). Cette différence souligne la difficulté qu’il y a à répliquer une expérimentation.

  • 79Abhijit V. Banerjee, Shawn Cole, Esther Duflo et Leigh Linden, « Remedying education: Evidence fro (...)
  • 80  A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p (...)

54Un article d’Abhijit Banerjee et de ses co-auteurs sur un dispositif pour améliorer le niveau scolaire des élèves les plus faibles est régulièrement cité comme contenant une sorte de « réplication interne » qui est censée accroître sa validité externe79. Le « traitement » a été appliqué dans deux régions très différentes d’Inde (Vadodara et Bombay). Or, comme le notent Abhijit Banerjee et Esther Duflo, « les résultats se sont avérés relativement cohérents80. » Ceci permet à cette dernière d’affirmer, dans un article, où elle montre les bienfaits des réplications :

  • 81« On peut être relativement confiant en recommandant le passage à une plus large échelle de ce pro (...)

« One can be relatively confident in recommending the scaling up of this program, at least in India, on the basis of these estimates, because the program was continued for a period of time, it was evaluated in two quite different contexts, and it has shown its ability to be rolled out on a large scale81 ; »

55S’il n’y a pas de changement flagrant de « traitement » comme pour le précédent exemple, la réplication est loin d’être parfaite (périodes différentes, équipes différentes, implantation du programme effective avant l’évaluation dans l’une des deux régions et pas dans l’autre, etc.). Esther Duflo et ses collègues retournent ces légères différences à leur avantage estimant qu’elles prouvent la « robustesse » de l’expérience : ce n’est pas parce que l’on modifie un peu le « traitement » que les résultats changent. Mais en quoi des résultats, même allant dans un sens identique et même si les « traitements » sont parfaitement similaires, permettent-ils de généraliser les résultats à d’autres contextes que ces deux régions ? L’obtention de résultats similaires n’est pas dénuée de signification, mais ce simple constat permet difficilement de généraliser.

56Abhijit Banerjee et Esther Duflo citent à l’inverse l’exemple d’une réplication dont :

  • 82  A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p (...)

« Les résultats sont au contraire différents d’un contexte à l’autre. Une campagne d’information et de mobilisation des Conseils de parents d’élèves a eu un impact positif sur les résultats d’apprentissage au Kenya, mais non en Inde82. »

57Cette différence interdit certainement toute généralisation (en tout cas à un niveau international) à partir de l’une des deux expérimentations, la seconde aboutissant à des résultats différents de la première. Mais les chercheurs restent muets sur les conclusions que l’on peut en tirer. Cela signifie-t-il qu’il faut étendre ces politiques à d’autres régions kényanes et au contraire les abandonner en Inde ? Peut-on en extraire des connaissances mobilisables dans un autre contexte ?

58Les deux économistes évoquent une autre sorte de réplications, que l’on pourrait qualifier de « réplications impures » :

  • 83Ibid.

« Outre les duplications pures, des expérimentations similaires menées dans des contextes différents sont autant de moyens permettant d’accumuler des connaissances. L’analyse faite par Holla et Kremer [2008] de 16 évaluations aléatoires portant sur l’élasticité des prix dans les domaines de la santé et de l’éducation en est un bon exemple. […] Bien qu’il ne s’agisse pas de duplication au sens strict, ces études révèlent toutes le même phénomène fondamental83. »

59On peut observer un certain relâchement du sens accordé au terme « duplication » (que nous prenons comme un synonyme de « réplication ») : une expérimentation qui « ressemble » à une autre parce qu’elle traite du même objet en est-elle une réplication ? Les connaissances que l’on peut en tirer sont alors assez générales et perdent la précision et la « scientificité » qui font, selon leurs partisans, la force des expérimentations aléatoires.

60L’idée même des réplications pour accroître la portée de la preuve paraît donc critiquable :

  • 84  « Une des réponses à la critique de la validité externe est de dire que la solution est de répéter (...)

« One response to the external-validity critique is to say that the solution is to repeat the experiment in other settings, and enough times so that we feel confident in drawing general lessons. Repetition would surely help. But it is not clear that it is the magic bullet. Few randomized evaluations – if any – offer a structural model that describes how the proposed policy will work, if it does, and under what circumstances it will not, if it doesn’t. Absent a full theory that is being put to a test, it is somewhat arbitrary to determine under what different conditions the experiment ought to be repeated84. »

  • 85E. Duflo, R. Glennerster et M. Kremer, « Using Randomization in Development Economics Research », (...)
  • 86A. V. Banerjee, S. Cole, E. Duflo et L. Linden, « Remedying education: Evidence from two randomize (...)

61Quant à Angus Deaton, il écrit, en appuyant sa démonstration sur l’article de synthèse de Esther Duflo et ses co-auteurs85, qui se base lui-même sur l’article de Abhijit Banerjee et ses co-auteurs86 :

  • 87« Des réplications réussies et répétées d’expérimentations “qui ont fonctionné”, par exemple une e (...)

« Repeated successful replications of a “what works” experiment, i.e., one that is unrelated to some underlying or guiding mechanism, is both unlikely and unlikely to be persuasive. Learning about theory, or mechanisms, requires that the investigation be targeted toward that theory, toward why something works, not whether it works. Projects can rarely be replicated, though the mechanisms underlying success or failure will often be replicable and transportable. This means that, if the World Bank had indeed randomized all of its past projects, it is unlikely that the cumulated evidence would contain the key to economic development87. »

62Répéter des expérimentations ne permet pas plus de comprendre les mécanismes et d’en dégager des connaissances mobilisables dans un autre contexte.

  • 88Agnès Labrousse, « Hard Numbers, poor numbers. Rhetorical figures supporting Randomized Controlled (...)

63La solution des réplications apparaît comme bien peu séduisante telle qu’elle est menée, sans véritable approche comparative. Les exemples donnés par Esther Duflo et son équipe sont rarement des réplications stricto sensu, mais plutôt des adaptations d’expérimentations dans un autre contexte. Il est possible d’en apprendre quelque chose, et la similitude des résultats en fonction de la ressemblance des « traitements » n’est sans doute pas fortuite, mais il est excessif, grâce à cette seule opération, de s’autoriser à généraliser les conclusions des articles en question. Quand bien même une réplication parfaite serait réalisée, que cela prouverait-il ? Parce qu’un même « traitement » produit un même résultat dans deux ou trois contextes différents, cela voudrait-il dire que l’on peut l’appliquer ailleurs en ayant l’assurance que les « outcomes » iront dans le même sens ? Encore une fois, cela ne suffit pas, même si c’est sans doute loin d’être inutile. Cette idée renvoie également à une forme d’essentialisation des pauvres88, qui partageraient une condition commune justifiant l’application d’une même méthode.

  • 89  G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit.

64Il semble extrêmement délicat de répliquer finement une expérimentation car, comme le montre l’article de Gustavo Bobonis et ses co-auteurs89, le changement de lieu induit bien souvent l’apparition d’autres problèmes à traiter : les enfants indiens ne souffrent pas exactement des mêmes maux que les enfants kényans. Parce que le contexte change, la solution ne peut être identique, ce qui limite drastiquement la possibilité et l’intérêt même de dupliquer des expérimentations. La réponse par les réplications à la question de la généralité se veut en réalité uniquement statistique. Seuls des chiffres basés sur des faits auraient force de preuve (nous y reviendrons plus loin).

  • 90  Le paragraphe qui suit reprend en partie A. Jatteau, Les expérimentations aléatoires en économie, (...)
  • 91Jennifer Meredith, Jonathan Robinson, Sarah Walker et Bruce Wydick, « Keeping the Doctor Away: Exp (...)
  • 92Abhijit V. Banerjee, Esther Duflo, Nathanael Goldberg, Dean Karlan, Robert Osei, William Parienté, (...)
  • 93  Florent Bédécarrats, Isabelle Guérin et François Roubaud, « L’étalon-or des évaluations randomisée (...)

65Au final, les réplications ne sont guère convaincantes90. En quoi des expérimentations dans différents contextes nous informeraient-elles sur l’impact potentiel dans un autre contexte ? Combien faut-il d’expérimentations similaires pour pouvoir généraliser les résultats ? Dans un article, des chercheurs testent un même programme dans quatre pays différents91, tandis que d’autres répliquent une même expérimentation dans six pays92. Mais, comme le relèvent Florent Bédécarrats et ses co-auteurs, comment savoir si ce nombre de réplications est « suffisant » et peut-il seulement l’être93 ? Tout dépend de l’étendue sur laquelle on souhaite généraliser : plus elle est grande et concerne des sociétés hétérogènes, plus la possibilité d’émettre des conclusions valides est faible. Il apparaît moins risqué – sans être non plus certain – de penser qu’un « traitement » qui a fonctionné dans une région française métropolitaine « marchera » également dans une autre région française, que d’affirmer qu’un « traitement » qui a produit des résultats positifs dans une région d’un pays pauvre en produira également dans une région d’un autre pays pauvre.

66Le schéma ci-dessous montre que l’idée même de la réplication, si elle peut sembler évidente, demeure bien plus complexe qu’il n’y paraît. Sans cadre théorique et sans chercher à expliciter la chaîne causale, comme nous allons le voir, elle apparaît insuffisante :

Graphique 1. Les réplications : une réponse limitée au problème de la validité externe

Graphique 1. Les réplications : une réponse limitée au problème de la validité externe

2. D’autres réponses : théorie et méta-analyse

67Afin de répondre au problème de la validité externe, Esther Duflo et ses co-auteurs écrivent ainsi :

  • 94« Alors qu’il est nécessaire de répliquer des études dans des contextes différents, il ne sera jam (...)

« While it is necessary to replicate studies in different contexts, it will never be feasible to rigorously test the extent to which research results hold in all possible situations. However, experiments can deliver much more general lessons when they are combined with economic theories or models94. »

  • 95Ibid. « Les modélisations peuvent être combinées avec des variations issues des évaluations aléato (...)
  • 96Ibid. « Construire une expérimentation spécifiquement en vue d’évaluer des théories particulières (...)
  • 97  Marc Ferracci et Étienne Wasmer, État moderne, État efficace. Évaluer les dépenses publiques pour (...)
  • 98Avec par exemple Dean Karlan et Jonathan Zinman, « Observing Unobservables: Identifying Informatio (...)
  • 99J. Cohen et P. Dupas, « Free Distribution or Cost-Sharing? », op. cit.

68Au détour d’une phrase, ils pointent une limite des réplications : augmenter leur nombre n’est pas sans intérêt mais il est exclu de tester toutes les situations possibles. Un modèle théorique sous-jacent, qui s’accorderait avec les résultats d’une ou de plusieurs expérimentation(s), pourrait permettre de dégager des leçons plus générales. Les auteurs évoquent deux voies à suivre. La première est la suivante : « Economic modeling can be combined with variation coming from randomized evaluations to estimate a richer set of parameters95. » Il s’agit ici de partir d’un modèle structurel et d’essayer de l’estimer à l’aide d’une expérimentation aléatoire. La seconde voie vise à « set up experiments explicitly to test particular theories about economic behavior96 », c’est-à-dire à construire une expérimentation spécifiquement en vue de tester une théorie. C’est ce que proposent les économistes français Marc Ferracci et Étienne Wasmer : penser les politiques publiques en fonction de leur évaluation future, évaluation qui doit être si possible randomisée97. Plusieurs articles de chercheurs du J-PAL98, notamment ceux de Dean Karlan, visent ainsi à tester la présence d’aléa moral et d’antisélection sur le marché du micro-crédit. Pascaline Dupas et Jessica Cohen vont quant à elles tester les théories sur la tarification des biens de santé, avec une expérimentation sur les moustiquaires99. Comme le note Esther Duflo :

  • 100« Les théories apportent des indications sur les programmes susceptibles de fonctionner et, par co (...)

« Theory provides some guidance about what programs are likely to work and, in turn, the evaluation of these programs forms a test of the theory’s prediction100. »

  • 101Fernando Martel Garcia et Leonard Wantchekon, « Theory, External Validity, and Experimental Infere (...)
  • 102Ibid., p. 134.
  • 103Ibid., p. 136.
  • 104Ibid.

69Fernando Garcia et Leonard Wantchekon proposent quant à eux de combiner réplications et théorie101. Ils critiquent les réplications car ils y voient ce qu’ils appellent la « force brute ». On reproduit les mêmes expérimentations dans des contextes différents102. Mais comme ils le relèvent (c’est le sens de notre schéma supra), que peut-on en conclure ? Ils sont très clairs sur le peu d’intérêt des réplications « pures et simples103 », une réponse communément admise à la question de la validité externe (que ce soit dans la littérature ou dans les discours). Pour eux, la validité externe peut être améliorée si l’on essaie d’intégrer ces différentes réplications dans une théorie plus générale, qui expliquerait entre autres les différences entre les zones géographiques104. Ils proposent quelques exemples, mais de manière générale il semble que ce soit encore peu fait, les réplications demeurant assez limitées.

  • 105  Sebastian Linnemayr et Harold Alderman, « Almost random: Evaluating a large-scale randomized nutri (...)
  • 106Voir par exemple Rachael Meager, « Understanding the Impact of Microcredit Expansions: A Bayesian (...)

70D’autres pistes sont explorées pour résoudre le problème de la validité externe mais elles restent encore balbutiantes. Sebastian Linnemayr et Harold Alderman ont ainsi mis en place une expérimentation aléatoire avec un très large échantillon105. La méthode est la même, mais ils espèrent qu’en y intégrant davantage d’individus, on gagne en validité externe. En l’occurrence, ce sont 200 000 enfants sénégalais qui participent à l’expérience. Pour des raisons évidentes de coûts, aussi bien financiers que logistiques, on voit mal comment ce genre de projets peut se multiplier. Certains chercheurs essaient de développer des formes de méta-analyses, qui visent à prendre en compte le résultat de plusieurs expérimentations aléatoires sur un même domaine106. L’hétérogénéité des « traitements » comme des contextes en limite toutefois la portée.

71Cette question de la validité externe renvoie donc à ce que l’on peut tirer, en termes de connaissances, des expérimentations aléatoires. Que nous apprennent-elles ? Quelles preuves fournissent-elles ?

C. Derrière la validité externe, la causalité

1. Distinguer les preuves d’efficacité des preuves de causalité

  • 107  Cette distinction, si elle n’a pas toujours été explicitée, renvoie à des questionnements très anc (...)

72Pour aller plus avant dans le traitement de cette question de la généralisation, il convient de préciser le type de preuves que fournissent les expérimentations aléatoires. Dans notre premier chapitre, nous avons évoqué la différence entre preuves d’efficacité (est-ce que ça marche ?) et preuves de causalité (pourquoi et comment ça marche ?)107, que Catherine Laurent et ses co-auteurs permettent de préciser. Les « preuves de causalité » adviennent quand :

  • 108  Catherine Laurent, Jacques Baudry, Marielle Berriet-Solliec, Marc Kirsch, Daniel Perraud, Bruno Ti (...)

« Une relation causale est établie entre deux événements particuliers (par exemple, toutes choses égales par ailleurs, deux pratiques de pâturage distinctes ont des effets différents observables de façon répétée au moyen d’indicateurs de biodiversité des prairies concernées)108. »

73Alors que les « preuves d’efficacité » adviennent lorsque :

  • 109Ibid.

« Une action produit le résultat souhaité (par exemple, une mesure agri-environnementale combinant subventions et contraintes réglementaires a un effet positif sur des indicateurs de biodiversité)109. »

  • 110  Bruno Lecoutre, « Expérimentation, inférence statistique et analyse causale », Intellectica, 2004, (...)
  • 111  Jean-Claude Barbier, « Évaluations “expérimentales” : quelques leçons de l’histoire », Politiques (...)

74Ainsi, lorsque l’on teste un programme à l’aide d’une expérimentation aléatoire, on mesure son impact mais la méthode en elle-même ne dit rien sur les causes de ce dernier. Certes, l’origine de cet impact pourrait bien être le « traitement », mais, si l’on retient une « version forte » de la causalité en suivant la définition qu’en donne Bruno Lecoutre, il s’agit de savoir pourquoi110. Par exemple, distribuer des manuels scolaires à des élèves de primaire dans une région d’un pays africain peut déboucher sur une amélioration du niveau. Une « version faible » de la cause reviendrait à l’attribuer à la distribution de manuels. Mais il est intéressant de passer à un niveau plus approfondi (c’est la version forte) et de se demander précisément comment et pourquoi cette distribution a pu produire un effet : les élèves se sont-ils sentis valorisés de faire partie d’une expérience ? Les enseignants, satisfaits de ce surcroît de moyens, se sont-ils davantage investis dans leur mission ? Les parents, à la suite de ce programme, ont-ils pu aider leurs enfants plus qu’à l’accoutumée ? Autant de pistes qu’il convient de creuser, autant de mécanismes causaux possibles qu’il convient de valider ou d’invalider. Il paraît à ce titre illusoire de prétendre mettre au jour un seul élément causal qui soit à ce point isolable plutôt que des séries causales, comme le note Jean-Claude Barbier111. Il est possible de faire ici le parallèle avec la régression linéaire qui prétend pouvoir isoler un facteur (alors que le raisonnement « toutes choses égales par ailleurs » peut être lui-même contesté), par opposition aux analyses géométriques des données qui cherchent à saisir les objets de recherche dans leur globalité.

  • 112  Agnès Labrousse, « Nouvelle économie du développement et essais cliniques randomisés : une mise en (...)

75Comme le relève Agnès Labrousse, « les dispositifs expérimentaux sont souvent construits pour produire des preuves d’efficacité d’une mesure mais non des mécanismes causaux112. » Cette distinction nous paraît tout à fait fondamentale en matière d’expérimentations aléatoires, pour juger de la validité externe. Angus Deaton écrit ainsi :

  • 113« Sans une théorie préalable, et au sein de ces propres normes d’évaluation, un essai randomisé co (...)

« Without a prior theory, and within its own evidentiary standards, an RCT [Randomized Controlled Trial] targeted at “finding out what works”, is not informative about mechanisms, if only because there are always multiple mechanisms at work. […] Learning about theory, or mechanisms, requires that the investigation be targeted towards that theory, towards why something works, not whether it works113. »

76Derrière la validité externe qui cherche à déterminer « jusqu’où » tient la preuve, on peut s’interroger sur la « manière » dont elle tient. Les expérimentations aléatoires permettent éventuellement de voir si un « traitement » marche ou non, sur une population donnée et à un moment donné, mais elles ne disent rien sur les raisons qui ont poussé les membres du groupe test à réagir au « traitement », ni sur comment ils l’ont perçu, comment a joué le contexte, etc.

  • 114  « Les expérimentations aléatoires, comme les résultats non-expérimentaux, ne peuvent être automati (...)
  • 115  Barbara Befani, « Models of causality and causal inference », Working Paper, Department for Intern (...)

77Comme le note Angus Deaton, les « outcomes » dépendent à la fois du « traitement » et du contexte (« RCTs, like non-experimental results, cannot automatically be extrapolated outside the context in which they were obtained114. ») : ce qu’il y a « à côté » de l’expérimentation compte tout autant que le « traitement » lui-même dans la mesure de l’effet115. Seule la prise en compte des deux peut espérer produire un effet de connaissance. Dire qu’un programme « marche », c’est dire qu’il marche dans un certain contexte, à une certaine époque, et vis-à-vis d’une population forcément particulière dans le cadre d’une expérimentation mise en place par une équipe particulière. L’explication des résultats ne peut donc s’appuyer uniquement sur le « traitement », comme si l’on pouvait faire abstraction du reste. C’est ce que l’on retrouve pourtant souvent dans la littérature randomiste. Esther Duflo et ses collaborateurs semblent agir, d’une façon assez paradoxale, comme si les expérimentations qu’ils mènent sur le terrain avaient lieu en laboratoire de sorte qu’il serait possible de négliger le cadre dans lequel elles sont réalisées. Ce faisant, ils s’inscrivent plus largement dans l’économie « mainstream » qui a tendance à être peu sensible au contexte.

  • 116Kaushik Basu, « The Method of Randomization, Economic Policy, and Reasoned Intuition », Policy Res (...)
  • 117Ibid., p. 8.
  • 118Ibid., p. 11.
  • 119  Michel Husson, Les ajustements de l’emploi. Pour une critique de l’économétrie bourgeoise, Lausann (...)

78Pour un économiste comme Kaushik Basu, les expérimentations aléatoires n’ont rien à voir avec la causalité116 : elles décrivent mais n’expliquent pas117. Encore pourrait-on contester le terme même de « description », car il manque de la matière pour procéder à une description complète, notamment d’un point de vue ethnographique. La facilité de compréhension de la méthode crée une illusion de savoir en la matière qui entretient la confusion entre efficacité et causalité118. La méthode, telle qu’appliquée jusqu’à maintenant, c’est-à-dire en privilégiant une approche strictement quantitative (nous y reviendrons plus loin dans ce chapitre) n’est pas en mesure de mettre au jour les mécanismes causaux. Or, une équation économétrique ne suffit pas à elle seule à fournir une causalité119.

  • 120  Finn et Achilles apparaissent bien démunis quant à la question des causes et des effets de la rédu (...)
  • 121N. Cartwright, « Are RCTs the Gold Standard? », BioSocieties, 2007, vol. 2, no 01, p. 11‑20.
  • 122  Il donne même un exemple probant. Voir A. Deaton, « Instruments, randomization, and learning about (...)

79Ainsi, quand les randomistes se penchent sur la question de la causalité, ils se trouvent bien démunis120, car leur méthode ne leur offre pas de plus-value particulière. Nancy Cartwright leur reproche en la matière de trop se fier à leur intuition, faute de disposer d’outils d’investigation suffisant121. Pour Angus Deaton, les randomistes sont contraints de spéculer en la matière122.

  • 123  Pour être plus précis, il faut dire qu’il ne s’agit pas d’une faiblesse de la méthode en elle-même (...)

80Étonnamment, cette faiblesse de la méthode123 est reconnue lorsque l’on s’entretient avec les randomistes :

« Les évaluations d’impact, notamment la randomisation, elles permettent de bien comprendre et de bien mettre en évidence des relations causales. Mais le truc c’est qu’à partir du moment on a identifié cette relation causale, on n’a pas encore compris pourquoi y a cette relation causale. » (Entretien avec Yanis, doctorant).

« Je pense que c’est surtout sur la partie “Caractérisation du traitement” qui est souvent l’angle mort des expérimentations randomisées. C’est-à-­dire que parfois un traitement qui a des effets positifs, finalement on n’arrive pas vraiment à savoir pourquoi. Et notamment les traitements composites. Parce que bien souvent les porteurs de projets ou les associations, les ONG ont des traitements qui combinent plein de choses. Et c’est souvent difficile de savoir en quoi... De savoir qu’est-ce qui marche. » (Entretien avec Lucas, randomiste).

« Alors l’un des désavantages de la méthode c’est qu’une fois que l’on avait dit que ça marchait on ne savait pas comment ça marche. » (Entretien avec Charlotte, partisane des expérimentations aléatoires).

« Moi j’ai fait toutes les méthodes, dans différents contextes, et effectivement, quand on fait des expérimentations, alors la question des mécanismes peut se poser, mais A cause B, on l’a quoi, on sait qu’A cause B. Après on ne sait pas vraiment pourquoi » (Entretien avec Stéphane, randomiste).

2. Mettre au jour les mécanismes causaux et les conditions à remplir pour prétendre généraliser

  • 124M. Ravallion, « Evaluation in the practice of development », World Bank Research Observer, 2009, v (...)

81On sait à quel point la mise au jour de mécanismes causaux est décisive pour envisager de produire des connaissances en s’appuyant sur une expérimentation. Certes, comme le relève Ravallion124, c’est également le cas pour d’autres types d’évaluation. Mais la prétention des tenants des expérimentations aléatoires à fournir une validité interne plus élevée que les méthodes alternatives laisse à penser qu’ils ont plus à dire (ou mieux à dire) sur la transposabilité aux politiques publiques. Or, les réponses qu’ils fournissent à la question de la validité externe restent peu convaincantes.

  • 125« Les expérimentations aléatoires sur “ce qui marche” ont peu de chance d’être utile en matière de (...)
  • 126Glenn W. Harrison, « Randomisation and Its Discontents », Journal of African Economies, 2011, vol. (...)

82Dès lors, « RCTs of “what works” […] are unlikely to be helpful for policy, or to move beyond the local, unless they tell us something about why the program worked125. » Se pencher sur les raisons du succès d’un programme permettrait d’avancer dans le même temps vers la voie d’une possible généralisation. En effet, connaître les mécanismes produits par un traitement est bien plus profitable pour les décideurs politiques que de simplement savoir s’il a ou non marché126. Comme le notent Fernando Garcia et Leonard Wantchekon :

  • 127« Sans une théorie préalable, et au sein de ces propres normes d’évaluation, un essai randomisé co (...)

« Indeed, for policy analysis, as well as for the purpose of scientific advancement through comparative research, the question of where, under what conditions, and among which subpopulations a treatment is likely to work is often as interesting as whether or not the treatment worked in the first place127. »

83Le problème de la validité externe gagne en importance quand on songe à l’origine même des expérimentations. Dans le discours de leurs promoteurs, il ne s’agit pas de tant de faire avancer les « connaissances », entendues comme circonscrites au monde académique, que de fournir aux décideurs publics des éléments à même de les éclairer quant aux politiques publiques à mener et aux programmes à favoriser. C’est bien en ce sens que la validité externe et sa prise en compte par les randomistes sont cruciales.

  • 128  Jean-David Naudet, Jocelyne Delarue et Tanguy Bernard, « Évaluations d’impact : un outil de redeva (...)
  • 129M. Ravallion, « Should the Randomistas Rule? », The Economists’ Voice, 2009, vol. 6, no 2, p. p. 2
  • 130Sanjay G. Reddy, « Randomise This! On Poor Economics », Review of Agrarian Studies, 2012, vol. 2, (...)

84Or, il apparaît illusoire, en ne fournissant pas de traitement suffisamment convaincant de ce problème, de prétendre formuler des recommandations en matière d’action publique sans avoir une idée claire des chaînes causales à l’œuvre. Dès lors, deux options sont possibles. La première est celle préconisée par les économistes de l’Agence française du Développement dans leur bilan, critique, des deux expérimentations aléatoires qu’elle a financées128 et qui rejoint celui que faisaient déjà Martin Ravallion129 ou Sanjay Reddy130. Ces expérimentations doivent être circonscrites à un nombre réduit de cas, les plus simples, avec les conditions suivantes :

  • 131  J.-D. Naudet, J. Delarue et T. Bernard, « Évaluations d’impact », op. cit., p. 45.

« (i) une période d’observation cohérente avec la chaîne logique ; (ii) un nombre restreint d’intrants homogènes bien définis ; (iii) un processus éprouvé et testé ; (iv) une chaîne causale d’événements et de preuves courte et extérieure ; (v) une appropriation rapide et durable par les bénéficiaires ; (vi) une participation large et stable ; et (vii) un ensemble de résultats mesurables à court terme, couvrant les principaux aspects du programme131. »

  • 132Michael Bamberger et Howard White, « Using Strong Evaluation Designs in Developing Countries: Expe (...)

85Michael Bamberger et Howard White estiment ainsi que seuls 5 % des problèmes de développement peuvent être appréhendés à l’aide d’une expérimentation aléatoire132. La seconde option consiste à revoir la manière dont sont aujourd’hui pratiquées les expérimentations aléatoires, en élargissant la palette méthodologique, comme le préconisent Amy Poteete, Marco Janssen et Elinor Ostrom :

  • 133« La validité externe d’une relation/correlation (d’expérimentations contrôlées) peut mieux être é (...)

« The external validity of general relationships [of controlled experiments] can best be evaluated, however, through analysis of a large number of nonexperimental obser- vations […] as well as through field experiments […]133. »

86Cette « réinvention » des expérimentations aléatoires pourrait ainsi passer par un pluralisme méthodologique à même de mieux saisir cette question de la causalité.

87Le problème de la généralisation des résultats est sérieux. Il ne s’applique pas plus aux expérimentations aléatoires qu’à d’autres méthodes d’évaluation, mais la prétendue supériorité de cette méthode en matière de validité interne rend la validité externe d’autant plus importante. Nous avons pu constater, au vu de la production scientifique des randomistes, que le traitement qui en était fait n’atteignait pas le même degré de rigueur revendiqué pour la randomisation elle-même. La prise en compte de la validité externe semble être laissée au bon vouloir des chercheurs.

88Les pistes avancées pour la résoudre ne sont guère convaincantes, à commencer par les réplications. Reproduire sans réfléchir à la manière dont la réplication pourrait permettre de produire des connaissances à portée générale, et non pas circonscrites au contexte de l’expérimentation, demeure insuffisant pour répondre de manière satisfaisante au problème de la généralisation.

89En creusant, nous avons mis en avant le fait que derrière la validité externe se cache la question, plus centrale encore, de la causalité. Savoir si un programme pourrait « marcher » ailleurs, c’est déjà savoir pourquoi il a marché à un premier endroit. Prouver l’efficacité, ce n’est pas prouver la causalité. La première apparaît moins complexe que la seconde et sa preuve plus simple à fournir. Pour autant, la mise au jour des mécanismes causaux apparaît primordiale pour la production de connaissances mobilisables à la fois par la communauté des chercheurs, et par les décideurs publics.

90À ce stade, nous pouvons donc établir que la preuve produite par les randomistes demeure très largement circonscrite au contexte dans lequel elle a été obtenue, faute d’éléments qui permettraient de démontrer le contraire. Une preuve limitée, donc, mais de quelle nature ? De quelle valeur, pourrait-on dire ? Il convient d’aller plus avant dans notre « enquête sur la preuve » en se penchant sur la « validité interne » des expérimentations aléatoires.

II. Le chiffre contre la parole : quelle validité interne ?

91La validité interne, c’est-à-dire la certitude que les chiffres trouvés mesurent bien l’effet, et uniquement l’effet, du programme testé, est présentée comme le point fort de la méthode. C’est ce qui va nous occuper dans cette section, où l’on va s’intéresser non plus à la portée de la preuve, mais à sa valeur intrinsèque, en proposant une déconstruction de la preuve par le chiffre telle que produite par les expérimentations aléatoires. Une attention particulière sera accordée à la traduction pratique de la méthode de la randomisation. Est-elle aussi séduisante « sur le terrain » que « sur le papier » ? Qu’implique le passage de la théorie à la pratique, notamment sur la nature de la preuve elle-même ?

92Dans un premier temps, nous décortiquerons le rapport au chiffre entretenu par les randomistes (A). Celui-ci est vu comme le fondement de toute démarche scientifique, et en particulier de la méthode des expérimentations aléatoires, au point qu’il devient une fin en soi. En termes d’administration de la preuve, c’est bien le chiffre qui fait foi.

93Or, cette production de chiffres apparaît largement décontextualisée aussi bien en pratique que dans les publications académiques (B). Si les expérimentations aléatoires qui nous occupent ici sont bien, à la différence de celles en laboratoire, des expériences « de terrain », nous verrons que c’est d’une conception particulière du terrain dont il s’agit, bien loin de celle canonique en sciences sociales. Étant entendu que la méthode elle-même est présentée comme universelle, nul besoin de prendre en compte les particularités locales. C’est la raison pour laquelle le terrain est d’une certaine manière « tenu à distance ».

94De fait, la réflexivité varie suivant les traditions disciplinaires des différentes sciences sociales. En ce qui concerne la randomisation telle qu’actuellement pratiquée, elle est très réduite (C). Pourtant, cette méthode, ni plus ni moins que les autres, suppose, lors de sa traduction sur le terrain, divers arrangements dont il convient de rendre compte dans un cadre scientifique. Nous proposons ainsi une sorte de « sociologie de la quantification » appliquée aux expérimentations aléatoires.

95Cette faible réflexivité des randomistes s’explique en grande partie par un relatif désintérêt pour les méthodes qualitatives, et plus particulièrement pour leur caractère scientifique (D). Il y a bien du qualitatif sur le terrain, lorsque l’on observe le fonctionnement des expérimentations aléatoires. Mais il s’agit d’un qualitatif que l’on pourrait qualifier de « sauvage », car sans recours à une méthodologie sérieuse.

A. Le chiffre comme fondement de la preuve134

1. Au départ était le chiffre

  • 135  Conseil scientifique du FEJ, Guide méthodologique pour l’évaluation des expérimentations sociales, (...)

96Dans la littérature randomiste, comme dans les discours des chercheurs, les expérimentations aléatoires apparaissent comme le mode ultime d’administration de la preuve. C’est le chiffre qui fait foi, et plus particulièrement le chiffre « randomisé », c’est-à-dire issu d’une évaluation par assignation aléatoire. La hiérarchie des méthodes est clairement revendiquée : les quantitatives priment sur les qualitatives, et à l’intérieur des quantitatives, ce sont les expérimentations aléatoires qui dominent135. Ainsi, le Conseil scientifique du Fonds d’expérimentation pour la Jeunesse écrit très clairement dans son Guide méthodologique pour l’évaluation des expérimentations sociales :

  • 136Ibid., p. 1.

« Au sein des méthodes quantitatives, les approches les plus fiables sont les méthodes d’expérimentation contrôlée et randomisée qui reposent sur l’observation d’un groupe test et d’un groupe témoin ne bénéficiant pas du dispositif, ces groupes étant construits en y affectant les personnes par tirage au sort. Lorsqu’une expérience randomisée ne peut être envisagée, d’autres méthodes quantitatives peuvent être mobilisées qui consistent à tenter de reproduire artificiellement les conditions d’une expérience randomisée à l’aide de techniques statistiques adaptées aux caractéristiques de l’expérimentation136. »

97Les auteurs de ce rapport, très favorables à la randomisation (rappelons que ce Conseil est présidé par Marc Gurgand), emploient une image révélatrice :

  • 137Ibid., p. 8.

« La qualité de la preuve est, en quelque sorte, équivalente à celle d’un flagrant-délit pour une cour de justice, alors que les autres méthodes, qui mobilisent des données non expérimentales, reviennent à accumuler des présomptions de culpabilité sans jamais véritablement administrer la preuve de façon définitive. Certes, elles réduisent les marges d’erreur, parfois de façon très significative, mais elles sont toujours moins fiables qu’une évaluation randomisée. C’est la raison pour laquelle la bonne démarche évaluative est de chercher en premier lieu à construire une expérience contrôlée et à se replier sur une méthode non contrôlée en cas d’impossibilité137. »

  • 138C. B. Barrett et M. R. Carter, « The Power and Pitfalls of Experiments in Development Economics », (...)
  • 139Ibid., p. 528.

98Un « flagrant-délit » d’impact, c’est ce que permettraient d’obtenir les expérimentations aléatoires, là où les autres méthodes ne sauraient emporter la « conviction des juges » de manière si définitive. De fait, la croyance dans la supériorité de ce chiffre randomisé va de pair avec une délégitimation des autres formes de savoir138, nous y reviendrons. Puisqu’elles n’atteindront jamais le niveau de preuve de la randomisation, les autres méthodes sont dévaluées sur le plan scientifique. Elles seraient « moins » scientifiques (mais peut-on vraiment l’être « moins » sans risquer de ne pas l’être du tout ?) et le seul mode d’administration de la preuve légitime serait l’évaluation par assignation aléatoire139, comme l’explique une assistante de recherche :

« – Autrement dit, sur un cas précis, si l’on peut faire une évaluation randomisée, c’est ce qu’il y a de mieux à faire.
– Ouais, si l’on sait que l’on peut bien la faire. […] Non mais oui ça c’est démontré, c’est mathématique. T’as des méthodes qui reposent sur des hypothèses, et la seule méthode qui repose pas sur des hypothèses c’est celle-ci [la randomisation]. » (Entretien avec Ophélie, assistante de recherche).

99Cela se retrouve dans les articles, mais aussi dans les propos, y compris informels, tenus par les acteurs de la randomisation, témoignant ainsi de la pénétration de cette croyance dans le chiffre. Lors de notre passage sur le terrain, un assistant de recherche nous a ainsi rapporté des propos éclairants à ce sujet de Michael Kremer, l’un des chercheurs les plus en vue du J-PAL. Ce dernier le questionnait sur la thèse d’économie qu’il avait soutenue quelques années auparavant. Après que l’assistant de recherche lui en ait décrit le contenu, fort peu formalisé. Michael Kremer lui confia alors que ça avait l’air très intéressant, mais que « ce n’était pas de l’économie, mais de l’anthropologie. » Lors d’une grande session de formation organisée par le J-PAL à laquelle nous avons assisté, au Kenya, un assistant de recherche (aujourd’hui doctorant en économie dans une prestigieuse université américaine) nous a ainsi affirmé que Marx ne pouvait être considéré comme économiste, car ses travaux n’étaient pas suffisamment mathématisés.

  • 140  Frédéric Lebaron, La croyance économique. Les économistes entre science et politique, Paris, Seuil (...)
  • 141Daniel S. Hamermesh, « Six Decades of Top Economics Publishing: Who and How? », Journal of Economi (...)

100Dans les années 1990, l’économie dominante procédait à une forme de censure de fait par la dextérité mathématique requise pour lire et plus encore écrire dans les plus grandes revues d’économie américaines. La formalisation et les modèles mathématiques étaient alors valorisés. Aujourd’hui, l’empirie apparaît revalorisée par une partie du « mainstream »140 et la nature même de cette distinction a changé de forme. Pour les randomistes, il ne s’agit pas tant d’être expert dans l’utilisation des équations les plus complexes que d’adhérer à la méthode. La reconnaissance académique passerait ainsi de la maîtrise des outils mathématiques à l’adhésion à une hiérarchie des modes d’administration de la preuve. La prétention à faire de la science impose le recours aux méthodes quantitatives, et plus particulièrement à la randomisation, leurs adeptes revendiquant clairement le statut de « science » pour l’économie141.

  • 142Theodore M. Porter, Trust in numbers: the pursuit of objectivity in science and public life, Princ (...)
  • 143  Il se peut que subsistent des différences significatives entre les groupes. Par exemple, en tirant (...)

101L’attrait pour le chiffre n’est certes pas nouveau142, mais les randomistes franchissent une étape supplémentaire qui a vocation à clore le débat. Dans une optique similaire à celle adoptée, il y a un siècle, par les premiers théoriciens de l’utilisation du tirage au sort à des fins évaluatives, la randomisation est vue comme le stade ultime de l’évaluation par l’absence de biais de sélection qu’elle permettrait. Aucun modèle économétrique, aucun raffinement statistique ne saurait la dépasser, puisqu’avec une constitution aléatoire des groupes, elle permet de limiter « le plus possible » les différences entre eux143. L’expérimentation aléatoire serait la marche ultime sur le chemin de l’évaluation et le chiffre randomisé la version la plus pure qu’une production quantitative puisse fabriquer.

  • 144  Frédéric Lordon, « Le désir de “faire science” », Actes de la recherche en sciences sociales, 1997 (...)
  • 145  On le retrouve dans l’ensemble des sciences sociales, à commencer par la sociologie, dont on pourr (...)
  • 146  F. Lordon, « Le désir de “faire science” », op. cit.
  • 147Ibid., p. 32.
  • 148  Jean-Jacques Gabas, Vincent Ribier et Michel Vernières, « Introduction. La mesure du développement (...)
  • 149  Dans un entretien qu’il nous a accordé, Angus Deaton emploie très précisément cette expression.
  • 150T. M. Porter, Trust in numbers, op. cit.
  • 151Ibid., p. 8.

102Comment expliquer cet attrait pour le chiffre comme fondement premier de la preuve ? Sans doute cela a-t-il à voir avec ce que Frédéric Lordon appelle le « tourment de la scientificité144 » qui a longtemps hanté, jusqu’à aujourd’hui, les économistes145. Ce « désir de “faire science”146 » explique ainsi le développement d’une économie hautement formalisée : puisqu’il ne viendrait à personne l’idée de questionner le caractère scientifique des mathématiques, autant s’en inspirer pour l’économie. La « question des mathématiques » semble être considérée comme « [l’] attribut le plus hautement représentatif de la science.147 » Au-delà, il existe certainement une certaine « magie du chiffre148 » en matière de scientificité149, un « trust in numbers150 » qui facilite la « scientifisation de l’économie » et qui affiche une apparence de neutralité fort utile151.

103Cet attrait pour le chiffre n’est pas propre aux randomistes. Il traverse le champ de l’économie (au sens d’economics) depuis plusieurs décennies et s’inscrit même plus largement dans nos sociétés contemporaines qui le valorisent :

  • 152  Catherine Paradeise, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’effica (...)

« Nos sociétés en sont venues à considérer que la bonne information, celle qui procure une connaissance impartiale et non ambiguë de la réalité, est chiffrée sous la forme d’un ratio ou d’une note152. »

  • 153  PEPS-Economie, « L’enseignement de l’économie dans le supérieur : bilan critique et perspectives » (...)

104Les économistes sont aujourd’hui très largement socialisés par le chiffre. L’enquête menée par le collectif PEPS-Economie (Pour un Enseignement Pluraliste en Économie dans le Supérieur en Économie) sur les licences d’économie, à laquelle nous avons contribué, montre que les mathématiques et les statistiques constituent le premier ensemble de cours que reçoit un étudiant de cette filière, avec environ un cours sur cinq153. Nous avons coordonné la reproduction de cette enquête à l’international dans le cadre d’ISIPE (International Student Initiative for Pluralism in Economics), où treize pays étaient concernés, et nous avons abouti à des résultats qui convergent très largement en matière d’usage des mathématiques (avec une moyenne similaire à celle de la France). Comme le dit une assistante de recherche du J-PAL, elle-même titulaire d’un doctorat en économie :

« En tant qu’économiste forcément, en économie y a plus une croyance sur le chiffre que sur des éléments plus qualitatifs, donc tu vas toujours avoir un peu plus confiance dans le chiffre. » (Entretien avec Béatrice, assistante de recherche).

  • 154  Il existe une littérature extrêmement technique autour de ces questions, dont certains auteurs son (...)
  • 155  En toute rigueur, une simple soustraction entre les « outcomes » des deux groupes d’une expériment (...)
  • 156  Delphine Dulong, « Quand l’économie devient politique. La conversion de la compétence économique e (...)

105On reproche fréquemment à des articles de recherche de ressembler à des travaux de mathématiques alors que l’intérêt de recourir à d’une telle dose de formalisme n’apparaît pas évident, avec le risque de restreindre le public potentiel. La méthode développée par le J-PAL, comme sa présentation académique, évitent en partie de tels reproches. Sa force est d’utiliser des méthodes quantitatives solidement établies et documentées154, tout en rejetant une écriture trop formalisée. D’une certaine manière, les expérimentations aléatoires prennent les avantages de l’usage des mathématiques (et des statistiques) tout en laissant de côté les inconvénients. L’idée de faire deux groupes aléatoires afin de tester l’efficacité d’un « traitement » est largement accessible. Si tout le monde ne possède pas de bagage économétrique suffisant pour lire et comprendre les articles de recherche, l’« intuition scientifique » que dégage la méthode peut suffire à convaincre. Mais puisqu’à la fin on aboutit bien à des résultats chiffrés, c’est bien que l’on utilise des maths155, que l’on se situe du côté quantitatif. L’usage de la formalisation mathématique est d’ailleurs le plus souvent limité dans les articles. Pour les randomistes, celle-ci n’apparaît plus comme une fin en soi, alors que cela pouvait être le cas avec une génération d’économistes des années 1980-1990 qui construisaient à grand renfort d’équations des modèles théoriques, s’inscrivant dans un mouvement de mathématisation de l’économie, né dans l’après-guerre156. C’est la tension entre la facilité qu’il peut y avoir à saisir la démarche et la difficulté qu’il y aurait à la critiquer qui fait la force des expérimentations aléatoires.

  • 157  Albert Ogien, Désacraliser le chiffre dans l’évaluation du secteur public, Versailles, Quae, 2013, (...)

106Ainsi revêtu des attributs de la science, le laboratoire d’Esther Duflo convainc non seulement de nombreux économistes, mais également un public plus large, rassuré de voir une économie qui soit à la fois si compréhensible et si scientifique, puisque « le chiffre possède une force de conviction qui désarme toute critique157. » Frédéric Lebaron pointe justement que :

  • 158  F. Lebaron, La croyance économique. Les économistes entre science et politique, op. cit., p. 131.

« […] L’inventivité n’est pas seulement mathématique (même si l’application de nouveaux outils, plus puissants, procure potentiellement un crédit supplémentaire) : l’originalité se définit d’abord par la capacité à imposer une nouvelle représentation formalisée d’un phénomène ou d’un mécanisme économiques158. »

  • 159A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and m (...)

107L’originalité de ce que Lebaron appelle la « représentation », qui est aussi un atout, tient ici justement à son caractère faiblement formalisé. C’est toute l’intelligence des randomistes : renoncer à une formalisation excessive qui était à maints égards devenue une fin en soi159 sans renier les fondements mathématiques, être clair et accessible tout en ayant de hautes prétentions scientifiques.

2. La production de chiffres comme fin en soi

108Puisqu’il faut « faire science », alors, pourrait-on dire, il faut des chiffres. Et pour faire de la bonne science, il faut des chiffres randomisés. Comme le note Frédéric Lordon :

  • 160  Lordon ajoute néanmoins que cette lecture de Kant est en réalité tronquée. F. Lordon, « Le désir d (...)

« Tout à leur inquiétude de faire science, les économistes se sont laissé obnubiler par cet avis de Kant selon lequel “dans toute théorie […] il n’y a de scientifique au sens propre du terme que la quantité de mathématique qu’elle contient”160. »

109Les randomistes, comme une bonne partie de la profession, ne semblent jurer que par une approche par les chiffres, à tel point que l’on peut parler d’un « habitus quantitatif ». Mais leur originalité, qui explique en partie leur succès, est qu’ils contournent cette « fermeture au réalisme », reprochée à bon nombre de leurs confrères.

  • 161  F. Lebaron, La croyance économique. Les économistes entre science et politique, op. cit., p. 8.

110Le « réel » est d’une certaine manière (et d’une manière bien particulière, nous y reviendrons), remis au centre de leur questionnement. En effet, l’« anxiété de la perte du trésor de la science », pour reprendre la phrase conclusive de Frédéric Lordon, aboutit à un réalisme limité. Certes, nous dit Lebaron, « la première caractéristique de l’économie est, sans aucun doute, qu’elle se donne publiquement comme une “science”161. ». Au « tourment de la scientificité », les randomistes répondraient par un « tournant de la scientificité », tournant opéré à l’aide de la randomisation et qui mettrait un point final en matière d’évaluation.

  • 162  Voir par exemple ses deux ouvrages majeurs : Thomas Piketty, Les hauts revenus en France au xxe si (...)

111Cette obsession du chiffre à des fins d’administration de la preuve n’est pas observable que chez les randomistes. Elle est très largement présente chez un grand nombre d’économistes, à une époque où dans la discipline sont revalorisées des approches plus empiriques et le travail sur données, à l’instar des travaux de Thomas Piketty162. Pour autant, elle revêt un aspect particulier puisque les randomistes prétendent qu’avec leur méthode, ils se situent en haut de la hiérarchie des preuves et sont à même, par les chiffres qu’ils produisent, d’apporter des réponses de la plus haute qualité scientifique. La méthode qu’ils promeuvent ne supprime pas les biais de sélection, elle les limite au sens où l’on ne peut pas concevoir plus efficace en la matière. Si le chiffre était un prince de la preuve, avec l’aléatoire il en devient le roi.

112Dès lors, le chiffre, fondement de la preuve, est recherché pour lui-même, et les propos de Frédéric Lordon peuvent être lus en remplaçant la mathématique par le chiffre :

  • 163  F. Lordon, « Le désir de “faire science” », op. cit., p. 32.

« D’instrument qu’elle n’aurait jamais dû cesser d’être, maniée à des fins imposées d’ailleurs, la mathématique est devenue un emblème, un signe de science dont la réaffirmation s’est subordonnée à l’élaboration théorique là où on aurait attendu de lui qu’il ne fît que la servir. Brandi à la face des profanes et des mécréants, le signe doit impressionner au-dehors autant qu’il a vocation à rassurer au-dedans163. »

113Les chiffres suffisent à l’administration de la preuve :

  • 164  J.-J. Gabas, V. Ribier et M. Vernières, « Introduction. La mesure du développement : comment scien (...)

« La production de chiffres et d’indicateurs devient l’élément central d’un gouvernement par les résultats, avec des conséquences diverses. L’atteinte de résultats chiffrés devient une fin en soi au détriment des objectifs de développement que cet indicateur était censé mesurer et des débats politiques que ces chiffres auraient pu nourrir164. »

  • 165  A. Ogien, Désacraliser le chiffre dans l’évaluation du secteur public, op. cit., p. 74.

114Il nous faut maintenant nous atteler à « désacraliser le chiffre165 », pour reprendre l’expression d’Albert Ogien en essayant de mettre au jour les ressorts de sa production comme élément de preuve.

B. Une production de chiffres décontextualisés qui menace la validité interne

1. Une présence sur le terrain revendiquée et appréciée

115Le terrain occupe une place particulière dans les discours de tous ceux qui participent aux expérimentations aléatoires, que ce soit les chercheurs ou les assistants de recherche. Beaucoup mettent en effet en avant le côté « terrain » comme un progrès par rapport aux expériences de laboratoire, par rapport aux autres économistes ou par rapport aux pratiques antérieures en économie :

« On va beaucoup plus sur le terrain qu’autrefois. » (Entretien avec Octave, chercheur).

« Je me disais qu’y a quand même un avantage par rapport à une évaluation – par les économistes j’entends – d’impact qui se fait avec d’autres méthodes, c’est que pour le coup on travaille vraiment avec les gens qui sont sur le terrain, qui mettent en place le programme. » (Entretien avec Ophélie, assistante de recherche).

116En tant que tel, ce « rapprochement » du terrain peut être apprécié tout à fait positivement, comme le note Agnès Labrousse :

  • 166  A. Labrousse, « Nouvelle économie du développement et essais cliniques randomisés », op. cit., p.  (...)

« [Les randomistes] introduisent du réalisme et de la concrétude dans l’économie mainstream du développement, une concrétude qui faisait largement défaut jusque-là. En rupture avec le projet des années 1970-1980 d’une généralisation par l’axiomatique de la théorie de l’équilibre général, ils font à nouveau de l’économie une méthode où l’observation joue un rôle crucial166. »

117Le « réalisme » et l’« observation » doivent néanmoins être relativisés, comme nous le verrons par la suite. Présenté comme un avantage de leur méthode, le « terrain » est apprécié par la plupart des chercheurs.

  • 167  Nous développerons plus loin.

118Leur présence sur les lieux où se déroulent les expérimentations reste un sujet de débat. S’ils disent faire du terrain, les assistants de recherche reprochent à leurs supérieurs de ne pas en faire assez. « Faire du terrain » apparaît pourtant, paradoxalement pourrait-on dire167, comme valorisé et valorisant aux yeux des chercheurs :

« Y a une chose que tout le monde fait, et je pense que c’est pas assez perçu, et ça distingue déjà les économistes qui font des expérimentations de certains autres économistes disons. C’est que l’on est forcément beaucoup sur le terrain […]. » (Entretien avec Mathieu, chercheur).

« Il faut observer, et pas seulement les assistants de recherche, mais nous aussi. Il faut observer sur le terrain […] » (Entretien avec Lucas, randomiste).

119À l’inverse, selon certains assistants de recherche, qui sont sur place, les chercheurs qui encadrent les expérimentations aléatoires dont ils ont la charge viennent trop peu, en tout cas selon la fréquence qu’ils jugent nécessaire. Tel assistant de recherche n’a jamais vu sur le terrain un chercheur qui dirige une expérimentation. Tel randomiste se rend quelques jours sur place, mais uniquement dans les locaux du laboratoire sur place et non dans les villages où a lieu l’expérimentation.

120Les propos recueillis, que ce soit du côté des assistants de recherche ou des chercheurs, ne sont pas représentatifs de l’ensemble de la communauté du J-PAL. Il apparaît néanmoins une diversité dans la fréquence des séjours sur le terrain. La moyenne pourrait être de l’ordre d’une semaine par an, mais elle connaît des variations.

121De plus, quelques chercheurs ont été auparavant eux-mêmes des assistants de recherche, ce qui leur offre une connaissance plus fine du terrain, particulièrement appréciée par leurs assistants. C’est par exemple le cas de Pascaline Dupas, qui a été l’une des premières à occuper cette fonction, au Kenya. Dean Karlan et Benjamin Olken, parce qu’ils ont été basés dans des pays où ils ont lancé ensuite des expérimentations aléatoires, passent pour connaître particulièrement bien leurs terrains d’intervention. À l’inverse, les assistants de recherche peuvent être critiques envers ceux qui ne sont pas passés « par le terrain ».

2. Des « traitements » pas toujours bien connus

  • 168  Comme on peut le faire en sociologie par exemple : Philippe Bourgois, En quête de respect. Le crac (...)

122Il existe donc un éloignement relatif du terrain de la part des randomistes : éloignement si on les compare à des chercheurs d’autres disciplines, comme la sociologie ou l’anthropologie, ou si l’on se réfère à d’autres approches méthodologiques, mais éloignement relatif si l’on pense à d’autres économistes. Quoiqu’il en soit, aucun randomiste ne reste de manière continue sur le terrain, en s’y installant par exemple168.

  • 169M. Bamberger et H. White, « Using Strong Evaluation Designs in Developing Countries », op. cit., p (...)

123Cette option épistémologique – qui consiste à « laisser » le terrain, en le déléguant aux assistants de recherche et en n’en faisant pas un point nodal de la démarche – a des implications très concrètes, en particulier concernant le « traitement ». Aussi clair puisse-t-il l’être en théorie, c’est-à-dire au moment du design, sa traduction sur le terrain peut s’en éloigner, car il faut alors composer avec les « réalités du terrain », faites d’obstacles, de négociations, d’arrangements… Comme le notent Michael Bamberger et Howard White, l’une des difficultés de ce genre d’expérimentations est précisément de savoir en quoi a réellement consisté le « traitement169 ».

124Ainsi, certains chercheurs n’ont pas une idée très claire du programme testé. C’est parfois même le cas pour certains assistants de recherche :

« – Par exemple sur cette évaluation en particulier des permis de conduire, est-ce que vous êtes allés voir comment ça se passait entre un conseiller et un jeune, est-ce que vous avez assisté à des entretiens comme ça ?
– Alors ça moi personnellement non. » (Entretien avec Nadège, chercheuse).

« On ne sait pas trop ce qui se passe [à propos du “traitement”]. » (Entretien avec Octave, chercheur).

« – Est-ce que par exemple vous par exemple vous êtes allés voir comment se passait un entretien […] ?
– Oui alors on a été invité plusieurs fois. [Mais] on n’a jamais vu un entretien réel. » (Entretien avec Martin, chercheur).

« Par exemple j’avais demandé à [un assistant de recherche d’un projet]... Le traitement qui était évalué c’était une formation […]. Moi j’en savais pas beaucoup plus alors j’ai dit : “comment ça se passe ? Les formations, elles sont données à quelle fréquence ?” Et ça ils savaient pas. Ils savaient pas de quelle manière était dispensée la formation, et ça ça m’a paru... J’étais un peu gênée en fait. » (Entretien avec Olivia, stagiaire).

125Beaucoup d’assistants notent toutefois qu’ils connaissent pour la plupart bien mieux le « traitement » que les chercheurs qui dirigent le projet et, au-delà, le terrain. Ils sont particulièrement critiques sur cette méconnaissance du programme qui est réellement testé (et non de celui qui était prévu) :

« – Est-ce que [les chercheurs] sont allés voir sur le terrain comment [était le traitement] ?
– Alors le traitement lui-même je pense pas qu’ils aient assisté à quoi que ce soit. Le traitement était fini quand ils ont commencé à dire qu’ils aimeraient bien faire un peu de terrain […]. Mieux vaut tard que jamais ! […] Du coup y a des trucs qui leur échappent. » (Entretien avec Brigitte, assistante de recherche).

« On sait même pas ce qui se passe. » (Entretien avec Kenza, assistante de recherche).

126Cette connaissance du « traitement » est elle-même fondamentale, comme le relève Brigitte. Il ne s’agit pas d’assister à sa mise en œuvre afin de donner de la « chair », pour reprendre le terme d’un randomiste, à la description que l’on fera dans les publications futures, mais bien de savoir ce que l’on évalue en pratique, et non plus en théorie :

« – Mais du coup en fait […] dans ces réunions, ni toi, ni les chercheurs n’y assistaient en fait.
– Non, personne n’y assistait.
Donc on sait pas trop [ce qu’a été précisément le traitement] ?
– On sait pas. On sait pas. » (Entretien avec Kenza, assistante de recherche).
« – Et juste dernière question parce que ça c’est difficile de trouver des documents dessus, juste en dernier, tu peux me dire un peu précisément en quoi consistait le traitement, qu’est-ce qu’on leur apprenait, comment ça se passait dans la pratique, etc. ?
– […] Je sais pas y avait un volet coaching, un volet cours de comptabilité, y avait des forums et ils les mettaient en relation. Ça aussi putain... Ça je sais pas dans quelle mesure les chercheurs ont eu un impact dans la manière dont ce truc-là s’est fait. C’était genre ils font, ils organisent leur trajet de leur petit village complètement pourri, enfin complètement isolé disons très pauvre etc., jusqu’à [une grande ville] où ils les mettent dans un super hôtel pendant 3 jours. Tu vois... Genre, il est où le traitement là-dedans ? Les types le seul truc dont ils se souviennent c’est “c’était super, l’hôtel il était incroyable”. » (Entretien avec Brigitte, assistante de recherche).

127Ce dernier exemple illustre bien le problème que sous-entend le manque de caractérisation du « traitement ». Beaucoup ayant un rapport trop distant au terrain, les randomistes ne sont pas toujours à même de savoir précisément « ce qui s’y passe » sur le terrain, notamment en quoi consiste le « traitement » concrètement. Dès lors, qu’évalue-t-on ?

« – Tu crois pas aux résultats ?
– Non. Parce que tu te dis qu’y a pas eu de... Bah, tu sais même pas ce que t’évalues, parce que tu sais pas le contenu [du traitement]. » (Entretien avec Kenza, assistante de recherche).

128Cette question renvoie à la validité interne, c’est-à-dire à la capacité d’un dispositif expérimental à mesurer précisément les effets du « traitement » (à distinguer des effets qui auraient une autre origine, comme le contexte par exemple). C’est justement censé être le point fort de la randomisation, celui qui permet de la placer en haut de la hiérarchie des preuves. Or, à bien y regarder, dans un certain nombre de cas, la connaissance du « traitement » ne paraît pas suffisante pour documenter de manière suffisamment précise le programme évalué. Les cas que nous avons relevés n’ont pas prétention à être représentatifs, et encore moins à être exhaustifs (il aurait fallu investiguer plus de 700 projets…), mais ils ont le mérite de souligner l’un des problèmes soulevés par une prise en compte trop distante du terrain et de ses particularités. Dès lors, les « numbers » produits par les expérimentations aléatoires ne paraissent pas si « hard » que cela, et il convient de relativiser la supériorité de la preuve qu’ils permettent dans l’identification des effets d’un programme. Si l’on ne sait pas jusque dans ses détails le programme appliqué, sait-on vraiment de quoi l’on parle ?

3. Les réalités du terrain parfois négligées

129Au-delà de la caractérisation du « traitement » lui-même, les « réalités du terrain » semblent parfois négligées, c’est-à-dire les conditions de mise en œuvre d’une expérimentation, le contexte où elle s’inscrit, la manière de procéder, etc. Les assistants de recherche relèvent des indices leur donnant à penser que les chercheurs qui dirigent les expérimentations sont bien souvent éloignés de ces contraintes. Leur présence en permanence dans les pays dans lesquels se déroulent les expérimentations (ils y séjournent au moins une année) leur rend facilement perceptible ce « décalage » des chercheurs :

« Ça c’est un des trucs qui m’a le plus interpellé, c’était le rapport au terrain des économistes qui n’ont pas du tout l’habitude du terrain et qui eux se permettaient d’arriver là et de dire “ben voilà, nous, on est l’École d’Économie de Paris, on veut telles données et vous nous les donnez quoi”. » (Entretien avec Kenza, assistante de recherche).

« La principale elle gère une bagarre d’un côté, elle gère un truc et finalement elle a cinq minutes à elle dans son bureau [et on lui dit] : “il nous faut absolument les avertissements de conduite”. C’était décalé par rapport à leur réalité. » (Entretien avec Kenza, assistante de recherche).

« Souvent ce que les [assistants de recherche] reprochent, en tout cas moi c’est ce que je reprochais, c’est que les [chercheurs] ont pas forcément la vision des obligations du terrain. » (Entretien avec Adrien, assistant de recherche).

« Y avait un côté, ils étaient vraiment pas très proches de leur terrain. Je pense ça c’est une vraie limite quoi. Tu te dis y a un moment [un chercheur en vue du laboratoire] qui a jamais foutu les pieds là-dessus et qui répondait mais complètement à côté de la plaque à nos questions. » (Entretien avec Brigitte, assistante de recherche).

  • 170  Aurélie Quentin et Isabelle Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet (...)

130Ce décalage avec le terrain (que soulignent également Aurélie Quentin et Isabelle Guérin170) en rejoint un autre, avec les questionnements et les attentes des assistants de recherche. La communication peut être rendue difficile à cause de cette perception différente de l’expérimentation (si l’on simplifie, l’une étant théorique, l’autre étant pratique), et cette dernière risque de voir son intérêt amoindri. Pour donner deux exemples :

« Tu les interroges. Après au bout d’un moment ils font la gueule parce que l’enquête dure 3 heures. Ils avaient fait une enquête super longue. […] Dans [d’autres] pays, je crois que […] ça a été jusqu’à 5h. […] Ça dépend aussi du niveau d’éducation des gens. [Dans le pays], y a la moitié des gens qui savent pas lire ou écrire. À la campagne c’est 80 %. Donc là ça prend énormément de temps quand il faut expliquer chaque mot. Même en dialecte [local], ils comprennent pas. S’ils vont à la banque, ils connaissent pas forcément le mot pour “intérêt”. » (Entretien avec Noé, assistant de recherche).

« Quand tu leur poses des questions sur leur chiffre d’affaires et qu’y a deux vaches, une chèvre, tu vois, tu te dis, c’est vraiment un truc qui a été dessiné dans des laboratoires américains et qui est pas en phase avec le terrain, c’est pas possible quoi. Y a des fois t’es un peu écœurée, tu te dis, on peut pas traduire ça en chiffres, t’en peux plus d’essayer de savoir dans quelle case ça rentre et d’unifier auprès de tes 35 enquêteurs la manière de poser la question. Est-ce que la chèvre est un capital fixe ou un stock ? T’en sais rien au final. » (Entretien avec Brigitte, assistante de recherche).

131Cette question sur les chèvres comme capital fixe, loin d’être anecdotique, illustre cette distance au terrain. Là où dans un contexte académique la question conserve une certaine pertinence, elle apparaît totalement déplacée dans le cadre rural de ce pays africain. On voit déjà poindre ici une tension, sur laquelle nous reviendrons plus loin, entre d’un côté l’expérimentation comme possibilité de test d’une hypothèse théorique et d’un autre côté l’expérimentation comme test d’un programme à même de favoriser le développement. Cet exemple met également en avant la place, ou plutôt l’absence de place, de ceux que l’on pourrait appeler les « enquêtés » (par défaut, car ils ne sont généralement pas nommés en tant que tels). L’incompréhension des questions que l’on leur pose renvoie en miroir à l’absence d’intérêt, voire à l’agacement comme dans ce projet, qu’ils éprouvent à l’égard d’expérimentations qui ne sont pas faites, de toute évidence, pour eux. Or, comme l’écrit Grégoire Chamayou à propos de la médecine, reprenant des propos d’Auguste Chomel :

  • 171  G. Chamayou, Les corps vils, op. cit., p. 206.

« Avant de mettre en œuvre un essai thérapeutique, il faut effectuer un examen préalable des trois objets qui le constituent. Le médecin qui fait une expérimentation doit en effet “connaître le remède dont il veut apprécier les effets, le sujet sur lequel l’expérimentation doit avoir lieu, et la maladie contre laquelle le remède est essayé”171. »

132À titre d’illustration, on relève les questions suivantes dans un questionnaire, faisant une quarantaine de pages et comptant des centaines de questions, issu d’une expérimentation en Afrique rurale :

« Avez-vous actuellement des stocks de produits finis dans votre entreprise ? Est-ce que la production de vos produits/services utilise des capitaux fixes ? Quel est l’encours actuel des créances commerciales ? »

  • 172  Michel Gollac, « Des chiffres insensés ? Pourquoi et comment on donne un sens aux données statisti (...)

133En essayant de s’approcher de ce qui se passe sur le terrain à travers ceux qui sont le plus à même de nous répondre, à savoir les assistants de recherche, on s’aperçoit qu’il existe un certain flou que l’on pourrait qualifier de « téléphone arabe méthodologique ». La division du travail, pensée par les randomistes, aboutit à une relative déconnexion du terrain, problème qui se rencontre ailleurs dans la démarche statistique, où la sous-traitance est fréquente172. Il s’agit bien de mettre le terrain à distance, comme si les particularités qui ne manqueraient pas de surgir à l’étudier de trop près allaient risquer de fausser l’universalité de la méthode. Puisque celle-ci peut s’appliquer partout et tout le temps, pourquoi donc s’intéresser au terrain ? Quel intérêt y aurait-il à contextualiser des résultats alors que la méthode noie toute différence dans le tirage au sort de deux groupes ? Sans doute parce qu’en réalité, il y a des frottements, des ajustements, des arrangements. Normaux et systématiques dans chaque enquête, ils doivent être documentés et investigués, sous peine de ne pas réellement saisir « ce qui se passe », et au risque de ne plus faire des « randomized controlled trials » mais des « randomized out of controlled trials », comme le note un assistant de recherche :

« Alors que la vérité derrière tout ça, c’est moi ce que j’appelais ça une ROCT : “randomized out of control trials”, parce que si tu prends la chaîne entre le [chercheur], c’est-à-dire la tête de l’économiste à Harvard, et le paysan qui réagit à l’intervention et qui va donc répondre au questionnaire, la cascade elle est monstrueuse, personne ne comprend rien, c’est complètement “out of control”, t’imagines, le [chercheur] il me parle, le [chercheur], lui, il pense à quelque chose, c’est même pas sûr qu’il le restitue bien en anglais, que sa parole le restitue bien, après c’est même pas sûr que moi qui suis [non anglophone de naissance] comprenne réellement ce qu’il a voulu dire, après moi je mets en place quelque chose que j’explique à un [chef enquêteur] qui est même pas [du même pays que moi], donc je lui parle même pas [dans ma langue], je lui parle dans une langue qui est même pas... Donc t’imagines le nombre de bruits qui y a dans le signal. [Le chef enquêteur] fait la même chose face à ses [enquêteurs de terrain] et [l’enquêteur de terrain] va voir un mec sur le terrain qui parle une langue locale qui n’est même pas [la langue officielle du pays]. » (Entretien avec Adrien, assistant de recherche).

  • 173Voir par exemple : A. V. Banerjee et E. Duflo, Poor Economics: A Radical Rethinking of the Way to (...)
  • 174  François-Régis Mahieu, « Abhijit Banerjee et Esther Duflo, 2011, Repenser la pauvreté », Éthique e (...)

134Notons que ce relatif éloignement du terrain – relatif car le terrain occupe une place centrale dans la démarche, éloignement car il est toujours tenu à distance – constitue une évolution au sein de l’économie du développement. À l’époque où dominait une certaine vision hétérodoxe, avec des économistes comme Albert Hirschman ou Gunnar Myrdal, la prise en compte du contexte était jugée particulièrement importante. On ne retrouve pas ce réflexe de contextualisation chez Esther Duflo et ses collègues, qui s’inscrivent dans la tendance de l’économie « mainstream » à la recherche de lois universelles, au détriment de la mise en avant de particularités. À titre d’illustration, on peut relever la référence – l’une des rares à l’anthropologie – à Claude Meillassoux (qu’on peut interpréter comme un souvenir de sa classe de khâgne « Lettres et sciences sociales au lycée Henri IV), qui revient régulièrement sous la plume de Esther Duflo173, mais qui semble être utilisé bien maladroitement, à en juger les propos de François-Régis Mahieu, un économiste spécialiste de l’Afrique174.

4. Une conception épistémologique qui met le terrain à distance

135Ce que révèlent la lecture des articles relatant les expérimentations aléatoires et les entretiens que nous avons pu réaliser, c’est que cette distance au terrain traduit une conception épistémologique, souvent implicite d’ailleurs, de la place qui doit être celle du terrain en économie. De fait, si les expérimentations aléatoires sont bien des expérimentations « de terrain », tout l’enjeu est de savoir de quel terrain il s’agit. Les randomistes lui donnent un sens bien particulier qu’il est considéré par les randomistes, et comme ils le reconnaissent eux-mêmes, éloigné de celui des sociologues :

« – Justement vous dites “ce qui est intéressant, c’est quand on va sur le terrain”, c’est quelque chose que font pas tous les économistes.
– Que fait personne, soyons sérieux.
– Chez les économistes.
– Chez les économistes. Évidemment, les sociologues en font, c’est normal, c’est leur métier. » (Entretien avec Stéphane, chercheur).

« Parfois on va sur le terrain vraiment, voir [comment ça se passe]. Moi je l’ai fait à X. Mais on n’y est pas 24h/24, on peut pas dire que l’on a fait vraiment une observation participante comme un sociologue peut le faire. » (Entretien avec Octave, chercheur).

« On discute avec eux, on fait cet exercice, qui évidemment vaut absolument pas ce que ferait un sociologue en allant sur le terrain, qui est plutôt quelque chose qui nous sert nous à avoir une idée d’ensemble de ce que c’est que ce dispositif, de l’ambiance, de comprendre un peu ce qui se passe. On se livre pas à un exercice approfondi de travail sur le terrain comme vous vous feriez. C’est pas notre métier et on cherche pas à le faire. » (Entretien avec Nathan, chercheur).

« Le terrain en économie est complètement différent du terrain socio ou anthropo. Ce n’est pas pareil. » (Entretien avec Béatrice, assistante de recherche).

136Il ne s’agit pas pour nous de prendre part à un débat théorique sur l’épistémologie de l’économie ou des sciences sociales en général, mais plutôt de rendre compte comment les options épistémologiques des randomistes, consistant à tenir le terrain à distance en le « sous-traitant », sont à même de limiter l’intérêt des expérimentations aléatoires elles-mêmes. En se privant des moyens de saisir le déroulement pratique d’une expérimentation et d’agréger des éléments de contexte, on risque de manquer d’éléments de compréhension. Cette vision qui voudrait que le terrain, en lui-même, n’aurait pas d’intérêt pour les économistes est particulièrement naïve. Loin d’être propre aux randomistes, elle est vraisemblablement partagée par une grande partie de la profession. Pour autant, dans leur champ d’intervention, l’évaluation des programmes dans les pays riches et plus encore celle de projets de développement, le terrain ne peut être à ce point négligé. Les randomistes se trouvent ainsi démunis, comme le dit un chercheur :

« C’est un échec qui vient du fait que l’on saisit mal le terrain parce que le terrain ne nous dit pas comment ça fonctionne. » (Entretien avec Octave, chercheur).

137S’il a quelque chose à dire, le terrain devrait en quelque sorte parler de lui-même. Les randomistes, dans une approche presqu’exclusivement quantitative (sur laquelle nous allons revenir) ne se donnent guère les moyens et les outils pour voir ce que l’on peut « tirer » du terrain. À ce titre, ils apparaissent au milieu du gué. Si l’on peut parler de progrès avec un pas intéressant fait vers le terrain, le chemin semble avoir été à moitié parcouru.

138À ce stade, le terrain est perçu comme purement utilitaire. Il n’est donc pas considéré comme potentiel pourvoyeur de connaissances à part entière, à même de contextualiser les résultats obtenus à l’aide de la randomisation :

« – Quand tu dis que tu pars sur le terrain avec eux, ça consiste en quoi ?
– En gros c’est pour contrôler, vérifier qu’ils ont bien compris les questionnaires et tout, moi je rejoignais une équipe et je restais trois-quatre jours avec eux, et donc on était dans leur 4x4, et je faisais le trajet avec eux sur le terrain, je contrôlais, et le soir on débriefait, etc. » (Entretien avec Bettina, assistante de recherche).

  • 175  « - Sur le terrain, que faites-vous ?

« – On the field, what are you doing ?
– It depends. So, for example my last visit to X involved training our field staff on the health protocol [...] and some meetings with the ministry of health. In general, just to give some feedbacks to our staff members175. » (Entretien avec Noémie, chercheuse).

« [Telle chercheuse] elle est venue, elle est venue une fois avec moi [sur le terrain], pour nous aider à mettre en place le truc quoi. Mais c’est tout. Pas pour réfléchir au terrain, observer, voir comment ça se passe. Non. » (Entretien avec Kenza, assistante de recherche).

139Aller sur le terrain, c’est donc essentiellement aller « contrôler » le déroulement de l’expérimentation, afin, précisément, que le terrain ne « perturbe » pas les données. Des réunions sont organisées avec les enquêteurs de terrain, ainsi que des entretiens plus longs avec les assistants de recherche. Souvent, les chercheurs vont même dans les villages, à titre d’exemple, pour avoir un aperçu. La démarche n’est cependant pas de s’intéresser au terrain en lui-même, mais de faire en sorte que l’expérimentation se passe bien d’un point de vue technique, presque logistique. Le terrain au sens des randomistes se limite donc le plus souvent aux bureaux locaux du laboratoire, éventuellement agrémenté d’une excursion dans les zones où le « traitement » est appliqué. Comme nous l’écrivions dans un article :

  • 176  A. Jatteau, « Expérimenter le développement ? Des économistes et leur terrain », Genèses, 2013, vo (...)

« Dans l’acception des randomistes, le “terrain” correspond à un espace défini où l’objectif ultime n’est aucunement de faire de l’ethnographie, mais bien de recueillir des données auprès des individus qui participent à une expérimentation afin de produire des résultats chiffrés. Il n’est donc jamais abordé dans une optique socio-anthropologique. Autrement dit, le terrain s’apparente à ce que l’on pourrait appeler un “terrain de jeu statistique”. En y allant, ou plutôt en y envoyant un assistant de recherche, ce que souhaitent les randomistes, c’est arriver à construire une base de données176. »

140Ainsi, quand Adrien, un assistant de recherche, dit qu’il a « rarement vu un truc plus de terrain qu’une RCT en fait », c’est révélateur de ce qu’est un terrain pour bon nombre d’acteurs des expérimentations aléatoires. Le sens est technique et géographique : le terrain, c’est la terre, celle où l’on met les pieds. Faire du terrain, c’est poser le pied là où se déroulent les expérimentations, sans véritable réflexivité.

C. Une réflexivité réduite

1. Une faible réflexivité qui ne permet pas de saisir les « bricolages »

141Dans toute enquête, la réflexivité, au sens de retour sur ses pratiques, permet de mieux saisir comment celles-ci, par les nécessaires ajustements qu’elle implique, influencent le protocole que l’on s’est fixé et, partant, les conclusions que l’on peut en déduire. Plus généralement, les finalités de la démarche réflexive sont les suivantes :

  • 177  Séverin Muller, « Le rapport idéologique au terrain. La normalisation du travail par la règle sani (...)

« Les intentions sont multiples et on peut les énumérer sans souci d’exhaustivité : informer les lecteurs sur la genèse d’un intérêt pour le sujet ; objectiver le rapport subjectif entretenu avec celui-ci ; montrer que les résultats sont indissociables des méthodes et des modalités de recueil des données ; attester la rigueur de la démarche177. »

  • 178  Rémy Caveng, « La production des enquêtes quantitatives », Revue d’anthropologie des connaissances(...)

142Confrontés au terrain, les chercheurs adaptent leur méthodologie, divers « arrangements » sont trouvés. Mais mêlé à une certaine indifférence au terrain – au sens ethnographique du terme –, cela aboutit à une faible réflexivité178. En ce qui concerne les expérimentations aléatoires, on adapte la procédure de tirage au sort (en la rendant publique par exemple) pour essayer de dépasser les réticences des enquêtés, au risque de perdre en scientificité dans la procédure. On choisit tel indicateur, telle catégorie de population pour faire l’expérience. Or, toutes ces procédures ne sont pas neutres, car :

  • 179  J.-J. Gabas, V. Ribier et M. Vernières, « Introduction. La mesure du développement : comment scien (...)

« Toute mesure repose sur des choix, certes techniques au premier abord, mais dont les fondements dépendent de la conception de la société et des objectifs que lui assignent ceux qui élaborent ces indicateurs179. »

  • 180  Béatrice Hibou et Boris Samuel, « Macroéconomie et politique en Afrique », Politique africaine, 20 (...)
  • 181Ole Dahl Rasmussen, Nikolaj Malchow-Møller et Thomas Barnebeck Andersen, « Walking the talk: the n (...)
  • 182Ibid., p. 12.

143Il faut donc être attentif aux « effets de catégorisation180 », c’est-à-dire à l’existence de ce qui apparaît comme des « impacts », mais qui pourraient bien se limiter aux catégories que l’on mobilise pour les mesurer. Les indicateurs mobilisables peuvent être nombreux pour un même programme et, vu le seuil de significativité généralement considéré (5 %), les chances sont élevées pour trouver, parmi la batterie de chiffres disponibles, des résultats « significatifs ». Ces « manipulations », qu’elles soient conscientes ou non, doivent être considérées à la lecture de résultats où d’autres indicateurs auraient été possibles181. L’existence de choix possibles entre différents indicateurs disponibles n’est pas propre aux expérimentations aléatoires. Cependant, la part d’implicite qu’ils contiennent – ils sont rarement discutés pour eux-mêmes – complique leur prise en compte. Rasmussen et ses co-auteurs (qui ne font pas partie du J-PAL) proposent de mettre en place un annuaire des expérimentations aléatoires, en indiquant tous les indicateurs envisagés ex ante et ceux utilisés ex post pour mettre en valeur les éventuelles « data mining » qui permettraient de faire apparaître des résultats182, comme pour les essais cliniques.

  • 183  Morten Jerven en souligne l’importance pour les données macroéconomiques. Voir Morten Jerven, Béat (...)

144La réflexivité doit ici également être pensée vis-à-vis des pratiques qui sont propres au(x) terrain(s). Ceux-ci sont souvent éloignés des lieux de vie et de travail des chercheurs, et ces derniers entretiennent, comme on l’a vu, une certaine distance à l’égard du terrain. À ce titre, le travail de contextualisation apparaît incontournable183, d’autant que les terrains peuvent être lointains, comme en Afrique :

  • 184  B. Hibou et B. Samuel, « Macroéconomie et politique en Afrique », op. cit., p. 15.

« La difficulté est en revanche exacerbée dans des contextes éloignés des “cadres sociaux” dans lesquels les concepts ont été élaborés : ainsi, des taux de chômage en Afrique peuvent être calculés, publiés et utilisés conformément aux théories économiques, même si les proportions d’emploi salarié sont si faibles que le taux n’a qu’un lien ténu avec une réalité économique intuitivement perceptible184. »

145Le travail de contextualisation est souvent réalisé par les randomistes, dans le début de leur article, mais il s’agit d’une contextualisation particulière, qui se borne le plus souvent à une description de l’environnement institutionnel autour de l’expérimentation. On présente le fonctionnement du système scolaire du pays, on donne quelques statistiques sur les agriculteurs de la région, etc. Mais la réflexion ne porte pas véritablement sur le terrain lui-même, en lui-même et pour lui-même, en l’absence d’outils qualitatifs rigoureux.

  • 185  R. Caveng, « La production des enquêtes quantitatives », op. cit., p. 71.

146La réflexivité concernant les acteurs de l’enquête, en premier lieu les enquêteurs de terrain, est traitée généralement de façon partielle car quantitative. Le fameux « effet enquêteur », bien connu des assistants de recherche comme des chercheurs, et qui veut qu’un enquêteur en particulier, par la manière qu’il a de poser les questions lors du recueil de données, a des chances de biaiser les réponses, n’est appréhendé que par une variable supplémentaire dans la régression linéaire. Il n’est pas question d’aller voir « de plus près » comment se déroulent les interactions entre les enquêteurs et les enquêtés. Celles-ci apparaissent « captables » par le modèle de régression sur lequel s’appuient presque tous les articles relatant des expérimentations aléatoires. Or, les travaux sur cette question montrent à quel point les enquêteurs peuvent être amenés à « s’arranger », en adaptant les questions, en ne lisant pas toutes les réponses, voire parfois en y répondant eux-mêmes, en « bidonnant185 ». Il ne s’agit pas seulement d’un « effet enquêteur » mais d’un « effet des enquêteurs ». On retrouve pour les randomistes ce que Rémy Caveng dit à propos des instituts de sondage :

  • 186Ibid., p. 67.

« Les écarts aux prescriptions sont donc essentiellement perçus comme des risques d’altération de la qualité des données et très rarement comme des contributions essentielles en termes de quantité et de qualité de l’information recueillie186. »

147C’est comme si loin d’être un allié dans la constitution de connaissances, cette « mise en pratique » agissait comme un ennemi. Les expérimentations aléatoires sont bien des expériences « de terrain », mais les randomistes agissent en bonne partie en faisant « comme si » elles étaient des expériences de laboratoire.

148La question de la réflexivité, centrale en sciences sociales et incontournables pour tout type d’enquête, revêt une dimension particulière pour les approches quantitatives, et l’on peut tout à fait reprendre les propos de Béatrice Hibou et Boris Samuel pour les appliquer à la production de chiffres randomisés :

  • 187  B. Hibou et B. Samuel, « Macroéconomie et politique en Afrique », op. cit., p. 14.

« Le calcul macroéconomique est par essence une somme indémêlable d’additions et d’arrangements avec un réel multiple et rétif à la synthèse. Le résultat est un bricolage qui dépend largement des ficelles employées pour mettre en nombre […]187. »

  • 188  Alain Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, (...)
  • 189  A. Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, op. (...)

149La sociologie de la quantification de Alain Desrosières offre un moyen de saisir cette production de chiffres et de la déconstruire pour mieux en saisir la portée, mais aussi les limites188. Selon sa formule désormais célèbre, « Quantifier, c’est convenir puis mesurer189 ». La mise à jour des « conventions d’équivalence » est indispensable, dès lors que l’on parle de chiffres, et plus encore quand on les construit :

  • 190  A. Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, op. (...)

« Le verbe quantifier, dans sa forme active (faire du nombre), suppose que soit élaborée et explicitée une série de conventions d’équivalences préalables, impliquant des comparaisons, des négociations, des compromis, des traductions, des inscriptions, des codages, des procédures codifiées et réplicables, et des calculs conduisant à la mise en nombre. La mesure proprement dite vient ensuite, comme mise en œuvre réglée de ces conventions190. »

  • 191  Avec les travaux du collectif Les autres chiffres du chômage par exemple.
  • 192  Jean Gadrey et Florence Jany-Catrice, Les nouveaux indicateurs de richesse, Paris, La Découverte, (...)

150Ce point est aujourd’hui largement connu et débattu dans certains domaines, que ce soit pour le chiffrage du chômage191 ou pour les indicateurs de richesses192. En matière de développement, un certain courant réfléchit sur ces questions depuis longtemps. Mais le découpage proposé par Alain Desrosières, qui souligne combien la mesure elle-même est dépositaire de choix opérés en amont, n’est pas repris par les randomistes. Les choix ne sont pas systématiquement explicités et surtout, ces deux moments (convenir et mesurer) ne vont pas être appréhendés à l’aide des outils sociologiques (nous y reviendrons).

151Pourtant, cette étape est particulièrement cruciale, dans la mesure où :

  • 193  A. Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, op. (...)

« Une fois les procédures de quantification codifiées et routinisées, leurs produits sont réifiés. Ils tendent à devenir la “réalité”, par un effet de cliquet irréversible. Les conventions initiales sont oubliées, l’objet quantifié est naturalisé et l’emploi du verbe “mesurer” vient machinalement à l’esprit et sous la plume193. »

152Une réflexivité des expérimentations aléatoires consisterait ainsi à mettre au jour ce qui est « incorporé » dans les choix opérés aux différentes étapes du projet. Car comme le note Jean-Pierre Olivier de Sardan :

  • 194  Jean-Pierre Olivier de Sardan, Anthropologie et développement. Essai en socio-anthropologie du cha (...)

« La participation du chercheur induit évidemment des biais personnels et subjectifs, que les savoir-faire socio-anthropologique ont justement pour but de minimiser, de constater ou d’utiliser194. »

  • 195  Agnès Gramain et Florence Weber, « Ethnographie et économétrie : pour une coopération empirique », (...)
  • 196  A. Desrosières, « L’histoire de la statistique comme genre : style d’écriture et usages sociaux », (...)
  • 197Ibid., p. 133.

153L’ouverture disciplinaire pourrait être décisive dans cette démarche réflexive trop absente chez les randomistes. Ceux-ci, comme bon nombre d’économistes, « ne s’étend [ent] pas sur le bricolage de [leurs] variables ni sur les tâtonnements de [leurs] modèles195. » On a tendance à oublier non seulement les choix incorporés dans les différents indicateurs choisis, mais également les arrangements nécessaires à leur élaboration, depuis la manière de poser les questions des enquêteurs, jusqu’aux changements de protocole au cours de l’expérience afin d’obtenir des résultats « positifs ». Les chiffres produits, même par randomisation, c’est-à-dire même avec un degré de scientificité prétendument supérieur à celui des autres méthodes, ne sauraient être un pur reflet de la réalité196. D’où la nécessité de reconstituer leur genèse197.

154Pour donner un exemple de ce qu’une prise en compte très relative du terrain peut donner, on peut évoquer l’épicentre de la vague des expérimentations aléatoires dans le monde du développement, qui se situe à Busia, au Kenya. C’est là que les premières ont eu lieu à la fin des années 1990, auxquelles ont succédé des dizaines d’autres. À l’époque où nous étions assistant de recherche sur place, IPA (qui « représentait » J-PAL sur place) était un des plus gros employeurs locaux, et toute la ville connaissait son existence. Les expériences menées aux alentours étaient nombreuses, ce qui n’est pas sans implication :

« Et ça c’est une grosse critique dans les pays en développement et surtout sur des zones au Kenya qui sont “overresearched” notamment la zone où on était en province de l’Ouest, c’est que les, nos répondants ont été par 36 000 manières enquêtés pour différents programmes que ça soit [nom d’un projet X], que ça soit [nom d’un projet X], que ça soit [nom d’un projet X], que ça soit [nom d’un projet X], donc en quoi tu peux dire que vraiment tu évalues vraiment un traitement à proprement parler quand ces personnes-là sont habituées à enquêter, sont habituées à recevoir des cadeaux par rapport aux enquêtes et tout ça. Ça c’est... Je te parle d’un truc qui est propre au Kenya et à l’expérimentation que l’on a menée, mais c’est quelque chose qui m’a choquée vraiment, c’était l’aspect “overresearched” quoi. » (Entretien avec Béatrice, assistante de recherche).

155Ce problème n’est pas généralisable à toutes les expérimentations, certaines étant isolées et intervenant sur des terrains « vierges ». Mais dans de nombreux endroits, par souci d’économie, un certain nombre de projets sont lancés à partir d’une même base. Dès lors, si les populations alentour sont multi-enquêtées, se pose la question de la validité interne des expérimentations en cours. Qu’évalue-t-on quand on évalue un programme auprès d’individus qui ont déjà été sensibilisés à d’autres programmes auparavant, qui ont déjà été enquêtés, etc. ? Ce n’est pas problématique en soi, pour peu que cela soit pris en compte dans l’analyse, ce qui ne semble guère le cas. Pour y parer, on en vient à envisager des solutions ad hoc :

« Et puis après tu sais quand tu poses des questions t’as quand même une adaptation des personnes aux questions qui sont posées même si tu ne dis jamais d’où tu viens... À un moment on s’est même dit “faudrait quand même pas que l’on dise que l’on vient de IPA” tu vois, pour pas fausser les comportements. Quand t’en arrives là tu te dis “bon y a un gros problème quand même.” » (Entretien avec Béatrice, assistante de recherche).

156Ce problème est connu et l’objet de blagues. Il a trouvé sa solution temporaire dans la décision de laisser « en jachère » cette zone. La question de ce que l’on peut apprendre des expérimentations qui y ont été faites reste largement ouverte :

« […] Y avait une blague qui circulait un peu : que y avait personne autour de Busia qui n’avait pas été interviewé au moins une fois, qu’y avait même des gens qui avaient des moustiquaires, des préservatifs, des chlorines, tout, ils avaient tout dans leur machin. Mais bon évidemment ils ne les utilisaient pas. C’est vrai que... C’est d’ailleurs pour ça que maintenant y a pratiquement plus personne à Busia. » (Entretien avec Adrien, assistant de recherche).

  • 198  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 127.
  • 199  Olivier de Sardan note que « dans l’immense littérature consacrée au développement, [les agents de (...)

157Cela rejoint la nécessité, soulignée par Jean-Pierre Olivier de Sardan, de « prendre en compte “l’histoire locale” des contacts avec l’interventionnisme politico-économique198. » Les zones d’intervention sont en effet rarement totalement vierges de toute politique développementale et les rapports avec les agents, passés et présents, doivent être pris en compte pour apprécier les effets d’un nouveau programme199. Comme l’écrit l’anthropologue :

  • 200Ibid., p. 129.

« Un projet a sa propre “logique d’organisation.” La “culture professionnelle” des agents de développement doit être constituée en objet d’investigation socio-anthropologique200. »

158Là encore, il est question de validité interne, puisqu’il s’agit de savoir précisément d’où provient l’effet que l’on mesure : est-il uniquement dû au « traitement » ? Que contient le « traitement » lui-même ? Qu’est-ce que le « traitement » ? Il est possible de considérer le « traitement » comme « embarquant » cette « histoire locale » dont parle Jean-Pierre Olivier de Sardan. De fait, ce n’est pas seulement « la distribution gratuite de moustiquaires » ou « l’incitation à se faire vacciner » que l’on teste. Ce sont ces programmes dans leur contexte, qu’il convient donc de préciser, car ce dernier fait partie intégrante du « traitement ».

159Il nous faut préciser que ce n’est absolument pas l’existence même d’arrangements, incontournables dans la recherche, particulièrement dans la recherche appliquée comme le sont les expérimentations aléatoires, qui constitue une éventuelle limite de ces dernières. Mais c’est la faible prise en compte de ces arrangements par les randomistes qui pose problème, comme le relèvent Florent Bédécarrats et ses co-auteurs :

  • 201  F. Bédécarrats, I. Guérin et F. Roubaud, « L’étalon-or des évaluations randomisées : du discours d (...)

« Alors ces bricolages statistiques et institutionnels sont courants […] ils sont généralement occultés lors de la publication des résultats. Leurs conséquences sur la nature des protocoles et donc la validité interne des études sont pourtant déterminantes. […] Ces multiples entorses aux protocoles théoriques au fondement des RCT [randomized controlled trials] ne seraient pas si problématiques, si elles étaient sérieusement prises en compte ; ce qui est loin d’être le cas201. »

  • 202  A. Labrousse, « Nouvelle économie du développement et essais cliniques randomisés », op. cit., p.  (...)
  • 203  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)

160Il ne faut en effet pas « taire » ces bricolages, qui, une fois mis au jour et analysés, sont à même d’accroître la scientificité des enquêtes202. L’enjeu ici n’est pas de se conformer par principe à une doxa des sciences sociales, qui voudraient rendre nodale la réflexivité – à raison d’ailleurs –, mais bien de se rendre compte que son absence entache la « validité interne », dont la randomisation serait la championne. Cette méthode n’échappe pas au « “bricolage” habituel des protocoles de recherche203 ». Dès lors, quand bien même le tirage au sort de groupes permettrait d’éviter les biais de sélection, si l’on ne sait pas réellement ce que l’on évalue, si le « traitement » effectivement donné n’est pas précisément connu, si la passation des questionnaires n’est pas bien documentée, si la construction des indicateurs n’est pas suffisamment questionnée, alors on en sait bien peu sur ce que l’on mesure. Autrement dit, s’il y a bien un effet, il est en réalité bien difficile de savoir à quoi l’attribuer. Au bout du compte, il n’est pas si clair de quoi les expérimentations aléatoires font la preuve.

  • 204  F. Lordon, « Le désir de “faire science” », op. cit., p. 35.
  • 205Ibid.

161Ce que l’on pourrait considérer comme une « méfiance » vis-à-vis de toute forme trop poussée de réflexivité n’est pas, encore une fois, propre aux randomistes. Mais, dans la mesure où ceux-ci affirment la supériorité de leur méthode en matière de validité interne, les enjeux sont particuliers. Pour Frédéric Lordon, il existe une « aversion profonde […] des économistes [“mainstream”] pour toute sociologie réflexive204 », alors que, précise-t-il, une « mise en question n’est pas une mise en cause. » Cette relative absence de réflexivité doit donc s’apprécier dans le champ plus large de la science économique, particulièrement de sa frange dominante, et ce malgré l’orientation empirique prise ces dernières années. Cette réticence peut être comprise en lien avec le « risque perçu d’être contesté dans sa scientificité205. » La plus haute marche dans la hiérarchie des preuves, que revendiquent les randomistes, va de pair avec leur affirmation d’être « du côté » de la science. Se donner les moyens de mettre au jour les différents arrangements, c’est effectivement prendre le risque de voir questionner ce statut, qui semblait définitivement acquis grâce à la randomisation.

162Il convient d’adopter un changement de perspective, conformément à ce que proposent Béatrice Hibou et Boris Samuel :

  • 206  B. Hibou et B. Samuel, « Macroéconomie et politique en Afrique », op. cit., p. 13.

« […] Le travail de déchiffrement, de déconstruction et d’interprétation est absolument nécessaire dans une approche “par le bas” qui entend comprendre ce que le chiffre ou l’agrégat convoie avec lui, dans l’infinité des procédures auxquelles il donne lieu avant, pendant et après la constitution des objets206. »

  • 207  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi ave (...)

163Ce changement s’apparente sans doute, pour bon nombre d’économistes, à un bouleversement. Il s’agit d’encourager l’élaboration de ce que Agnès Labrousse nomme un « habitus réflexif207 », tout en faisant la part des choses :

  • 208Ibid., p. 233.

« L’idée n’est en rien de rejeter le quantitatif, outil central de compréhension du social, mais d’en faire un usage à la fois précautionneux et contextualisé, ne perdant pas de vue son caractère conventionnel et historiquement situé […]. Il s’agit de sortir d’un réalisme métrologique naïf pour exhiber les traces des chaînes d’enregistrement et de comptage, les bricolages et les négociations autour du chiffre208. »

  • 209  Agnès Labrousse, Julien Vercueil, Jean-Pierre Chanteau, Pascal Grouiez, Thomas Lamarche, Sandrine (...)

164Parce qu’ils sont construits, les indicateurs ne veulent pas pour autant « rien dire », bien au contraire. Pour apprécier à leur juste valeur « ce qu’ils disent », il convient d’en bien connaître les ressorts, un peu comme l’étymologie aide à la compréhension d’un mot et à celle de ses sens parfois cachés. Cette pratique réflexive, usuelle en sociologie, n’est guère d’usage à l’heure actuelle en économie. Agnès Labrousse et ses co-auteurs rappellent opportunément que ce n’est en rien dans la « nature » de l’économie (en tant que discipline) – si tant est qu’il y en ait une – et qu’il y a quelques décennies, certains économistes revendiquaient une dose de réflexivité statistique, comme le chef de file de l’école historique allemande Gustav Schmoller209.

165Cette question soulève celle des contours de la discipline économique, sur lesquels nous reviendrons. Il pourrait s’agir de s’inspirer de ce qui se fait dans les sciences sociales autre que l’économie :

  • 210  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi ave (...)

« Nous avons beaucoup à apprendre de cette réflexivité plus prononcée des sociologues : ces routines réflexives participent de l’habituation professionnelle du sociologue, là où l’économie dominante fonde son objectivité sur une extériorité fantasmée du chercheur à l’égard de son objet, laisse dans l’ombre les interactions du chercheur avec ce dernier, tait les tâtonnements et les concours de circonstances qui jalonnent la construction de tout objet210. »

2. Des arrangements de diverses natures

166Les « bricolages » peuvent être de plusieurs types, certains étant communs aux enquêtes (comme les questionnaires), d’autres spécifiques aux approches quantitatives (comme les indicateurs) et d’autres encore aux expérimentations aléatoires.

  • 211  Pour une explication à ce sujet, voir A. Jatteau, Les expérimentations aléatoires en économie, op. (...)

167C’est le cas du tirage au sort lui-même. On pourrait penser que ce point soit le plus standardisé, celui dont l’application pose le moins de problèmes. En réalité, il existe plusieurs façons de réaliser ce tirage au sort, que ce soit sur un plan technique (par un algorithme, par un tirage dans une urne aux vues de tous, par un lancer de dés…) ou méthodologique (l’enjeu étant alors de savoir si l’on randomise au niveau individuel ou groupal211).

  • 212E. Miguel et M. Kremer, « Worms: identifying impacts on education and health in the presence of tr (...)
  • 213  Notons qu’ils en font eux-mêmes mention dans leur article, mais sans donner d’explications.
  • 214A. Deaton, « Instruments, randomization, and learning about development », op. cit., p. 443.
  • 215  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)
  • 216  Bernard Gomel et Évelyne Serverin, « L’expérimentation sociale aléatoire en France en trois questi (...)
  • 217Ibid., p. 61‑62.

168En pratique, la randomisation n’est pas toujours aussi rigoureuse qu’en théorie. Angus Deaton souligne que dans la célèbre expérimentation des vermifuges212, Edward Miguel et Michael Kremer n’ont pas pu utiliser de randomisation au sens propre du terme213. Ils ont dû se contenter de ce qui pourrait être qualifié de « quasi-randomisation », puisqu’ils ont assigné les écoles en fonction de l’alphabet (avec comme modèle : école A dans le groupe 1, école B dans le groupe 2, école C dans le groupe 1, etc.)214. Le canon de la randomisation n’est donc pas strictement respecté ici. Aurélie Quentin et Isabelle Guérin signalent quant à elles, à propos d’une expérimentation aléatoire au Cambodge, divers bricolages et manquements au tirage au sort215, tout comme Bernard Gomel et Évelyne Serverin à propos de celle sur le placement des chômeurs216. Pour l’expérimentation du Revenu de Solidarité Active, le tirage au sort n’a tout simplement pas été autorisé, pour des raisons aussi bien éthiques que pratiques217.

  • 218  Miriam Bruhn et David McKenzie, « In Pursuit of Balance: Randomization in Practice in Development (...)
  • 219Ibid., p. 205.
  • 220Ibid., p. 206.

169Miriam Bruhn et David McKenzie étudient la façon dont la randomisation a été effectuée dans un large échantillon d’articles relatant des expérimentations aléatoires218. Ils remarquent tout d’abord que peu d’articles explicitent la manière dont le tirage au sort a été opéré219. De plus, quand ils interrogent des chercheurs sur la meilleure façon de randomiser concernant quelques cas typiques, ceux-ci fournissent des réponses divergentes220, ce qui montre que la méthode, en son cœur, n’est pas aussi stabilisée que l’on pourrait le penser. D’où l’importance d’exercer une certaine réflexivité en la matière.

  • 221  R. Caveng, « La production des enquêtes quantitatives », op. cit., p. 83.

170L’étude de Rémy Caveng sur les instituts de sondage illustre bien les travers que peut comporter un « traitement » trop « direct » des questionnaires, sans s’intéresser de près à leur passation. Comme on l’a dit plus haut, l’ajout d’un simple « effet enquêteur » dans les régressions économétriques ne saurait à lui seul capter les arrangements qui se déroulent sur le terrain pendant les passations. En réalité, note Rémy Caveng, le travail n’est pas « réalisé dans les règles de l’art221 » pour des raisons qui sont sans doute en partie propres aux instituts de sondage (rémunération à la tâche notamment). Mais, si l’on ne peut garantir que ces remarques s’appliquent systématiquement au type d’enquête que constituent les expérimentations aléatoires, elles doivent néanmoins pousser à s’interroger sur leur existence sur le terrain.

171Les propos que nous avons recueillis auprès des assistants de recherche nous indiquent une série de difficultés qui conduisent à certains bricolages. Lorsque le niveau de langue des questionnaires apparaît trop compliqué, soit pour être bien saisi par les enquêteurs de terrain, soit parce que ces derniers anticipent une incompréhension de la part des enquêtés, alors des questions peuvent être reformulées, suivant l’appréciation des enquêteurs eux-mêmes. À propos d’une expérimentation aléatoire qu’elles ont suivie, Aurélie Quentin et Isabelle Guérin notent que :

  • 222  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)

« L’élaboration du questionnaire est l’objet de tensions vives entre les équipes nord-américaine et cambodgienne. Même si de nombreux échanges auront lieu entre les deux équipes pour l’adapter au mieux, jusqu’au bout l’équipe cambodgienne critique la longueur, la complexité des questions et leur inadaptation aux réalités et systèmes de représentation locaux222. »

  • 223  R. Caveng, « La production des enquêtes quantitatives », op. cit., p. 71.
  • 224Ibid., p. 68.

172Cette « déstandardisation » opérée par les enquêteurs, comme le rappelle Rémy Caveng, n’est pas antinomique avec les intérêts des chercheurs, dans la mesure où bien souvent, c’est elle qui rend possible l’enquête et un taux de réponses acceptable223. Certains questionnaires durent normalement plusieurs heures s’ils sont menés jusqu’au bout et, surtout, dans les règles de passation prévues (lecture en entier de chaque question et de chaque réponse possible, par exemple). De fait, dans ces différentes « adaptations », les enquêteurs de terrain « élaborent et appliquent des conventions qui ne sont ni celles des concepteurs ni celles des analystes224. » L’existence de ce différentiel de conventions touche directement à la validité interne des expérimentations aléatoires. Méconnaître le mode de passation des questionnaires, la formulation de certaines questions, leur interprétation par ceux qui les codent, c’est aussi ne pas saisir de manière suffisamment précise « ce que les données veulent dire » et, par-là, quel est l’impact du programme testé.

  • 225  Jacques Charmes, « L’héritage d’AMIRA », STATECO, 2006, no 100, p. 81‑85, p. 81.

173La question des indicateurs utilisée pour mesurer la présence d’effets d’un programme est évidemment cruciale. C’est un point sur lequel s’accordent tous les membres (chercheurs en développement, administrateurs Insee…) du groupe AMIRA (Amélioration des méthodes d’investigation et de recherches appliquées au développement), qui cherchaient à utiliser les « connaissances anthropologiques pour adapter au contexte africain les concepts et instruments de mesure statistiques forgés au Nord225 » et dont faisait notamment partie Alain Desrosières, comme on peut le lire dans un compte-rendu de débats qu’ils ont eus :

  • 226  AMIRA, « Le chiffre, la carte et la parole », Document de travail, 1983, p. 58.

« […] Les participants ont reconnu sans difficulté que l’objectivité statistique peut se trouver détériorée par des codages et des nomenclatures discutables. […] Tout “fait” se fabrique, en vertu de manière de voir et à la suite de conflits sur lesquels il faut faire toute la lumière possible226. »

  • 227  M. Jerven, B. Hibou et B. Samuel, « Un demi-siècle de fictions de croissance en Afrique. Entretien (...)
  • 228Ibid.
  • 229  A. Desrosières, « La mesure du développement : un domaine propice à l’innovation méthodologique », (...)
  • 230  J.-J. Gabas, V. Ribier et M. Vernières, « Introduction. La mesure du développement : comment scien (...)
  • 231  C. Paradeise, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ?  (...)
  • 232Ibid., p. 73.
  • 233Ibid., p. 89.

174En macroéconomie, cela peut être spectaculaire, avec par exemple le doublement du PIB par habitant du Ghana… en une nuit, suite à des changements de normes comptables227 ! Les agrégats macroéconomiques donnent une image du pays et peuvent avoir des effets tout à fait réels228, notamment en termes d’accès à des bailleurs internationaux par exemple, dont l’aide est de plus en plus conditionnelle. En matière de développement, le choix des indicateurs est donc particulièrement primordial229, puisqu’en fonction de ce que l’on regarde, on peut mesurer une présence ou au contraire une absence de résultats. Nombreuses sont les expérimentations aléatoires où les « outcomes » peuvent être multiples et où une discussion s’impose pour les choisir et débattre de leur pertinence mais aussi de leurs limites. Les indicateurs embarquent avec eux un ensemble de conventions, pas toujours explicitées, et « s’inscrivent dans des courants de pensée230. » Autrement dit, « les indicateurs sont porteurs de visions de la réalité que l’on confond, en régime ordinaire, avec “la réalité”231. » Ce « portage » est normal et habituel, mais une démarche réflexive s’impose pour en rendre compte. « L’indicateur traduit, et à ce titre il trahit232 », pour reprendre la formule de Catherine Paradeise. C’est cette traduction qui nous intéresse ici et qui est trop passée sous silence par les randomistes. La trahison ne s’opère en réalité que si les clés de la traduction ne sont pas données et si ces dernières sont réifiées de telle sorte que l’on ne puisse plus en établir la genèse. Il en va de la confiance que l’on peut accorder aux chiffres ainsi produits : « Pour qu’un indicateur soit fiable, il faut qu’une posture réflexive puisse en déjouer les manipulations toujours possibles233. »

D. Des approches qualitatives déconsidérées mais pourtant nécessaires

1. Du qualitatif dévalorisé…

  • 234  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)

175La hiérarchie des preuves postulée par les randomistes est double. Celles provenant des méthodes quantitatives sont supérieures à celles de nature qualitative234, et, parmi les premières, la randomisation occupe la première place. Il ressort clairement, aussi bien de leurs discours que de leurs travaux de recherche, une dévalorisation du qualitatif, qui va en réalité jusqu’à une déqualification. À leurs yeux, le « chiffre randomisé » n’est pas seulement le plus haut niveau de preuves, il est le seul pleinement scientifique alors que le qualitatif ne l’est, lui, pas du tout. La mise à distance du terrain ne va ainsi pas sans une mise à distance des approches qualitatives, qui ne sont pas reconnues comme appartenant en tant que telles à la discipline économique :

« – Quand Michael Kremer au repas, quand il m’a demandé sur quoi j’avais fait ma thèse et tout, je lui ai dit j’ai fait une thèse en économie tout ça et j’ai raconté ce que j’ai fait, il m’a dit c’était super donc en fait t’as fait une thèse en anthropologie.
– Donc si y a du quali, c’est pas de l’économie en fait ?
– En quelque sorte, en quelque sorte. Mais lui il est d’accord avec ça, il est d’accord avec tous les gens qui font du quali, c’est juste que voilà c’est pas la même discipline. Je crois pas qu’il critique, c’est juste que c’est pas la même discipline en fait. » (Entretien avec Adrien, assistant de recherche).

  • 235C. B. Barrett et M. R. Carter, « The Power and Pitfalls of Experiments in Development Economics », (...)

176Cette délégitimation des autres modes de savoir se double logiquement d’une ignorance des autres littératures, comme le notent Christopher Barrett et Michael Carter235. De fait, il est très rare de trouver dans la littérature randomiste des références provenant d’autres champs disciplinaires, à moins que ceux-ci se réfèrent à une administration de la preuve sur un mode quantitatif et plus particulièrement randomisé, comme une partie de la science politique.

  • 236  Pour un exemple longuement développé sur une expérimentation aléatoire en particulier, voir A. Que (...)

177Cette déconsidération se retrouve dans la pratique des expérimentations aléatoires236. Les sommes puisées dans les budgets pour « faire du qualitatif » sont marginales. Doria, une assistante de recherche, parle de « budget minable ». Peu de temps y est consacré. Un assistant de recherche, Noé, raconte ainsi qu’il était censé réaliser, après le questionnaire, une « note de terrain » élaborée notamment à partir d’une « discussion » avec l’enquêté. Mais le questionnaire était déjà si long qu’il ne lui restait le plus souvent pas de temps, ce qui illustre bien la place dévolue au qualitatif. Ce dernier est presqu’entièrement « sous-traité » aux assistants de recherche – à eux de « faire le travail de terrain ». Il n’est pas réalisé suivant les canons méthodologiques propres aux sciences sociales comme la sociologie ou l’anthropologie, comme on va le voir, et il apparaît comme une intrusion dans le protocole bien huilé de l’expérimentation aléatoire. Quand on fait appel à des collaborateurs, pour intervenir précisément en marge de l’expérimentation, dotés de connaissances spécifiques dans les méthodes qualitatives (ce qui demeure très rare), ils arrivent sur le terrain « comme un cheveu sur la soupe », pour reprendre l’expression de Doria, une assistante de recherche.

178Cette dévalorisation des méthodes qualitatives traduit une épistémologie relativement claire des sciences sociales : l’économie – entendue dans un sens bien particulier – est à part, et de manière générale la science se situe du côté du chiffre. Comme nous l’a expliqué en entretien un chercheur, Mathieu, « […] Faire des entretiens, c’est le signe que l’on est moins dans la science que dans l’art. » Une rupture assez nette est faite entre l’économie et la sociologie (à laquelle on rattache systématiquement le qualitatif, ce dernier étant d’une certaine manière « orthogonale » à l’économie) :

« – Donc là y a une vraie complémentarité ?
– Ah bah complètement.
– Vous mesurez l’impact et les sociologues...
– Expliquent.
– C’est intéressant parce que quand on regarde la littérature [des expérimentations aléatoires] surtout en développement, il est assez peu fait appel à des sociologues et à des anthropologues.
– Souvent aussi vous savez on ne parle pas non plus complètement la même langue. Et c’était assez amusant parce que l’on avait fait une réunion de travail et y avait [des économistes] d’un côté, et [des sociologues de l’autre]. Et on se mettait d’accord sur un papier, parce que l’on voulait faire un papier ensemble pour essayer de le publier. Et on se disait “voilà partie 1 machin, partie 2 bidule, partie 3, etc.” Et on s’en rend pas compte, mais on a peut-être même un esprit formaté, les uns et les autres, ils ne comprenaient pas comment on voulait l’articulation entre leur rapport et le nôtre. Vraiment, ils comprenaient pas, c’était un dialogue de sourds. […] C’est vrai que nous on est très simplification de la réalité, des outils assez lourds, très maths, on aime bien. Un économiste préfère une équation plutôt qu’un paragraphe rédigé. Alors que les sociologues sont très rédaction, très littéraire. » (Entretien avec Nadège, chercheuse).

  • 237Ibid.

179Cette option épistémologique n’est pas propre aux randomistes et traversent une large part de la discipline contemporaine, quoique certains chercheurs très en vogue ont tendance à la remettre en cause, comme Thomas Piketty. Le qualitatif apparaît ainsi assez flou, comme étant « de l’autre côté », c’est-à-dire pas du côté de l’économie, ce qui fait que les randomistes n’en ont pas toujours une idée claire237. Comme le dit une assistante de recherche, Manon : « Ils ont un groupe de recherche, ils sont gérontologues, sociologues, tout ça ». Le « tout ça » indique un certain flou autour de tous les « – ogues ». Notons que ce rejet du qualitatif est lui-même conforté par le système des publications en cours dans les grandes revues américaines, où en lui accordant une place, on réduit singulièrement ses chances de publier. Il ne faut pas perdre de vue que les randomistes s’adressent aussi (et surtout ?) aux éditeurs de revues quand ils mènent une expérimentation (nous reviendrons sur ce point dans le chapitre suivant). Si ceux-ci modifiaient leurs choix éditoriaux pour favoriser le qualitatif, il est permis de penser que les randomistes adapteraient leur pratique.

180Cette épistémologie hiérarchisante (qualitatif/quantitatif, économie/sociologie) et plus encore exclusive (la randomisation ou rien, pourrait-on dire) est d’autant plus surprenante que même les randomistes qui ont été socialisés dans leurs études aux sciences sociales, notamment les Français, à commencer par Esther Duflo elle-même, n’en font pas mention. Comme le souligne un enquêté :

« Moi j’ai de la chance j’ai fait B/L, j’ai lu un peu Marcel Mauss, j’ai pas du tout une formation d’anthropologue, mais je sais que ça existe et que c’est sérieux, et que ça permet de produire des choses, je sais que Max Weber il a permis de comprendre des trucs, donc j’ai cette formation-là donc j’ai une attirance aussi pour ça. Mais imaginez des mecs qui viennent d’un département de maths, c’est beaucoup plus difficile, ils savent pas forcément comment s’y prendre. » (Entretien avec Yanis, assistant de recherche).

181Passée par une classe préparatoire « Lettres et sciences sociales » (B/L) au lycée Henri IV, Esther Duflo a soutenu un mémoire de maîtrise en histoire de l’Union soviétique une fois entrée à l’École normale supérieure. Pascaline Dupas, Clément Imbert, Philippe Zamora, Luc Behaghel et Marc Gurgand ont suivi un cursus similaire, ces deux derniers étant même agrégés de sciences économiques et sociales. Dans leurs travaux, les références à d’autres disciplines que l’économie (et, encore une fois, à une économie bien particulière) demeurent pourtant rares.

2. … Pourtant présent, ex ante et ex post

182Paradoxalement, malgré cette défiance, une forme d’approche qualitative est tout de même mobilisée. Comme l’immense majorité des expérimentations aléatoires dont il est question dans ce travail se déroulent dans des pays pauvres, souvent peu connus des chercheurs, on observe systématiquement, notamment au début du projet, des pratiques que l’on pourrait considérer comme étant du « qualitatif sauvage » : entretiens avec certaines personnes dans les villages, observations de certaines situations, etc. Par exemple, Esther Duflo et Abhijit Banerjee écrivent dans leur ouvrage :

  • 238  A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 11.

« Nous avons parcouru les villages et les ruelles où vivent les pauvres, pour leur poser des questions et collecter des données238. »

  • 239Ibid., p. 69.

« Après avoir passé quelque temps dans ce village marocain, nous n’avions plus aucun mal à comprendre son raisonnement : la vie peut être vraiment monotone dans ce village239. »

183Il est certain que l’on peut tirer des intuitions intéressantes ou formuler des hypothèses qui peuvent se révéler pertinentes, mais il s’agit de méthodes qualitatives fort approximatives. Il serait donc inexact de dire qu’il n’y a pas de qualitatif dans les expérimentations aléatoires, comme le souligne par exemple Adrien :

184« Mais ce que je peux dire c’est que moi sur mon projet, la place des méthodes qualitatives elle était assez énorme. Elle était assez énorme. Elle a été énorme au tout début quand on s’est posé la question de quelles questions on va se poser justement. On a fait au moins, on a fait plus d’une semaine de travail qualitatif sur le terrain, en allant tous les jours voir une communauté. » (Entretien avec Adrien, assistant de recherche).

185Même si une semaine de terrain apparaît bien limitée, comparée à d’autres pratiques, et quoique l’on pense de sa validité scientifique, le qualitatif est présent, parce que l’on ne peut pas faire autrement, pourrait-on dire. Comme le relève Philippe Couty, qui a mené un certain nombre d’enquêtes en Afrique, le qualitatif précède en quelque sorte le quantitatif :

  • 240  Philippe Couty, « Qualitatif et quantitatif », STATECO, 1983, p. 35‑47, p. 38.

« […] La qualité constitue une donnée, dont la continuité ou la répétition donnent lieu à détermination quantitative, dénombrement. Se réclamer de l’ethnie serer ou guiziga, c’est faire état d’une qualité à partir de laquelle on peut effectuer des comptages à un moment et dans un espace donnés240. »

  • 241  Passation initiale des questionnaires, traitement, passation finale des questionnaires, etc.

186Le qualitatif est essentiellement présent à deux moments : avant la mise en place de l’expérimentation à proprement parler241, et après, afin d’interpréter les résultats, sans que cette « division du travail » soit propre aux expérimentations aléatoires :

  • 242  Emmanuelle Bouquet, Betty Wampfler et Éliane Ralison, « Rigueur scientifique et pertinence opérati (...)

« L’intérêt d’une articulation entre approches apparaît ici pleinement : idéalement, un travail qualitatif préalable pourrait permettre de “caler” un questionnaire quantitatif pertinent et réaliste ; une deuxième phase qualitative pourrait ensuite intervenir après l’analyse des données quantitatives, afin d’expliciter les processus conduisant aux résultats constatés242. »

187Dans ce premier moment, que l’on appelle le « pilote », on utilise de fait du qualitatif. Comme on l’a dit plus haut à propos de la considération « épistémologique » que les randomistes ont du terrain, il est vu comme ancillaire à la quantification :

  • 243  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)

« Le “qualitatif” est considéré comme une étape centrale de contextualisation de l’étude mais pas comme une méthode possible de production de connaissance, la démonstration passant nécessairement par l’inférence statistique243. »

188Le qualitatif est notamment utilisé dans cette première phase de design : choix du mode de distribution du « traitement », élaboration des questionnaires, etc. Par exemple pour déterminer quelle forme le « traitement » peut prendre :

« [Les chercheurs] ont fait des pilotes, [ils] sont allés installer, ont vu des choses et ont dit “ah bah tiens cette méthode de mobilisation des ressources financières dans le village, ça marche.” […] Et en fait donc on a testé ça. D’abord qualitativement, c’est-à-dire en posant des questions aux gens, en disant “est-ce que oui ou non vous pensez que c’est une bonne idée ?”, alors là ce qui est marrant c’est que déjà on pouvait voir que les avis étaient plutôt mixtes hein. Rien qu’après le qualitatif, on voyait déjà que c’était mixte. » (Entretien avec Adrien, assistant de recherche).

  • 244  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 104.

189L’importance de ce « moment qualitatif » est laissée hors-champ par les randomistes, là où il est explicitement relevé par des chercheurs davantage favorables (et formés) à l’anthropologie, comme Jean-Pierre Olivier de Sardan244, ou par les chercheurs regroupés dans le collectif AMIRA, comme on peut le lire dans le compte-rendu des débats :

  • 245  AMIRA, « Le chiffre, la carte et la parole », op. cit., p. 55.

« Pour Delorme, la monographie constitue en fin de compte un bon moyen de préparer une enquête statistique, de construire et de tester par exemple une nomenclature d’agents ou de spéculations agricoles. Point de vue partagé par Roy, qui qualifie la monographie de “point de passage obligé” vers l’enquête par sondage […]245. »

  • 246  Cette pratique ne se réduit donc pas aux expérimentations aléatoires uniquement. Voir par exemple (...)

190« Poser des questions aux gens » ouvre certaines pistes, certaines intuitions qu’une évaluation quantitative peut être à même de valider ou d’infirmer ensuite246. Ce qui est intéressant, c’est la reconnaissance implicite que le qualitatif – même « sauvage » comme ici – peut produire des connaissances (« déjà on pouvait voir » nous dit Adrien), peut-être pas aussi « solides » que le quantitatif, mais ayant tout de même une certaine valeur. Le rôle du qualitatif dans la constitution du « traitement » est reconnu par les assistants de recherche :

  • 247  « La recherche qualitative doit vraiment guider la conception et construire les bases du projet. [ (...)

« The qualitative research is really to guide the design and let the foundations for the project. […] The place of qualitative research is to insure that the assumptions you are making within your quantitative research are reasonable. I view the qualitative research as a foundation that needs to be laid before you can proceed to your quantitative research247. » (Entretien avec Henri, assistant de recherche).

« Et donc on est venu, on a fait beaucoup beaucoup de groupes de réflexion, etc., des “focus groups”, et on est arrivés à on va dire trois traitements qui apparemment marchent assez bien. » (Entretien avec Béatrice, assistante de recherche).

191De la même manière que l’observation et les entretiens, réalisés le plus souvent sans réelle méthode, sont susceptibles d’améliorer le « traitement », ils peuvent permettre de préciser le questionnaire et la formulation, d’étoffer l’intérêt des questions, etc.

« – Et qu’est-ce que vous en tiriez de ces “focus groups” ? […]
– Un rapport, mais c’était surtout tirer des intuitions pour écrire les questionnaires ensuite et voir sur quoi on devait un peu orienter nos questions pour essayer de saisir des choses » (Entretien avec Bettina, assistante de recherche).

192L’intérêt du qualitatif est reconnu également à une autre étape, celle de l’interprétation des résultats. Comme on l’a longuement expliqué plus haut, il faut distinguer les preuves d’efficacité des preuves de causalité. Les premières s’intéressent à la présence ou à l’absence d’impact, les deuxièmes aux raisons de cet impact. Elles ne doivent pas être confondues, même si la différence n’est pas toujours aussi claire en pratique. Le terrain, qui vient ici comme un synonyme du qualitatif, doit permettre de « comprendre », de saisir le « pourquoi ». Il est frappant de constater l’unanimité à ce sujet :

« […] Il restait un peu de fric sur le budget de la Banque, et du coup je suis allé là-bas pour essayer de valider un petit peu qualitativement si tu veux, avec les gens, sur place, dans les villages tout ça, pour essayer de voir ce que ça voulait dire, et qu’est-ce que les gens disaient exactement. Parce que t’as les données mais t’as aussi la perception du terrain qui est vachement importante pour ces données-là, tu vois t’as une sorte de... Tu apprends des choses rien qu’en marchant […]. Que tu peux pas trop percevoir dans les données, surtout quand c’est pas toi qui les a collectées. Et c’était vachement bien. […] Et je suis revenu en me disant faut vraiment être sur le terrain […] sinon tu comprends rien. […] Y a une dimension “être sur le terrain et comprendre ce qui se passe sur le terrain” je trouve que c’est vachement important... » (Entretien avec Boris, assistant de recherche).

« Je trouve que ce serait intéressant un côté très quali, à côté de ce côté très quanti pour essayer de mieux comprendre, mieux éclairer le quanti quoi. Typiquement, si l’on trouve pas d’effets en quanti, ce serait vraiment intéressant de faire du quali pour savoir “pourquoi”. » (Entretien avec Nadine, assistante de recherche).

« – C’est quoi alors le boulot du sociologue ?
– Ça j’en sais rien, mais il me semble...
– Dans votre cas je veux dire.
– Ah dans notre cas […], je pense que si y en avait un, ce serait plutôt sur la participation, tu vois ce serait essayer de comprendre pourquoi les gens participent ex post, essayer de voir toutes les contraintes, et aussi renseigner sur ce que c’est que le traitement, ce que c’est que l’intervention.
– C’est-à-dire ?
– Qu’est-ce qu’ils ont réellement fait ? Parce que nous on est pas très bons là-dessus. Qu’est-ce que dans le groupe traitement, ils ont réellement fait ? » (Entretien avec Boris, assistant de recherche).

« Le quali peut être très très précieux pour comprendre l’impact. […] Le quali permet de comprendre, de mettre de la chair derrière des relations causales un peu sans chair que l’on arrive à identifier, pour éviter que des mecs ils identifient une relation causale et ensuite construisent une interprétation qui est basée sur rien » (Entretien avec Yanis, assistant de recherche).

« Et clairement on a prévu des évolutions qualitatives à l’intérieur, parce que eux voulaient et parce que nous voulions, sur le côté “comprendre ce qui se passe” pour justement pas interpréter un résultat n’importe comment, en disant “si ça se trouve, on voit ça, donc le chemin si ça se trouve c’est ça” et en fait on n’en sait rien. » (Entretien avec Ophélie, assistante de recherche).

« Tu utilises des méthodes qualitatives au départ pour valider tes traitements, mais après... Pour valider tes traitements […] et aussi les enquêtes, la manière dont tu poses les questions et tout ça. Et ça après le qualitatif revient aussi dans l’analyse des résultats, forcément. Parce que si... On va dire telle communauté accepte plus ou moins, peut-être y a un effet communauté, parce que des éléments que tu vas apporter, ça va être : on voit que y a un facteur qui ressort qui est significatif, et pourquoi ce facteur est significatif : bah on a observé par le passé que cet élément-là dans telle communauté est important... […] C’est que pour dépasser le quantitatif, il faut recueillir des éléments plus qualitatifs pour savoir pourquoi [le traitement] marche. » (Entretien avec Béatrice, assistante de recherche).

« Donc ça on l’a fait pendant le pilote, et après pendant toute la phase de l’expérimentation, on est très souvent allés sur le terrain, faire le même type de questionnaires aux gens, pour savoir en gros, pour expliquer les résultats que l’on allait avoir. Parce que dès le départ et ça moi j’étais très content, les [chercheurs] que j’avais, ont toujours dit il faut absolument savoir pourquoi ces résultats sont là. Donc ça c’est du travail qualitatif. […] Nous ce que l’on va savoir le résultat c’est ils ont acheté ils ont pas acheté, qui a payé qui n’a pas payé, maintenant on voudrait savoir pourquoi. […] Et ça, on a entré toutes ces données […] et là c’est en train d’être analysé maintenant, et donc là tout ça, c’est le pourquoi ça a marché, pourquoi ça a pas marché. » (Entretien avec Adrien, assistant de recherche).

193Un même terme revient chez tous ces assistants de recherche : « comprendre ». Le qualitatif, c’est ce qui permettrait de comprendre. Mais comprendre quoi ? Adrien et Béatrice nous le précisent : « pourquoi ça marche ». Comme nous l’avons évoqué dans la première section de ce chapitre, les expérimentations aléatoires, actuellement pratiquées, ne sont pas à même de mettre au jour des mécanismes causaux. C’est donc dans l’exploration de liens de causalité que les outils qualitatifs auraient un rôle à jouer :

« Les évaluations d’impact, notamment la randomisation, elles permettent de bien comprendre et de bien mettre en évidence des relations causales. Mais le truc c’est qu’à partir du moment on a identifié cette relation causale, on a pas encore compris pourquoi y a cette relation causale. Parfois le quanti nous permet d’aller un peu plus loin dans la compréhension... » (Entretien avec Yanis, assistant de recherche).

194Même si ces propos sont un peu confus, on voit bien qu’en bout de chaîne, comme en début, le qualitatif a un rôle à jouer. On pourrait même dire qu’il est indispensable, que la « compréhension » des mécanismes à l’œuvre ne saurait être saisie de manière pleinement satisfaisante à travers une approche exclusivement quantitative.

195Du côté des chercheurs, on trouve également ce genre de propos. Abhijit Banerjee et Esther Duflo reconnaissent implicitement l’intérêt du qualitatif à des fins de compréhension :

  • 248  A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 314‑315.

« Depuis 2007, nous travaillons avec Al-Amana, l’une des plus grandes IMF du Maroc, pour évaluer l’impact de l’accès au microcrédit dans des communautés rurales jusqu’alors exclues de tout accès aux sources de financement traditionnelles. Au bout deux ans, Al-Amana n’avait pas autant de clients dans les villages que prévu. Alors même qu’il n’existait pas d’alternative, moins d’une famille sur six était intéressée par un emprunt. Pour essayer de comprendre pourquoi, nous sommes allés avec quelques employés d’Al-Amana à la rencontre de familles d’un village appelé Hafret Ben Tayeb, où personne n’avait souscrit de crédit248. »

196D’autres chercheurs évoquent aussi le qualitatif :

  • 249  « Je suis une grande défenseure du travail qualitatif. J’ai une composante qualitative dans quasim (...)

« I am a strong supporter of qualitative work. I have qualitative components in almost all of my projects. I think it’s really rich, valuable data, that gives you a picture, information that you can not necessarily get from the quantitative. For me, relying just to the quantitative, can also be dangerous in some circumstances. Dangerous may be a strong word, but if you do your RCT and then you find out that the intervention has no impact. Why ? So, if you’ve collected qualitative data as well, during the implementation of the intervention, then maybe you can understand how the intervention worked, how people perceived it, whether there were issues there249. » (Entretien avec Noémie, chercheuse)

« Et on s’en rend pas compte, mais on a peut-être même un esprit formaté, les uns et les autres [les économistes et les sociologues], ils ne comprenaient pas comment on voulait l’articulation entre leur rapport et le nôtre. Vraiment, ils ne comprenaient pas, c’était un dialogue de sourds. Et un moment donné, j’ai pris mon crayon et j’ai fait un petit schéma : y a le dispositif, nous on vient avant, vous vous êtes dans la boite noire, vous regardez comment les choses se passent et nous on revient après. » (Entretien avec Nadège, chercheuse).

197Dans ce dernier cas, très rare, des sociologues ont participé au projet. Il est d’emblée admis qu’ils vont s’occuper de la partie qualitative, considérant que le qualitatif et la sociologie marchent ensemble. Mais le plus souvent, les sociologues sont absents des projets et, comme on l’a dit, c’est aux assistants de recherche que revient cette tâche. Les randomistes peuvent alors leur reconnaître une capacité de « compréhension » supérieure à la leur, comme le relève Félix, assistant de recherche :

« On avait des discussions très régulières, chaque semaine. Et au fur à mesure que l’on nettoyait les données, que l’on analysait les données, les [chercheurs] nous demandent des conseils sur comment interpréter les données, etc., sur comment modifier les questionnaires. » (Entretien avec Félix, assistant de recherche).

  • 250  F. Bédécarrats, I. Guérin et F. Roubaud, « L’étalon-or des évaluations randomisées : du discours d (...)

198L’apport potentiel et effectif du qualitatif est donc très globalement reconnu, même si cela n’apparaît pas comme tel dans les publications. Cela s’explique par des raisons propres au champ (valorisation des méthodes quantitatives dans les grandes revues d’économie américaines notamment), mais aussi par des considérations épistémologiques profondes qui scellent une rupture entre l’économie et les autres sciences sociales, dévalorisées sur le plan scientifique, ce qui constitue pour Florent Bédécarrats et ses co-auteurs une « régression épistémologique250 ».

3. … Mais sans méthode claire

199Au final, le rôle du qualitatif dans les expérimentations aléatoires apparaît dans bien des cas primordial (notamment dans celles, très majoritaires, qui se situent dans les pays pauvres), comme le résume Adrien :

« Donc le qualitatif nous a totalement nourris, on a mis en place des idées parce que l’on les avait vues sur le terrain, qualitativement, on a arrêté des idées parce que l’on a vu que ça marchait pas, donc ça a vraiment nourri, et on a énormément fait évoluer notre projet […]. » (Entretien avec Adrien assistant de recherche).

200Ce qui est intéressant, c’est que cette présence « malgré tout », associée à une dévalorisation sur un plan épistémologique, aboutit à un usage du qualitatif sans méthode, ou à tout le moins sans méthode rigoureuse. Cette absence de réelle méthodologie est ouvertement reconnue par ceux-là mêmes qui sont le plus souvent chargés de cette « sous-partie » qualitative :

« – Et sur quelle, j’allais dire méthode, ou méthodologie tu t’appuyais pour faire ces “focus groups” ?
– En gros, je crois que sur aucune. » (Entretien avec Bettina, assistante de recherche).

« […] Tout le travail qualitatif que l’on faisait de type “focus groups”, discussion et tout, c’était il faut le reconnaître, c’était fait à peu près n’importe comment. C’est-à-dire... Je sais pas si c’était fait n’importe comment mais c’était pas fait en suivant des protocoles de recherche qualitative. C’est-à-dire c’était pas fait en regardant le livre sur “Qualitative research”, un gros bouquin... C’était pas fait en faisant ça. […] Les “focus groups discussions” que je menais, je les menais qu’à partir de l’expérience que j’avais eue […] J’ai jamais eu de cours, j’ai jamais eu un livre sur comment faut faire les “focus group discussion.” […] Y a plein de méthodes qualitatives, nous on les utilisait pas, nous c’était vraiment à la bonne vieille franquette, tu prends une feuille, tu poses des questions à des gens, t’écris, tu poses des questions... » (Entretien avec Adrien, assistant de recherche).

« Le problème c’est que c’est […] que nous c’est du qualitatif mais pas fait assez rigoureusement. Ça serait intéressant, ç’aurait été intéressant si y avait du vrai qualitatif fait très rigoureusement en parallèle de tout ça, c’est pas très rigoureux, je pense que l’on aurait pu faire ça beaucoup mieux en qualitatif, moi je suis nul en qualitatif. » (Entretien avec Adrien, assistant de recherche).

201Comme le résume bien Adrien, en parlant du qualitatif :

« On l’a pas fait dans les règles de l’art, c’est absolument une certitude. Tout simplement parce que c’est pas la priorité il faut quand même le dire. On peut pas dire que ce soit la priorité. » (Entretien avec Adrien, assistant de recherche).

202L’expression est révélatrice : ce n’est pas une science, c’est un art. Mais cet art possède des règles, qui ne sont pas maîtrisées et encore moins employées. Il est frappant de constater dans le même temps la reconnaissance, de la part des assistants de recherche, et, de manière moins nette, de la part des chercheurs, de l’importance du qualitatif, et du manque de méthodes pour l’utiliser. Cette « schizophrénie épistémologique », comme on pourrait l’appeler, peut parfois être reconnue :

« On fait du qualitatif mais c’est pas du qualitatif, c’est de l’illustratif, c’est du... C’est pas des vraies méthodes qualitatives. » (Entretien avec Adrien, assistant de recherche).

203En la matière donc, chacun, c’est-à-dire le plus souvent chaque assistant de recherche, fait comme bon lui semble, avec des méthodes qui lui sont propres. Là où les aspects quantitatifs sont extrêmement cadrés, les parties qualitatives (avant l’expérimentation mais également après, comme on va le voir) sont très largement laissées à l’appréciation des assistants de recherche. Le plus souvent, on se limite à organiser des « focus groups », sorte de groupes de discussions collectives, sans qu’il soit pour autant toujours clair de quoi on y parle.

  • 251  Les paragraphes qui suivent reprennent en partie A. Jatteau, Les expérimentations aléatoires en éc (...)
  • 252  « Une possible explication à ça sont les émeutes survenues dans la seconde moitié de la première a (...)
  • 253  On peut bien sûr imaginer que les auteurs ou leurs assistants aient eu des discussions informelles (...)
  • 254  Notre propos n’est d’ailleurs pas de porter un jugement sur l’explication proposée – qui est tout (...)

204Le manque de méthode dans le recours au qualitatif aboutit à des interprétations contestables dans leur fondement251. Dans une expérience où l’on cherche à améliorer le niveau des enfants les plus faibles scolairement en embauchant une « assistante éducative », Abhijit Banerjee et ses co-auteurs remarquent que les effets du programme au bout de deux ans sont différents entre Mumbai et Vadodara, les deux lieux où est réalisée l’expérimentation. Dans la seconde ville, l’impact est moins probant. Les auteurs affirment alors : « a possible explanation for this is the riots which occured in the second half of year 1 in Vadodara252 », ce qui aurait eu des conséquences négatives. Cette remarque nous paraît extrêmement révélatrice. L’investigation n’est pas portée plus loin que la simple supposition253. On pourrait penser qu’un véritable travail de terrain apporterait des justifications plus robustes254. La même critique vaut pour la conclusion, où les deux chercheurs affirment :

  • 255« Certains peuvent s’interroger sur l’efficacité de ces deux programmes et le manque de retombées (...)

« Some may be puzzled by the effectiveness of these two programs and the lack of spillovers of the Balsakhi program to the other children, given that the balsakhis have less training than the formal teachers and computer assisted learning programs have not been shown to be effective in developed country settings. We see two plausible explanations. First, teachers teach to the prescribed curriculum, and may not take time to help students who are behind catch up, ending up being completely ineffective for them. Second, students share a common background with the balsakhis, but not the teachers255. »

205Alors que beaucoup est fait pour démontrer toute la scientificité de la méthode des expérimentations aléatoires, les conclusions, qui visent à interpréter et souvent à généraliser les résultats, évoquent de « plausibles » explications, marquant un certain relâchement. Il n’est pas question de dire qu’une enquête de terrain permettrait de confirmer ou d’infirmer définitivement le point soulevé par les auteurs, mais elle apporterait certainement des éléments de réponse mieux fondés à même de constituer un faisceau de preuves.

  • 256Michael Kremer, « Randomized evaluations of educational programs in developing countries: some les (...)
  • 257Dont la version définitive est Paul Glewwe, Michael Kremer et Sylvie Moulin, « Many children left (...)
  • 258« De nombreux étudiants n’ont pas pu profiter des manuels scolaires parce qu’ils avaient des diffi (...)
  • 259Dans l’article original, les auteurs complètent : « one possible reason why students with high ini (...)
  • 260  Ou « apparentée », car certains pans de disciplines comme la psychologie ou la science politique e (...)

206Dans un article de synthèse sur l’éducation remontant au début du J-PAL256, Michael Kremer commente un article qu’il a co-écrit sur une expérimentation aléatoire visant à améliorer le niveau des élèves d’une région à l’ouest du Kenya257. Les manuels scolaires y sont très rares. Aussi les auteurs ont-ils proposé un « traitement » qui consiste à en distribuer un grand nombre aux élèves du groupe test (un manuel pour deux enfants environ). Les résultats sont décevants et n’améliorent les résultats aux tests scolaires que pour les 40 % meilleurs. Même s’ils s’appuient sur des statistiques intéressantes, l’affirmation « many students may have failed to benefit from textbooks because they had difficulty understanding them258 » invite à compléter la démarche, par exemple par des entretiens avec des élèves et des enseignants259. L’explication proposée semble tout à fait vraisemblable, mais on peut regretter que les auteurs ne cherchent pas à creuser davantage. D’une certaine manière, en restant dans un carcan « économiciste », il est difficile d’aller « plus loin ». C’est tout le sens de notre propos, auquel nous allons donner une assise théorique plus loin : ne pas se cantonner à une approche purement économique260 ou purement quantitative, les deux étant quasi synonymes chez beaucoup de randomistes, s’ouvrir à d’autres méthodes pour essayer de mieux saisir les résultats « donnés » par les expérimentations.

  • 261Benjamin A. Olken, « Monitoring corruption: evidence from a field experiment in Indonesia », Journ (...)
  • 262  Mais comme le poids du « facteur travail » est faible dans les dépenses totales du projet, ça n’es (...)

207Un article de Benjamin Olken sur la lutte contre la corruption permet également de saisir l’impasse à laquelle peut mener l’absence d’investigation ethnographique261. Un des « traitements » consiste à organiser des réunions avec la communauté villageoise pour discuter du projet de construction de route et de son budget. Les résultats montrent que l’effet global sur la corruption est négligeable et que les sommes détournées ne sont pas significativement réduites. Néanmoins, un examen plus attentif montre que pour les dépenses spécifiques au travail, la corruption diminue262. Les explications avancées par l’auteur semblent convaincantes :

  • 263« Il existe plusieurs explications possibles à la réduction des dépenses de main-d’œuvre, et non d (...)

« There are several different potential explanations for the reduction in labor expenditures but not materials associated with the participation treatments. First, it may be easier for villagers to observe actual wage payments than the quantity of materials delivered, making corruption in labor technologically easier for villagers to detect. Alternatively, even if villagers had equal information about both types of corruption, the focus on labor may have arisen because the invitations induced more workers to attend the meetings, and those workers focused on their private interest (i.e., the wages they personally were supposed to be paid by the project) rather than the public good of a higher-quality road263. »

208Benjamin Olken connait bien le pays où a lieu l’intervention : il y a vécu plusieurs années. Pour autant, il manque une mention des matériaux qu’il mobilise pour aboutir à ces affirmations. Là où la preuve d’efficacité est fournie à l’aide d’une méthode présentée comme robuste et dont Benjamin Olken fait état dans de longs développements, les preuves de causalité sont beaucoup moins documentées. Enfin, nous pouvons également citer l’introduction d’un article sur une expérimentation aléatoire en microfinance :

  • 264« On a trouvé que les hommes ont réinvesti une part plus importante des profits dans leurs affaire (...)

« Men have been found to re-invest a larger share of the profits generated into the business […], perhaps reflecting the difference between men and women in spending priorities264. »

209Or, il existe de nombreux travaux en anthropologie de la famille et de la parenté qui éclaireraient la question des choix de consommation et d’investissement des ménages dans les pays en développement. Comme le note Robert Boyer dans un article appelant – entre autres – à une « interdisciplinarité active », il est regrettable que :

  • 265  Robert Boyer, « Le paradoxe des sciences sociales : les vues d’un économiste “dissident” », Curren (...)

« […] soient juxtaposées diverses analyses académiques du même phénomène sur la même période… sans que les chercheurs impliqués n’éprouvent la nécessité d’une confrontation de leurs conclusions, souvent contradictoires, parfois triviales !265 »

4. Une nécessaire utilisation du qualitatif appuyée sur une méthodologie solide

210À ce stade, nous pouvons dresser un triple constat sur le lien entre les expérimentations aléatoires et le qualitatif :

  • Sur un plan épistémologique, le qualitatif est considéré comme peu ou pas scientifique, et surtout, il l’est moins que le quantitatif. De plus, il n’est pas valorisé dans les grandes revues américaines d’économie, ce qui limite les évolutions possibles.

  • Pourtant, il est présent dans les expérimentations aléatoires, à la fois dans la phase d’élaboration du projet et dans celle d’interprétation des résultats, parce que l’on peut difficilement faire autrement.

  • La déconsidération épistémologique du qualitatif implique son application sans réelle méthode.

211Il y a ici ce que l’on pourrait qualifier de nœud méthodo-épistémologique qu’il conviendrait de démêler, et que l’on pourrait ainsi résumer : il faut bien du qualitatif, mais ce n’est pas de la « vraie » science, donc on peut le faire « n’importe comment », pour reprendre l’expression d’un assistant de recherche. Sa résolution passe selon nous par une revalorisation du qualitatif, y compris dans les recrutements des randomistes, auxquels il est surtout demandé de maîtriser les méthodes quantitatives et les logiciels usuels, comme STATA, sans le rejeter au-delà des limites de ce que devrait être l’économie. À l’heure actuelle, les randomistes, comme un certain nombre d’économistes, voient ce genre de méthode comme « de l’autre côté » de la frontière disciplinaire qu’ils imaginent séparant l’économie du reste du monde des sciences sociales. Dès lors deux options s’offrent à nous : soit inviter le qualitatif à passer les frontières des sciences sociales, en soulignant qu’il a sa place même en économie, soit, de manière plus ambitieuse, arguer que le cas des expérimentations aléatoires appelle à dépasser l’existence même de frontières en sciences sociales. C’est cette seconde option qui a notre préférence, mais avant d’en discuter dans la section suivante, penchons-nous sur la première.

212Si les méthodes qualitatives nous semblent indispensables aux expérimentations aléatoires, c’est parce qu’elles permettent non pas de surmonter totalement, mais du moins d’apporter des éléments de réponse aux limites sérieuses évoquées dans les pages précédentes, concernant la validité interne et la validité externe. Il faut pour cela entrer dans ce qu’une randomiste appelle elle-même la « boîte noire » des expérimentations aléatoires : savoir comment s’est déroulée l’expérience, c’est se donner les moyens de cerner le plus précisément possible ce que l’on mesure (ou, pour le dire plus sommairement, « de quoi on parle ») et de penser comment, dans quel cadre et avec quels effets attendus, étant donné les particularités du terrain, on peut penser sa généralisation. Les méthodes quantitatives, et notamment la randomisation, fournissent des éléments de réponse. Mais elles ne prennent pas suffisamment en compte le contexte social, culturel, historique et géographique :

  • 266« L’ethnographie cherche à observer et à interagir avec les populations locales dans leurs vies qu (...)

« Ethnography looks to observe and interact with local populations in their daily lives without pre-conceived hypotheses. It is probably the best means to identify local categories and the complexity of social relationships in a specific context, but it requires a long-term presence in the same setting (village)266. »

213Elles se révèlent aussi insuffisantes en matière de mise au jour des mécanismes causaux :

  • 267  Pascale Rouaud et Emmanuel Sulzer, « Les démarches d’évaluation en question », Bref du Céreq, 2011 (...)

« Cette approche quantitative remplit le cahier des charges assigné à l’évaluation : déterminer si le dispositif est efficace ou non, avant de le généraliser. Mais elle ne suffit pas quand il s’agit d’expliquer les raisons et mécanismes de la réussite, ou de l’échec267. »

  • 268  C’est d’ailleurs le bilan que tirent les chercheurs du Crédoc des expérimentations auxquelles ils (...)
  • 269  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 104.
  • 270  Jean-Pierre Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprét (...)
  • 271C. B. Barrett et M. R. Carter, « The Power and Pitfalls of Experiments in Development Economics », (...)

214Le qualitatif est donc bien incontournable268. Comme on l’a vu et comme beaucoup d’acteurs des expérimentations aléatoires eux-mêmes le relèvent, il est indispensable pour mener une enquête quantitative269 et en particulier la randomisation. Le croisement des deux approches (quantitative et qualitative) constitue bien « l’enquête idéale270 » et sous-tend bien souvent les « meilleures271 » recherches.

215Se donner les moyens de mobiliser sérieusement les méthodes qualitatives, non pas seulement en reconnaissant leur apport, mais en les considérant comme pleinement scientifique, et, a minima, au même niveau que les quantitatives, c’est avancer dans la mise au jour des mécanismes causaux, que les chiffres ne peuvent à eux seuls dévoiler. Comme l’écrit Catherine Paradeise :

  • 272  C. Paradeise, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ?  (...)

« […] L’analyse statistique et économétrique est souvent employée pour caractériser des impacts d’une politique, soit ex ante sous forme d’expérimentation avant mise en œuvre, soit ex post. Elle peine toutefois à élu­cider les processus qui conduisent à ces impacts. […] Les approches inductives des sciences sociales offrent à l’inverse des possibilités d’interprétation fine272. »

216Et comme le résument très clairement deux chercheurs du Céreq :

  • 273  P. Rouaud et E. Sulzer, « Les démarches d’évaluation en question », op. cit., p. 3.

« Combiner les approches quantitatives et qua­litatives permet d’enrichir l’évaluation. Très schématiquement, le volet quantitatif a pour objectif de mesurer des effets sur la population ciblée par le dispositif : est-ce que le dispositif est efficace au regard de l’objectif poursuivi ? Le volet qualitatif cherche pour sa part à décrire et comprendre pourquoi, et comment, cela marche ou pas273. »

217Les enjeux sont trop importants pour laisser l’interprétation des résultats à l’intuition et à la spéculation de chercheurs qui ne se sont pas systématiquement donné les moyens de saisir les subtilités du terrain :

  • 274  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 140.

« La maîtrise de ce type de compréhension-explication devrait être un objectif central de toute institution de développement. Mais de telles compréhensions-explications ne peuvent surgir “spontanément” et ne relèvent pas de l’intuition, sous peine de retomber dans les stéréotypes. Il faut les chercher par l’enquête, et par une enquête appropriée, autrement dit par l’enquête socio-anthropologique274. »

218Chez les économistes du J-PAL, il existe ainsi un contraste entre la relative rigueur statistique et un certain amateurisme du qualitatif. Pour améliorer les pratiques, il conviendrait de sortir d’une vision simpliste qui ne verrait de vérité que dans des chiffres. En anthropologie, écrit Jean-Pierre Olivier de Sardan :

  • 275  J.-P. Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation (...)

« La véridicité de nos assertions ne peut se prétendre vérité et relève plutôt de la plausibilité. […] Les approximations […] tirent leur sens d’une exigence de rigueur “malgré tout”275 ».

  • 276Ibid., p. 12.
  • 277Ibid., p. 8.

219Sortir du confort rassurant du chiffre pour accepter un « à peu près », qui, ajoute-t-il, « n’a rien d’un n’importe quoi276 » : telle est la marche à suivre pour s’ouvrir au « raisonnement » anthropologique. La difficulté est alors de « conjuguer le pessimisme de l’approximation inéluctable et l’optimisme de la quête de rigueur277 », pour parodier la célèbre formule de Antonio Gramsci. On saisit le chemin à parcourir, là où la force et la séduction de la randomisation consistent justement à évacuer l’« à-peu-près » et à insister sur la précision et l’absence de « biais de sélection ».

  • 278Ibid., p. 23.

220Les méthodes qualitatives, à travers l’exemple ici de l’anthropologie, mais les propos sont généralisables à l’ensemble des sciences sociales, ont à voir avec la validité externe, comme le souligne Jean-Pierre Olivier de Sardan : « La rigueur socio-anthropologique réside aussi dans le fait qu’elle diffère la généralisation en la soumettant aux contraintes de l’enquête278. » Il ne s’agit pas de dire que l’enquête de terrain mettrait inévitablement au jour des particularismes qui empêcheraient toute généralisation mais bien qu’elle permettrait, au moins en partie, de distinguer entre des mécanismes qui ne sont pas particulièrement attachés au contexte du terrain et que l’on peut supposer « extrapolables », et des mécanismes qui seraient « trop » ancrés dans des conditions locales pour qu’ils soient généralisables.

  • 279Ibid., p. 43.
  • 280T. M. Porter, Trust in numbers, op. cit.
  • 281  J.-P. Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation (...)
  • 282  C’est l’auteur qui souligne.
  • 283  J.-P. Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation (...)

221Au regard du rapport à la quantification entretenu par les tenants des expérimentations aléatoires, il convient de dépasser une autre difficulté, qui apparaît comme un a priori négatif chez Jean-Pierre Olivier de Sardan lorsqu’il écrit : « La rigueur de l’enquête de terrain n’est pas chiffrable, à la différence de l’enquête par questionnaire279. » Ce « trust in numbers280 » est la grande force des randomistes et la « purification » du chiffre opérée par la randomisation explique pour une bonne part leur succès. En miroir, il nous faut considérer la « rigueur du qualitatif281 ». Mais pour cela, encore faudrait-il dépasser ce que l’on pourrait appeler un « fétichisme du chiffre », qui transparaît dans les articles du J-PAL, sans pour autant tomber dans l’excès inverse qui consisterait à rejeter tout élément quantitatif. Cette rigueur ne relève pas d’une sorte de préalable idéologique qui, une fois énoncée, aurait un effet performatif sur la pratique de l’anthropologie. Au contraire, on peut réunir, selon Jean-Pierre Olivier de Sardan, les « conditions de la validité en ethnographie282 » qui s’appuient sur un « souci d’adéquation empirique283 » :

  • 284Ibid., p. 101.

« L’effet de réalité […] fait office de garde-fou pour séparer l’interprétation ethnologique empiriquement fondée de l’herméneutique libre, de la spéculation philosophique ou de l’essayisme284. »

  • 285Esther Duflo, Rema Hanna et Stephen P. Ryan, « Incentives work: getting teachers to come to school (...)

222C’est cet « effet de réalité » qui semble faire défaut à de nombreuses expérimentations aléatoires, qu’un recours aux méthodes qualitatives issues des sciences sociales contribuerait à combler. Loin de diminuer le degré de scientificité auxquels prétendent les randomistes, au contraire, cela le renforcerait. Pour ne prendre qu’un exemple, on peut évoquer l’article de Esther Duflo et de ses co-auteurs sur la lutte contre l’absentéisme dans une région indienne285. Les résultats montrent que le « traitement » (vérifier la présence à l’aide d’un cliché photographique), associé à un salaire en partie corrélé à la présence, aboutit à une baisse de l’absentéisme. Le « traitement » donne des résultats positifs. Mais à quel prix ? Il est permis de s’interroger sur l’estime de soi qui en résulte, chez les enseignants comme chez leurs élèves, à l’issue d’une telle expérience et sur les conséquences, à plus ou moins long terme. On peut aussi s’interroger sur les contraintes structurelles qui expliqueraient leur absentéisme. Traiter cette question implique de sortir du « carcan » quantitatif. On voit ainsi qu’un élargissement des méthodes utilisées pour évaluer un projet de lutte contre la pauvreté aboutit du même coup à élargir les questions que l’on se pose et auxquelles on doit apporter une réponse. Difficile en effet de quantifier ce qu’est l’estime de soi…

223Cette section nous a permis d’aller plus loin dans notre « investigation épistémologique ». Nous avons ainsi montré que la « logique du chiffre » qui préside à la pratique actuelle des expérimentations aléatoires obère les méthodes non quantitatives. Aux yeux des randomistes, le chiffre fait (la) science, et tout ce qui relève du qualitatif est déconsidéré. Le terrain, qui fait pourtant leur spécificité comparée aux expériences de laboratoire, est dans le même temps peu questionné. Ainsi, nous avons mis en évidence que le but d’une expérimentation aléatoire étant bien de produire du chiffre, le terrain n’étant vu que sous l’angle d’un espace à même de fournir des bases de données. Mais c’est uniquement à travers le prisme du quantitatif qu’il intéresse. Pensée comme universelle (ne nécessitant pas d’adaptation suivant les contextes, à la différence de l’entretien ou de l’observation), la randomisation implique, à l’instar de toutes les expériences de terrain, divers arrangements. Or, comme nous l’avons documenté, en raison de leur faible réflexivité, les randomistes les prennent peu en compte. Il nous a ensuite semblé intéressant de montrer que le qualitatif n’est pas pour autant absent des expérimentations aléatoires. Il intervient ex ante pour construire le projet, et ex post pour comprendre les résultats, comme le résume une chercheuse dans un entretien :

« Le quanti chiffre, met en évidence des impacts, mais on sait pas toujours comment y a eu cet impact, et c’est vrai que des fois pour décortiquer le processus qui a amené à l’impact, c’est forcément du quali. » (Entretien avec Nadège, chercheuse).

224Corollairement à la croyance dans la supériorité du chiffre, nous avons documenté une défiance vis-à-vis du caractère scientifique des méthodes qualitatives. Cela aboutit à une posture épistémologique contradictoire : d’un côté elles sont rejetées car elles ne sont pas considérées comme véritablement scientifiques, de l’autre les « contraintes du réel » imposent leur utilisation. De ce point de vue, il existe une rupture entre la théorie et la pratique : la première voudrait s’en tenir au modèle de la randomisation, séduisant « sur le papier », alors que la seconde invite à un certain relâchement méthodologique, notamment par l’intermédiaire des assistants de recherche. Au final, on peut parler d’un « bazar épistémologique », entre les expérimentations aléatoires dont on ne compte plus les présentations théoriques et le « qualitatif malgré soi » que l’on observe sur le terrain.

225Nous ne pouvons que souligner la certaine incomplétude de l’usage qui est fait aujourd’hui des expérimentations aléatoires. Une véritable démarche scientifique impliquerait un recours plus large à une plus grande palette disciplinaire afin de saisir au mieux ce qu’il s’y joue. L’économie seule, même dans son versant le plus quantitatif et même avec le secours du tirage au sort, ne saurait y répondre de manière pleinement satisfaisante.

III. Les expérimentations aléatoires autrement

226Les sections précédentes ont pointé certaines limites des expérimentations aléatoires, notamment concernant les validités interne et externe. La qualité de la preuve qu’elles produisent n’est donc pas aussi élevée que ses promoteurs l’affirment. En l’état actuel de la pratique, on manque d’éléments pour dire « jusqu’où » elle tient et « de quoi » elle est la preuve.

227C’est la raison pour laquelle il nous semble utile de penser d’« autres » expérimentations aléatoires. Pour ce faire, la question des frontières disciplinaires doit être posée. Ce ne sont pas tant les définitions des différentes sciences sociales qui nous intéressent, mais plutôt leurs contours. Les randomistes mettent une barrière nette entre les différentes approches, ce qui ne leur est pas propre, le peu d’hétérogénéité méthodologique des plus grandes revues d’économie américaines en étant la preuve. Pourtant, en matière d’expérimentations aléatoires, nous avons montré que le recours à des méthodes jusqu’alors marginalisées pouvait être prometteur.

228C’est pourquoi, dans un premier temps, nous explorerons cette question des frontières disciplinaires, en nous focalisant sur leur croisement (A). Quel en serait l’intérêt ? Comment penser une pluridisciplinarité, une interdisciplinarité en matière d’expérimentations aléatoires et au-delà ? Des exemples inspirants existent.

229Un « mélange méthodologique » invite naturellement à envisager des expérimentations aléatoires qui soient différentes de celles actuellement pratiquées (B).

A. Au-delà des frontières disciplinaires

1. De la fécondité des croisements disciplinaires

230Il ne s’agit pas de reprendre « de front » le vieux débat entre qualitatif et quantitatif, sur un plan purement épistémologique en comparant les degrés de validité des méthodes, mais plutôt de penser, à travers le cas des expérimentations aléatoires, sa pertinence et surtout ses possibilités de dépassement.

  • 286  Pour une comparaison entre Ostrom et Duflo, notamment du point de vue de l’ouverture disciplinaire (...)
  • 287« I suppose it is tempting, if the only tool you have is a hammer, to treat everything as if it we (...)
  • 288A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and m (...)

231Les randomistes s’inscrivent parfaitement dans ce que Amy Poteete et ses co-auteurs, dont Elinor Ostrom286, appellent la « règle du marteau » (allusion à la célèbre formule d’Abraham Maslow287) qui consiste à appliquer la même méthode, quelles que soient les questions que l’on se pose288. Nous avons vu à quel point cela pouvait être le cas avec la randomisation : il n’y a besoin que d’un seul instrument. Nous avons aussi montré que cette fermeture méthodologique rencontrait des limites qui circonvenaient aux objectifs mêmes de ces expérimentations, y compris quant à la validité interne.

  • 289  On n’en trouve pas trace sur son site web. Cela rappelle la remarque que fait André Orléan à propo (...)
  • 290  Étienne Wasmer, « Évaluation des politiques publiques : faut-il de l’interdisciplinarité ? », Écon (...)

232Pourtant, Étienne Wasmer, enseignant à Sciences Po, en charge du premier cours d’introduction à l’économie, lui-même favorable aux expérimentations aléatoires sans les pratiquer289, souligne, en s’appuyant sur une analyse de Philip Tetlock, que les meilleurs experts, en termes de pouvoirs prédictifs, sont bien ceux qui se fondent sur des sources de nature variée290. Il ajoute plus loin dans des termes encore plus explicites :

  • 291Ibid., p. 200.

« […] La spécialisation au sein d’une discipline, voire, dans une discipline, au sein d’un sous-groupe de chercheurs maniant et raffinant les mêmes techniques d’analyse, peut conduire à un affaiblissement de la pensée. Ainsi, certains chercheurs tenants des méthodologies d’évaluation à partir d’échantillons aléatoires estiment que les résultats de macro-économétrie, notamment en matière monétaire, n’ont pas de fondements puisque l’identification n’est pas basée sur un dispositif expérimental tel que celui des méthodes d’expériences contrôlées qui sont appliquées avec succès aux politiques de développement291. »

  • 292  AMIRA, « Le chiffre, la carte et la parole », op. cit.
  • 293  Gérard Winter, « Deux méthodes d’investigation irréductibles mais complémentaires », Cahiers ORSTO (...)

233Les démarches réflexives sur les méthodes et sur leurs effets aboutissent souvent à des conclusions en faveur de l’ouverture disciplinaire, et plus encore en faveur du croisement des disciplines. Les chercheurs du groupe AMIRA indiquaient bien qu’« aucun des procédés n’a le monopole de la scientificité292 », notamment en matière de développement, et affirmaient ainsi que « la cohabitation entre sciences sociales et statistique est une nécessité293 », « statistique » pouvant être remplacé ici par « randomisation ». Bouquet et ses co-auteurs soulignent dans un article que :

  • 294  E. Bouquet, B. Wampfler et E. Ralison, « Rigueur scientifique et pertinence opérationnelle des étu (...)

« […] Les approches quantitatives sont mieux armées pour mesurer des résultats que pour caractériser les processus de causalité qui mènent à ces résultats (qu’ils soient positifs ou négatifs)294. »

234Dès lors, le croisement disciplinaire doit être systématisé, précisément car il permettrait d’apporter des réponses à des questions que les expérimentations aléatoires – ou, en généralisant, les méthodes qui se veulent « purement » quantitatives – ne sauraient trancher. Michael Bamberger et ses co-auteurs préconisent le recours à ce qu’ils nomment des « méthodes mixtes », qu’ils définissent comme suit :

  • 295« Les approches mixtes combinent les méthodes quantitatives qui permettent des estimations de l’ét (...)

« Mixed method approaches combine quantitative approaches that permit estimates of magnitude and distribution of effects, generalization and tests of statistical differences with qualitative approaches that permit in-depth description, analysis of processes and patterns of social interaction295. »

  • 296Ibid., p. 6.
  • 297Ibid., p. 7.
  • 298  A. Labrousse, « Nouvelle économie du développement et essais cliniques randomisés », op. cit., p.  (...)
  • 299  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi ave (...)
  • 300Ibid., p. 236.
  • 301Ibid., p. 234.
  • 302Ibid.
  • 303  A. Labrousse, J. Vercueil, J.-P. Chanteau, P. Grouiez, T. Lamarche, S. Michel et M. Nieddu, « Ce q (...)

235Par rapport au quantitatif seul, elles ont pour avantage de donner les moyens de comprendre le processus296 en cours (pendant une expérimentation/évaluation) et de saisir le contexte297. Il faut donc réhabiliter des méthodes (observation, entretiens, archives, etc.298) auxquelles on a trop rarement recours en économie299, et très marginalement dans les expérimentations aléatoires, afin d’« accroître notre capacité d’intelligence des faits économiques300. » Agnès Labrousse souligne que l’on peut trouver une « compatibilité épistémologique301 » entre l’économie et les autres sciences sociales, et surtout que ces croisements disciplinaires font partie de « l’ADN de l’économie302 », pour qui veut bien se pencher sur l’histoire de la pensée303.

  • 304A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and m (...)

236Les expérimentations aléatoires, objet de notre thèse, peuvent être également pensées comme un exemple parmi d’autres pour envisager la question qui nous occupe à présent. Ce n’est pas cette méthode en elle-même qui nous intéresse alors, mais bien son usage actuel, c’est-à-dire doublement exclusif (une seule méthode, et une seule manière de l’appliquer), qui fait de la quantification le socle unique de la démarche scientifique. Or, dans la droite ligne de ce que nous avons développé dans les pages précédentes sur la question de l’évaluation de programme comme sur un plan plus général, il nous apparaît que le pluralisme méthodologique doit être la règle et non l’exception304 :

  • 305« Au final, il semble assez logique que les affirmations concernant l’efficacité de diverses varié (...)

« At the end of the day, it should only be logical that knowledge claims regarding the efficacy of the diverse range of development projects, in all the diverse contexts in which they are deployed, should be made on the basis of an appropriate corresponding diversity of social science methods and tools305. »

237Il reste à s’accorder sur les méthodes ou sur les disciplines que l’on souhaiterait mettre au « pot commun » :

  • 306  É. Wasmer, « Évaluation des politiques publiques », op. cit., p. 202.

« Le croisement disciplinaire, s’il est bien mené, par des équipes dont les membres conservent une exigence disciplinaire forte, pourrait idéalement conserver la précision des analyses et la falsification, tout en permettant différents éclairages306. »

238Cette phrase contient plusieurs éléments qui méritent d’être interrogés. La position institutionnelle de son auteur invite par exemple à s’arrêter sur l’expression « exigence disciplinaire forte » en se demandant quelle place auraient dans ce « croisement », des économistes qualifiés d’« hétérodoxes » et jugés insuffisamment « exigeants » d’un point de vue scientifique par un certain nombre de revues académiques.

  • 307M. Bamberger et H. White, « Using Strong Evaluation Designs in Developing Countries », op. cit., p (...)
  • 308Robert Picciotto, « Experimentalism and development evaluation: Will the bubble burst? », Evaluati (...)

239Plus spécifiquement, en matière d’expérimentations aléatoires, la conclusion logique des développements précédents est d’« ouvrir » cette méthode au qualitatif (Michael Bamberger parle de « mixer » qualitatif et quantitatif307), un qualitatif conforme aux standards en vigueur dans les sciences sociales. Seul un véritable pluralisme méthodologique offre de dépasser les limites que l’on a mises avant, en intégrant des méthodes alternatives aux expérimentations aléatoires308. Jean-Pierre Olivier de Sardan conclut qu’il faut « armer les agents du développement d’une compétence anthropologique » tout en affirmant la nécessité de « recourir à des socio-anthropologues spécialistes d’une région ».

  • 309  Les chercheurs d’AMIRA parlaient ainsi de « sociologiser » la démarche statistique. Voir AMIRA, «  (...)
  • 310M. Bamberger et H. White, « Using Strong Evaluation Designs in Developing Countries », op. cit., p (...)
  • 311Paul Shaffer, « Against Excessive Rhetoric in Impact Assessment: Overstating the Case for Randomis (...)

240Il s’agit également d’introduire de la réflexivité, dans une optique « desrosièrienne » qui invite à penser309, avec davantage de recul, le processus de quantification. Du point de vue de la validité interne et donc de la compréhension de « ce qui est mesuré », le qualitatif favorise l’interprétation des résultats310. Du point de vue de la validité externe, la mise au jour des mécanismes à l’œuvre, où les méthodes qualitatives peuvent jouer un rôle primordial, permet de mieux cerner la potentielle généralisation des résultats311.

2. Des exemples inspirants

  • 312  Pour des exemples de « méthodes mixtes » au sens où l’entend Bamberger, voir Michael Bamberger, «  (...)

241Les exemples de croisement disciplinaire sont nombreux, et prétendre retracer leur histoire relève d’une gageure : les définitions des disciplines ont été fluctuantes et de nouvelles sont apparues. Nous n’évoquons dans ces quelques lignes que les exemples prouvant la fertilité qu’une telle approche pourrait produire si elle était adoptée par les randomistes312.

  • 313  A. Gramain et F. Weber, « Ethnographie et économétrie », op. cit., p. 134.
  • 314  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)

242Agnès Gramain et Florence Weber développent de longue date une collaboration qui pense et applique l’articulation entre ethnographie et économie313, montrant ainsi qu’un travail de recherche en commun est possible. Ces deux chercheuses publient des travaux ensemble, et non pas de manière séparée sur un même sujet, comme cela s’est fait pour la randomisation (par exemple pour l’évaluation du programme Sky au Cambodge314).

243Solène Morvant-Roux, dans une étude sur l’accès au microcrédit et sur les dynamiques d’endettement au Mexique, mêle anthropologie et économétrie :

  • 315  S. Morvant-Roux, « Accès au microcrédit et continuité des dynamiques d’endettement au Mexique : co (...)

« […] Les études d’impact centrées sur l’évolution des conditions de vie pour les bénéficiaires de ces programmes négligent le plus souvent l’analyse des processus qui se mettent en place lors de la mise en œuvre effective des services et leur appropriation par les bénéficiaires. Or, les observations empiriques fines montrent que ce qui se joue en matière d’impact résulte de mécanismes complexes qui impliquent de mieux appréhender la signification des actes économiques pour les populations locales315. »

244Ce croisement permet par exemple de montrer que :

  • 316Ibid., p. 113.

« […] L’acte de s’endetter ne se résume pas à une fonction économique immédiate, elle est porteuse d’une construction historique des conditions de reproduction économique et sociale de ces villages316. »

  • 317  Pierre Bourdieu, Algérie 60 : structures économiques et structures temporelles, Paris, Éditions de (...)

245Cet exemple illustre comment l’anthropologie permet un « décalage » interprétatif par rapport à une simple lecture des résultats chiffrés, en tenant compte des « catégories d’entendement » indigènes, comme le faisait déjà Bourdieu dans ses travaux sur l’Algérie317. Elle donne donc plus de valeur aux chiffres : c’est bien le qualitatif qui renforce le quantitatif, démontrant ainsi le caractère non-antinomique des deux approches.

  • 318  Jane I. Guyer, Kabiru Salami et Olusanya Akinlade, « “Ko s’owo” : il n’y a pas d’argent ! », Polit (...)

246Dans un numéro de Politique africaine consacré à « la macroéconomie par le bas », un article montre l’intérêt qu’il y a à considérer les catégories financières comme l’épargne à travers le prisme anthropologique. Les auteurs soulignent, par exemple, qu’il existe au Nigéria un mot pour le paiement différé et un autre pour la dette318. Là où une approche ethnocentrique pourrait y voir des synonymes, ce n’est pas le cas aux yeux des Nigérians. Penser une expérimentation aléatoire de microfinance serait de peu d’utilité si ces catégories n’étaient pas pensées et intégrées, notamment dans le questionnaire.

  • 319A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and m (...)
  • 320  Laure Turner et Jacques Mairesse, « Mesure de l’intensité de collaboration dans la recherche scien (...)
  • 321  J. Charmes, « L’héritage d’AMIRA », op. cit., p. 81.

247Face aux limites induites par une approche mono-disciplinaire, nous suivons Amy Poteete et ses co-auteurs lorsqu’ils préconisent une recherche collaborative319, rassemblant des chercheurs d’horizons disciplinaires différents. Une étude de Laure Turner et Jacques Mairesse montre que la proximité physique est essentielle320, avec par exemple les interactions de face-à-face. Ainsi, relancer des groupes de recherche comme AMIRA, dont c’était justement l’objectif321, doit être envisagé. Ce groupe préconisait ce qu’il avait nommé l’« enquête socio-économique » comme voie de dépassement des tensions entre qualitatif et quantitatif :

  • 322  G. Winter, « Deux méthodes d’investigation irréductibles mais complémentaires », op. cit., p. 19.

« Cette nouvelle catégorie d’enquête, l’enquête socio-économique, tiendrait à la fois de la monographie et de l’enquête statistique de structures. […] Au-delà de l’opposition factice entre qualitatif et quantitatif, ayant écarté l’illusion d’un “compromis hybride” entre deux modes d’enquête hétérogènes, il s’agit de promouvoir des systèmes d’investigation dans lesquels chaque mode d’approche, chaque type d’investigation garde sa spécificité mais valide l’autre322. »

  • 323Judith M. Gueron et Howard Rolston, Fighting for reliable evidence, New York, Russell Sage Foundat (...)

248Concernant les expérimentations aléatoires elles-mêmes, les exemples de croisement sont peu nombreux, du moins aujourd’hui. Judith Gueron note qu’au début de la grande vague américaine d’expérimentations sociales, des méthodes qualitatives étaient utilisées « dans les règles de l’art323 », ce qui illustre l’oubli (ou l’ignorance) de l’histoire de leur méthode par les randomistes, et qui justifie notre première partie.

  • 324  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microas (...)
  • 325S. Morvant-Roux, I. Guérin, M. Roesch et J.-Y. Moisseron, « Adding Value to Randomization with Qua (...)
  • 326Ibid., p. 302.

249L’étude d’Aurélie Quentin et Isabelle Guérin est très instructive324, mais elle vient en complément de l’étude randomisée et le « croisement » s’est peu fait, au sens où il n’y a pas eu de publication unifiée, vraisemblablement à cause de la méfiance des randomistes à l’égard des méthodes employées par les deux chercheuses. Dans un autre article qui souligne spécifiquement l’apport des méthodes qualitatives à la randomisation, les auteurs montrent que les premières doivent être pensées comme venant en complément325, sans quoi l’on risque de manquer un certain nombre d’éléments politiques, moraux, sociaux326. Paul Shaffer donne un exemple limpide de l’intérêt de ce croisement des regards :

  • 327  « En Turquie, une récente étude d’impact analysait l’impact d’un projet de transfert monétaire con (...)

« In Turkey, a recent impact assessment examined the impact of a conditional cash transfer (CCT) scheme on primary and secondary enrolment using both quasi-experimental and ethnographic techniques (Adato, 2008). The quasi-experiment found that the programme raised secondary school enrolment for girls but that secondary enrolment rates were still very low, especially in rural areas. The ethnographic work explained some of the underlying socio-cultural reasons including the belief that work is inappropriate for females and that schooling beyond a certain age compromises female honour and reputation327. »

  • 328James Thomas, Angela Harden, Ann Oakley, Sandy Oliver, Katy Sutcliffe, Rebecca Rees, Ginny Brunton (...)
  • 329Tahmid Arif, Anik Ashraf, Grant Miller, Ahmed Mushfiq Mobarak, Nasima Akter, ARM Mehrab Ali, MA Qu (...)
  • 330  Bamberger et ses co-auteurs donnent un exemple d’utilisation d’une « méthode mixte » en Inde. Voir (...)

250Ce n’est pas seulement que le qualitatif viendrait donner un supplément d’âme aux chiffres produits par des études randomisées, c’est qu’il modifie la perception même des résultats328, ce qui est bien plus important. Dans cette optique que Tahmid Arif et ses co-auteurs (dont certains sont membres du J-PAL) ont eu recours à une approche qualitative en complément d’une expérimentation aléatoire menée au Bangladesh329. Mais au final, rares sont les tentatives de « mêler » quantitatif et qualitatif dans un même projet et d’aller au-delà d’une simple juxtaposition330.

  • 331  Groupe Amnyos Consultants, « Évaluation de la mise en œuvre des expérimentations des parcours d’ac (...)
  • 332  P. Rouaud et E. Sulzer, « Les démarches d’évaluation en question », op. cit., p. 4.

251En France, lors de la vague d’expérimentations aléatoires financées par le Fonds d’expérimentation pour la Jeunesse (FEJ) de Hirsch, plusieurs études qualitatives sont venues les compléter. Certaines ont été produites par des cabinets privés331, d’autres par des organismes de recherche comme le Céreq. Dans un bilan des évaluations qu’ils ont menées, des chercheurs du Céreq soulignent bien qu’à propos du projet évalué, l’« approche quantitative […] ne suffit pas quand il s’agit d’expliquer les raisons et mécanismes de la réussite, ou de l’échec332. »

3. Dépasser les frontières ?

252À ce stade de notre raisonnement, se pose la question de l’existence même des frontières disciplinaires. Nous avons analysé comment le monisme méthodologique pouvait limiter l’intérêt des expérimentations aléatoires. Par là même, nous avons montré l’intérêt qu’il y a à « immiscer » du qualitatif au sein des protocoles des recherches et à imbriquer qualitatif et quantitatif.

  • 333  Christian Baudelot et Jacques Mairesse tirent ainsi du colloque « Sociologie et Économie » qui s’e (...)

253Cette question des disciplines renvoie à celle de leur définition. Ce vaste débat dépasse de loin l’objet de cette thèse. Nous nous en tiendrons à une définition des disciplines en fonction de leurs méthodes (et non de leurs objets), en ayant en tête que cette vision, quoique partagée, ne fait pas l’unanimité333. Loin d’en tirer des définitions normatives des disciplines, à l’instar des randomistes pour qui l’économie serait du « côté » quantitatif, nous y voyons plutôt des définitions traditionnelles, issues de ce que sont, de facto, aujourd’hui les disciplines. Dire, comme nous venons de le faire, que « les disciplines, ce sont les méthodes », suscite dans le même temps un certain nombre de problèmes. À cet égard, certains économistes et sociologues, comme ceux publiant dans la Revue française de socio-économie, ont davantage de points communs que des économistes entre eux, comme ceux de la Revue de la régulation d’un côté et de l’American Economic Review de l’autre.

  • 334  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 18.
  • 335  André Orléan, « La sociologie économique et la question de l’unité des sciences sociales », L’Anné (...)

254La question d’une déstructuration des disciplines doit donc ici être posée. Elle ouvre un débat plus large, ancien, sur l’unité des sciences sociales à laquelle renvoie Jean-Pierre Olivier de Sardan334 et sur l’existence éventuelle d’une « science sociale totale », envisagée par exemple par un chercheur comme André Orléan335. Le sujet mériterait une autre thèse. Les développements que nous avons menés jusqu’ici nous poussent néanmoins à y prendre part.

  • 336Marion Fourcade, Étienne Ollion et Yann Algan, « The Superiority of Economists », Journal of Econo (...)

255Les effets du double découpage disciplinaire et méthodologique sur la pratique des expérimentations aléatoires sont réels. Double découpage, avec d’abord un cloisonnement institutionnalisé au niveau des disciplines : attribution des diplômes (on obtient un doctorat d’économie ou de sociologie, mais pas des deux), profils des postes, revues et, surtout, études elles aussi clivées le plus souvent. À l’intérieur même des sciences sociales, on assiste à une spécialisation croissante depuis la Seconde Guerre mondiale336. Ce partage disciplinaire se double de découpages méthodologiques : à certaines disciplines sont associées certaines approches (l’économiste mainstream aurait partie liée avec le quantitatif, le sociologue avec le qualitatif). Dans les faits qui nous occupent, ce cloisonnement est tel que l’on fait fi des canons méthodologiques existant dans l’usage des outils qualitatifs. Leur statut scientifique est nié et l’on se garde de mentionner que l’on y recourt dans les publications. C’est parce que l’on y est contraints, essentiellement pour construire les questionnaires ex ante et pour interpréter les résultats ex post, qu’on le pratique, mais de manière « sauvage ».

256Dès lors, il est permis de mettre en cause l’existence même de ces frontières disciplinaires. Parce qu’elles sont censées déterminer le caractère scientifique des unes et des autres (on a vu à quel point la science relevait, pour les randomistes, du chiffre), et donc leur valeur, leur « franchissement » est malaisé. En ce sens, on pourrait dire que « les disciplines disciplinent », en insistant sur :

  • 337  François Vatin, « Quelles relations entre l’économie et la sociologie ? », Revue française de soci (...)

« […] Le champ sémantique ambivalent de la notion de “discipline” : unité de découpage du savoir, mais aussi instrument de l’ordre social, y compris dans le monde académique337. »

  • 338M. Fourcade, E. Ollion et Y. Algan, « The Superiority of Economists », op. cit., p. 93.
  • 339  Alors que cette pratique est répandue chez certains économistes « hétérodoxes ». Voir ce qu’en dis (...)
  • 340  T. Piketty, Le capital au xxie siècle, op. cit.

257Sur un plan intellectuel d’abord, il existe une réticence, chez les randomistes comme chez d’autres économistes à aller « regarder ailleurs », ailleurs ne désignant pas d’autres disciplines utilisant des méthodes quantitatives similaires, mais des disciplines usant de méthodes différentes, notamment qualitatives. Comme l’observent Marion Fourcade et ses co-auteurs, en économie, on cite davantage d’articles de sa discipline que dans les autres sciences sociales338. Il est possible que cela soit en train de changer chez des économistes en vue339, comme par exemple Thomas Piketty340, dont la position l’autorise, il est vrai, à tenir ce genre de propos :

  • 341  F. Lebaron, « Grand entretien avec Thomas Piketty. Pour une approche qui mêle histoire, sociologie (...)

« Je ne me sens pas une identité d’économiste, je me vois vraiment plutôt comme un chercheur en sciences sociales. Je pense que les frontières entre l’économie, la sociologie et l’histoire ne sont absolument pas claires […]. Ces frontières sont un moyen commode pour chacun de se constituer une identité et de s’opposer aux autres, d’expliquer pourquoi il peut se permettre de ne pas regarder telle question, mais pour finir c’est souvent assez peu justifié. Les économistes portent une énorme responsabilité dans cette grande coupure épistémologique à l’intérieur des sciences sociales, parce qu’ils ont eu tendance à se réfugier dans une espèce de mathématisation, d’affirmation de supériorité, en s’imaginant qu’il suffit de cumuler des marqueurs techniques pour avoir l’air scientifique, ce qui est totalement ridicule341. »

258Revenir sur les frontières disciplinaires implique de repenser les méthodes non plus en fonction de leur appartenance disciplinaire mais en fonction de leur sens par rapport au problème étudié. Le recours aux différentes méthodes des sciences sociales pourrait alors se faire en fonction des besoins et, en ce qui concerne les expérimentations aléatoires, en fonction des besoins « du terrain ». La question des effets d’un programme est trop vaste, trop complexe, pour que l’on puisse prétendre y répondre par une simple étude quantitative, aussi purs soient les chiffres produits. Ce sont les sciences sociales dans leur globalité, vues comme un ensemble varié mais cohérent de méthodes et d’outils, qui peuvent permettre de les saisir au mieux.

  • 342  Vatin emprunte le terme d’« indisciplinarité » à Laurent Loty. Voir F. Vatin, « Quelles relations (...)

259Notre étude sur les expérimentations aléatoires nous pousse à la conclusion qu’il faut « en finir » avec les disciplines, afin d’autoriser et de s’autoriser à saisir les problèmes économiques et sociaux d’une façon que l’on pourrait qualifier d’« indisciplinée342. » Cette « leçon » que nous tirons peut-elle être généralisée à l’ensemble des sciences sociales ? Nous serions tentés de répondre par la positive et de ne voir, à travers les expérimentations aléatoires, qu’un exemple, qu’une illustration du problème plus vaste de l’existence juxtaposée de différentes sciences de la société. Depuis toujours, les frontières ne sont pas nettes. Un certain nombre de chercheurs se situent à la marge et peuvent, de par cette position, rencontrer certaines difficultés d’insertion professionnelle et institutionnelle. Nous pensons qu’il faut « recentrer » les disciplines vers ces marges, vers ces frontières. Ce faisant, on doit penser la disparition même de ces frontières, dont les effets peuvent être néfastes, nous l’avons longuement montré pour les expérimentations aléatoires.

B. Penser d’autres expérimentations aléatoires

1. Une nécessaire prise en compte du cadre institutionnel

260Au-delà des positions épistémologiques que nous avons développées, il convient de s’interroger sur l’existence possible d’autres expérimentations aléatoires.

  • 343  François Doligez, Florent Bédécarrats, Emmanuelle Bouquet, Cécile Lapenu et Betty Wampfler, « Éval (...)
  • 344David Colander et Alfred Coats, The Spread of Economic Ideas, Cambridge University Press, 1989, p.(...)

261Il ne faut pas négliger les résistances institutionnelles qui traversent le champ de la « science économique » à l’égard d’une ouverture disciplinaire accrue343. La prise en compte des contextes organisationnels et politiques complique les possibilités de changements, comme le notaient déjà en 1989 David Colander et Alfred Coats344. Comme le remarque Étienne Wasmer lui-même :

  • 345  É. Wasmer, « Évaluation des politiques publiques », op. cit., p. 195.

« La science économique […] ne s’est pas réellement emparée de cette question de l’interdisciplinarité. Elle semble déjà avoir suffisamment à faire avec la résolution des débats entre expériences contrôlées et estimations de modèles structurels345. »

262La deuxième phrase témoigne d’une vision particulière de la discipline. Il est vrai que l’interdisciplinarité n’est guère présente en économie ou de manière détournée, en référence à des travaux appartenant, car publiés comme tels, à des champs disciplinaires différents, mais utilisant des méthodes similaires, notamment quantitatives. C’est le cas par exemple de la science politique chez les randomistes, alors qu’il s’agit en réalité d’un usage de la randomisation par des politistes, comme le fait Donald Green.

  • 346  F. Vatin, « Quelles relations entre l’économie et la sociologie ? », op. cit., p. 241‑242.
  • 347  Sans compter l’enseignement secondaire, où les Sciences économiques sociales, quoique régulièremen (...)

263Pour autant, il nous faut souligner le poids des rigidités institutionnelles qui limite, voire empêche, l’existence et la valorisation d’approches pluralistes, du point de vue des méthodes ou des disciplines. Le cheminement de la thèse à l’origine du présent ouvrage pourrait en constituer un parfait exemple. De la stratégie monodisciplinaire apparente dans le projet de thèse afin de maximiser les chances d’obtenir une allocation doctorale jusqu’à la réflexion sur la discipline dans laquelle inscrire cette thèse le jour de la soutenance (économie ? sociologie ?). Au-delà, ces difficultés se retrouvent dans le découpage institutionnel très ancien des disciplines en France, qui rattache l’économie au domaine « Droit, Économie, Gestion » et la sociologie à celui des « Sciences humaines et sociales346 ». Il existe quelques rares exceptions347 et, si cette « division disciplinaire » n’est pas universelle, elle est néanmoins largement répandue.

264Un travail de déconstruction du caractère naturel de cet état de fait nous apparaîtrait bénéfique, sur un plan général et, pour ce qui nous occupe ici, au niveau des expérimentations aléatoires. C’est parce qu’il y a une cassure nette entre l’économie « mainstream » d’un côté et les sciences sociales de l’autre, une cassure « épistémologique » pourrait-on dire, qu’il est difficile pour les randomistes d’aller au-delà du dialogue poli, comme celui qu’aurait un maître avec son élève. Ce n’est pas sur la nature même des disciplines que nous faisons porter le débat ici (ni sur la question de savoir si elles se situent ou non dans un « espace poppérien »), mais bien sur leur éventuelle hiérarchie quant à l’administration de la preuve. Les randomistes procèdent à un ordonnancement très clair, en deux temps. D’abord, l’économie se situe au-dessus des autres sciences sociales et en un sens également à côté, car elle ne relèverait pas du même « type » de science, et se rapprocherait davantage des sciences expérimentales. Ensuite, les expérimentations aléatoires se trouvent en haut de la hiérarchie des preuves, parmi toutes les méthodes disponibles.

  • 348  F. Vatin, « Quelles relations entre l’économie et la sociologie ? », op. cit., p. 241.

265Montrer tous les arrangements, tous les « bruits dans le signal » qui existent, s’inscrit dans une démarche de déconstruction des disciplines en tant que faits sociaux, nécessaire pour montrer leurs caractères socialement, culturellement et historiquement situés. Comme le rappelle à ce propos François Vatin : « Il ne s’agit pas de nier l’existence des disciplines, mais de les prendre pour ce qu’elles sont : des “faits sociaux”348. » Une telle phrase peut sembler évidente à bon nombre de sociologues. Il n’est pas inutile de l’avoir en tête quand on propose un tel changement de perspective. Ce que l’on entend par « science économique », terme qui s’est imposé après celui d’« économie politique », ne saurait être immuable.

  • 349  PEPS-Economie, « L’enseignement de l’économie dans le supérieur : bilan critique et perspectives » (...)
  • 350  Selon une étude réalisée par des étudiants de l’ISIPE (International Student Initiative for Plural (...)
  • 351  La création à la rentrée 2016 d’une double licence « Economie-Géographie » à l’université Paris 7, (...)

266Sur ce point, la question de l’enseignement nous paraît primordiale. L’histoire de la discipline elle-même est aujourd’hui marginalisée dans les licences d’économie, que ce soit en France où elle représente 1,7 % des cours (et où elle est tout simplement absente de 15 licences sur les 50 recensées)349 ou dans le monde (où elle représente 2,3 % des crédits, en comptant les cours de théories économiques et d’épistémologie)350. À l’inverse, les méthodes quantitatives sont très largement représentées et constituent même la première catégorie de cours dans ces licences, alors que les méthodes qualitatives sont marginalisées. L’ouverture disciplinaire est très faible également : 4,1 % des enseignements dans les licences d’économie en France, 5 % dans les 13 pays de l’échantillon, étant entendu que ces cours sont de toute façon à part, juxtaposés aux autres enseignements, et qu’il est extrêmement rare que l’on tente de faire dialoguer les disciplines351.

  • 352A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and m (...)
  • 353  R. Boyer, « Le paradoxe des sciences sociales : les vues d’un économiste “dissident” », op. cit., (...)
  • 354A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and m (...)
  • 355  Robert Boyer, « L’économie peut-elle (re)devenir une science sociale ? », Revue française de socio (...)
  • 356  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi ave (...)

267La socialisation universitaire des randomistes doit être prise en compte. Il faut donc non seulement pousser les universités à adapter leurs enseignements en la matière352, mais également penser les déroulements de carrière, qui favorisent encore trop la spécialisation individuelle, à travers les financements, les recrutements353, les publications, comme le rappellent Elinor Ostrom et ses co-auteurs354 ou un chercheur lui-même féru de pluridisciplinarité, Robert Boyer. Or, cette « spécialisation de plus en plus étroite bloque les échanges entre disciplines.355 » Agnès Labrousse préconise également un changement dans l’enseignement et dans la recherche en économie pour y (ré) introduire une démarche réflexive et initier aux approches qualitatives356.

2. La relative prise en compte des limites de la part des randomistes

  • 357  « Les méthodes qualitatives sont importantes comme complément quand la randomisation n’est pas fai (...)

268La possibilité de voir émerger d’« autres » expérimentations aléatoires doit être aussi mise en regard avec une éventuelle volonté de changement des randomistes eux-mêmes. Cette question peut sembler elle-même saugrenue, dans la mesure où ils font preuve de peu de réflexivité et où ils sont centrés sur le quantitatif comme seul outil de preuve. Certes, ils ne rejettent pas l’ouverture disciplinaire et font une place aux méthodes qualitatives. Une place « de fait » plus que « de principe », mais une place tout de même. Le Guide méthodologique pour l’évaluation des expérimentations sociales ne les rejette pas a priori, même s’il établit une hiérarchie claire par rapport au quantitatif. Abhijit Banerjee écrit quant à lui : « Qualitative methods are important both as adjuncts when randomization is not feasible357 », ce qui signifie bien qu’il faut d’abord essayer de randomiser. Dans les entretiens que nous avons pu réaliser avec des chercheurs, c’est également ce qui ressort : pas de rejet, mais une hiérarchie. En matière de preuve, le chiffre vaut plus que la parole.

  • 358Bruce G. Charlton et Andrew Miles, « The rise and fall of EBM », QJM, 1998, vol. 91, no 5, p. 371‑ (...)

269Cette relative ouverture disciplinaire contient en corollaire, paradoxalement, une certaine fermeture à la critique, qui rend largement inaudibles, par de nombreux randomistes, les propos que nous avons formulés dans cette troisième partie. Lors d’un entretien qu’il nous a accordé, Angus Deaton nous a raconté qu’il était venu exposer sa critique des expérimentations aléatoires sur invitation des étudiants en économie de Harvard. Le public était si nombreux que tous les participants n’ont pu s’asseoir. De nombreux enseignants du département étaient présents, à l’instar d’Amartya Sen. Pourtant, aucun randomiste n’est venu. De même, lors d’une conférence auquel il participait à New York avec Abhijit Banerjee, ce dernier a expliqué qu’il ne souhaitait pas échanger avec Angus Deaton, mais qu’il préférait exposer ses idées. Tout se passe comme si les randomistes ne souhaitaient pas véritablement débattre, car, étant actuellement au sommet de la vague, ils n’ont rien à y gagner. Bruce Charlton et Andrew Miles relèvent déjà ce trait pour les tenants de l’evidence-based medicine, qui n’ont pas intérêt à répondre aux critiques358.

270Lors d’un rendez-vous avec la direction du J-PAL en Europe, basée à Paris, avec Hélène Giacobino et Ilf Bencheikh, ce dernier nous a ainsi déclaré :

  • 359  Ilf Bencheikh, directeur-adjoint du J-PAL Europe.

« Énormément d’évaluations randomisées font appel à un moment ou un autre à du qualitatif. C’est indispensable au début, ne serait-ce que pour poser les bonnes questions. Et ensuite pour comprendre les mécanismes de causalité. C’est bien beau de mesurer un impact, si vous ne comprenez pas pourquoi il existe ou n’existe pas, ça ne sert à rien. Donc le débat d’ouverture au qualitatif et aux autres disciplines, je pense que c’est un faux procès. […] Je ne pense pas qu’il y ait de fermeture par principe des tenants des expérimentations aléatoires sur les autres méthodes, en tout cas sur les méthodes qualitatives, et sur la nécessité de dialoguer avec des sociologues, des anthropologues359. »

271Ilf Bencheikh, lors d’une séance de séminaire que nous avons co-organisé autour des expérimentations aléatoires à l’École normale supérieure en 2011, a exprimé ses doutes quant à l’absence d’interdisciplinarité que nous avions évoquée lors de notre intervention. Pour les randomistes, le manque d’ouverture disciplinaire semble un reproche irrecevable, car ils affirment pratiquer déjà des méthodes qualitatives, ce en quoi il est difficile de leur donner tort. Le problème se situe davantage au niveau du statut qu’il leur est accordé, sorte de béquille méthodologique qui permet de mieux maintenir l’édifice quantitatif en place. Certes, il y a du qualitatif dans les expérimentations aléatoires à l’heure actuelle, mais il est pratiqué sans réelle méthodologie. N’étant pas considérées comme véritablement scientifiques, les méthodes qualitatives ne reçoivent pas la même attention que la randomisation.

  • 360  A. Gramain et F. Weber, « Ethnographie et économétrie », op. cit., p. 141.
  • 361  S. Morvant-Roux, I. Guérin, M. Roesch et J.-Y. Moisseron, « Adding Value to Randomization with Qua (...)

272Nous avons montré dans la deuxième section de ce chapitre les limites d’une approche monodisciplinaire. Dans la troisième section, nous soulignons la portée que peut avoir un croisement des disciplines. Les exemples existent, y compris en matière d’expérimentations aléatoires pour lesquelles on trouve quelques pistes. Weber et Gramain invitent ainsi à former des équipes de chercheurs provenant d’horizons disciplinaires différents360, où la « division du travail » qui y a cours – au quantitatif les résultats, au qualitatif leur compréhension361 – rencontre celle préconisée par les assistants de recherche lors des entretiens que nous avons pu mener.

273Au-delà, l’aboutissement de la question de la preuve, traitée dans ce chapitre, amène à un questionnement sur l’existence des disciplines mêmes. Notre recherche sur les expérimentations aléatoires nous pousse à questionner, à leur sujet et plus généralement, la pertinence des frontières disciplinaires. Ces dernières limitent les capacités heuristiques de tirer des enseignements pertinents et scientifiquement issus des expérimentations.

274Mais pour penser d’autres expérimentations aléatoires, encore faut-il prendre en compte le cadre institutionnel. Sans que cela leur soit propre, il limite les possibilités de changement en la matière. Les règles du champ, favorisant la spécialisation et la monodisciplinarité, compliquent l’émergence d’expérimentations aléatoires qui intégreraient pleinement les méthodes qualitatives, au même titre que la quantification. S’il est difficile pour les plus jeunes chercheurs, notamment ceux en quête de postes, de s’en extraire, il est permis de penser que les plus en vue, à commencer par Esther Duflo, auraient les ressources institutionnelles nécessaires pour impulser un tel changement de paradigme. Pour autant, le peu d’intérêt accordé à ces critiques, qui s’explique par la position dominante des randomistes actuellement, hypothèque les possibilités d’évolution.

Conclusion du chapitre 3

275Dans ce chapitre, nous avons exploré les ressorts de la « preuve par le chiffre » produite par les expérimentations aléatoires. Plus précisément, nous nous sommes penchés sur la « valeur » de la preuve, en essayant d’en préciser les contours.

  • 362  Daniel Céfaï, « Comment généralise-t-on ? Chronique d’une ethnographie de l’urgence sociale », dan (...)

276Dans un premier temps, nous avons regardé « jusqu’où » elle tenait, en se centrant sur le problème de la généralisation. Cette question demeure centrale, et sa résolution est à même de déterminer, selon nous, une large partie de l’intérêt que l’on est en droit de porter aux expérimentations aléatoires. Mais les randomistes, s’ils en sont bien conscients, accordent une place relativement mineure dans leurs travaux à la validité externe et manquent de rigueur à ce sujet. Nous avons montré que, dans un certain nombre de publications, on trouve des généralisations hâtives, sans justification précise. Les réponses apportées par les randomistes sont (encore ?) trop disparates pour espérer traiter ce problème. Nous avons montré que derrière se trouvait la question tout aussi centrale de la causalité. C’est parce que l’on confond, en matière d’expérimentations aléatoires, les preuves de causalité et les preuves d’efficacité, que le traitement de la validité externe demeure insatisfaisant. Pour prétendre généraliser un programme au-delà du contexte dans lequel il a été obtenu, il est indispensable de comprendre les ressorts de son action, en décryptant les mécanismes causaux à l’œuvre. Seule une démarche qui permet pleinement de saisir ces derniers, grâce à tous les moyens qu’offrent les sciences sociales, y compris les méthodes qualitatives362, permettrait de donner des éléments satisfaisants en matière de généralisation et de dire « jusqu’où » tient la preuve randomiste.

277Nous avons ensuite questionné la validité interne des expérimentations aléatoires, en nous demandant de quoi elles sont la preuve. Cette dernière constitue le cœur de l’argumentation des randomistes. C’est précisément sur ce point que la méthode ferait mieux que ces concurrentes et se situerait en haut de la hiérarchie des preuves. Pour autant, un examen attentif montre que la preuve produite n’est pas aussi « solide » qu’il n’y paraît. L’obsession quantitative propre aux randomistes ne leur fait voir la science qu’à travers le chiffre. L’économie ne serait que quantitative, au risque sinon de se voir rejeter au-delà des frontières de la discipline. La production de chiffres supplante donc tout le reste et devient une fin en soi. Le terrain n’est pas reconnu comme potentiellement pourvoyeur de connaissances, mais il est vu plutôt comme une base de données « en puissance », « en devenir » pourrait-on dire. Paradoxalement, alors même que les randomistes se réclament du terrain et le mettent en avant pour souligner le progrès que cela peut constituer par rapport aux expériences de laboratoire, notamment, ils restent relativement éloignés. Le terrain est délégué aux assistants de recherche. Les chercheurs, eux, ne sauraient s’occuper que de chiffres, sans pour autant faire preuve de réflexivité. Les bricolages habituels sont trop rarement explicités, car le « réflexe réflexif » est absent de l’habitus randomiste. Il appartient vraisemblablement trop à ce que l’on pourrait appeler une « tradition qualitative », dont se méfient les randomistes. Pourtant, le qualitatif apparaît incontournable sur le terrain : avant que les chiffres éclosent, il faut des mots. Pour présenter l’expérimentation aux enquêtés, pour observer la vie dans les villages, pour comprendre le fonctionnement des administrations, etc. Mais, alors que la randomisation est extrêmement calibrée, assurant une homogénéité remarquable aux plus de 700 expérimentations lancées par le J-PAL, le qualitatif est laissé le plus souvent à l’appréciation des assistants de recherche, bien qu’ils y aient été rarement formés. Or, nous avons montré à quel point le recours au qualitatif apparaît indispensable pour dépasser les limites de la méthode. Pour la validité externe d’abord, il fournit des éléments permettant de mieux appréhender les mécanismes causaux, et par là les possibilités de généralisation d’un programme. Pour la validité interne ensuite : en mettant au jour la traduction concrète de la méthode, le qualitatif saisit les différents arrangements et est mieux à même de cerner ce que traduisent les résultats produits, en prenant du recul par rapport à ce qu’ils sont censés mesurer en théorie.

278Ces discussions autour de la validité externe et interne nous ont poussés à nous interroger sur la possibilité d’expérimentations aléatoires différentes de celles pratiquées à l’heure actuelle. Cela passe par questionner les frontières disciplinaires. On ne peut se satisfaire de documenter les effets d’une absence de méthodologie qualitative sérieuse. Il faut aussi montrer les bénéfices d’une utilisation rigoureuse. Au-delà, cela pose la question de l’existence même des frontières disciplinaires et, logiquement, celle de la définition d’une discipline. Plus haut, nous avions opté pour les définir en fonction de leurs méthodes et non de leurs objets. En ce sens, notre invitation à un pluralisme disciplinaire renvoie à un pluralisme méthodologique. La randomisation est une méthode d’évaluation largement pluridisciplinaire, comme nous l’avons longuement montré dans la première partie de cet ouvrage. Les randomistes proviennent d’horizons disciplinaires variés – science politique, économie, etc. Pourtant, ils revendiquent une unité méthodologique extrêmement forte. Une double unité, comme nous l’avons écrit précédemment : une seule méthode, et une seule façon de l’appliquer. C’est donc par le biais des méthodes que nous appelons au décloisonnement disciplinaire. Si les randomistes ont tout intérêt à faire appel à des chercheurs issus des différentes sciences sociales, c’est pour bénéficier de méthodes qualitatives qu’eux-mêmes ne possèdent pas.

279Au final, pour parvenir à un traitement satisfaisant, la question de la preuve dans les expérimentations aléatoires invite non seulement à s’interroger sur la pluridisciplinarité, mais à travers elle à encourager un pluralisme méthodologique. Il nous faut à présent aller plus loin dans notre questionnement sur la preuve en se demandant à présent pour qui les expérimentations aléatoires sont la preuve, à travers l’exploration du lien qu’elles entretiennent au(x) politique(s).

Notes

1  Cité par Alain Supiot, La gouvernance par les nombres. Cours au Collège de France (2012-2014), Paris, Fayard, 2015, p. 7.

2  « Quand on parle de preuve solide, on devra avoir en tête les preuves produites par les expérimentations aléatoires », Abhijit V. Banerjee (dir.), Making Aid Work, Cambridge, The MIT Press, 2007, 188 p., p. 12.

3David Evans, Michael Kremer et Mũthoni Ngatia, « The impact of distributing school uniforms on children’s education in Kenya », Working Paper, 2009.

4Michael Lipsky, Street-level bureaucracy: dilemmas of the individual in public services, New York, Russel Sage Foundation, 1980, 244 p.

5  Patrick Hassenteufel, Sociologie politique : l’action publique, Paris, Armand Colin, 2011, 320 p., p. 105.

6Ibid., p. 100.

7Ibid., p. 110.

8  Isabelle Bruno, « Défaire l’arbitraire des faits. De l’art de gouverner (et de résister) par les “données probantes” », Revue française de socio-économie, 2015, Hors-série, no 2, p. 213‑227, p. 215.

9  Bernard Gomel et Évelyne Serverin, « Évaluer l’expérimentation sociale », Document de travail, Centre d’études de l’emploi, 2011, p. 13.

10  Éric Monnier, Évaluations de l’action des pouvoirs publics, Paris, Economica, 1992.

11  Voir par exemple Adrien Bouguen et Marc Gurgand, « Randomized Controlled Experiments in Education », Analytical Report, European Expert Network on Economics of Education, 2012, p. 11‑12 ; Adrien Bouguen et Juliette Seban, « L’assignation aléatoire comme méthode d’évaluation des politiques publiques », Économie et prévision, 2014, vol. 1, no 204‑205, p. 119‑143, p. 134‑136.

12  A. Bouguen et J. Seban, « L’assignation aléatoire comme méthode d’évaluation des politiques publiques », op. cit., p. 137.

13  Abhijit V. Banerjee et Esther Duflo, « L’approche expérimentale en économie du développement », Revue d’économie politique, 2009, vol. 119, p. 691‑726, p. 693.

14Christopher B. Barrett et Michael R. Carter, « Retreat From Radical Skepticism: Rebalancing Theory, Observational Data and Randomization in Development Economics », dans Dawn Langan Teele (dir.), Fields experiments and their critics, Yale University Press, 2014, p. 58‑77, p. 268.

15Christopher B. Barrett et Michael R. Carter, « The Power and Pitfalls of Experiments in Development Economics: Some Non-random Reflections », Applied Economic Perspectives and Policy, 2010, vol. 32, no 4, p. 515‑548, p. 527.

16Tessa Bold, Mwangi Kimenyi, Germano Mwabu, Alice Ng’ang’a et Justin Sandefur, « Scaling up what works: experimental evidence on external validity in kenyan education », Working Paper, Center for Global Development, 2013.

17  La revue The Lancet invite d’ailleurs dès 2004 les économistes qui souhaiteraient suivre cette voie à prendre au sérieux les questions de validité externe. Voir « The World Bank is finally embracing science », The Lancet, 2004, vol. 364, no 9436, p. 731‑732, p. 731.

18Donald T. Campbell, « Reforms as experiments », American Psychologist, 1969, vol. 24, no 4, p. 407‑429.

19  Grégoire Chamayou, Les corps vils. Expérimenter sur les êtres humains aux xviiie et xixe siècles, Paris, La Découverte, 2014, 440 p., p. 345.

20  C’est la même question que pose Guala à propos des expériences de laboratoire. Voir Francesco Guala, « Experimental Localism and External Validity », Philosophy of Science, 2003, no 70, p. 1195‑1205, p. 1197.

21Dani Rodrik, « The new development economics: we shall experiment, but how shall we learn? », HKS Working Paper, 2008, vol. 55.

22  « L’évaluation typique aura été menée dans un lieu particulier, sur un groupe particulier, et dans des conditions d’expérimentations particulières. Sa généralisation à d’autres paramètres n’est jamais garantie – c’est le problème de la “validité externe” – et n’est certainement pas établi par l’évaluation elle-même. », ibid., p. 4.

23  « Les expérimentations aléatoires n’ont pas produit de preuves concrètes en ce qui concerne la question de l’intérêt du programme concerné. Cela ne devrait pas être une surprise : la seule preuve véritable que les expérimentations aléatoires produisent généralement est en lien avec des interrogations qui sont étroitement limitées dans leur portée et leur application, et sont en elles-mêmes inintéressantes. Les “preuves concrètes” des évaluations aléatoires ont besoin d’être enrichies avec de nombreux faisceaux d’indices avant qu’elles puissent être utilisables. », ibid., p. 5.

24Angus Deaton, « Instruments, randomization, and learning about development », Journal of Economic Literature, 2010, vol. 48, no 2, p. 424‑455.

25Lant Pritchett et Justin Sandefur, « Context Matters for Size: Why External Validity Claims and Development Practice Don’t Mix », Working Paper, for Global Development, 2013, p. 1.

26Ibid., p. 3.

27F. Guala, « Experimental Localism and External Validity », op. cit., p. 1196.

28Pieter Gautier, Paul Muller, Bas van der Klaauw, Michael Rosholm et Michael Svarer, « Estimating Equilibrium Effects of Job Search Assistance », Working Paper, 2012.

29  Pour une présentation de cette méthode, voir A. Jatteau, Les expérimentations aléatoires en économie, op. cit., p. 25‑26.

30  Voir par exemple A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p. 702‑709, 712‑713 ; Conseil scientifique du FEJ, Guide méthodologique pour l’évaluation des expérimentations sociales, Fonds d’expérimentation pour la Jeunesse, 2009, p. 11 ; Rachel Glennerster et Kuzai Takavarasha, Running Randomized Evaluations: A Practical Guide, Princeton, Princeton University Press, 2013, 480 p., p. 392‑398.

31  Marie-Christine Bureau, François Sarfati, Jules Simha et Carole Tuchszirer, « L’expérimentation dans l’action publique. Usages, pratiques et jugements des acteurs », Travail et emploi, 2013, vol. 3, no 135, p. 41‑55, p. 50.

32  « étalon-or ».

33  « des preuves tangibles ».

34  « La nouvelle économie empirique du développement ».

35« Nous faisons le lien entre nos résultats statistiques et nos “connaissances” préalables qui, pour des enjeux de santé, sont acquises sur une population et peuvent être transposées d’une population à une autre. […] Ces résultats statistiques ne sont pas inutiles pour la prédiction mais ils doivent être combinés avec des intuitions non scientifiques pour que cela soit considéré comme utile. Nous ne pouvons pas rejeter le non-scientifique et affirmer que notre méthode à un pouvoir de prédiction. », Kaushik Basu, « New empirical development economics: remarks on its philosophical foundations », Economic and Political Weekly, 2005, vol. 40, no 40, p. 4336‑4339.

36Karthik Muralidharan et Venkatesh Sundararaman, « Contract Teachers: Experimental Evidence from India », Working Paper, 2010.

37« Andhra Pradesh [la région indienne où se déroule l’expérience] a des moyennes proches de celles de l’ensemble de l’Inde pour plusieurs variables du développement humain telles que le taux d’inscription à l’école primaire, le taux d’alphabétisation, la mortalité infantile, de même que sur les mesures de prestation de services comme l’absentéisme des enseignants. », ibid., p. 7.

38« Étendre le recours aux enseignants contractuels peut être efficient d’un point de vue du coût pour améliorer l’éducation dans les pays en développement. », ibid., p. 18.

39« Tandis que les gouvernements des pays en développement font face au défi de l’amélioration de la qualité de l’enseignement, il n’est pas établi que l’augmentation des dépenses dans la continuité des modèles existants est le meilleur moyen d’y parvenir. Avec plus de 25 % d’enseignants absents en Inde et moins de la moitié d’entre eux impliqués dans une activité d’enseignement à un moment de leur vie, améliorer les incitations des professeurs est un impératif pour une utilisation efficace des deniers publics. L’emploi d’enseignants sous contrat à durée déterminée renouvelable peut être une politique hautement efficace […]. », ibid., p. 20.

40Gérard Lassibille et Trang Nguyen, « Improving Management in Education: Evidence from a Randomized Experiment in Madagascar », Working Paper, J-PAL, 2008.

41  « Les données disponibles jusqu’à maintenant montre que plus de ressources seules, telles que des manuels scolaires, des tableaux noirs, des enseignants supplémentaires, n’améliorent pas l’apprentissage à l’école ».

42  Surtout quand on sait que des résultats contraires ont été trouvés dans d’autres contextes. En 1990 par exemple, est publiée une expérimentation aléatoire qui montre le bienfait de la réduction de la taille des classes. Voir Jeremy D. Finn et Charles M. Achilles, « Answers and questions about class size: a statewide experiment », American Educational Research Journal, 1990, vol. 27, no 3, p. 557‑577. D’autres méthodes aboutissent aux mêmes conclusions. Voir par exemple Thomas Piketty, « L’impact de la taille des classes et de la ségrégation sociale sur la réussite scolaire dans les écoles françaises : une estimation à partir du panel primaire 1997 », Document de travail, 2004 ; Joshua Angrist et Victor Lavy, « Using Maimonides’ rule to estimate the effect of class size on scholastic achievement », The Quarterly Journal of Economics, 1999, vol. 114, no 2, p. 533‑575.

43E. Duflo, P. Dupas, et M. Kremer, Peer Effects, Pupil Teacher Ratios and Teacher Incentives: Evidence from a Randomized Evaluation in Kenya.

44« il est impossible de savoir si les résultats de cette étude se généraliseront tant que d’autres études ne seront pas menées dans différents contextes », ibid., p. 5.

45  « Un défi majeur du système éducatif dans les pays en développement est le fait que les élèves soient extrêmement divers, et que le programme est fortement inadapté aux élèves novices. Ces résultats montrent que le fait de regrouper des élèves par leur niveau de préparation ou par leur réussite précédente, et de concentrer le matériel enseignant à un niveau pertinent pour eux pourrait potentiellement avoir d’importants effets positifs avec peu ou aucun coût additionnel. », ibid., p. 32.

46  « Nous estimons que la traçabilité peut vraisemblablement avoir les mêmes effets dans d’autres pays à faibles revenus, comme pour des pays de l’Afrique subsaharienne et de l’Asie du Sud, où la population étudiante est souvent hétérogène, et que les récompenses accordées aux professeurs sont pour les progrès en matière d’éducation au sommet de la distribution. », ibid., p. 32.

47D. Rodrik, « The new development economics: we shall experiment, but how shall we learn? », op. cit.

48Jessica Cohen et Pascaline Dupas, « Free distribution or cost-sharing? Evidence from a randomized malaria prevention experiment », Quarterly Journal of Economics, 2010, vol. 125, no 1, p. 1‑45.

49Dani Rodrik, « Jeff Sachs vindicated »,

http://rodrik.typepad.com/dani_rodriks_weblog/2008/01/jeff-sachs-vind.html, consulté le 20 août 2020 ; Mead Over, « Sachs Not Vindicated », http://www.cgdev.org/blog/sachs-not-vindicated, consulté le 20 août 2020.

50  « Lorsque j’ai lu cette étude pour la première fois, ma première réaction a été de dire qu’elle réglait la question une fois pour toutes. La distribution gratuite est la voie à suivre », D. Rodrik, « The new development economics: we shall experiment, but how shall we learn? », op. cit., p. 13.

51  En toute logique, les expérimentations aléatoires pourraient contribuer à invalider une théorie, en montrant un exemple qui ne marche pas, mais non à en valider une (car elles ne peuvent montrer qu’une théorie marche en tout temps et en tout lieu).

52« On peut avoir des doutes légitimes sur la possibilité de généralisation des résultats de Cohen-Dupas. », D. Rodrik, « The new development economics: we shall experiment, but how shall we learn? », op. cit., p. 13.

53  « On peut croire dans les résultats pour cette zone particulière du Kenya mais on ne doit pas espérer qu’ils tiennent dans un autre contexte avec d’autres conditions. », ibid., p. 14.

54  « Malgré l’identification claire fournie par le champ des expérimentations aléatoires, ceux qui croient que nous avons appris quelque chose de général à propos de la distribution gratuite ont besoin de recourir à des arguments améliorant leur crédibilité, qui paraissent assez similaires à ceux qu’utilisent les praticiens d’économétrie en section transversale ou d’études qualitatives – même si l’effort est désormais dirigé à convaincre les personnes critiques sur la généralisation des résultats et non sur leur pertinence ou leur validité. », ibid., p. 15.

55Edward Miguel et Michael Kremer, « Worms: identifying impacts on education and health in the presence of treatment externalities », Econometrica, 2004, vol. 72, no 1, p. 159‑217.

56A. V. Banerjee (dir.), Making Aid Work, op. cit., p. 16‑17.

57« Plus d’une fois j’ai eu l’impression que Abhijit Banerjee et Esther Duflo allaient trop loin en tirant des conclusions extensives sur la meilleure des manières de “combattre la pauvreté généralisée” d’après leur champ d’observation et leurs essais expérimentaux avec des variables particulières. », Martin Ravallion, « Fighting Poverty One Experiment at a Time: A Review of Abhijit Banerjee and Esther Duflo’s “Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty” », Journal of Economic Literature, 2012, vol. 50, no 1, p. 103‑114, p. 111.

58  A. V. Banerjee et E. Duflo, Repenser la pauvreté, trad. fr. Julie Maistre, Paris, Seuil, 2012, p. 163‑164.

59  La vidéo de la conférence est disponible sur le site de l’École d’Économie de Paris (http://www.parisschoolofeconomics.eu/fr/actualites/conference-esther-duflo-24-mars-2011-pse/) mais pas les questions posées ensuite par l’assistance.

60D. T. Campbell, « Reforms as experiments », op. cit.

61« Une première réponse […] est de répliquer des expériences concluantes dans des contextes différents. Cela présente deux avantages. D’abord, dans l’opération de transposition d’un programme, les circonstances requerront des changements, et le programme montrera sa solidité si sa validité survit à ces changements. Deuxièmement, obtenir plusieurs estimations dans des contextes différents procurera des indications pour savoir si les impacts du programme diffèrent significativement pour les différents groupes. » ; Esther Duflo, « Scaling up and evaluation », dans François Bourguignon et Boris Pleskovic (dir.), Accelerating Development, World Bank and Oxford University Press, 2004, p. 342‑367, p. 346.

62  Il est frappant de constater à quel point les différents articles produits par Duflo et ses collègues sur lesquels nous nous appuyons dans ces quelques lignes présentent des arguments similaires concernant la généralisation.

63   « Une façon d’apprendre la généralisabilité est d’encourager des réplications adaptées d’évaluations randomisées dans des domaines d’intérêt clés dans plusieurs contextes différents », Esther Duflo et Michael Kremer, « Use of randomization in the evaluation of development effectiveness », Mimeo, 2003, p. 25.

64  A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 36‑37.

65E. Miguel et M. Kremer, « Worms: identifying impacts on education and health in the presence of treatment externalities », op. cit.

66  Qui sont d’ailleurs fort ingénieusement analysées par les auteurs.

67  Les vers parasitaux touchent énormément d’enfants dans cette région du Kenya et dans de nombreux pays sous-développés. Sans être mortels, ils les rendent très faibles ce qui peut les décourager à se rendre en classe.

68Gustavo J. Bobonis, Edward Miguel et Charu Puri-Sharma, « Anemia and school participation », The Journal of Human Resources, 2006, vol. 41, no 4, p. 692‑721 ; Gustavo J. Bobonis, Edward Miguel et Charu Puri-Sharma, « Iron Deficiency Anemia and School Participation », Poverty Action Lab Paper, 2004.

69  A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p. 703‑704.

70« Cette [réplication] soutient la conclusion de la recherche sur le déparasitage au Kenya [...] selon laquelle les programmes de santé scolaire sont peut-être l’un des moyens les plus efficients d’accroître la participation scolaire et, surtout, suggère que cette conclusion peut être pertinente dans les pays à faible revenu en dehors de l’Afrique. » ; E. Duflo et M. Kremer, « Use of randomization in the evaluation of development effectiveness », op. cit., p. 26.

71  Il aurait été intéressant d’avoir des explications sur cette différence, mais la présentation des conditions d’enquête dans les articles considérés ne le permet pas.

72« Le programme a alors été modifié pour répondre aux besoins des enfants d’écoles maternelles dans l’Inde urbaine, avec des compléments en fer étant donné le haut niveau d’anémie au sein de cette population. » ; Esther Duflo, Rachel Glennerster et Michael Kremer, « Using randomization in development economics research: a toolkit », dans Handbook of Development Economics, Elsevier, 2008, p. 3895‑3962, p. 72.

73G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Iron Deficiency Anemia and School Participation », op. cit.

74G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit.

75G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Iron Deficiency Anemia and School Participation », op. cit., p. 3 ; G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit., p. 695.

76« […] La démonstration qu’une relation similaire s’établit dans une autre configuration géographique (l’Inde urbanisée), avec un groupe d’âge plus jeune, et des interventions de santé différentes donne des preuves convaincantes qu’il y a une corrélation importante entre la santé des enfants et l’assiduité scolaire dans les pays pauvres. » ; G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Iron Deficiency Anemia and School Participation », op. cit., p. 3.

77G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit., p. 695.

78« L’intervention médicale dans cette étude était plus restreinte, consistant à administrer des médicaments de vermifugation, contrairement au programme actuel où on y administre en plus de la vermifugation des compléments de fer et des vitamines A. », ibid.

79Abhijit V. Banerjee, Shawn Cole, Esther Duflo et Leigh Linden, « Remedying education: Evidence from two randomized experiments in India », The Quarterly Journal of Economics, 2007, vol. 122, no 3, p. 1235‑1264.

80  A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p. 703.

81« On peut être relativement confiant en recommandant le passage à une plus large échelle de ce programme, du moins en Inde, sur la base d’estimations, parce que ce programme a été prolongé pendant une certaine période, évalué dans deux contextes assez différents et a montré sa capacité à être développé à une large echelle. », E. Duflo, « Scaling up and evaluation », op. cit., p. 347.

82  A. V. Banerjee et E. Duflo, « L’approche expérimentale en économie du développement », op. cit., p. 704.

83Ibid.

84  « Une des réponses à la critique de la validité externe est de dire que la solution est de répéter l’expérience avec des configurations différentes, assez de fois pour qu’on se sente confiant pour en tirer des conclusions générales. Mais il n’est pas évident que ce soit la solution magique. Peu d’évaluations aléatoires – si ce n’est aucune – n’offre de modèle structurel décrivant comment la mesure proposée fonctionnera, si tel est le cas, et dans quelles circonstances elle ne fonctionnera pas. En l’absence d’une théorie générale à évaluer, il est quelque peu arbitraire de déterminer sous quelles conditions différentes l’expérimentation devrait être répétée. », D. Rodrik, « The new development economics: we shall experiment, but how shall we learn? », op. cit., p. 21‑22.

85E. Duflo, R. Glennerster et M. Kremer, « Using Randomization in Development Economics Research », op. cit.

86A. V. Banerjee, S. Cole, E. Duflo et L. Linden, « Remedying education: Evidence from two randomized experiments in India », op. cit.

87« Des réplications réussies et répétées d’expérimentations “qui ont fonctionné”, par exemple une expérimentation qui n’est pas liée à des mécanismes sous-jacents ou généraux, n’est probablement et pas nécessairement probante. Apprendre d’une théorie, ou de mécanismes, nécessite que la recherche soit dirigée vers la théorie, vers la raison pour laquelle quelque chose a fonctionné, et non pas sur le seul fonctionnement. Les projets peuvent rarement être répliqués, bien que les mécanismes conduisant à la réussite ou à l’échec peuvent souvent être répliqués et transposés. Cela signifie que, si la Banque mondiale avait en effet randomisé l’ensemble de ces projets passés, il est improbable que les preuves accumulées contiendraient les solutions/les clefs du développement économique. », A. Deaton, « Instruments, randomization, and learning about development », op. cit., p. 442.

88Agnès Labrousse, « Hard Numbers, poor numbers. Rhetorical figures supporting Randomized Controlled Experiments in Poor Economics », Congrès de l’AFEP, 2016.

89  G. J. Bobonis, E. Miguel et C. Puri-Sharma, « Anemia and school participation », op. cit.

90  Le paragraphe qui suit reprend en partie A. Jatteau, Les expérimentations aléatoires en économie, op. cit., p. 97‑99.

91Jennifer Meredith, Jonathan Robinson, Sarah Walker et Bruce Wydick, « Keeping the Doctor Away: Experimental Evidence on Investment in Preventative Health Products », Working Paper, 2012.

92Abhijit V. Banerjee, Esther Duflo, Nathanael Goldberg, Dean Karlan, Robert Osei, William Parienté, Jeremy Shapiro, Bram Thuysbaert et Christopher Udry, « A multifaceted program causes lasting progress for the very poor: Evidence from six countries », Science, 2015, vol. 348, no 6236, p. 1260799-1-1260799‑16.

93  Florent Bédécarrats, Isabelle Guérin et François Roubaud, « L’étalon-or des évaluations randomisées : du discours de la méthode à l’économie politique », Document de travail, DIAL, 2015, p. 19.

94« Alors qu’il est nécessaire de répliquer des études dans des contextes différents, il ne sera jamais réalisable de tester rigoureusement l’étendue des résultats de la recherche à l’ensemble des situations possibles. Cependant, les expérimentations peuvent apporter bien plus que des conclusions générales quand elles sont combinées avec des modèles et des théories économiques. », E. Duflo, R. Glennerster et M. Kremer, « Using Randomization in Development Economics Research », op. cit., p. 3955.

95Ibid. « Les modélisations peuvent être combinées avec des variations issues des évaluations aléatoires pour tester un ensemble de paramètres plus large. ».

96Ibid. « Construire une expérimentation spécifiquement en vue d’évaluer des théories particulières sur les comportements économiques. ».

97  Marc Ferracci et Étienne Wasmer, État moderne, État efficace. Évaluer les dépenses publiques pour sauvegarder le modèle français, Paris, Odile Jacob, 2011, 212 p.

98Avec par exemple Dean Karlan et Jonathan Zinman, « Observing Unobservables: Identifying Information Asymmetries With a Consumer Credit Field Experiment », Econometrica, 2009, vol. 77, no 6, p. 1993‑2008.

99J. Cohen et P. Dupas, « Free Distribution or Cost-Sharing? », op. cit.

100« Les théories apportent des indications sur les programmes susceptibles de fonctionner et, par conséquent, l’évaluation de ces programmes permet de tester des prédictions de la théorie», E. Duflo, « Scaling up and evaluation », op. cit., p. 357.

101Fernando Martel Garcia et Leonard Wantchekon, « Theory, External Validity, and Experimental Inference: Some Conjectures », The ANNALS of the American Academy of Political and Social Science, 2010, vol. 628, no 1, p. 132‑147.

102Ibid., p. 134.

103Ibid., p. 136.

104Ibid.

105  Sebastian Linnemayr et Harold Alderman, « Almost random: Evaluating a large-scale randomized nutrition program in the presence of crossover », Journal of Development Economics, 2011, vol. 96, no 1, p. 106‑114.

106Voir par exemple Rachael Meager, « Understanding the Impact of Microcredit Expansions: A Bayesian Hierarchical Analysis of 7 Randomised Experiments », Working Paper, 2015.

107  Cette distinction, si elle n’a pas toujours été explicitée, renvoie à des questionnements très anciens en matière d’expérimentation. Comme le note Chamayou, de nombreuses expériences dans le domaine médical ont cherché par le passé à apprécier les effets de traitement sans véritablement s’intéresser aux causes. Voir G. Chamayou, Les corps vils, op. cit., p. 232. En épistémologie des sciences, la question de la causalité est un classique. Pour un rappel sur la « causal war », voir Agathe Devaux-Spatarakis, « La méthode expérimentale par assignation aléatoire : un instrument de recomposition de l’interaction entre sciences sociales et action publique en France ? », thèse, Sciences Po, Bordeaux, 2014, p. 109‑115. Pour le lien entre causalité et expérimentation, on peut se référer à Denis Fougère, « Expérimenter pour évaluer les politiques d’aide à l’emploi : les exemples anglo-saxons et nord-européens », Revue française des affaires sociales, 2000, vol. 54, no 1, p. 111‑144, p. 5‑7.

108  Catherine Laurent, Jacques Baudry, Marielle Berriet-Solliec, Marc Kirsch, Daniel Perraud, Bruno Tinel, Aurélie Trouvé, Nicky Allsopp, Patrick Bonnafous, Françoise Burel, Maria José Carneiro, Christophe Giraud, Pierre Labarthe, Frank Matose et Agnès Ricroch, « Pourquoi s’intéresser à la notion d’“evidence-based policy” ? », Tiers Monde, 2009, no 200, p. 853‑873, p. 865.

109Ibid.

110  Bruno Lecoutre, « Expérimentation, inférence statistique et analyse causale », Intellectica, 2004, no 38, p. 193‑245, p. 209.

111  Jean-Claude Barbier, « Évaluations “expérimentales” : quelques leçons de l’histoire », Politiques sociales et familiales, 2012, no 110, p. 1‑13.

112  Agnès Labrousse, « Nouvelle économie du développement et essais cliniques randomisés : une mise en perspective d’un outil de preuve et de gouvernement », Revue de la régulation, 2010, no 7, p. 2‑32, p. 11.

113« Sans une théorie préalable, et au sein de ces propres normes d’évaluation, un essai randomisé contrôlé cherchant “ce qui fonctionne”, ne renseigne pas sur les mécanismes, ne serait-ce que parce qu’il y a toujours plusieurs mécanismes à l’œuvre. […] Apprendre à propos de la théorie, ou des mécanismes, demande à ce que la recherche soit orientée vers cette théorie, vers quelque chose qui fonctionne, et non pas vers quelque chose qui pourrait fonctionner. », A. Deaton, « Instruments, randomization, and learning about development », op. cit., p. 34.

114  « Les expérimentations aléatoires, comme les résultats non-expérimentaux, ne peuvent être automatiquement extrapolés hors du contexte dans lequel ils ont été obtenus. », ibid., p. 49.

115  Barbara Befani, « Models of causality and causal inference », Working Paper, Department for International Development, 2012, p. 12.

116Kaushik Basu, « The Method of Randomization, Economic Policy, and Reasoned Intuition », Policy Research Working Paper, World Bank, 2013, p. 22.

117Ibid., p. 8.

118Ibid., p. 11.

119  Michel Husson, Les ajustements de l’emploi. Pour une critique de l’économétrie bourgeoise, Lausanne, Éditions Page deux, 1999, 84 p., p. 191.

120  Finn et Achilles apparaissent bien démunis quant à la question des causes et des effets de la réduction de la taille des classes qu’ils testent à l’aide d’une expérimentation aléatoire. Ils le reconnaissent d’ailleurs volontiers. Voir J. D. Finn et C. M. Achilles, « Answers and Questions About Class Size », op. cit.

121N. Cartwright, « Are RCTs the Gold Standard? », BioSocieties, 2007, vol. 2, no 01, p. 11‑20.

122  Il donne même un exemple probant. Voir A. Deaton, « Instruments, randomization, and learning about development », op. cit., p. 441.

123  Pour être plus précis, il faut dire qu’il ne s’agit pas d’une faiblesse de la méthode en elle-même, mais plutôt de son utilisation exclusive.

124M. Ravallion, « Evaluation in the practice of development », World Bank Research Observer, 2009, vol. 24, no 1, p. 29‑53, p. 38.

125« Les expérimentations aléatoires sur “ce qui marche” ont peu de chance d’être utile en matière de politique publique, au-delà du contexte local, à moins qu’elles nous disent quelque chose sur “pourquoi” le programme a fonctionné. », A. Deaton, « Instruments, randomization, and learning about development », op. cit., p. 47.

126Glenn W. Harrison, « Randomisation and Its Discontents », Journal of African Economies, 2011, vol. 20, no 4, p. 626‑652, p. 634.

127« Sans une théorie préalable, et au sein de ces propres normes d’évaluation, un essai randomisé contrôlé cherchant “ce qui fonctionne”, ne renseigne pas sur les mécanismes, ne serait-ce que parce qu’il y a toujours plusieurs mécanismes à l’œuvre. […] Apprendre à propos de la théorie, ou des mécanismes, demande à ce que la recherche soit orientée vers cette théorie, vers quelque chose qui fonctionne, et non pas vers quelque chose qui pourrait fonctionner. », F. M. Garcia et L. Wantchekon, « Theory, External Validity, and Experimental Inference: Some Conjectures », op. cit., p. 140.

128  Jean-David Naudet, Jocelyne Delarue et Tanguy Bernard, « Évaluations d’impact : un outil de redevabilité ? Les leçons tirées de l’expérience de l’AFD », Revue d’économie du développement, 2012, vol. 20, no 4, p. 27‑48.

129M. Ravallion, « Should the Randomistas Rule? », The Economists’ Voice, 2009, vol. 6, no 2, p. p. 2.

130Sanjay G. Reddy, « Randomise This! On Poor Economics », Review of Agrarian Studies, 2012, vol. 2, no 2, p. 60‑73, p. 63.

131  J.-D. Naudet, J. Delarue et T. Bernard, « Évaluations d’impact », op. cit., p. 45.

132Michael Bamberger et Howard White, « Using Strong Evaluation Designs in Developing Countries: Experience and Challenges », Journal of MultiDisciplinary Evaluation, 2007, vol. 4, no 8, p. 58‑73, p. 62.

133« La validité externe d’une relation/correlation (d’expérimentations contrôlées) peut mieux être évaluée, par l’analyse d’un grand nombre d’observations non-expérimentales […] ainsi que par l’expérience de terrain […] », Amy R. Poteete, Marco A. Janssen et Elinor Ostrom, Working together: collective action, the commons, and multiple methods in practice, Princeton, Princeton University Press, 2010, p. 12.

134  Les propos qui suivent reprennent et approfondissent ceux tenus dans A. Jatteau, « Les expérimentations aléatoires en économie du développement : enjeux critiques, pratique de terrain et portée politique », mémoire de Master 2, EHESS, 2011.

135  Conseil scientifique du FEJ, Guide méthodologique pour l’évaluation des expérimentations sociales, op. cit., p. 2.

136Ibid., p. 1.

137Ibid., p. 8.

138C. B. Barrett et M. R. Carter, « The Power and Pitfalls of Experiments in Development Economics », op. cit., p. 527.

139Ibid., p. 528.

140  Frédéric Lebaron, La croyance économique. Les économistes entre science et politique, Paris, Seuil, 2000, 260 p., p. 138.

141Daniel S. Hamermesh, « Six Decades of Top Economics Publishing: Who and How? », Journal of Economic Literature, 2013, vol. 51, no 1, p. 162‑172 ; Raj Chetty, « Yes, Economics Is a Science », The New York Times, 20 octobre 2013.

142Theodore M. Porter, Trust in numbers: the pursuit of objectivity in science and public life, Princeton, Princeton University Press, 1995.

143  Il se peut que subsistent des différences significatives entre les groupes. Par exemple, en tirant au sort deux groupes d’élèves, un groupe peut avoir un niveau significativement différent de l’autre. Mais cette mesure étant faite ex ante, il est toujours possible de procéder à un nouveau tirage au sort afin d’avoir des groupes où il n’y a pas plus de différences significatives entre les variables pour lesquelles on possède des données. Par contre, on ne sait rien des variables cachées et/ou non-mesurables. Un groupe peut très bien être « en moyenne » plus « talentueux » ou plus « courageux » qu’un autre, sans qu’il soit possible de le vérifier, et ce même par tirage au sort. Mais parce que l’on procède à un tirage au sort, on peut, par des calculs de puissance, limiter ces risques.

144  Frédéric Lordon, « Le désir de “faire science” », Actes de la recherche en sciences sociales, 1997, vol. 119, p. 27‑35, p. 31.

145  On le retrouve dans l’ensemble des sciences sociales, à commencer par la sociologie, dont on pourrait lire l’histoire à travers les tentatives de résolution de ce « tourment ».

146  F. Lordon, « Le désir de “faire science” », op. cit.

147Ibid., p. 32.

148  Jean-Jacques Gabas, Vincent Ribier et Michel Vernières, « Introduction. La mesure du développement : comment science et politique se conjuguent », Revue Tiers Monde, 2013, vol. 1, no 213, p. 7‑22, p. 16.

149  Dans un entretien qu’il nous a accordé, Angus Deaton emploie très précisément cette expression.

150T. M. Porter, Trust in numbers, op. cit.

151Ibid., p. 8.

152  Catherine Paradeise, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ? », Revue d’économie du développement, 2012, vol. 26, no 4, p. 67‑94, p. 79.

153  PEPS-Economie, « L’enseignement de l’économie dans le supérieur : bilan critique et perspectives », L’Économie politique, 2013, vol. 2, no 58, p. 6‑23.

154  Il existe une littérature extrêmement technique autour de ces questions, dont certains auteurs sont au J-PAL. L’article le plus cité d’Esther Duflo ne relate d’ailleurs pas une expérimentation aléatoire mais cherche à résoudre des questionnements techniques autour de la méthode des différences de différences. Voir Marianne Bertrand, Esther Duflo et Sendhil Mullainathan, « How Much Should We Trust Differences-in-Differences Estimates? », The Quarterly Journal of Economics, 2004, vol. 119, no 1, p. 249‑275.

155  En toute rigueur, une simple soustraction entre les « outcomes » des deux groupes d’une expérimentation aléatoires suffirait, mais les chercheurs préfèrent souvent y adjoindre des régressions.

156  Delphine Dulong, « Quand l’économie devient politique. La conversion de la compétence économique en compétence politique sous la Ve République », Politix, 1996, vol. 9, no 35, p. 109‑130, p. 112‑113.

157  Albert Ogien, Désacraliser le chiffre dans l’évaluation du secteur public, Versailles, Quae, 2013, 120 p., p. 29.

158  F. Lebaron, La croyance économique. Les économistes entre science et politique, op. cit., p. 131.

159A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and multiple methods in practice, op. cit., p. 13.

160  Lordon ajoute néanmoins que cette lecture de Kant est en réalité tronquée. F. Lordon, « Le désir de “faire science” », op. cit., p. 34.

161  F. Lebaron, La croyance économique. Les économistes entre science et politique, op. cit., p. 8.

162  Voir par exemple ses deux ouvrages majeurs : Thomas Piketty, Les hauts revenus en France au xxe siècle. Inégalités et redistributions, 1901-1998, Paris, Grasset, 2001 ; Thomas Piketty, Le capital au xxie siècle, Paris, Seuil, 2013.

163  F. Lordon, « Le désir de “faire science” », op. cit., p. 32.

164  J.-J. Gabas, V. Ribier et M. Vernières, « Introduction. La mesure du développement : comment science et politique se conjuguent », op. cit., p. 15.

165  A. Ogien, Désacraliser le chiffre dans l’évaluation du secteur public, op. cit., p. 74.

166  A. Labrousse, « Nouvelle économie du développement et essais cliniques randomisés », op. cit., p. 6.

167  Nous développerons plus loin.

168  Comme on peut le faire en sociologie par exemple : Philippe Bourgois, En quête de respect. Le crack à New-York, Paris, Seuil, 2001, 461 p. ; Olivier Schwartz, Le monde privé des ouvriers, Paris, Presses universitaires de France, 2009, 531 p. Ou encore en anthropologie : Bronisław Malinowski, Les Argonautes du Pacifique occidental, trad. fr. André et Simone Devyver, Paris, Gallimard, 1922, 606 p. ; Bronisław Malinowski, Journal d’ethnographe, trad. fr. Tina Jolas, Paris, Seuil, 1985, 305 p.

169M. Bamberger et H. White, « Using Strong Evaluation Designs in Developing Countries », op. cit., p. 61.

170  Aurélie Quentin et Isabelle Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », Revue Tiers Monde, 2013, vol. 1, no 213, p. 179‑200, p. 182.

171  G. Chamayou, Les corps vils, op. cit., p. 206.

172  Michel Gollac, « Des chiffres insensés ? Pourquoi et comment on donne un sens aux données statistiques », Revue française de sociologie, 1997, vol. 38, no 1, p. 5‑36, p. 12.

173Voir par exemple : A. V. Banerjee et E. Duflo, Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty, New York, PublicAffairs, 2011, 320 p., p. 125, 126 ; A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 204.

174  François-Régis Mahieu, « Abhijit Banerjee et Esther Duflo, 2011, Repenser la pauvreté », Éthique et économique, 2013, vol. 11, no 1, p. 153‑156.

175  « - Sur le terrain, que faites-vous ?

– Ça dépend. Par exemple, ma dernière visite à X a consisté à former notre personnel de terrain sur le protocole sanitaire [...] et à organiser quelques réunions avec le ministère de la santé. En général, c’est juste pour donner quelques feedbacks aux membres de l’équipe. »

176  A. Jatteau, « Expérimenter le développement ? Des économistes et leur terrain », Genèses, 2013, vol. 4, no 93, p. 8‑28, p. 19.

177  Séverin Muller, « Le rapport idéologique au terrain. La normalisation du travail par la règle sanitaire », dans Observer le travail. Histoire, ethnographie, approches combinées, Paris, La Découverte, 2008, p. 299‑312, p. 299. Cité par Agnès Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi avec des traditions délaissées, mais fécondes », Revue française de socio-économie, 2014, no 13, p. 225‑240, p. 232.

178  Rémy Caveng, « La production des enquêtes quantitatives », Revue d’anthropologie des connaissances, 2012, vol. 6, no 1, p. 65‑88, p. 68.

179  J.-J. Gabas, V. Ribier et M. Vernières, « Introduction. La mesure du développement : comment science et politique se conjuguent », op. cit., p. 15.

180  Béatrice Hibou et Boris Samuel, « Macroéconomie et politique en Afrique », Politique africaine, 2011, no 124, p. 5‑28, p. 16.

181Ole Dahl Rasmussen, Nikolaj Malchow-Møller et Thomas Barnebeck Andersen, « Walking the talk: the need for a trial registry for development interventions », Journal of Development Effectiveness, 2011, vol. 3, no 4, p. 502‑519, p. 1.

182Ibid., p. 12.

183  Morten Jerven en souligne l’importance pour les données macroéconomiques. Voir Morten Jerven, Béatrice Hibou et Boris Samuel, « Un demi-siècle de fictions de croissance en Afrique. Entretien avec Morten Jerven », Politique africaine, 2011, no 124, p. 29‑42, p. 34.

184  B. Hibou et B. Samuel, « Macroéconomie et politique en Afrique », op. cit., p. 15.

185  R. Caveng, « La production des enquêtes quantitatives », op. cit., p. 71.

186Ibid., p. 67.

187  B. Hibou et B. Samuel, « Macroéconomie et politique en Afrique », op. cit., p. 14.

188  Alain Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, Paris, Presses des Mines, ParisTech, 2008, 329 p. ; A. Desrosières, L’argument statistique II. Gouverner par les nombres, Paris, Presses des Mines, ParisTech, 2008, 336 p.

189  A. Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, op. cit., p. 10.

190  A. Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, op. cit.

191  Avec les travaux du collectif Les autres chiffres du chômage par exemple.

192  Jean Gadrey et Florence Jany-Catrice, Les nouveaux indicateurs de richesse, Paris, La Découverte, 2012, 128 p.

193  A. Desrosières, L’argument statistique I. Pour une sociologie historique de la quantification, op. cit., p. 12.

194  Jean-Pierre Olivier de Sardan, Anthropologie et développement. Essai en socio-anthropologie du changement social, Paris, Karthala, 1995, 221 p., p. 193.

195  Agnès Gramain et Florence Weber, « Ethnographie et économétrie : pour une coopération empirique », Genèses, 2001, no 44, p. 127‑144, p. 138.

196  A. Desrosières, « L’histoire de la statistique comme genre : style d’écriture et usages sociaux », Genèses, 2000, vol. 2, no 39, p. 121‑137, p. 125.

197Ibid., p. 133.

198  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 127.

199  Olivier de Sardan note que « dans l’immense littérature consacrée au développement, [les agents de développement] font figure de tâche blanche, en ce que leurs pratiques “réelles”, leurs difficultés “réelles”, leur insertion “réelle” dans le milieu rural n’ont guère fait l’objet d’investigations sérieuses, à de rares exceptions près. Voir ibid., p. 154.

200Ibid., p. 129.

201  F. Bédécarrats, I. Guérin et F. Roubaud, « L’étalon-or des évaluations randomisées : du discours de la méthode à l’économie politique », op. cit., p. 8‑9.

202  A. Labrousse, « Nouvelle économie du développement et essais cliniques randomisés », op. cit., p. 16.

203  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit., p. 192.

204  F. Lordon, « Le désir de “faire science” », op. cit., p. 35.

205Ibid.

206  B. Hibou et B. Samuel, « Macroéconomie et politique en Afrique », op. cit., p. 13.

207  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi avec des traditions délaissées, mais fécondes », op. cit., p. 232.

208Ibid., p. 233.

209  Agnès Labrousse, Julien Vercueil, Jean-Pierre Chanteau, Pascal Grouiez, Thomas Lamarche, Sandrine Michel et Martino Nieddu, « Ce qu’une théorie économique historicisée veut dire. Retour sur les méthodes de trois générations d’institutionnalisme », Document de travail, 2016, p. 8, 16.

210  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi avec des traditions délaissées, mais fécondes », op. cit., p. 232.

211  Pour une explication à ce sujet, voir A. Jatteau, Les expérimentations aléatoires en économie, op. cit., p. 38‑42.

212E. Miguel et M. Kremer, « Worms: identifying impacts on education and health in the presence of treatment externalities », op. cit.

213  Notons qu’ils en font eux-mêmes mention dans leur article, mais sans donner d’explications.

214A. Deaton, « Instruments, randomization, and learning about development », op. cit., p. 443.

215  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit., p. 194.

216  Bernard Gomel et Évelyne Serverin, « L’expérimentation sociale aléatoire en France en trois questions », Travail et emploi, 2013, vol. 3, no 135, p. 57‑71, p. 62‑64.

217Ibid., p. 61‑62.

218  Miriam Bruhn et David McKenzie, « In Pursuit of Balance: Randomization in Practice in Development Field Experiments », American Economic Journal: Applied Economics, 2009, vol. 1, no 4, p. 200‑232.

219Ibid., p. 205.

220Ibid., p. 206.

221  R. Caveng, « La production des enquêtes quantitatives », op. cit., p. 83.

222  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit., p. 194.

223  R. Caveng, « La production des enquêtes quantitatives », op. cit., p. 71.

224Ibid., p. 68.

225  Jacques Charmes, « L’héritage d’AMIRA », STATECO, 2006, no 100, p. 81‑85, p. 81.

226  AMIRA, « Le chiffre, la carte et la parole », Document de travail, 1983, p. 58.

227  M. Jerven, B. Hibou et B. Samuel, « Un demi-siècle de fictions de croissance en Afrique. Entretien avec Morten Jerven », op. cit., p. 32.

228Ibid.

229  A. Desrosières, « La mesure du développement : un domaine propice à l’innovation méthodologique », Revue Tiers Monde, 2013, vol. 1, no 213, p. 23‑32, p. 24.

230  J.-J. Gabas, V. Ribier et M. Vernières, « Introduction. La mesure du développement : comment science et politique se conjuguent », op. cit., p. 9.

231  C. Paradeise, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ? », op. cit., p. 82.

232Ibid., p. 73.

233Ibid., p. 89.

234  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit., p. 185.

235C. B. Barrett et M. R. Carter, « The Power and Pitfalls of Experiments in Development Economics », op. cit., p. 527.

236  Pour un exemple longuement développé sur une expérimentation aléatoire en particulier, voir A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit.

237Ibid.

238  A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 11.

239Ibid., p. 69.

240  Philippe Couty, « Qualitatif et quantitatif », STATECO, 1983, p. 35‑47, p. 38.

241  Passation initiale des questionnaires, traitement, passation finale des questionnaires, etc.

242  Emmanuelle Bouquet, Betty Wampfler et Éliane Ralison, « Rigueur scientifique et pertinence opérationnelle des études d’impact en microfinance. Une alliance à construire : enseignements d’une étude en partenariat à Madagascar », Revue Tiers Monde, 2009, vol. 1, no 197, p. 91‑108, p. 95.

243  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit., p. 191.

244  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 104.

245  AMIRA, « Le chiffre, la carte et la parole », op. cit., p. 55.

246  Cette pratique ne se réduit donc pas aux expérimentations aléatoires uniquement. Voir par exemple Solène Morvant-Roux, « Accès au microcrédit et continuité des dynamiques d’endettement au Mexique : combiner anthropologie et économétrie », Revue Tiers Monde, 2009, vol. 197, no 1, p. 109‑130, p. 111.

247  « La recherche qualitative doit vraiment guider la conception et construire les bases du projet. [...] La place de la recherche qualitative est de s’assurer que les hypothèses que vous faites dans le cadre de votre recherche quantitative sont raisonnables. Je considère la recherche qualitative comme une base qui doit être établie avant que vous puissiez procéder à votre recherche quantitative. »

248  A. V. Banerjee et E. Duflo, Repenser la pauvreté, op. cit., p. 314‑315.

249  « Je suis une grande défenseure du travail qualitatif. J’ai une composante qualitative dans quasiment tous mes projets. Je pense que ce sont des données très riches et précieuses qui donnent une image, des informations qu’on n’obtient pas toujours nécessairement par un travail quantitatif. Selon moi, se reposer juste sur du quantitatif, peut également être dangereux dans certaines situations. Dangereux est peut-être un mot fort, mais si vous faites des essais randomisés contrôlés et que vous trouvez ensuite que l’intervention n’a aucun impact. Vous pouvez vous demander pourquoi ? Donc, si vous avez également amassé des données qualitatives pendant la phase initiale de l’intervention, alors vous pouvez sûrement comprendre comment l’intervention s’est déroulée, comment les personnes l’ont perçue, s’il y a eu des difficultés ou pas. »

250  F. Bédécarrats, I. Guérin et F. Roubaud, « L’étalon-or des évaluations randomisées : du discours de la méthode à l’économie politique », op. cit., p. 19.

251  Les paragraphes qui suivent reprennent en partie A. Jatteau, Les expérimentations aléatoires en économie du développement : enjeux critiques, pratique de terrain et portée politique, op. cit., p. 73‑75.

252  « Une possible explication à ça sont les émeutes survenues dans la seconde moitié de la première année [de l’expérimentation] à Vadodara » A. V. Banerjee, S. Cole, E. Duflo et L. Linden, « Remedying education: Evidence from two randomized experiments in India », op. cit., p. 14.

253  On peut bien sûr imaginer que les auteurs ou leurs assistants aient eu des discussions informelles pour essayer d’expliquer cette différence, mais il n’en est pas fait état.

254  Notre propos n’est d’ailleurs pas de porter un jugement sur l’explication proposée – qui est tout à fait plausible – mais plutôt sur la manière d’y parvenir.

255« Certains peuvent s’interroger sur l’efficacité de ces deux programmes et le manque de retombées du programme Balsakhi pour les enfants, étant donné que les Balsakhis ont moins de formation que les professeurs officiels et que les programmes d’apprentissages accompagnés d’ordinateurs n’ont pas démontré leur efficacité dans le cas des pays développés. Nous considérons qu’il y a deux explications. La première est que les professeurs enseignent le programme scolaire prescrit, et ne prennent pas nécessairement le temps pour aider les élèves en difficulté à combler leurs retards, amenant à ne pas être efficaces pour ces élèves. La seconde raison est que les élèves partagent un environnement commun avec les Balsakhis, mais ce n’est pas le cas des enseignants », A. V. Banerjee, S. Cole, E. Duflo et L. Linden, « Remedying education: Evidence from two randomized experiments in India », op. cit., p. 19.

256Michael Kremer, « Randomized evaluations of educational programs in developing countries: some lessons », The American Economic Review, 2003, vol. 93, no 2, p. 102‑106.

257Dont la version définitive est Paul Glewwe, Michael Kremer et Sylvie Moulin, « Many children left behind? Textbooks and test scores in Kenya », American Economic Journal: Applied Economics, 2009, vol. 1, no 1, p. 112‑135.

258« De nombreux étudiants n’ont pas pu profiter des manuels scolaires parce qu’ils avaient des difficultés à les comprendre. », M. Kremer, « Randomized Evaluations of Educational Programs in Developing Countries », op. cit., p. 103.

259Dans l’article original, les auteurs complètent : « one possible reason why students with high initial academic achievement may benefit more from the official textbooks provided by the program is that those textbooks are too difficult for the other students. » ; « Une explication possible de la raison pour laquelle les étudiants avec un haut niveau de départ peuvent bénéficier davantage des manuels scolaires officiels fournis par le programme est que ces manuels scolaires sont trop difficiles pour les autres étudiants. »

260  Ou « apparentée », car certains pans de disciplines comme la psychologie ou la science politique emploient les mêmes méthodes que les randomistes.

261Benjamin A. Olken, « Monitoring corruption: evidence from a field experiment in Indonesia », Journal of Political Economy, 2007, vol. 115, no 2, p. 200‑249.

262  Mais comme le poids du « facteur travail » est faible dans les dépenses totales du projet, ça n’est pas suffisant pour que l’effet global soit positif.

263« Il existe plusieurs explications possibles à la réduction des dépenses de main-d’œuvre, et non des matériaux nécessaires [à la construction], à la suite du traitement. Tout d’abord, il peut être plus facile pour les villageois d’observer les paiements de salaires réels que la quantité de matériaux livrés, ce qui rend la corruption dans le travail plus facile à détecter pour les villageois. D’autre part, même si les villageois disposaient d’informations identiques sur les deux types de corruption, l’accent mis sur le travail peut être dû au fait que les invitations ont incité davantage de travailleurs à assister aux réunions, et que ces travailleurs se sont concentrés sur leur intérêt privé (c’est-à-dire les salaires qu’ils étaient personnellement censés recevoir dans le cadre du projet) plutôt que par l’intérêt d’obtenir une route de meilleure qualité. », B. A. Olken, « Monitoring Corruption », op. cit., p. 233.

264« On a trouvé que les hommes ont réinvesti une part plus importante des profits dans leurs affaires […], cela reflète peut être la différence dans les priorités des dépenses entre les femmes et les hommes. », Suresh de Mel, David McKenzie et Christopher Woodruff, « Who Does Microfinance Fail to Reach? Experimental Evidence on Gender and Microenterprise Returns », BREAD Working Paper, 2007, p. 3.

265  Robert Boyer, « Le paradoxe des sciences sociales : les vues d’un économiste “dissident” », Current Sociology, 1999, vol. 47, no 4, p. 19‑45, p. 21.

266« L’ethnographie cherche à observer et à interagir avec les populations locales dans leurs vies quotidiennes sans hypothèses préconçues. C’est peut-être la meilleure manière pour identifier les catégories locales et la complexité des relations sociales dans un contexte spécifique, mais cela nécessite une présence longue dans les mêmes conditions (village) », Solène Morvant-Roux, Isabelle Guérin, Marc Roesch et Jean-Yves Moisseron, « Adding Value to Randomization with Qualitative Analysis: The Case of Microcredit in Rural Morocco », World Development, 2014, vol. 56, p. 302‑312, p. 305.

267  Pascale Rouaud et Emmanuel Sulzer, « Les démarches d’évaluation en question », Bref du Céreq, 2011, p. 4.

268  C’est d’ailleurs le bilan que tirent les chercheurs du Crédoc des expérimentations auxquelles ils ont participé. Voir Isa Aldeghi, Pauline Jauneau et Laura Muller, « Bilan méthodologique des évaluations conduites par le Crédoc dans le cadre du Fonds d’expérimentation pour la Jeunesse », Cahiers de recherche, Crédoc, 2012.

269  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 104.

270  Jean-Pierre Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation socio-anthropologique, Louvain-La-Neuve, Academia Bruylant, 2008, 368 p., p. 42.

271C. B. Barrett et M. R. Carter, « The Power and Pitfalls of Experiments in Development Economics », op. cit., p. 528.

272  C. Paradeise, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ? », op. cit., p. 83.

273  P. Rouaud et E. Sulzer, « Les démarches d’évaluation en question », op. cit., p. 3.

274  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 140.

275  J.-P. Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation socio-anthropologique, op. cit., p. 7.

276Ibid., p. 12.

277Ibid., p. 8.

278Ibid., p. 23.

279Ibid., p. 43.

280T. M. Porter, Trust in numbers, op. cit.

281  J.-P. Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation socio-anthropologique, op. cit.

282  C’est l’auteur qui souligne.

283  J.-P. Olivier de Sardan, La rigueur du qualitatif. Les contraintes empiriques de l’interprétation socio-anthropologique, op. cit., p. 98‑99.

284Ibid., p. 101.

285Esther Duflo, Rema Hanna et Stephen P. Ryan, « Incentives work: getting teachers to come to school », American Economic Review, 2012, vol. 102, no 4, p. 1241‑1278.

286  Pour une comparaison entre Ostrom et Duflo, notamment du point de vue de l’ouverture disciplinaire, se référer à Agnès Labrousse, « Not by technique alone. A methodological comparison of development analysis with Esther Duflo and Elinor Ostrom », Journal of Institutional Economics, 2015, vol. 12, no 2, p. 1‑15.

287« I suppose it is tempting, if the only tool you have is a hammer, to treat everything as if it were a nail. » (« Je suppose qu’il est tentant, si le seul outil que vous avez est un marteau, de tout traiter comme si c’était un clou. »). Voir Abraham Harold Maslow, The psychology of science: a reconnaissance, New York, Harper & Row, 1966, 168 p., p. 15‑16.

288A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and multiple methods in practice, op. cit., p. 3‑4.

289  On n’en trouve pas trace sur son site web. Cela rappelle la remarque que fait André Orléan à propos des travaux de Pierre Cahuc et André Zylberberg. Voir André Orléan, « Quand Messieurs Cahuc et Zylberberg découvrent la science », AlterEco Plus, 2016, 12/09/2016.

290  Étienne Wasmer, « Évaluation des politiques publiques : faut-il de l’interdisciplinarité ? », Économie et prévision, 2014, vol. 1, no 204‑205, p. 193‑209, p. 199.

291Ibid., p. 200.

292  AMIRA, « Le chiffre, la carte et la parole », op. cit.

293  Gérard Winter, « Deux méthodes d’investigation irréductibles mais complémentaires », Cahiers ORSTOM. Série Sciences Humaines, 1984, vol. 1, no 20, p. 17‑24, p. 22.

294  E. Bouquet, B. Wampfler et E. Ralison, « Rigueur scientifique et pertinence opérationnelle des études d’impact en microfinance. Une alliance à construire : enseignements d’une étude en partenariat à Madagascar », op. cit., p. 94.

295« Les approches mixtes combinent les méthodes quantitatives qui permettent des estimations de l’étendue et des effets de la distribution, de généraliser et de tester des différences statistiques avec les méthodes qualitatives qui permettent une description en profondeur, une analyse des procédés et schémas d’interactions sociales. », Michael Bamberger, Vijayendra Rao et Michael Woolcock, « Using mixed methods in monitoring and evaluation: experiences from international development », Policy Research Working Paper Series, The World Bank, 2010, p. 11.

296Ibid., p. 6.

297Ibid., p. 7.

298  A. Labrousse, « Nouvelle économie du développement et essais cliniques randomisés », op. cit., p. 8.

299  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi avec des traditions délaissées, mais fécondes », op. cit., p. 229.

300Ibid., p. 236.

301Ibid., p. 234.

302Ibid.

303  A. Labrousse, J. Vercueil, J.-P. Chanteau, P. Grouiez, T. Lamarche, S. Michel et M. Nieddu, « Ce qu’une théorie économique historicisée veut dire. Retour sur les méthodes de trois générations d’institutionnalisme », op. cit.

304A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and multiple methods in practice, op. cit., p. 11.

305« Au final, il semble assez logique que les affirmations concernant l’efficacité de diverses variétés de projets de développement, dans toute la diversité des contextes dans lesquelles ils sont développés, devraient être faites en lien avec une diversité équivalente de méthodes et d’outils des sciences sociales. », M. Bamberger, V. Rao et M. Woolcock, « Using mixed methods in monitoring and evaluation: experiences from international development », op. cit., p. 20.

306  É. Wasmer, « Évaluation des politiques publiques », op. cit., p. 202.

307M. Bamberger et H. White, « Using Strong Evaluation Designs in Developing Countries », op. cit., p. 67.

308Robert Picciotto, « Experimentalism and development evaluation: Will the bubble burst? », Evaluation, 2012, vol. 18, no 2, p. 213‑229, p. 224.

309  Les chercheurs d’AMIRA parlaient ainsi de « sociologiser » la démarche statistique. Voir AMIRA, « Le chiffre, la carte et la parole », op. cit.

310M. Bamberger et H. White, « Using Strong Evaluation Designs in Developing Countries », op. cit., p. 67.

311Paul Shaffer, « Against Excessive Rhetoric in Impact Assessment: Overstating the Case for Randomised Controlled Experiments », The Journal of Development Studies, 2011, vol. 47, no 11, p. 1619‑1635, p. 1630.

312  Pour des exemples de « méthodes mixtes » au sens où l’entend Bamberger, voir Michael Bamberger, « Introduction aux méthodes mixtes d’évaluation d’impact », Notes sur l’évaluation d’impact, The Rockefeller Foundation, 2012.

313  A. Gramain et F. Weber, « Ethnographie et économétrie », op. cit., p. 134.

314  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit.

315  S. Morvant-Roux, « Accès au microcrédit et continuité des dynamiques d’endettement au Mexique : combiner anthropologie et économétrie », op. cit., p. 110.

316Ibid., p. 113.

317  Pierre Bourdieu, Algérie 60 : structures économiques et structures temporelles, Paris, Éditions de Minuit, 1977, 123 p.

318  Jane I. Guyer, Kabiru Salami et Olusanya Akinlade, « “Ko s’owo” : il n’y a pas d’argent ! », Politique africaine, 2011, no 124, p. 43‑65, p. 50.

319A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and multiple methods in practice, op. cit., p. 15, 18.

320  Laure Turner et Jacques Mairesse, « Mesure de l’intensité de collaboration dans la recherche scientifique et évaluation du rôle de la distance géographique », Revue d’économie politique, 2004, vol. 114, no 2, p. 223‑243, cité par Christian Baudelot et Jacques Mairesse, « Économie et sociologie. D’une confrontation à l’autre, ou vingt ans après », Revue économique, 2005, vol. 56, no 2, p. 489‑496, p. 490.

321  J. Charmes, « L’héritage d’AMIRA », op. cit., p. 81.

322  G. Winter, « Deux méthodes d’investigation irréductibles mais complémentaires », op. cit., p. 19.

323Judith M. Gueron et Howard Rolston, Fighting for reliable evidence, New York, Russell Sage Foundation Publications, 2013, 594 p., p. 43.

324  A. Quentin et I. Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », op. cit.

325S. Morvant-Roux, I. Guérin, M. Roesch et J.-Y. Moisseron, « Adding Value to Randomization with Qualitative Analysis: The Case of Microcredit in Rural Morocco », op. cit., p. 303.

326Ibid., p. 302.

327  « En Turquie, une récente étude d’impact analysait l’impact d’un projet de transfert monétaire conditionnel à l’inscription au primaire et au secondaire en utilisant dans les deux cas des techniques quasi-expérimentales et ethnographiques (Adato, 2008). La quasi-expérimentation a montré que le programme a augmenté le taux d’inscription au secondaire pour les filles mais que les taux d’inscriptions dans le secondaire demeurent très bas, en particulier dans les zones rurales. Le travail ethnographique a permis d’expliquer certaines des raisons socio-culturelles sous-jacentes dont la croyance que le travail n’est pas approprié pour les femmes et que l’éducation au-delà d’un certain âge compromettait leur honneur et leur réputation. », P. Shaffer, « Against Excessive Rhetoric in Impact Assessment: Overstating the Case for Randomised Controlled Experiments », op. cit., p. 1629.

328James Thomas, Angela Harden, Ann Oakley, Sandy Oliver, Katy Sutcliffe, Rebecca Rees, Ginny Brunton et Josephine Kavanagh, « Integrating qualitative research with trials in systematic reviews », BMJ, 2004, vol. 328, no 7446, p. 1010‑1012.

329Tahmid Arif, Anik Ashraf, Grant Miller, Ahmed Mushfiq Mobarak, Nasima Akter, ARM Mehrab Ali, MA Quaiyum Sarkar, Lynn Hildemann, Nepal Dey, Mizanur Rahman, Puneet Dwivedi et Paul Wise, « Promotion of improved cookstove in rural Bangladesh », Working Paper, BRAC, 2011. On peut noter que le document de travail, dans lequel il est fait référence à une pluralité de méthodes, ne semble pas avoir été publié par une revue académique, ce qui pourrait témoigner de la difficile reconnaissance de ce genre d’approche.

330  Bamberger et ses co-auteurs donnent un exemple d’utilisation d’une « méthode mixte » en Inde. Voir M. Bamberger, V. Rao et M. Woolcock, « Using mixed methods in monitoring and evaluation: experiences from international development », op. cit., p. 19.

331  Groupe Amnyos Consultants, « Évaluation de la mise en œuvre des expérimentations des parcours d’accompagnement renforcé des demandeurs d’emploi », Rapport, Groupe Amnyos Consultants, 2008 ; Groupe Alpha, « Un OPP sur le divan : l’évaluation des pratiques d’accompagnement et de reclassement des demandeurs d’emploi par SODIE », Groupe Alpha, Centre études et prospective, 2012.

332  P. Rouaud et E. Sulzer, « Les démarches d’évaluation en question », op. cit., p. 4.

333  Christian Baudelot et Jacques Mairesse tirent ainsi du colloque « Sociologie et Économie » qui s’est tenu en 2004 la conclusion sans appel : « Chacun est aujourd’hui convaincu qu’économie et sociologie ne se distinguent pas l’une de l’autre par la nature de leurs objets. » Voir C. Baudelot et J. Mairesse, « Économie et sociologie. D’une confrontation à l’autre, ou vingt ans après », op. cit., p. 495.

334  J.-P. Olivier de Sardan, Anthropologie et développement, op. cit., p. 18.

335  André Orléan, « La sociologie économique et la question de l’unité des sciences sociales », L’Année sociologique, 2005, vol. 55, no 2, p. 279‑305.

336Marion Fourcade, Étienne Ollion et Yann Algan, « The Superiority of Economists », Journal of Economic Perspectives, 2015, vol. 29, no 1, p. 89‑114, p. 91.

337  François Vatin, « Quelles relations entre l’économie et la sociologie ? », Revue française de socio-économie, 2014, no 13, p. 241‑247, p. 241.

338M. Fourcade, E. Ollion et Y. Algan, « The Superiority of Economists », op. cit., p. 93.

339  Alors que cette pratique est répandue chez certains économistes « hétérodoxes ». Voir ce qu’en disent Bernard Convert, Florence Jany-Catrice et Richard Sobel, « Prouver le mouvement en marchant. Contexte, enjeux et ambitions de la RFSE », Revue française de socio-économie, 2008, vol. 1, no 1, p. 3‑7.

340  T. Piketty, Le capital au xxie siècle, op. cit.

341  F. Lebaron, « Grand entretien avec Thomas Piketty. Pour une approche qui mêle histoire, sociologie, culture... », Savoir/Agir, 2015, vol. 34, no 4, p. 81‑93, p. 86.

342  Vatin emprunte le terme d’« indisciplinarité » à Laurent Loty. Voir F. Vatin, « Quelles relations entre l’économie et la sociologie ? », op. cit., p. 241.

343  François Doligez, Florent Bédécarrats, Emmanuelle Bouquet, Cécile Lapenu et Betty Wampfler, « Évaluer et mesurer l’impact de la microfinance : sortir de la “double impasse” », Revue Tiers Monde, 2013, vol. 1, no 213, p. 161‑178.

344David Colander et Alfred Coats, The Spread of Economic Ideas, Cambridge University Press, 1989, p. 110.

345  É. Wasmer, « Évaluation des politiques publiques », op. cit., p. 195.

346  F. Vatin, « Quelles relations entre l’économie et la sociologie ? », op. cit., p. 241‑242.

347  Sans compter l’enseignement secondaire, où les Sciences économiques sociales, quoique régulièrement remaniées ces dernières années, font figure d’exception en la matière, on peut penser à l’U.F.R. Géographie, Histoire, Économie et Sociétés de l’université Paris 7 ou à la Faculté des Sciences économiques et sociales de l’université Lille 1. Ces formations restent rares, comme l’illustre l’enquête menée par le collectif PEPS-Économie sur les licences d’économie. Voir PEPS-Économie, « L’enseignement de l’économie dans le supérieur : bilan critique et perspectives », op. cit.

348  F. Vatin, « Quelles relations entre l’économie et la sociologie ? », op. cit., p. 241.

349  PEPS-Economie, « L’enseignement de l’économie dans le supérieur : bilan critique et perspectives », op. cit.

350  Selon une étude réalisée par des étudiants de l’ISIPE (International Student Initiative for Pluralism in Economics) que nous avons coordonnée et dont les résultats ne sont pas encore publiés.

351  La création à la rentrée 2016 d’une double licence « Economie-Géographie » à l’université Paris 7, comprenant de manière novatrice des « cours par objets », est de ce point de vue une excellente nouvelle. Elle suit ainsi les recommandations du collectif PEPS-Economie. Voir la proposition de licence qu’il formule : PEPS-Economie, « L’enseignement de l’économie dans le supérieur : bilan critique et perspectives », op. cit., p. 21‑23.

352A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and multiple methods in practice, op. cit., p. 19.

353  R. Boyer, « Le paradoxe des sciences sociales : les vues d’un économiste “dissident” », op. cit., p. 24.

354A. R. Poteete, M. A. Janssen et E. Ostrom, Working together: collective action, the commons, and multiple methods in practice, op. cit.

355  Robert Boyer, « L’économie peut-elle (re)devenir une science sociale ? », Revue française de socio-économie, 2014, no 13, p. 207‑223, p. 217.

356  A. Labrousse, « Comment l’économie politique peut s’inspirer de la sociologie et renouer ainsi avec des traditions délaissées, mais fécondes », op. cit., p. 234‑235.

357  « Les méthodes qualitatives sont importantes comme complément quand la randomisation n’est pas faisable » A. V. Banerjee (dir.), Making Aid Work, op. cit., p. 77.

358Bruce G. Charlton et Andrew Miles, « The rise and fall of EBM », QJM, 1998, vol. 91, no 5, p. 371‑374, p. 373.

359  Ilf Bencheikh, directeur-adjoint du J-PAL Europe.

360  A. Gramain et F. Weber, « Ethnographie et économétrie », op. cit., p. 141.

361  S. Morvant-Roux, I. Guérin, M. Roesch et J.-Y. Moisseron, « Adding Value to Randomization with Qualitative Analysis: The Case of Microcredit in Rural Morocco », op. cit., p. 304 ; P. Shaffer, « Against Excessive Rhetoric in Impact Assessment: Overstating the Case for Randomised Controlled Experiments », op. cit., p. 1630.

362  Daniel Céfaï, « Comment généralise-t-on ? Chronique d’une ethnographie de l’urgence sociale », dans Emmanuel Désveaux et Michel Fornel (dir.), Faire des sciences sociales. Généraliser, Paris, Éditions de l’EHESS, 2012, 326 p., p. 31‑57.

Table des illustrations

Titre Graphique 1. Les réplications : une réponse limitée au problème de la validité externe
URL http://books.openedition.org/igpde/docannexe/image/12289/img-1.png
Fichier image/png, 130k

Le texte et les autres éléments (illustrations, fichiers annexes importés) sont sous Licence OpenEdition Books, sauf mention contraire.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search