Chapitre 11
Utilisation des a priori dans les protocoles expérimentaux
Que laisse-t-on de côté en les ignorant ?
p. 349-362
Résumé
Une grande question revient dans toutes les études académiques, celle de savoir si et comment il faut exploiter les croyances préalables (a priori) des décideurs dans les protocoles d’étude. Tant les RCT que les évaluations d’impact qui n’en sont pas pourraient éclairer plus efficacement l’élaboration des politiques si les a priori étaient pris en compte. Les « non-RCT » peuvent tirer profit de l’assignation déterministe pour maximiser la valeur de l’information qu’elles apportent. Les non-RCT semblent aussi se prêter davantage à la recherche de spécifications, ce qui devrait conduire les décideurs à être plus sceptiques sur la façon d’interpréter leurs résultats. Par conséquent, ils devraient peut-être être plus convaincus par les preuves empiriques issues des RCT et se montrer désireux d’expérimenter davantage en tirant parti de leurs croyances préalables. Je discute de ces questions et j’utilise des simulations pour explorer les avantages potentiels de l’utilisation d’a priori dans la conception des études.
Texte intégral
Introduction
1Les mérites relatifs des évaluations par assignation aléatoire (Randomized Controlled Trials – RCT) ont fait l’objet de nombreux débats. Dans ce chapitre, je laisse de côté cette vaste discussion pour me concentrer sur une question pertinente, étroite et peu étudiée : dans quelle mesure l’exploitation des a priori peut améliorer la conception des études ? Par a priori, j’entends les croyances préalables qu’ont les décideurs sur les effets d’un programme particulier. Par exemple, certains décideurs politiques peuvent penser qu’un programme de transferts monétaires sans conditionnalité a de fortes chances d’avoir un impact important sur les résultats éducatifs. Si le processus décisionnel et les a priori étaient connus, les chercheurs seraient en mesure de mieux cibler leurs évaluations d’impact. Dans certains cas, il peut y avoir de nombreux bras (arms) de traitement à tester, et les a priori peuvent indiquer les bras qui doivent être mis en œuvre et évalués. De même, les bras de traitement peuvent être déterminés, mais sans que l’on sache quels indicateurs de résultats privilégier. Plus particulièrement, les chercheurs sont souvent amenés à décider des résultats à inclure dans les enquêtes intermédiaires ou finales en tenant compte des contraintes de temps. Les a priori des décideurs pourraient renseigner sur les indicateurs de résultats à collecter le plus fréquemment afin d’obtenir une meilleure puissance statistique, toutes choses égales par ailleurs. On peut également imaginer que, selon les a priori des décideurs, la taille de l’échantillon de l’étude doive être plus ou moins grande pour que l’étude produise des preuves convaincantes, de sorte que l’utilisation d’a priori pourrait renforcer l’efficacité d’une évaluation d’impact pour informer la politique publique.
2Tant les RCT que les études appliquant des méthodes quasi expérimentales (désignées ci-après comme « non-RCT ») pourraient en principe tirer profit des a priori. Cependant, ces méthodes interagissent également avec celle de l’a priori. Dans la mesure où l’on peut considérer que les RCT sont motivées par le désir de convaincre un décideur parmi les plus adverses qui soient (Banerjee et al., 2017a), l’exploitation d’un ensemble spécifique d’a priori semble philosophiquement plus en accord avec les non-RCT, c’est-à-dire que nous nous inquiéterions moins d’avoir un public parmi les plus défavorables si l’étude était conçue pour convaincre un public spécifique, dont les a priori sont connus. En outre, seules des non-RCT peuvent assigner de manière déterministe des participants à des groupes de traitement, ce qui est nécessaire pour produire certains des bénéfices attendus de l’exploitation des a priori. D’autre part, les résultats des non-RCT peuvent susciter un certain scepticisme justifiable par rapport à ceux des RCT, au motif que les chercheurs peuvent s’engager consciemment ou inconsciemment dans la recherche de spécifications avec des non-RCT. Il y a recherche de spécifications, ou « p-hacking », lorsque les chercheurs pratiquent de nombreux tests statistiques (par exemple en effectuant de multiples régressions avec différentes variables de contrôle) et font partialement état des résultats significatifs. Cela conduit à des inférences erronées. Une recherche de spécifications plus poussée a été observée à plusieurs reprises dans des non-RCT utilisant des tests de significativité classiques (Brodeur et al., 2016 ; 2018 ; Vivalt, 2019)1. La collecte et l’exploitation des a priori étant encore une nouvelle approche en économie, il pourrait être plus intéressant de s’en servir pour les RCT, car les choix pratiqués au cours du processus gagneraient en transparence. Le reste de ce chapitre développera ces divers points, après avoir décrit plus en détail ce que l’on entend par « croyances a priori » et comment celles-ci peuvent être explicitées.
Explicitation et utilisation des a priori
3De plus en plus de chercheurs procèdent ex ante à une collecte des a priori sur les effets que leurs études vont mettre en évidence. Par exemple, une équipe chargée d’évaluer l’impact d’un programme de transferts monétaires conditionnels – dans le cadre duquel des ménages reçoivent de l’argent en échange de la scolarisation de leurs enfants en âge d’aller à l’école – pourrait demander à d’autres d’essayer de deviner l’effet qu’aurait le programme sur les taux de scolarisation. Dans le cadre de ce processus, l’équipe de chercheurs commencerait par décrire le programme et son contexte avec force détails afin de susciter des suppositions plus précises.
4Il y a plusieurs raisons à vouloir recueillir ces croyances préalables. Tout d’abord, ces prévisions peuvent être intéressantes en soi, car on peut en déduire si certains sous-groupes de répondants formulent des prévisions plus précises. Par exemple, certains travaux suggèrent que les décideurs politiques ont tendance à avoir des croyances plus optimistes que les chercheurs (Vivalt et Coville, 2016 ; Casey et al., 2018). Au fil du temps, nous pouvons apprendre à mieux cerner les conditions dans lesquelles les individus établissent de meilleures prévisions ou à identifier les individus qui sont plus performants dans cet exercice. Nous pourrions également apprendre à « dé-biaiser » les prévisions autant que faire se peut par la modélisation ou une approche d’apprentissage automatique. À l’issue du processus, il nous reste un résultat potentiellement intéressant : des prévisions avec un certain contenu informationnel.
5Ces prévisions peuvent être importantes pour l’élaboration des politiques, car nous ne pourrons jamais mener autant d’études que nous le souhaiterions. En l’absence de preuves empiriques issues d’études académiques, des prévisions débiaisées peuvent aider les décideurs à déterminer les interventions à conduire. Notez que nous n’avons pas besoin que les prévisions soient toujours précises pour être exploitables à cet effet. Il suffit de corréler les prévisions avec les effets des interventions pour qu’elles soient utiles, même si des erreurs sont encore commises.
6De manière plus triviale, chaque équipe de recherche est incitée à titre privé à collecter les croyances prévalantes ex ante : cela peut être rentable en termes de publication. En particulier, les revues académiques privilégient souvent les résultats qui sont statistiquement significatifs. En recueillant des a priori ex ante, les chercheurs bénéficient d’une certaine sécurité par rapport à l’état des choses dans lequel ils obtiennent des résultats « nuls » (c’est-à-dire dès lors qu’ils constatent que le programme a eu un effet nul). Dans de tels cas, les a priori leur permettront parfois d’arguer de manière crédible que ces résultats nuls étaient inattendus et qu’ils gardent donc un intérêt académique2.
7Le reste de ce chapitre se concentrera sur un autre avantage de la collecte de croyances préalables ex ante sur les effets des interventions : leurs bénéfices potentiels pour concevoir les protocoles d’expérimentation.
Utilisation des a priori dans les protocoles d’expérimentation
8Les a priori peuvent aider à concevoir un protocole expérimental de plusieurs manières. Premièrement, on peut modifier l’assignation d’un échantillon potentiel à différents groupes de traitement ou collecter différents indicateurs de résultats en fonction de la valeur de l’information propre à chaque assignation. Or, les a priori pourraient également améliorer un protocole expérimental par une assignation déterministe, un fait connu depuis très longtemps (voir, par exemple, les débats entre Fisher [1960], et Gosset [1937]). Pour le contexte, il peut être utile d’examiner un cas tiré de Banerjee et al. (2017a), dans lequel une expérimentation de chèques scolarité est prévue pour aider un haut fonctionnaire en charge de l’éducation à décider s’il doit ou non utiliser ce type de mode de financement. Le haut fonctionnaire en charge de l’éducation estime que le fait qu’un élève soit issu d’une famille riche ou pauvre est un facteur déterminant de la réussite scolaire, mais il est également ouvert à l’idée que la qualité de l’école puisse être très importante, de sorte que même un élève pauvre pourrait apprendre davantage dans une école privée. Le haut fonctionnaire est autorisé à affecter un élève à une école privée. D’un point de vue classique, il est impossible d’apprendre quelque chose de significatif d’une expérience à partir d’une seule observation. Cependant, pour un bayésien, il y a toujours quelque chose à apprendre. En effet, si un enfant pauvre était assigné à l’école privée et obtenait aux examens standardisés des résultats meilleurs que ce que le haut fonctionnaire en charge de l’éducation pouvait imaginer d’un enfant pauvre, cela serait informatif et le haut fonctionnaire serait amené à revoir ses croyances.
9Les a priori du décideur jouent un rôle important ici. En raison de ces a priori, le fait d’assigner un enfant riche à cette école privée ne serait pas aussi informatif que si c’était un enfant pauvre. De même, si une place dans une école publique se libérait, il ne serait pas logique d’y envoyer un enfant pauvre du point de vue de la valeur de l’information qu’on pourrait en retirer. Ces exemples montrent qu’un bayésien devrait assigner les sujets aux groupes de traitement et de contrôle de manière déterministe, plutôt qu’aléatoire. Des arguments similaires ont été avancés ailleurs (Kasy, 2016).
10Banerjee et al. (2017a) montrent ensuite que la randomisation peut aider à convaincre un public adverse. Par exemple, supposons qu’au lieu d’avoir un seul haut fonctionnaire en charge de l’éducation avec un seul ensemble de croyances, il y a un groupe de hauts fonctionnaires pressentis pour ce poste, avec tout l’éventail de croyances possibles sur la relation entre la réussite scolaire, le fait qu’un élève soit riche ou pauvre et le fait qu’il fréquente une école privée ou publique3. Banerjee et al. (2017a) nous demandent d’examiner le cas du choix, parmi les candidats potentiels, du haut fonctionnaire ayant l’a priori qui maximise les chances de mise en œuvre de la mauvaise politique. Dans ce monde « adverse », il n’y a plus aucun intérêt à envoyer un enfant pauvre dans une école privée et un enfant riche dans une école publique. De même, si un décideur n’avait pas confiance en son propre a priori et se montrait adverse à l’ambiguïté, la randomisation pourrait se révéler utile en tant que stratégie mixte.
11Les enseignements de Banerjee et al. (2017a) sont excellents et expliquent pourquoi les chercheurs qui essayent de convaincre les évaluateurs d’articles des revues scientifiques préfèrent les RCT – les référés constituent certainement le public le plus adverse qui soit ! On comprend également pourquoi les entreprises qui mènent des expériences à usage interne, souvent avec des échantillons de petite taille, sont moins susceptibles de procéder à une randomisation : avec des échantillons plus petits, les gains en puissance statistique de l’assignation déterministe sont plus importants, et ces entreprises peuvent concevoir leur évaluation de manière à prendre une décision spécifique à l’appui de certains a priori particuliers. Or, les décideurs politiques semblent se situer quelque part entre ces deux extrêmes. Il est peu probable qu’ils soient les plus adverses qui soient, mais ils peuvent avoir des a priori qui se situent dans une fourchette restreinte. Cependant, les décideurs politiques ne ressemblent pas tout à fait à des entreprises, car ils peuvent être en mesure d’exploiter de plus gros échantillons pour leurs essais et être relativement incertains quant à l’ensemble exact des a priori qui seront pertinents à l’avenir, par exemple s’il y a une élection ou une autre raison de renouvellement des élus avant que les résultats de l’évaluation ne soient connus. De même, les décideurs politiques peuvent avoir plus souvent tendance à voir dans l’évaluation un bien public pour d’autres décideurs politiques. Ils peuvent en outre avoir à cœur de convaincre leurs électeurs, lesquels sont susceptibles d’avoir des croyances préalables très diverses, sur les bienfaits du programme social en question. Dans la mesure où les a priori des autres sont inconnus ou adverses, les RCT peuvent mieux convenir à un décideur politique défavorable à l’ambiguïté.
12On pourrait également faire valoir que les chercheurs devraient opter pour les RCT dès lors que des biais sont susceptibles de se glisser dans des études quasi expérimentales. Brodeur et al. (2016 ; 2018) ont constaté que les résultats des RCT et des expériences de laboratoire sont moins souvent dans la catégorie « juste au-dessus » du seuil classique de 5 % de significativité que d’autres types d’études dont les résultats se situent « juste en dessous »4 ; avec un autre ensemble de données, Vivalt (2019) a constaté qu’il y avait 17 % de moins de RCT juste au-dessus du seuil par comparaison aux études non-RCT. C’est là une preuve convaincante que les RCT présentent moins de signes de recherche de spécifications que les non-RCT lorsqu’il est question de tests de significativité classiques. Un bayésien ne se soucierait pas des tests de significativité classiques ; cependant, il existe d’autres façons de fausser des résultats. En particulier, la recherche de spécifications qui amplifie la significativité des tests classiques tendra également à exagérer l’ampleur de l’effet estimé. Ainsi, si la recherche est pratiquée à la fois à des fins de publication, pour laquelle les tests classiques importent, et pour informer un choix politique, dont les décideurs pourraient être bayésiens, on peut toujours s’interroger sur l’ampleur des effets rapportés.
13Les RCT peuvent présenter moins de recherches de spécifications classiques pour deux types de raisons, chacune ayant des implications différentes pour les bayésiens. Premièrement, les chercheurs peuvent être moins incités à rechercher des spécifications si leurs études sont plus faciles à publier. Deuxièmement, il peut y avoir quelque chose dans les RCT qui, intrinsèquement, rend la recherche de spécifications moins probable, par exemple le fait que les chercheurs utilisent plus souvent des plans d’analyse préalables qui rendent plus difficiles la recherche de spécifications, le fait qu’il soit potentiellement plus difficile de justifier d’actions comme l’inclusion de diverses variables de contrôle puisque, en principe, la randomisation devrait conduire à un équilibre des covariables dans les grands échantillons, ou le fait que les RCT induisent des connotations de rigueur qui incitent les auteurs à ne pas se livrer à de mauvaises pratiques. Le premier type de raisons peut ne pas se poser dans le contexte du processus décisionnel bayésien, alors même que, si les chercheurs voulaient influencer une décision politique, ils pourraient être pareillement incités à fausser des résultats. Dans la mesure où le deuxième type de raisons favorise la recherche de spécifications dans une perspective classique, il demeurerait pertinent dans une conception bayésienne.
14On peut supposer que toute recherche de spécifications ne ferait qu’exagérer les effets sans rien changer aux signes de ces effets. Ainsi, si l’on était bayésien, la bonne conclusion ne serait pas de faire preuve d’une défiance totale vis-à-vis des résultats non-RCT, mais peut-être de réduire les estimations par un « facteur d’exagération » type5. Si l’on croit que les non-RCT sont biaisées, on peut ironiquement être plus défavorable à leurs résultats. Mais ces biais ne doivent pas non plus signifier l’abandon total des non-RCT. De meilleures normes et dispositifs de contrôle, tels que des plans d’analyse préalables, pourraient contribuer à résoudre ce problème.
15La problématique ci-dessus s’est concentrée sur un type particulier de biais qui peut altérer les résultats d’une étude. La question de savoir si les non-RCT sont plus biaisées que les RCT s’avère plus compliquée que ne le suggère cette explication. En particulier, dans d’autres chapitres, il est argué que des RCT peuvent être réalisées dans des lieux déterminés, ce qui entraîne un biais de sélection des sites, ou qu’elles peuvent avoir des échantillons plus petits que des non-RCT, ce qui entraîne des intervalles de confiance plus importants pour leurs résultats, ainsi que des prédictions basées sur les résultats affichant des erreurs quadratiques plus importantes (en raison du compromis biais-variance). Je fais abstraction de ces problèmes potentiels pour deux raisons. Premièrement, dans d’autres travaux portant sur un échantillon de 635 études de 20 interventions dans le domaine du développement international, je ne parviens pas à rejeter l’hypothèse nulle selon laquelle les tailles des effets estimées par les RCT et les non-RCT sont les mêmes (Vivalt, 2020b). Deuxièmement, il existe de nombreuses situations dans lesquelles les coûts des RCT et des non-RCT sont identiques, de sorte que les RCT n’auront pas nécessairement des échantillons plus petits. Quoi qu’il en soit, le compromis biais-variance est une question extrêmement sous-estimée en économie. Dans un monde idéal, un décideur politique ne devrait pas seulement se préoccuper de l’éventuel biais de l’estimation ponctuelle, mais aussi de la précision des estimations et de l’erreur totale de prévision. Certains éléments indiquent que les décideurs politiques souffrent plutôt d’une « incurie de la variance », qui comprend mal ou ignore les intervalles de confiance (Vivalt et Coville, 2016).
Estimations approximatives des avantages de l’utilisation des a priori
16La question demeure : quels sont les avantages de l’utilisation des a priori dans les protocoles d’étude ? Je conduis quelques simulations simples qui produisent des estimations approximatives. Dans cette section, j’étudie les avantages potentiels qui sont jugés communs aux RCT et aux non-RCT pour souligner le fait que l’exploitation des croyances préalables, comme de nombreuses autres questions méthodologiques majeures, peut être importante aussi bien pour les RCT que pour les non-RCT.
17Supposons qu’il y ait deux interventions – par exemple un programme de transferts monétaires conditionnels et un programme de restauration scolaire – et qu’un décideur politique doive décider laquelle mettre en œuvre pour améliorer les taux de scolarisation. Afin de prendre cette décision, le décideur politique demande à un chercheur de planifier une évaluation d’impact d’un pilote de l’une des deux interventions. Si le chercheur ne connaît pas les a priori du décideur politique, il ne saura pas sur quelle intervention pratiquer l’évaluation d’impact et pourrait choisir la mauvaise. Par exemple, supposons que le décideur politique soit très incertain des effets du programme de restauration scolaire, mais assez certain des effets du programme de transferts monétaires conditionnels. Il serait alors logique de procéder à l’évaluation d’impact sur le programme de restauration scolaire, car il est peu probable que le responsable politique change d’avis sur les effets du programme de transferts monétaires conditionnels.
18Je produis des estimations approximatives des avantages de la prise en compte des a priori à l’aide de l’algorithme suivant : en premier lieu, je spécifie un a priori pour chaque intervention. Par souci de simplicité, je suppose que les a priori sont normalement distribués, ce qui nécessite de spécifier simplement une moyenne et un écart-type. Je suppose que l’écart-type de la variable de résultat est le même pour chaque intervention et que, en l’absence d’a priori, chaque intervention aurait les mêmes chances d’être sélectionnée pour l’évaluation d’impact. Je détermine ensuite la valeur de l’information, du point de vue du décideur politique, pour faire une évaluation de l’impact de chaque intervention compte tenu des a priori qui ont été établis. La valeur de l’information est une construction désignant la probabilité qu’une évaluation d’impact vienne changer la décision qui a été prise, le décideur préférant toujours l’intervention présentant a posteriori l’effet moyen le plus élevé, multiplié par le bénéfice attendu de cette décision, c’est-à-dire la différence entre les moyennes réelles des effets des deux interventions. Il convient de souligner une fois de plus que ce calcul est fondé sur les croyances du décideur politique, qui peuvent se révéler incorrectes. Je fais ces calculs en postulant différentes hypothèses sur la précision des résultats de l’évaluation d’impact. Cette valeur de l’information est utilisée pour déterminer quel programme serait sélectionné pour l’étude. Je calcule ensuite les a posteriori que le décideur politique acquerrait après avoir étudié ce programme, en supposant certains effets réels moyens pour chaque programme6. Enfin, j’estime la valeur de l’exploitation des a priori comme étant la différence de résultats des programmes finalement sélectionnés pour la mise en œuvre d’une évaluation a posteriori si l’on devait toujours choisir le bras de traitement qui a la plus grande valeur d’information par opposition au choix de la bonne intervention à étudier avec une probabilité de 50/50.
19Le tabl. 1 résume les résultats pour plusieurs intervalles de confiance, a priori et valeurs moyennes réelles, « A » représentant l’impact moyen des transferts monétaires conditionnels dans cet exemple et « B » l’impact moyen des programmes de restauration scolaire. Les estimations sont exprimées en unités brutes – points de pourcentage d’augmentation des taux de scolarisation. Le tableau peut être lu comme suit : la première colonne indique l’a priori moyen supposé pour le programme A, l’a priori moyen pour le programme B étant supposé être nul ; les deuxième et troisième colonnes donnent des écarts-types hypothétiques pour les a priori des programmes A et B, respectivement ; la quatrième colonne fournit diverses valeurs hypothétiques pour l’impact réel du programme B, le programme A étant supposé avoir un impact nul ; les trois dernières colonnes présentent les avantages simulés de l’utilisation d’a priori pour déterminer le programme à évaluer en termes d’impact accru du programme sélectionné a posteriori pour plusieurs largeurs d’intervalle de confiance. La largeur des intervalles de confiance s’étend ici de haut en bas de la fourchette pour un niveau de confiance de 95 %. Par exemple, pour un intervalle de confiance de 0,1, l’erreur type serait égale à 0,1/(2*1,96). Je suppose que les décideurs sont bayésiens, de sorte que, lorsqu’ils déterminent le programme à mettre en œuvre après l’évaluation, ils le font en combinant de manière appropriée leurs a priori avec les nouvelles preuves fournies par l’évaluation d’impact.
Tableau 1 – Estimations des avantages de la prise en compte des a priori.

Source : Eva Vivalt.
20Ces simulations suggèrent que les bénéfices peuvent être assez importants. Pour les valeurs que j’ai sélectionnées, les avantages étaient aussi importants que si le programme finalement choisi avait un effet supérieur de 5 points de pourcentage, c’est-à-dire qu’il augmentait les taux de scolarisation de 5 points de pourcentage, plutôt que de 0 point de pourcentage. Toutefois, les avantages sont largement subordonnés aux a priori et, bien sûr, aux effets moyens réels de chaque programme.
21Dans cet exemple, l’exploitation des croyances préalables pourrait se traduire par un bénéfice attendu de la moitié de la différence entre les impacts réels des deux programmes potentiels. C’est logique : l’exploitation des a priori fournit aux individus une information qui les conduit à choisir l’un des deux programmes, alors que, sans exploitation des a priori, ils auraient choisi l’autre programme une fois sur deux. Cependant, l’exploitation des a priori n’est pas toujours utile. Pour certains a priori, le fait de recevoir des preuves empiriques tirées d’une évaluation d’impact ne suffirait pas à inciter les décideurs à prendre une meilleure décision a posteriori. S’ils ont plus d’incertitudes sur un programme particulier et qu’ils ne changent pas d’avis au vu des résultats de l’évaluation d’impact de ce programme (par exemple, si l’évaluation manquait de puissance statistique), l’utilisation d’a priori pour déterminer lequel évaluer pourrait tout de même amener un décideur à choisir le pire programme à mettre en œuvre après l’évaluation.
22L’utilité de l’exploitation des a priori dépend donc en grande partie des a priori eux-mêmes. Le tabl. 2 présente des simulations utilisant les mêmes intrants, à l’exception de l’a priori moyen sur l’impact du programme A et de l’a priori moyen sur l’impact du programme B, chacun d’eux étant supérieur de 5 points de pourcentage à ceux des simulations présentées dans le tabl. 1. Cela étant, loin de se révéler utile pour la plupart des valeurs choisies, l’exploitation des a priori cause du tort la plupart du temps. Les valeurs choisies pour les distributions des a priori dans ce tableau pourraient refléter un excès d’optimisme quant aux résultats des programmes, qui a été observé dans plusieurs études (Vivalt et Coville, 2016 ; Casey et al., 2018). Cependant, si ces biais étaient systématiques et prévisibles, ils pourraient être corrigés de façon à ne plus avoir d’effets délétères. Pour d’autres distributions d’a priori, l’exploitation des a priori n’est ni utile ni néfaste, mais n’a tout simplement aucun effet sur le processus décisionnel, comme dans les cas où un décideur a trop confiance en ses propres croyances. Là encore, à long terme, on pourrait s’attendre à ce que les décideurs soient subtils et capables de corriger au moins partiellement leur optimisme ou leur excès de confiance. Cela nécessiterait de nombreux changements dans les processus décisionnels, mais il y a déjà des signes indiquant que l’explicitation, la modélisation et l’utilisation d’a priori gagnent du terrain (par exemple, le projet Darpa Score : DellaVigna et Pope, 2018a ; 2018b ; DellaVigna et al., 2019).
Tableau 2– Estimations des avantages pour différentes valeurs d’a priori.

Source : Eva Vivalt.
Conclusion
23On pourrait souhaiter pratiquer un exercice similaire en utilisant des a priori réels sur diverses interventions et, de surcroît, pour étudier l’assignation déterministe. Bien que j’aie recueilli une variété de données sur des a priori dans le cadre d’autres projets (Vivalt et Coville, 2016 ; Coville et Vivalt, 2017), leur utilisation à cette fin n’est pas triviale, car, en général, les interventions visent à affecter différents indicateurs de résultats (par exemple, les taux de scolarisation par rapport à la prévalence des diarrhées) et, pour pouvoir faire des comparaisons entre différents indicateurs de résultats, il faut pouvoir évaluer l’importance relative des résultats, une tâche qui dépasse largement la portée de ce chapitre.
24Je propose plutôt quelques remarques. Mon propos ici était de recenser les points communs entre les RCT et les non-RCT, même si j’ai également relevé des différences là où elles existent. Je ne me suis toutefois pas beaucoup concentrée sur ces différences, parce que je m’attends à ce que les avantages de l’assignation déterministe en matière de valeur d’information ne soient pas décisifs pour faire un choix. En particulier, il arrive qu’une RCT soit impossible à pratiquer et que seules des méthodes quasi expérimentales puissent être utilisées – dans ce cas, il n’y a pas véritablement de choix à faire. Parfois, c’est uniquement la volonté politique qui motive la RCT, de sorte que la question du choix est à nouveau discutable. En principe, je dirais qu’il vaut mieux envisager les méthodes au cas par cas, mais, dans la pratique, les chercheurs sont rarement en mesure de faire ce choix.
25Alors que le débat oppose les RCT aux non-RCT, d’autres questions relatives à la conception des protocoles d’expérimentation paraissent potentiellement plus importantes et plus négligées. Premièrement, remarquablement peu de chercheurs en économie ou de décideurs politiques semblent être bayésiens, ce qui peut conduire à privilégier des résultats significatifs avec des effets de faible ampleur, par rapport à des programmes ayant des résultats moins certains, mais potentiellement plus importants. Deuxièmement, les RCT et les non-RCT sont généralement très limitées dans ce qu’elles étudient et elles excluent la plupart des effets indirects. Par exemple, supposons qu’un programme éducatif soit susceptible d’avoir une incidence sur les revenus ou sur la santé à l’âge adulte. Il est rare que quelqu’un revienne plusieurs années plus tard pour étudier ces effets. Il peut également y avoir des retombées sur les institutions ou les générations suivantes. La plupart du temps, ces possibilités sont ignorées. Il y a des raisons à cela : il est très difficile de cerner tous les effets pertinents. Néanmoins, il existe des méthodes qui pourraient être utilisées conjointement avec une RCT ou une non-RCT, comme l’approche du score de substitution d’Athey et al. (2016) pour estimer des résultats à long terme, qui sont encore négligés par les RCT comme par les non-RCT. Par ailleurs, les processus décisionnels sont loin d’être idéaux, et relativement peu de personnes prennent sérieusement en compte les preuves empiriques issues de RCT ou de non-RCT, sans parler des enseignements non biaisés qu’on peut en tirer. En outre, il reste encore beaucoup à faire pour déterminer comment expliciter et agréger au mieux les prévisions afin de pouvoir les utiliser de façon bénéfique. Enfin, il est difficile de synthétiser les connaissances issues de plusieurs études tant que les chercheurs ne parviennent pas à se coordonner, par exemple quand ils ne font pas l’effort de partager les indicateurs de résultats communs. Moins de 10 % des études figurant dans la série de données d’AidGrade sur les résultats des évaluations d’impact en développement international ont publié leurs microdonnées sous-jacentes (Vivalt, 2020). Ironiquement, alors que les détracteurs des RCT accusent les partisans des RCT de ne pas avoir de vue d’ensemble, on pourrait très bien leur reprocher la même erreur. Il y a pourtant des batailles potentiellement plus importantes à mener.
Notes de bas de page
1 Nous considérons normalement la recherche de spécifications comme un phénomène qui se produit lors de l’utilisation de tests classiques (« fréquentistes »), par exemple pour vérifier si une relation semble significative au niveau de 5 %. Cependant, il est possible que, même dans un cadre bayésien, si les chercheurs connaissaient les a priori des décideurs, ils pourraient mener une recherche de spécifications soit pour appuyer, soit pour fragiliser les a priori des décideurs et influencer les décisions politiques. Par conséquent, même aux yeux d’un bayésien, les RCT peuvent sembler plus crédibles.
2 À long terme, si la collecte d’a priori prenait son essor, on pourrait imaginer que le fait de juger de l’originalité et de l’importance de résultats de recherche recourant aux croyances préalables pourrait supplanter les comparaisons par rapport à l’absence d’effets et que le biais de publication pourrait se déplacer vers les études dont les résultats seraient « originaux ».
3 Par exemple, il pourrait y avoir un renouvellement des hauts fonctionnaires en charge de l’éducation, ce qui induirait une certaine variation des croyances.
4 Brodeur et al. (2018) ont toutefois constaté que l’un des types de protocoles quasi expérimentaux qu’ils ont examinés, le protocole de régression sur discontinuités, obtenait de meilleurs résultats que les RCT.
5 Par exemple, Gelman et Tuerlinckx (2000) et Gelman et Carlin (2014) introduisent des erreurs de « type M » (pour « magnitude »), qui pourraient indiquer à quel point un résultat est susceptible d’être exagéré.
6 Je limite l’attention à la moyenne, quoique d’autres parties de la distribution des résultats puissent également présenter un intérêt.
Auteur
-
Eva Vivalt
Maîtresse de conférences en économie à l’Australian National University. Elle s’intéresse principalement à l’étude des obstacles à la prise de décisions politiques fondées sur des données probantes, y compris les questions méthodologiques et la manière dont les données probantes sont interprétées et utilisées. Elle est également chercheuse principale de la RCT sur le revenu de base « Y Combinator Research » et s’intéresse également au développement, à l’économie comportementale et à l’altruisme efficace. Elle a récemment travaillé sur les prévisions de résultats en sciences sociales et a créé, avec Stefano DellaVigna, la Social Science Prediction Platform, une plateforme que les chercheurs peuvent utiliser pour obtenir des prévisions pour leurs propres études.
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Du social hors la loi
L’anthropologie analytique de Christian Geffray
Yann Guillaud et Frédéric Létang (dir.)
2009
Gestion durable des eaux et des sols au Maroc
Valorisation des techniques traditionnelles méditerranéennes
Éric Roose, Mohamed Sabir et Abdellah Laouina
2010
Madagascar face au défi des Objectifs du millénaire pour le développement
Bénédicte Gastineau, Flore Gubert, Anne-Sophie Robilliard et al. (dir.)
2010
Le projet majeur africain de la Grande Muraille Verte
Concepts et mise en œuvre
Abdoulaye Dia et Robin Duponnois (dir.)
2010
La Grande Muraille Verte
Capitalisation des recherches et valorisation des savoirs locaux
Abdoulaye Dia et Robin Duponnois (dir.)
2012
Parcours de recherche à Madagascar
L’IRD-Orstom et ses partenaires
Christian Feller et Frédéric Sandron (dir.)
2010
Pratiques et représentations linguistiques en Guyane
Regards croisés
Isabelle Léglise et Bettina Migge (dir.)
2008
Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest
Benjamin Sultan, Richard Lalou, Mouftaou Amadou Sanni et al. (dir.)
2015
Aires marine protégées ouest-africaines
Défis scientifiques et enjeux sociétaux
Marie Bonnin, Raymond Laë et Mohamed Behnassi (dir.)
2015