Entretien avec Jean-Paul Moatti et Rémy Rioux

Rémy Rioux, vous dirigez une institution (l’Agence française de développement – l’AFD) dont la mission est de financer des projets, des programmes et des politiques de développement. En quoi consiste l’évaluation dans votre institution et quel rôle joue-t-elle dans votre activité et celle de vos partenaires ?

Pour bien comprendre le rôle de l’évaluation, il convient d’abord de la situer dans le cycle de travail de l’Agence française de développement à la lumière de ce que j’appelle, dans mon livre Réconciliations, l’approche des 4E pour Écoute, Expertise, Engagement et Évaluation. Le point de départ de l’identification par l’AFD d’un projet ou d’une politique publique est toujours l’expression d’un besoin par un partenaire d’un pays du Sud, comme un ministère, une collectivité locale ou un organisme de coopération internationale. Si ce besoin est en phase avec les priorités d’aide au développement qui ont été fixées à notre agence par le gouvernement français, nous débutons alors une phase d’écoute et de dialogue dans laquelle l’AFD s’appuie sur des expertises internes et externes pour analyser l’opportunité du projet, ainsi que sa faisabilité sur les plans technique, financier et institutionnel. Cette phase de conception est essentielle, car elle conditionne le champ de l’évaluation du projet en définissant, avec les parties prenantes, les objectifs de transformation poursuivis par le projet.

Le projet est ensuite passé au crible d’un « avis développement durable », établi par une structure indépendante des opérations, qui note le projet selon une grille d’analyse composite afin d’estimer les impacts potentiels sur six dimensions du développement durable. L’évaluation ne porte pas seulement sur les réalisations matérielles, mais aussi – et surtout – sur l’atteinte de l’objectif du projet. Nos actions de développement doivent en effet être évaluées par rapport à ce qu’elles apportent au tissu économique, environnemental et social local. Par exemple, si un projet vise à augmenter le taux de scolarisation des enfants et à améliorer leurs acquis éducatifs, la construction d’établissements fonctionnels et pérennes est une condition importante, mais non suffisante pour le succès du projet. Le projet ne sera considéré comme réussi que si ces bâtiments sont fortement fréquentés et que l’on constate une amélioration significative des compétences des élèves en fin de cursus scolaire. Par conséquent, l’évaluation n’est possible que si la logique du changement a été clairement définie dès la conception du projet et si des critères de réussite, qui se traduisent par des indicateurs quantitatifs et qualitatifs renseignés de manière méthodique, ont été explicitement identifiés dès le départ.

Enfin, un dispositif de suivi doit être mis en place avant de démarrer la mise en œuvre du projet afin de contrôler non seulement le bon déroulement des activités financées, mais aussi l’atteinte des résultats intermédiaires. Si l’on reprend l’exemple de notre projet éducatif, cela signifie que l’on doit s’assurer, avant qu’il ne touche à sa fin, que les enseignants ont été formés et affectés dans les établissements construits dans le cadre du projet, et que les inégalités d’accès entre les filles et les garçons se réduisent. Si ce n’est pas le cas, il faudra prendre des mesures correctives avant l’achèvement du projet pour atteindre les objectifs fixés.

L’évaluation joue donc un rôle éminemment opérationnel. C’est un élément clé du métier de développeur pour comprendre les paramètres qui ont permis, accéléré ou freiné le déroulement du projet et la réalisation de ses objectifs, en tirer des enseignements et être plus efficace. Mais l’évaluation joue également un rôle de plus en plus stratégique. À l’heure où les besoins d’investissements pour réduire les inégalités et préserver les équilibres de notre planète vont croissant, la question principale qu’un bailleur de fonds comme l’AFD se pose est la suivante : comment l’évaluation peut-elle nous servir à coconstruire des projets de développement avec nos partenaires, et à soutenir des politiques publiques plus efficaces et efficientes au bénéfice des populations ? L’une des leçons que je tire de notre expérience à l’AFD est qu’évaluer notre action, c’est s’inscrire dans la démarche de redevabilité et d’amélioration continue. Voilà pourquoi l’évaluation joue un rôle central et croissant dans notre institution.

Il faut reconnaître qu’en raison de son histoire, l’évaluation de l’aide française a longtemps été reléguée au second plan par rapport aux autres pays et aux bailleurs multilatéraux. Les études comparatives de Laporte (2015) montrent que les pratiques d’évaluation ont émergé parallèlement en France et dans les pays anglo-saxons dans les années 1960, avec une approche spécifique en France, marquée par le rôle de l’Institut national de la statistique et des études économiques (Insee) et des experts en agronomie et développement rural de la coopération française. La France a toutefois pris du retard dans les années 1980 et 1990, à une époque où les bailleurs anglo-saxons systématisaient l’évaluation à mesure qu’augmentaient leurs budgets consacrés à l’aide internationale.

La France rattrape maintenant ce retard sous l’effet conjoint d’investissements croissants consacrés au développement durable et des exigences de résultats qui y sont associées. Les moyens dont dispose l’AFD augmentent progressivement pour atteindre l’objectif fixé par le Président français de consacrer 0,55 % du PIB à l’aide publique au développement d’ici 2022. Ces moyens accrus s’accompagnent naturellement d’un impératif : celui de rendre toujours mieux compte, au gouvernement, aux parlementaires et aux citoyens, de l’efficacité de notre action. L’évaluation joue un rôle déterminant pour répondre à cette exigence de redevabilité.

Parmi ses évaluations, l’AFD mène des études d’impact, qui ont une ambition scientifique plus poussée. Quelle est l’utilité de ces recherches évaluatives, et que pensez-vous de l’évaluation par assignation aléatoire (Randomized Controlled Trial – RCT), qui est présentée aujourd’hui comme la méthode la plus rigoureuse en la matière ?

Dans ma réponse précédente, je me référais aux évaluations en général. Les études d’impact constituent un type particulier d’évaluation, qui est conçu pour identifier, mesurer et comprendre de manière scientifiquement rigoureuse les effets strictement imputables à une intervention. Elles s’appuient pour cela sur un contrefactuel, c’est-à-dire qu’elles mettent en regard l’évolution d’une population bénéficiaire à celle d’une population non bénéficiaire, en s’assurant que ces deux populations sont effectivement comparables et que l’intervention évaluée est le seul critère qui les différencie.

Les évaluations d’impact sont essentiellement utilisées comme un outil ponctuel pour démontrer (to prove), plutôt que comme un outil d’amélioration (to improve). Elles permettent d’établir qu’en général certains types d’interventions fonctionnent dans des contextes donnés, mais elles s’avèrent trop lourdes, longues et coûteuses pour être systématisées comme un outil de redevabilité et d’apprentissage. Pour ceux-ci, on dispose de méthodes plus légères et harmonisées, qui ont été régulièrement améliorées au cours des trois dernières décennies. Ces démarches peuvent s’appuyer sur de l’expertise locale existante et être mobilisées de manière plus agile pour alimenter le dialogue avec nos partenaires.

L’AFD réalise des études d’impact depuis le début des années 2000 pour participer à l’enrichissement d’un corpus de connaissances générales sur le développement. L’analyse comparative détaillée que nous avons élaborée sur ce sujet (Pamiès-Sumner, 2015) montrait qu’il s’agissait d’une particularité de notre institution. À l’exception du Department for International Development (DFID), la plupart des bailleurs bilatéraux restent en retrait en matière d’évaluations d’impact par rapport aux grands bailleurs multilatéraux qui en ont produit des centaines.

Depuis quinze ans, l’AFD a également contribué activement à la réflexion méthodologique de la communauté du développement sur les évaluations d’impact. Parmi les méthodes qui peuvent être utilisées pour renforcer la comparabilité entre population bénéficiaire et contrefactuel pour déduire l’impact d’une intervention, la méthode des RCT a connu un fort engouement sur lequel le présent ouvrage se propose de prendre du recul. L’AFD a joué un rôle clé dans l’amorce de cette tendance en soutenant, dès 2005, deux vastes RCT sur des secteurs d’intervention qui étaient alors au cœur de l’actualité de l’aide : le microcrédit et l’assurance santé. Ces études nous ont permis de faire progresser l’état des connaissances sur ces deux secteurs d’intervention, mais aussi sur les méthodes expérimentales, dont nous avions alors tiré un bilan mitigé (Bernard et al., 2012). Avec ces travaux, nous avons participé à l’émergence d’un consensus sur la nécessité d’évoluer vers des approches pluridisciplinaires combinant méthodes quantitatives et qualitatives.

Aujourd’hui, il est plus indispensable que jamais de mener des actions efficaces. Il ne reste que neuf ans pour atteindre les Objectifs de développement durable (ODD). Les interventions publiques doivent s’appuyer sur des connaissances empiriques si l’on veut répondre aux exigences légitimes des citoyens, dans un monde déchiré par des fractures sociales, politiques, économiques et, bien sûr, environnementales. En tant que plateforme pour le développement durable, l’AFD se doit d’être pragmatique et efficiente, et nous sommes déterminés à réaliser davantage d’évaluations d’impact. Nous avons les moyens, objectifs et scientifiques, de savoir ce qui fonctionne et ce qui ne fonctionne pas.

Il reste une marge de progression. Comme je le souligne dans Réconciliations, les approches actuelles d’évaluation de l’impact de l’aide au développement sont loin d’être parfaites. Les résultats sont généralement mesurés par un instantané, utile, mais insuffisant, d’indicateurs quantitatifs tels que le nombre de personnes raccordées au réseau électrique, le taux de jeunes filles scolarisées ou les tonnes de CO₂ économisées. Les approches quantitatives sont souvent décevantes, car elles ne permettent pas d’identifier dans quelle mesure un projet de développement contribue aux dimensions qualitatives de l’agenda 2030. À cet égard, il est essentiel de définir un cadre commun pour déterminer les investissements qui sont en phase avec les trajectoires durables à long terme et ceux qui ne le sont pas, afin d’améliorer les approches qualitatives de l’évaluation pour atteindre les objectifs de l’accord de Paris et des ODD.

Comme les méthodologies se sont diversifiées, l’important est maintenant d’utiliser les approches les plus pertinentes pour répondre aux questions sur les sujets étudiés, sans préjugés théoriques. C’est la raison pour laquelle les équipes de l’AFD ont le souci constant de combiner les études d’impact et les évaluations opérationnelles plus légères en développant un ensemble diversifié d’outils de mesure permettant de mieux appréhender l’efficacité de l’aide. Nous prévoyons en particulier de mettre davantage la science au service de l’évaluation, en collaborant avec des partenaires comme l’Institut de recherche pour le développement (IRD) et le monde scientifique en général, notamment par la promotion des recherches menées par nos partenaires dans les pays du Sud.

Jean-Paul Moatti, vous étiez, jusqu’à une date récente, président-directeur général de l’IRD. Mais d’abord, en tant que spécialiste en économie de la santé, vous connaissez bien les essais cliniques. Que pensez-vous des RCT à l’aune de votre propre expérience ?

J’ai consacré la plupart de mes quarante années de carrière universitaire à collaborer étroitement avec des épidémiologistes et des biostatisticiens qui ont longtemps considéré les évaluations randomisées comme un outil essentiel pour rationaliser la pratique médicale sur la base de preuves scientifiques, mais qui ont fini par exprimer certaines préoccupations sur la confiance excessive accordée aux protocoles randomisés.

On a longtemps pensé que les RCT constituaient la source idéale (le « Gold Standard », « l’étalon-or ») de données sur les effets des traitements médicaux. D’autres méthodes, comme les études de cohorte et les études cas-témoins, sont bien entendu utilisées lorsque la randomisation n’est pas possible pour des raisons éthiques ou pratiques, comme c’est souvent le cas des études sur les facteurs de risque environnementaux. Ces dernières années s’est néanmoins développé un intérêt croissant pour d’autres méthodes capables de fournir des preuves empiriques pour les stratégies les plus efficaces dans les domaines de la médecine et de la santé publique.

Des RCT bien conçues peuvent bien sûr prétendre à une forte validité interne dans la mesure où elles répartissent de manière équilibrée les facteurs connus et inconnus entre les groupes de contrôle et de traitement, limitant ainsi le risque d’introduire des facteurs de confusion dans l’identification d’un mécanisme causal. Pourtant, les experts en santé publique reconnaissent depuis longtemps les limites des RCT sur le plan de leur validité externe et de leur pertinence pour la prise de décision. En effet, il peut y avoir un certain nombre de raisons qui font qu’une RCT manque de validité externe, et la généralisation des résultats hors de la population étudiée peut s’avérer erronée. Les RCT ne portent généralement pas sur des périodes d’étude suffisamment longues ou sur des populations assez importantes pour pouvoir évaluer, dans la durée, les effets d’un traitement, comme dans le cas de l’impact des vaccins sur l’immunité à long terme d’une population, ou pour mettre en évidence des effets indésirables rares, mais graves du médicament, qui apparaissent seulement lors des phases de surveillance après la mise sur le marché au travers des dispositifs de pharmacovigilance. Les contraintes croissantes de coût et de temps pesant sur les RCT peuvent inciter à se fier à des marqueurs de substitution potentiellement mal corrélés au résultat clinique (mortalité ou morbidité grave) que l’on cherche en réalité à évaluer. Pour limiter la dimension de l’échantillon et garantir une puissance statistique suffisante, les RCT se concentrent souvent sur les groupes à haut risque, ce qui réduit fréquemment leur pertinence pour des populations cibles plus larges. En outre, il faut des années pour planifier, mettre en œuvre et analyser la plupart des RCT, ce qui limite leur capacité à suivre le rythme des innovations biomédicales et oblige à prendre des décisions concernant les nouveaux médicaments et les dispositifs médicaux alors que leur évaluation clinique est encore en cours. Les contraintes de temps associées aux RCT limitent également leur utilisation efficace pour les décisions de santé publique en cas de flambées épidémiques ou de crises sanitaires. En outre, des RCT différentes traitant d’un même sujet ont souvent produit des résultats contradictoires, notamment en ce qui concerne des questions clés sur l’efficacité des pratiques médicales. Cela a conduit au développement de méthodes dites de méta-analyse, qui combinent les résultats de différents essais afin de surmonter ces contradictions et de parvenir à des conclusions fondées. Mais ces méthodes soulèvent elles-mêmes des problèmes statistiques complexes ainsi que d’identification des essais dont les données peuvent être agrégées sans créer une hétérogénéité excessive.

De manière générale, les experts en santé publique tendent désormais à considérer que les systèmes actuels de hiérarchisation des preuves empiriques mises en œuvre dans les mécanismes d’évaluation des pratiques médicales sont biaisés en faveur des RCT et qu’ils sont susceptibles d’écarter des données valides qui ne sont pas issues d’expérimentations randomisées.

Plus récemment, un nombre croissant de biostatisticiens ont reconnu que la randomisation ne constitue pas en soi une garantie absolue de validité interne. Cook (2018) recense par exemple 26 hypothèses susceptibles de biaiser les résultats des RCT malgré la randomisation, 22 d’entre elles étant liées à la validité interne : une différence préexistante à la sélection des groupes de traitement et de contrôle qui pourrait être confondue avec un effet de traitement ; la possibilité que l’attribution ait pu varier d’un groupe à un autre dans l’essai, rendant les résultats très sensibles au traitement des données manquantes (notamment liés aux abandons et perdus de vue en cours d’essai) ; un biais dans le choix du groupe de contrôle (par exemple lorsque l’innovation est comparée à un standard actuel de traitement qui n’est pas optimal) ; des changements de comportement induits par la participation à l’essai (par exemple, dans certains essais en double aveugle avec un groupe de contrôle prenant un placebo, les patients infectés par le VIH ont commencé à partager leurs pilules afin de garantir que tous les participants reçoivent « au moins » quelques médicaments efficaces), etc. La plupart de ces préoccupations tournent autour d’une question clé : si la randomisation, qu’elle soit volontaire ou involontaire, qu’elle intervienne ex ante ou ex post (dans le mode d’analyse de l’essai), ignore les informations préalables issues de la théorie et la prise en compte des covariables, alors elle est susceptible d’introduire des biais, et peut même s’avérer contraire à l’éthique, car elle expose inutilement les participants à un danger éventuel dans le cadre d’une expérience risquée.

Des modifications de la structure de base de l’évaluation randomisée ont été élaborées pour minimiser ce risque grâce à des mesures comme la stratification, l’allocation adaptative et la pré-randomisation, visant à prévenir la distorsion entre les groupes, qui peut venir, en dépit du tirage au sort, de facteurs pronostiques connus ou identifiés. Les modèles recourant à la méthode du cas unique (Single Case Design ou SCD) sont utilisés lorsqu’une variable d’intérêt dépendante peut être mesurée de manière répétée dans le temps entre deux points (au départ et pendant ou après l’intervention). Plutôt que de recourir à la randomisation d’un grand nombre de participants, les chercheurs utilisent un ordonnancement minutieux et planifié des conditions expérimentales afin d’améliorer la validité interne en excluant toute autre explication des effets du traitement. Toutes ces tentatives d’amélioration de la validité interne constituent de facto un aveu que la randomisation ne présente, en pratique, aucune supériorité statistique intrinsèque pour l’inférence causale.

En mettant maintenant votre autre casquette, celle d’économétricien, vous connaissez sans doute bien les problématiques méthodologiques liées à l’inférence causale et les autres modèles de génération de groupes contrôle permettant d’identifier les facteurs causaux du phénomène d’intérêt.

Avec ces évolutions et la tendance actuelle vers l’« expérimentation pragmatique », les experts en santé publique ont redécouvert un « vieil » argument économétrique bayésien remontant à Fisher (1926) et Savage (1962), qui remet en question la croyance selon laquelle les effets de traitement moyens estimés à partir de RCT sont probablement plus proches de la vérité que ceux estimés par d’autres moyens. Le résultat visé par toute RCT réside dans l’écart de moyennes entre le groupe d’intervention et le groupe de contrôle, qui combine l’effet de traitement moyen estimé parmi les personnes traitées au terme d’erreur, qui lui-même traduit le déséquilibre généré aléatoirement parmi les effets nets issus d’autres causes. Les RCT offrent une base pour calculer l’ampleur de l’erreur, mais, comme indiqué précédemment, cela reste soumis à la condition qu’aucune corrélation avec des covariables ne soit intervenue avant ou après la randomisation. Que ce soit dans les RCT ou dans d’autres méthodes, la pertinence statistique sera menacée si la distribution des effets de traitement individuels dans la population étudiée est asymétrique. Dans sa synthèse des nombreuses publications économétriques sur le sujet, le prix Nobel d’économie Deaton soutient à juste titre que tout statut spécial accordé aux RCT est injustifié et conclut que « la méthode la plus à même de produire une bonne inférence causale dépend de ce que nous essayons de découvrir et de ce que nous savons déjà » (Deaton et Cartwright, 2018 : 2).

Les économètres connaissent d’autres méthodes conçues pour obtenir une inférence causale, comme l’appariement par scores de propension, les variables instrumentales, la modélisation économétrique et les réseaux bayésiens. Toutes les méthodes doivent bien entendu recourir à des groupes de contrôle pour garantir une comparaison appropriée avec le groupe d’intervention, mais le choix du modèle d’étude doit rester pragmatique et dépendre des problématiques en question.

Un autre prix Nobel d’économie, Heckman, met en lumière une autre source de scepticisme à l’égard des évaluations randomisées parmi les économètres, à savoir que les informations sur les effets de traitement moyens peuvent s’avérer peu utiles pour éclairer les politiques publiques, car elles ne prennent pas en compte les variations entre les bénéficiaires des interventions (Heckman et Smith, 1995). Les impacts moyens peuvent être le facteur d’intérêt principal dans une évaluation comparant deux médicaments ou deux interventions très simples, mais lorsqu’il s’agit de politiques à composantes multiples, la possibilité de tirer des enseignements utiles d’une expérience spécifique nécessite plutôt d’identifier les raisons pour lesquelles certaines stratégies fonctionnent mieux que d’autres. Dans de tels cas, même une RCT réussie ne peut garantir que la relation causale établie se maintiendra dans d’autres contextes ou de manière générale. Il paraît clairement fallacieux de prétendre que la microfinance doit être au cœur des efforts pour éliminer la pauvreté ou que les transferts monétaires conditionnels doivent être la priorité des politiques en matière de santé et d’éducation en s’appuyant sur un nombre limité d’évaluations randomisées réalisées dans ces domaines. Cela peut détourner l’attention des grandes politiques publiques destinées à réduire les inégalités ou à assurer la santé et l’éducation pour tous. Il est intéressant de constater que certains partisans des évaluations randomisées, tels que Banerjee et al. (2015b : 52), arrivent à une conclusion similaire lorsqu’ils reconnaissent, par exemple, que « les adeptes du microcrédit ont peut-être […] surestimé le potentiel des entreprises pour les pauvres, à la fois comme source de revenus et comme moyen d’autonomisation des femmes qui en sont les propriétaires ».

Rémy Rioux, avez-vous observé des retombées opérationnelles des évaluations au niveau des projets que vous soutenez sur le terrain, et quelles évolutions avez-vous remarquées ou souhaiteriez-vous voir ?

En général, nous constatons que la culture de l’évaluation favorise une culture de l’innovation. Les évaluations d’impact ont généré des retombées intéressantes dans la mesure où elles ont consolidé une culture de l’évaluation au sein de l’AFD et parmi nos partenaires des pays en développement.

En Mauritanie, par exemple, l’évaluation de l’impact d’un dispositif de protection sociale couvrant 40 % des femmes a montré que celui-ci augmentait significativement le recours aux soins et réduisait les inégalités, mais qu’il ne touchait pas les plus démunies et qu’il n’avait pas d’impact significatif sur la santé des mères et des enfants en raison de la dégradation de la qualité des soins dans les établissements (Philibert et al., 2017). En conséquence, nous avons complètement repensé la phase suivante du projet : action intégrale sur les différentes composantes de la qualité (ressources humaines, sang, médicaments et supervision) et opérationnalisation d’un mécanisme de gratuité pour les plus pauvres.

Les évaluations scientifiques d’impact ont également favorisé des innovations méthodologiques qui améliorent le suivi des projets. Par exemple, nous proposons désormais d’aider les responsables de projets et les partenaires à utiliser des données existantes dès l’instruction d’un projet pour mieux estimer les conditions de vie et l’accès aux services, analyser les dépenses des ménages, etc., ou encore à utiliser des images satellitaires pour suivre la productivité agricole, la déforestation, le développement urbain, etc. Le suivi continu des projets est également facilité par des outils numériques comme GeoPoppy, une application développée par l’Institut national de la recherche agronomique (Inra), que nous avons utilisée pour suivre l’agriculture en Côte d’Ivoire et que nous allons même faire évoluer en outil de renforcement des capacités au Bénin. Dans le même esprit, l’AFD collabore en Haïti et au Niger avec le Centre de recherches interdisciplinaires (CRI), fondé par François Taddei et Ariel Lindner, pour expérimenter et diffuser de nouvelles façons de mener des recherches et de mobiliser l’intelligence collective dans les domaines des sciences du vivant, de l’éducation et des technologies numériques.

Tous ces exemples montrent que, lorsque nous sommes à même de rendre compte des impacts de nos projets, nous apprenons à partager notre expérience, à mieux écouter nos bénéficiaires et, in fine, à innover pour eux et avec eux. En évaluant nos impacts, nous pouvons innover et montrer concrètement le retour sur investissement que génère la politique de développement, c’est-à-dire un investissement durable et solidaire.

Jean-Paul Moatti, vous êtes aussi engagé dans la contribution aux politiques publiques. Outre votre parcours académique, vous avez été membre du groupe d’experts des Nations unies chargé du rapport mondial sur le développement durable (Global Sustainable Development Report – GSDR). À ce titre, vous avez participé à la rédaction du premier rapport quadriennal d’évaluation des ODD, qui ont été adoptés par tous les États membres des Nations unies en septembre 2015 et qui fixent l’Agenda international 2030 pour le développement. Nous assistons dans ce cadre à l’émergence du concept de « science de la durabilité ». Soutenez-vous ce concept et comment les expérimentations randomisées peuvent-elles, ou non, contribuer à une recherche efficace pour le développement durable ?

Même si les 17 ODD restent le fruit de nombreux compromis entre les gouvernements et entre des intérêts contradictoires, ce programme de transformation ambitieux a très largement bénéficié de l’émergence de ce que l’on appelle aujourd’hui la « science de la durabilité ». L’Académie nationale des sciences des États-Unis, qui a commencé à promouvoir la science de la durabilité en 2000, la définit comme un « domaine de recherche émergent qui traite des interactions entre les systèmes naturels et sociaux, et de la manière dont ces interactions affectent le défi de la durabilité : satisfaire les besoins des générations actuelles et futures tout en réduisant sensiblement la pauvreté et en préservant les écosystèmes qui entretiennent la vie sur la planète » (Kates, 2011). Parce qu’elle est axée sur les problèmes, cette nouvelle approche scientifique est par nature interdisciplinaire et se prête à la coconstruction de programmes de recherche avec les communautés concernées. Elle s’attache à identifier les chaînes de causalité complexes qui génèrent les principales problématiques environnementales et sociales menaçant l’avenir de la Terre, et à proposer des solutions pour réduire le risque d’incohérence dans la mise en œuvre des ODD tout en maximisant les synergies positives qui existent entre eux : comment augmenter la productivité agricole pour garantir la sécurité alimentaire d’une population mondiale, censée augmenter de deux milliards de personnes d’ici 2050, tout en réduisant les intrants chimiques afin de limiter l’impact environnemental et le gaspillage des ressources ? Comment promouvoir une croissance durable pour éliminer l’extrême pauvreté sans accroître les inégalités à l’intérieur des pays ? Les enjeux sont multiples.

L’économie du développement devrait jouer un rôle de premier plan dans cette science de la durabilité, car elle mobilise des compétences et des connaissances essentielles pour la transposition en politiques publiques efficaces de faits et de preuves empiriques, issues d’une gamme étendue de disciplines allant des sciences naturelles aux sciences sociales, afin de les adapter à des contextes sociaux, environnementaux et économiques hétérogènes. Les RCT ne sont bien souvent pas adaptées à ce champ interdisciplinaire essentiel, car l’extrapolation et la généralisation de leurs résultats nécessitent un ensemble d’informations complémentaires qui doivent provenir d’autres sources. Surestimer leur rôle, en ignorant les limites de l’approche randomisée et en exagérant leurs mérites auprès des décideurs, pourrait compromettre la contribution de la science économique à la transformation des modèles de développement actuels vers la durabilité. Cependant, ce serait également une erreur de sous-estimer le fait que les études randomisées peuvent s’avérer extrêmement utiles, le cas échéant, pour déterminer quelles sont les meilleures pratiques, parmi différentes modalités d’intervention, pour atteindre les ODD et pour produire des arguments puissants en faveur de politiques de changement social et de transition écologique basées sur des preuves empiriques.

Une dernière question pour tous les deux : comment des institutions comme l’AFD et l’IRD peuvent-elles coordonner leurs efforts pour que les pays du Sud bénéficient d’actions de recherche pertinentes qui soient utiles et utilisées pour l’élaboration et la mise en œuvre des politiques ?

Rémy Rioux : Nous pensons que tout le monde gagne lorsque la recherche est menée en partenariat avec les décideurs et la société civile. Ces partenariats doivent préserver l’indépendance et la rigueur de la recherche et favoriser une fertilisation mutuelle afin que la production intellectuelle soit pertinente, appropriée, et qu’elle contribue au progrès de nos sociétés. Cette implication doit se manifester à toutes les étapes du cycle de la production scientifique, depuis la conception et le cadrage de la recherche, à sa mise en œuvre et à la formalisation des connaissances et leur diffusion.

Le groupe d’experts intergouvernemental sur l’évolution du climat (GIEC) est un bon exemple de cette dynamique. Il est essentiel de combiner l’action contre les changements climatiques à des politiques visant à réduire les inégalités et à renforcer le lien social dans nos sociétés pour garantir que la transition environnementale, si vitale aujourd’hui, soit également socialement durable. Cette recherche dont nous avons besoin devrait être implantée dans le Sud, avec le soutien et l’accompagnement de centres d’excellence du Nord lorsque c’est pertinent. « Le Sud inspirera le Nord », pour citer le président d’Unicef France, Jean-Marie Dru (communication personnelle).

À cet égard, l’IRD est un partenaire précieux, car il est reconnu pour son excellence scientifique et ses liens étroits avec les équipes universitaires des pays du Sud. Sa mission est en outre entièrement dédiée aux pays en développement, et tous ses travaux sont menés en partenariat et pour renforcer les capacités de recherche dans le Sud. Nos deux institutions sont engagées dans une démarche conjointe depuis 2012 en matière de recherche sur le développement durable. Notre collaboration s’appuie sur l’approche de la science de la durabilité, promouvant l’interdisciplinarité et le rapprochement entre connaissances scientifiques et les savoirs des autres acteurs du développement.

Dans la même veine, l’International Development Finance Club (IDFC), que je préside depuis 2017, œuvre pour que les pays du Sud bénéficient de travaux de recherche pour élaborer et mettre en œuvre des politiques publiques. Le Club a, de fait, présenté récemment un rapport novateur, rédigé par les groupes de réflexion indépendants CPI (Climate Policy Initiative) et I4CE (Institute for Climate Economics), qui fournit un cadre solide, utilisable par les 26 banques de développement nationales et régionales membres de l’IDFC – dont beaucoup sont basées dans les pays du Sud –, et par la communauté financière dans son ensemble, afin d’aligner les stratégies de toutes les institutions financières avec les objectifs de l’accord de Paris aux niveaux national, stratégique et opérationnel. L’évaluation des projets fait également partie des sujets discutés au sein du Club afin d’identifier les questions soulevées par l’évaluation des actions pour le climat par les organisations internationales et les bailleurs de fonds, et notamment l’examen des défis méthodologiques liés à la mesure des impacts des programmes de développement concernant le changement climatique. Dans les mois à venir, le lancement de la plateforme électronique de l’IDFC permettra au Club de favoriser les échanges entre les experts et de promouvoir le partage des connaissances et des bonnes pratiques.

Jean-Paul Moatti : L’IRD a derrière lui une longue histoire, puisqu’il a fêté ses 75 ans en 2019. Il travaille dans plus de 50 pays en développement. L’AFD bénéficie de l’expertise des chercheurs de l’IRD depuis de nombreuses années. Paradoxalement toutefois, bien que la France reste le seul pays avancé à disposer, avec l’IRD, d’un organisme public de recherche interdisciplinaire, dont la mission unique est la coopération scientifique équitable avec les collègues, chercheurs et universitaires, des pays en développement, nous avons travaillé moins fréquemment et moins systématiquement avec l’AFD que d’autres agences et banques de développement – comme l’USAID et le DFID britannique – ne l’ont fait avec leurs chercheurs nationaux. L’une des raisons est que, jusqu’à une date récente, le financement de la recherche ne faisait pas partie de la mission de l’AFD, les contributions scientifiques devant donc emprunter des canaux d’expertise contractuelle qui n’étaient pas toujours bien adaptés aux projets de recherche. Mais la situation évolue rapidement, alors que les ODD et l’action contre le changement climatique deviennent des axes de travail communs à l’AFD et à l’IRD, et que le rôle majeur de la diplomatie scientifique dans le développement durable est de plus en plus reconnu (voir le GIEC pour le climat et l’Intergovernmental Science-Policy Platform on Biodiversity and Ecosystem Services [IPBES] pour la biodiversité et, bien sûr, le GSDR).

Premièrement, et avant tout, l’AFD soutient maintenant des programmes de renforcement des capacités universitaires et de recherche dans les pays en développement, comme on peut le voir en Côte d’Ivoire, où l’AFD intervient, conjointement avec le programme français de désendettement et dans sa collaboration avec la Banque mondiale, pour soutenir les Centres d’excellence africains (African Center of Excellence – ACE) dans les domaines de la recherche, notamment en Afrique francophone. De nombreux partenaires africains du projet ACE de l’IRD reçoivent aujourd’hui l’aide de l’AFD. Deuxièmement, le nouvel accord global signé début 2019 entre l’AFD et l’IRD vise à associer plus étroitement, dans les pays, les initiatives décentralisées menées par l’AFD avec des chercheurs aux grands programmes codéveloppés par les deux organisations. Ces programmes incluront des projets d’évaluation scientifique et de développement financés par l’AFD, qui pourraient s’avérer riches d’enseignements et permettre un certain niveau de généralisation à l’échelle internationale. L’élaboration d’un protocole d’évaluation expérimental ou quasi expérimental ex ante, randomisé ou non, et la mise en place simultanée d’un projet de développement durable augmentent les chances de réussite, tant pour l’évaluation scientifique que pour le projet lui-même. Une collaboration plus étroite avec l’AFD est un excellent moyen de promouvoir les changements requis par la science de la durabilité en matière de pratiques de recherche, ceci incluant la coconstruction de programmes de recherche avec les communautés et les groupes de population vulnérables qui sont directement concernés.

Entretien avec Gulzar Natarajan

Gulzar Natarajan, au cours de votre carrière de haut fonctionnaire du gouvernement indien, vous avez accumulé un grand nombre d’expériences. Vous avez occupé un poste au sein du cabinet du Premier ministre, vous avez dirigé la société de développement des infrastructures de l’État d’Andhra Pradesh, vous avez été collecteur de district1 à Hyderabad, vous avez été président-directeur général d’une société de distribution d’électricité basée à Visakhapatnam, vous avez été commissaire municipal de Vijayawada, et vous avez occupé des postes dans le domaine du développement dans l’État d’Andhra Pradesh. Vous avez dirigé la conception et la mise en œuvre de projets de grande envergure dans de nombreux secteurs, tels que les infrastructures, l’urbanisme, la santé, l’éducation, le renforcement des moyens de subsistance ou encore la réduction de la pauvreté.

Ces différentes fonctions, combinées à votre formation en ingénierie d’une part et en études du développement d’autre part, vous permettent d’avoir une vision très précise du fonctionnement des bureaucraties indiennes et des politiques de développement, de la façon dont elles peuvent être améliorées et du type de méthodologie de recherche susceptible de contribuer à cette amélioration.

Quelles sont, selon vous, les questions les plus importantes en matière de politiques publiques auxquelles l’Inde est confrontée aujourd’hui et qui pourraient être éclairées par des recherches solides, en commençant par le niveau macro ?

Il existe un certain nombre de problématiques majeures auxquelles les décideurs politiques indiens sont confrontés de façon régulière. Elles pourraient toutes tirer profit d’informations et de preuves empiriques issues de recherches de haute qualité. J’ai moi-même été confronté à plusieurs d’entre elles à un moment ou à un autre, et j’ai été frustré par le manque de recherches qui auraient pu éclairer davantage mes hypothèses de travail et les solutions proposées. J’ai recensé douze domaines que je considère comme essentiels : la macro-économie, les marchés financiers, les infrastructures, le secteur bancaire, la politique industrielle, les finances publiques, les réformes du marché du travail, les marchés informels, l’urbanisation, le développement, la politique étrangère et commerciale et l’analyse des données. J’énumère dans l’annexe A les sous-questions spécifiques qui me paraissent fondamentales dans chacun de ces domaines.

Outre ces grands sujets, pourriez-vous nous donner quelques exemples concrets pertinents axés sur des questions plus pratiques qui relèvent de la compétence des maires ou des commissaires municipaux ?

En Inde, il existe trois niveaux de gouvernement à l’échelle infranationale : le gouvernement local (urbain ou rural), l’administration de district et les services des gouvernements des États. Les bureaucrates et les dirigeants politiques à ces niveaux sont confrontés à de multiples défis et doivent prendre des décisions en temps réel sur la base de données et d’informations limitées.

Quelles sont les questions, à la fois stratégiques et opérationnelles, qui occupent généralement l’esprit des dirigeants à chacun de ces trois niveaux ? Quels sont les choix de solutions techniquement fiables, administrativement réalisables et politiquement acceptables pour chaque problématique ? Comment une recherche scientifique de haute qualité peut-elle informer et nourrir les bureaucrates dans la prise de décision et dans la mise en œuvre ? Quelles sont les méthodes de recherche appropriées pour soutenir ce processus ?

Pour donner une idée des défis à relever, permettez-moi d’exposer les différentes questions auxquelles est confronté un bureaucrate type à chacun des trois niveaux de gouvernement dans n’importe quel État indien. Sans viser l’exhaustivité, mon objectif est de recenser un maximum de grands domaines d’intervention possible à chaque niveau. Compte tenu de la taille du pays, ces niveaux administratifs couvrent pour certains au moins un million de personnes, et même des populations qui se comptent en dizaines de millions au niveau des États. En termes d’impact également, chacune de ces questions s’étend sur l’ensemble du système particulier, et un changement de la pratique habituelle peut avoir des effets importants, souvent transformationnels. Il s’agit donc bien de défis de développement de premier ordre ayant un impact majeur.

En outre, ces questions définissent les problématiques communes et constituent un bon point de départ pour la recherche, représentant ainsi une bonne pratique pour s’attaquer à un sujet difficile.

L’annexe B fournit la liste des questions qui mobilisent les réflexions des responsables politiques à chacun de ces trois niveaux.

Il est évident que l’exploration des réponses à bon nombre de ces questions ne dépend pas d’une méthode de recherche particulière. En effet, la majorité d’entre elles ne relèvent peut-être pas d’approches quantitatives pures et nécessiteraient une analyse qualitative et ethnographique. Un consultant équipé d’une panoplie d’outils suffisamment rigoureux pourrait s’avérer le mieux placé pour les explorer. D’autres cas peuvent nécessiter une combinaison de techniques allant de l’analyse des données aux méthodes économétriques et aux expérimentations de terrain.

Comme on peut le constater, parmi ces questions, seul un petit nombre se prête à une RCT rigoureuse. Pour commencer, dans la plupart des cas, le bureaucrate n’a pas la flexibilité requise pour créer un traitement et des contrôles. Deuxièmement, il est le plus souvent impossible d’isoler clairement un problème et ses solutions potentielles afin de pouvoir examiner l’attribution. Troisièmement, comme les interventions portent sur des systèmes vastes et complexes, où les facteurs influents ne sont pas simples à identifier, il est plus facile d’étudier les contributions que les attributions. Quatrièmement, les bureaucrates prennent des décisions en temps réel et ne peuvent donc pas se permettre de longues expérimentations. Cinquièmement, les résultats immédiats de ces interventions ne reflètent bien souvent que des équilibres partiels, et il faut beaucoup de temps avant de pouvoir observer des résultats stables. C’est pour cela que les évaluations globales atteignent rarement leur objectif. Enfin, en rapport avec le point précédent, il n’existe pas de solution unique qui soit susceptible d’être simplement reprise et mise en œuvre. Au lieu de cela, les problèmes (y compris le sabotage interne) commencent à émerger lorsque la solution est lancée, ce qui nécessite une adaptation itérative, surtout dans la période initiale, avant la stabilisation.

En ce qui concerne les expérimentations de terrain, le test A/B, simple et rapide, peut apporter des informations sur les choix concurrents évidents à des carrefours décisionnels pendant la mise en œuvre, et s’avérer une technique plus pertinente que les RCT de longue durée. L’idée est de vérifier si certains indicateurs immédiats de succès probable (identifiés à partir d’un examen de la théorie du changement pour l’intervention) sont satisfaits. Face à des questions aussi complexes et à des environnements difficiles, et lorsque les résultats mettent du temps à se manifester, il peut être plus pertinent et plus utile de vérifier le respect d’indicateurs de processus immédiats plutôt que de procéder à des évaluations globales de ces résultats.

Concernant les questions soulevées par les partisans des RCT, apportent-elles les bonnes réponses, et dans quelle mesure ces réponses peuvent-elles être utiles ?

Je répondrai par trois exemples précis. Prenons le cas de la lutte contre l’alcool au volant, qui a été étudiée par Abhijit Banerjee et ses collègues (Banerjee et al., 2012) et résumée dans une publication (Banerjee et al., 2017c). Ils plaident en faveur d’une utilisation accrue des éthylomètres (outils) et de l’introduction d’amendes plus élevées (lois) pour lutter contre la conduite en état d’ivresse. Ils concluent également que ce dispositif doit être complété par une stratégie de contrôle des véhicules dans des lieux définis de manière aléatoire, en faisant appel à des équipes de police dédiées, issues des forces de réserve.

Cette « stratégie » n’a rien de nouveau. Elle est couramment appliquée par les commissaires de police sur de courtes périodes lorsque quelque chose (généralement un accident très médiatisé ou une directive du tribunal) suscite une vigilance accrue en matière de conduite en état d’ivresse. Le problème est que ces dispositifs ne peuvent pas être étendus au-delà de courtes périodes.

Le défi, comme l’a souligné Esther Duflo dans d’autres contextes, est une question de « plomberie ». Prenons la question des lieux aléatoires. Si, vue de l’extérieur, l’allocation aléatoire de lieux peut ressembler à un exercice algorithmique, il peut être difficile de la rendre opérationnelle à grande échelle. Face à des intérêts et des systèmes puissants qui incitent à « serrer les rangs », la capacité d’action institutionnelle est faible, en particulier dans les commissariats de police. De ce fait, les stratégies comme la vigilance accrue sont facilement compromises ou affaiblies, sauf si des dirigeants extrêmement engagés assurent eux-mêmes la gestion du processus.

À titre d’exemple, les contrôles qualité aléatoires effectués par des tiers sur des travaux d’ingénierie en cours, qui sont aujourd’hui monnaie courante, sont fréquemment compromis par la collusion. En ce qui concerne les réservistes, ils ne peuvent pas être mobilisés au-delà de quelques jours. Avec des forces de police en sous-effectif flagrant et débordées par les responsabilités de gestion de foule et des événements VIP qui exigent des services de sécurité, ils n’ont de « réserves » que le nom, tellement les demandes concurrentes sont nombreuses.

Par ailleurs, les normes en matière de preuve pour établir une infraction légale de conduite en état d’ivresse peuvent restreindre le rôle des réservistes. Par exemple, afin de limiter l’excès de pouvoir discrétionnaire, la loi (c’est-à-dire les règlements adoptés en vertu de la loi centrale dans différents États) impose que les tests d’alcoolémie soient effectués en présence d’un représentant de police d’un certain rang. Or, les administrations de police, débordées, disposent de trop peu de personnels de ce rang pour les dédier à la circulation, et encore moins aux patrouilles de nuit traquant les cas de conduite en état d’ivresse. Mais la délégation de cette responsabilité pose des problèmes juridiques et pratiques.

Les conclusions ci-dessus découlent d’une RCT réalisée dans 162 commissariats de police du Rajasthan et couvrant cinq interventions en matière de gestion : la limitation des mutations arbitraires, la rotation des missions et des jours de congés, l’engagement accru de la communauté, la formation interne et les visites « secrètes » par des agents de terrain se faisant passer pour des civils. L’étude a montré que les trois premières interventions « qui auraient réduit l’autonomie des cadres intermédiaires, étaient mal mises en œuvre et inefficaces », alors que les deux dernières avaient « des impacts solides ». Sur la base de ces observations, les chercheurs ont pointé les « résultats très positifs » d’une intervention associant une « bonne performance » en matière de tests de sobriété sans s’appuyer sur les cadres intermédiaires, à la « promesse d’une mutation des casernes de réservistes à un poste attractif dans un commissariat de police ».

La publication allègue que « les résultats expérimentaux exposés dans cet article montrent qu’il est possible d’influencer le comportement de la police dans un laps de temps relativement court, en utilisant un ensemble d’interventions simples et abordables ». Cette affirmation est trompeuse.

Examinons les « stratégies » explorées par les chercheurs. Nous avons déjà parlé du défi que représentent les contrôles aléatoires et le recours aux réservistes. Les « formations internes » sont un élément incontournable pour tout système administratif. Le seul problème est que les formations ne se traduisent pas par un apprentissage ou une appropriation suffisamment utiles. C’est d’ailleurs un défaut courant des formations internes dont bénéficient les enseignants, les médecins, les inspecteurs, etc.

Les visites « secrètes » par des agents de terrain ne constituent pas une idée nouvelle. Il s’agit d’un élément de base du renseignement d’origine humaine. Là encore, il existe des difficultés pratiques pour identifier et gérer ces activités. En outre, ces visites peuvent également créer des distorsions systémiques qui font plus de mal que de bien. Ainsi, plutôt que de se focaliser sur de telles mesures fantaisistes et sporadiques, les chefs de police devraient concentrer leurs efforts sur l’amélioration de leurs services de renseignement et de leurs services spéciaux, et sur l’utilisation de multiples canaux incluant les visites secrètes, les organismes tiers et la sollicitation de retours téléphoniques de la part des plaignants. En fait, de nombreux chefs de police en Inde varient régulièrement ces différentes approches pour obtenir des retours d’information.

Prenons le cas de la dernière intervention, qui associe les mutations de réservistes aux bonnes performances et réduit l’autonomie des cadres intermédiaires. Là encore, le défi relève de la « plomberie ». Pour commencer, la lutte contre la conduite en état d’ivresse ne figure bien souvent pas parmi les priorités des forces de police classiques, si l’on met de côté les forces de réserve. Et les activités principales des réservistes, c’est-à-dire les services de sécurité, ne se prêtent pas à des évaluations quantitatives individuelles des policiers. Deuxièmement, dans quelle mesure une politique qui cherche explicitement à récompenser certains policiers par des mutations dans des postes « attractifs » (en échange d’une « bonne performance », quelle qu’elle soit) et à en pénaliser d’autres (le corollaire naturel) en les affectant aux forces de réserve est-elle durable ?

Troisièmement, à partir du moment où l’on commence à associer des mesures incitatives à des indicateurs de performance quantitatifs dans la détection des cas de conduite en état d’ivresse, on n’est pas bien loin d’une fixation d’objectifs qui nous mène vers une pente dangereuse. C’est une caractéristique commune des systèmes publics qui cherchent à associer des mesures de performance aux décisions importantes en matière de gestion du personnel. Quatrièmement, quelle est la durabilité d’un processus administratif où il n’y a aucune implication des cadres intermédiaires ? En fin de compte, il faut bien une gestion institutionnelle du dispositif par des responsables d’un niveau ou d’un autre. Et à supposer même que cette gestion soit assurée par des responsables autres que les « cadres intermédiaires », devons-nous pour autant moins nous soucier d’eux ? Et est-ce même envisageable de penser que ces activités administratives peuvent se faire sans l’implication des cadres intermédiaires ? Enfin, il est faux de prétendre que « la direction de la police ne dispose généralement pas de preuves empiriques et d’informations générées par l’évaluation ». Les dirigeants de la police, pour autant qu’ils gardent les yeux et les oreilles grands ouverts, ont accès dans une large mesure à des « preuves empiriques » d’une portée bien plus vaste, et d’un niveau de crédibilité et de rigueur largement suffisant. Ce n’est pas la production de preuves quantitatives minutieuses qui va vous permettre d’aller bien loin dans les efforts déployés pour gérer efficacement des systèmes de grande ampleur.

Les chercheurs soulignent que les commissions successives de réforme de la police, non seulement n’ont pas défendu les trois interventions « réussies », mais ont également recommandé les interventions « inefficaces ». Pour commencer, les commissions de réforme préconisent des réformes institutionnelles telles que la limitation des mutations, la participation de la communauté, etc. et préfèrent éviter les mesures opérationnelles ordinaires et banales, comme les visites secrètes ou les formations internes, et encore moins celles qui ne sont pas réalisables, comme la gestion des performances des réservistes. En outre, ces recommandations sont des interventions de « plomberie » essentielles pour tout système administratif bien gouverné. En revanche, les solutions proposées par les chercheurs, comme nous l’avons vu plus haut, souffrent de graves lacunes sur le plan pratique. Les instigateurs des commissions de réforme se sont abstenus de recommander de telles solutions de fortune : étant eux-mêmes des « plombiers » de longue date, ayant dû faire face avec plus ou moins de réussite (ou d’échecs) aux défis de « plomberie » qu’implique le maintien de l’ordre dans le monde réel, ils ont été suffisamment responsables et honnêtes pour ne pas le faire.

Ce que je veux dire, c’est que ces idées – les contrôles aléatoires pour la lutte contre la conduite en état d’ivresse, la limitation des mutations arbitraires, la rotation des missions et des jours de congé pour le personnel de police, la participation accrue de la communauté, la formation interne et les visites secrètes par des agents de terrain se faisant passer pour des civils – sont toutes bonnes et n’ont pas besoin de preuves. Ce n’est pas un manque de preuves qui empêche leur adoption. Toutefois, leur mise en œuvre à grande échelle est difficile, et dépend de l’intérêt et de l’engagement du chef de police concerné, et certaines d’entre elles nécessitent des ressources et des capacités que le système ne possède pas actuellement. Dans les systèmes où les capacités de l’État sont faibles, de telles interventions reposent sur des individus (les chefs) et non sur les institutions.

Permettez-moi de prendre un autre exemple : il s’agit d’une RCT concernant des audits menés par des tiers d’installations industrielles polluantes au Gujarat, qui a fait l’objet d’un article (Duflo et al., 2013) et d’un document d’orientation (J-PAL, 2013). Les auteurs affirment apporter la preuve que les audits effectués par un organisme tiers indépendant sont efficaces pour réduire la pollution environnementale.

Pour résumer, en réponse à une directive de la Haute Cour, certaines usines très polluantes du Gujarat commandaient et présentaient des rapports d’audit établis par des organismes tiers trois fois par an depuis 1996. Mais leurs performances étaient peu satisfaisantes. Les chercheurs ont montré qu’une fois que les auditeurs, au lieu d’être payés par les entreprises elles-mêmes, ont été rémunérés par le biais d’un fonds central, que les audits ont été réalisés de manière aléatoire et que les auditeurs ont reçu une prime à la précision, il y a eu une augmentation significative de la présentation des relevés de pollution, et une réduction de la pollution réelle elle-même. Afin de renforcer leur théorie du changement, les chercheurs ont également annoncé et mené des contre-audits de vérification d’un échantillon aléatoire des relevés de chaque auditeur, et la rémunération des auditeurs a été subordonnée à l’exactitude de leurs contrôles originaux (qui ont été comparés aux contre-audits de vérification).

Aujourd’hui, personne ne conteste la valeur des audits réalisés par des agences indépendantes payées à partir d’un fonds central, et renforcés par des contre-audits de vérification. Les audits ou certifications réalisés par des tiers sur un échantillon aléatoire (et de manière inopinée) sont aujourd’hui monnaie courante pour contrôler tout, des travaux d’ingénierie à la qualité des biens achetés et des services fournis. En Inde, au cours des deux dernières décennies, les audits de qualité menés par des tiers, manifestement effectués sur des échantillons aléatoires et de manière inopinée, ont été adoptés pour les travaux d’ingénierie exécutés par toutes les structures, qu’elles soient petites ou grandes, urbaines ou rurales. Ils ont sans aucun doute contribué à améliorer la qualité de ces travaux et, lorsqu’ils sont bien réalisés, leurs bénéfices sont très importants. Et les responsables de la protection de l’environnement les plus avisés, présents dans tous les États, sont bien conscients de leur utilité.

Peut-on ainsi dire que la recherche a apporté des informations précieuses aux bureaux de contrôle de la Pollution (Pollution Control Boards – PCB) en Inde ? Dans les contextes où la capacité de l’État est faible, la gestion efficace des audits menés par des tiers représente elle-même une tâche énorme. Les contre-audits de vérification rendent la démarche encore plus lourde. Étant donné que ces contre-vérifications ont été effectuées sous la supervision de chercheurs de l’équipe, enthousiastes et impliqués, au su des entreprises, et que la rémunération des auditeurs était subordonnée à la concordance entre les audits initiaux et les contre-audits, les audits initiaux ont forcément été assortis d’enjeux plus importants, et sont donc aussi devenus plus qualitatifs (effet Hawthorne). La RCT a démontré l’efficacité de cette méthode particulière de double audit.

De tels audits, combinant deux niveaux, ambition et qualité, sont bien évidemment souhaitables. Malheureusement, ils sont bien trop exigeants et lourds pour avoir une chance d’être généralisés de façon efficace dans des systèmes publics de faible capacité, a fortiori lorsque la pollution est la norme plutôt que l’exception.

Dans l’intervention précédente, les chercheurs ont observé au moins deux sources de distorsion par les incitations. Premièrement, un problème d’agencéité découlant du fait que les auditeurs étaient payés par les structures auditées. Deuxièmement, le fait que les auditeurs recevaient une rémunération nettement inférieure à celle qui aurait été requise pour réaliser de bons audits.

Concernant le problème d’agencéité lié à la façon dont les auditeurs sont rémunérés, les chercheurs n’avaient pas besoin de recourir à une RCT, car il existe une littérature très riche sur les problèmes liés à l’achat des notations de crédit par les institutions financières. L’idée que les auditeurs/agences de notation ne soient pas rémunérés par les structures auditées/notées est largement acceptée. Ensuite, les auditeurs sont de moins en moins bien rémunérés, car ces audits sont devenus en grande partie un exercice pour la forme, et toutes les parties le savent.

Il est difficile de croire que le PCB du Gujarat ne savait pas ce qui se passait. Je vois au moins cinq bonnes raisons relevant de ladite « plomberie » pour lesquelles le PCB a préféré s’en tenir au statu quo plutôt que d’adopter des réformes qui paraissaient évidentes (ne serait-ce que parce que, comme mentionné précédemment, elles étaient déjà en cours dans d’autres secteurs). Premièrement, ces rapports étaient produits à la demande de la Haute Cour et lui étaient transmis. Tant que la Cour était satisfaite, il n’y avait aucune raison ni motivation intrinsèque pour que le PCB change de système. Les cas de conformité pour la forme aux exigences réglementaires ne sont pas rares. Deuxièmement, si le gouvernement décidait d’effectuer les audits, la question se posait alors de savoir qui allait les payer ou comment les montants seraient perçus, sans parler du casse-tête que représentait la gestion de cette responsabilité administrative supplémentaire. Troisièmement, les intérêts particuliers au sein des industries polluantes étaient forts et le statu quo préférable. Dans de tels contextes en particulier, la capture réglementaire et la tolérance administrative ne sont jamais bien loin. Pour ces entreprises en effet, la différence entre le statu quo et le respect de la réglementation en matière de pollution est, dans de nombreux cas, une question de survie, avec des répercussions importantes sur l’emploi. Quatrièmement, un durcissement brutal et rigoureux des normes entraînant un changement radical au niveau des rejets d’effluents aurait pour effet la fermeture de plusieurs usines, et, comme l’ont montré de nombreux précédents, cela perturbe des économies politiques fragiles. Enfin, que cela nous plaise ou non, la lutte contre la pollution a longtemps été une préoccupation marginale pour la plupart des gouvernements des États, qui courent après la croissance économique et la création d’emplois. Leur volonté d’entreprendre des réformes rigoureuses s’est par conséquent avérée limitée.

Prenons un dernier exemple. Karthik Muralidharan et ses collègues ont réalisé une RCT sur l’utilisation des téléphones mobiles pour améliorer la gouvernance (Muralidharan et al., 2018a ; 2018b). Pour résumer, un retour d’information basé sur des appels téléphoniques a été sollicité concernant la qualité de la mise en œuvre du programme Rythu Bandu par le gouvernement de l’État de Telangana, dans le cadre duquel des transferts monétaires directs par chèque ont été effectués aux agriculteurs éligibles (les agriculteurs ont-ils bien reçu le chèque, l’ont-ils reçu à temps, l’ont-ils encaissé, etc.). Une évaluation des appels téléphoniques au moyen d’une RCT a révélé que 83 % des agriculteurs avaient reçu et encaissé leur chèque, que les agriculteurs situés dans les zones faisant l’objet de ce suivi avaient 1,5 point de pourcentage de probabilités supplémentaires de recevoir et d’encaisser leur chèque, et 3,3 points de plus dans le dernier quartile des fermiers propriétaires. Selon les auteurs, les centres d’appels ont distribué 70 millions de roupies supplémentaires (soit 1 million de dollars US) aux agriculteurs, et ont coûté 2,5 millions de roupies (soit environ 35 000 dollars US).

Il convient à nouveau de s’interroger : qui conteste l’efficacité de cette idée ? Cela nécessitait-il une RCT ? La pratique consistant à solliciter un retour d’information des citoyens et des clients par le biais d’appels téléphoniques est en vogue depuis plusieurs années. Plusieurs organismes publics à travers les États ont mis en place depuis des années des systèmes de sélection des citoyens pour ces retours d’informations. L’État voisin d’Andhra Pradesh a même fait de cette pratique un élément central des études de performance en évaluant la plupart des activités gouvernementales par le biais de remontées d’information par téléphone réalisées grâce à son système élaboré de gouvernance en temps réel (Real Time Governance System – RTGS). Depuis longtemps, plusieurs compagnies de distribution d’électricité et de corporations municipales disposent de centres d’appels téléphoniques de ce type, leur permettant d’obtenir des retours d’informations.

Aucun bureaucrate ne viendrait contester l’idée sous-jacente que le retour d’information par le biais d’appels téléphoniques de citoyens échantillonnés de manière aléatoire constitue un moyen utile d’évaluer la qualité de la mise en œuvre. Cela soulève deux questions. Premièrement, s’agit-il là de l’approche la plus durable et rentable pour améliorer la qualité de la mise en œuvre ? Par exemple, comme nous le verrons plus loin, l’amélioration du système de suivi existant aurait été possible sans coût supplémentaire et avec d’autres avantages.

Deuxièmement, même si nous poursuivons le retour d’information par téléphone, qu’en est-il des problèmes qui en découlent ? D’abord, avec un système de retour d’information par téléphone, le véritable défi n’est pas d’obtenir un retour d’information, même granulaire et exploitable, mais la capacité du système à réagir à ces retours d’information d’une manière suffisamment constructive. La véritable limite est là, et elle dépend essentiellement de la capacité de l’État à traiter activement une problématique élémentaire de gouvernance : contrôler l’information et agir efficacement sur la base de celle-ci. En outre, nous ne devrions pas écarter le scénario d’un effet d’échelle dans lequel ce contrôle, en l’absence d’exigences de suivi, a toutes les chances de venir s’ajouter à la panoplie d’outils de surveillance sans apporter le moindre avantage supplémentaire, mais avec un coût additionnel important. De plus, la gestion des centres d’appels téléphoniques et du système de gestion des retours d’information lui-même monopolise des ressources administratives par ailleurs limitées. Enfin, ce système peut fausser les dispositifs d’incitation au sein de la bureaucratie et affaiblir les mécanismes de contrôle existants.

En fait, on pourrait très facilement imaginer le scénario suivant : les systèmes de retour d’information par téléphone peuvent améliorer l’efficacité de la mise en œuvre, et ils ont un petit air nouveau et séduisant. Alors, mettons en place des centres d’appels téléphoniques dans chaque district/État. Et dans cinq ans, ces centres d’appels dysfonctionnels et les énormes ressources financières qu’ils auront mobilisées viendront s’ajouter à la liste funeste des innovations de développement sans lendemain.

Soit dit en passant, j’ai participé en personne à la mise en œuvre des trois interventions exposées dans les publications citées ci-dessus, et j’ai été confronté à toute la confusion et autres défis pratiques engendrés par leur application. Audits menés par des tiers et remontées d’informations par téléphone ont été une constante dans les différents postes que j’ai occupés depuis 2005 au moins.

Toujours à propos des RCT, quelles seraient vos propres réponses et où se situent-elles par rapport aux suggestions des évaluations randomisées (par exemple dans le domaine de la gouvernance, pour améliorer les performances de l’administration indienne) ?

Commençons par le cas de la police. Au lieu de proposer des solutions qui contribuent à améliorer les institutions et les systèmes dans lesquels s’inscrivent ces activités de maintien de l’ordre, les chercheurs en viennent à recommander des solutions ponctuelles et non durables qui ne tiennent pas suffisamment compte des facteurs contextuels et des considérations systémiques.

Concernant la lutte contre la conduite en état d’ivresse, la recherche aurait par exemple dû avoir pour objectif d’améliorer les résultats de la police en renforçant la responsabilisation des cadres intermédiaires et en trouvant des solutions institutionnelles durables, au lieu de se passer des cadres intermédiaires et de faire appel ponctuellement à des visites secrètes.

Les incitations à la performance qui impliquent des récompenses financières ou des mutations d’une ampleur suffisamment grande ont peu de chances de fonctionner à grande échelle dans des systèmes publics complexes. En fin de compte, où ces mesures ont-elles une chance de fonctionner, même dans les pays développés ? Pour commencer, il est extrêmement problématique de quantifier les résultats de manière crédible, et encore plus de les collecter et les gérer, dans la plupart des contextes considérés. Des preuves de réussite limitées, constatées pour des activités logistiques contrôlables, comme le recouvrement des impôts, ne signifient pas que l’on peut appliquer les mêmes mesures avec des attentes similaires pour les enseignants ou la police. Deuxièmement, dans la durée, il y a une grande probabilité que les incitations financières finissent par être considérées comme un dû, aggravant ainsi le problème des salaires déjà élevés des fonctionnaires de niveau inférieur. Enfin, les affectations et les mutations font partie des actions administratives dont les enjeux sont les plus importants, et lorsqu’elles interviennent dans des contextes où les « bonnes performances » ne peuvent pas être hiérarchisées de manière crédible et incontestable, elles peuvent entraîner polémiques et mécontentement.

Il existe très peu d’innovations, qu’il s’agisse de grandes idées, de refontes des processus, voire de nouvelles théories de management, qui puissent durablement et significativement « influencer le comportement de la police dans un laps de temps relativement court » dans des contextes où le système et sa gouvernance sont entachés de graves lacunes. Toutes choses égales par ailleurs, les systèmes de police qui « fonctionnent bien » reposent vraisemblablement sur la combinaison d’une capacité administrative fonctionnelle et d’un bon leadership. L’intensité du second facteur peut même masquer temporairement les déficiences du premier. C’est pour cette raison que nous continuons à entendre parler d’administrations mal gérées qui deviennent soudainement efficaces à l’arrivée d’un bon commissaire de police, et reviennent à l’état précédent lorsque celui-ci s’en va.

En langage économique, la fonction de production permettant d’obtenir de bons résultats au niveau de la police dépend essentiellement de ces deux éléments. La plupart du temps, les innovations peuvent fonctionner à la marge pour améliorer la capacité administrative et libérer des énergies de leadership pour une utilisation productive à un autre niveau. Mais dans les systèmes vraiment faibles, comme c’est le cas ici, le leadership est nécessaire afin de générer de bons résultats à court terme et renforcer les capacités institutionnelles à long terme.

Relever le défi du renforcement des capacités de l’État était une opportunité offerte aux chercheurs engagés dans le programme Rythu Bandhu au Telangana. Pour les chercheurs, le problème de fond était d’améliorer l’efficacité de la mise en œuvre du programme. Le système de remontées d’informations par téléphone n’est qu’une approche parmi d’autres, qui présente plusieurs dangers potentiels. Les chercheurs auraient plutôt pu profiter de l’occasion pour comprendre comment le suivi de la mise en œuvre pouvait être amélioré. Cela aurait été utile pour étudier les problèmes de capacité de l’État, et notamment la question cruciale d’une utilisation plus efficace des systèmes de surveillance permettant de contrôler la qualité de la mise en œuvre du programme. Ces problématiques ne se prêtent malheureusement pas aux RCT.

Que serait une approche de suivi plus durable et plus efficace pour étudier les programmes de développement ? Considérons certaines variables (il pourrait y en avoir d’autres) liées à des études de ce type : qui étudie et qui est étudié, à quelle fréquence, quels sont les paramètres spécifiques concernés ? Ainsi, un collecteur de district (ou un responsable de développement de bloc, en anglais Block Development Officer – BDO) pourrait examiner une fois par semaine (ou une fois tous les quinze jours) le travail du BDO (ou du percepteur de village, en anglais Village Revenue Officer – VRO) sur certains indicateurs de processus (traitement des autorisations) ou de résultat (réception ou encaissement).

Comment pourrait-on optimiser cet examen ? Disons que tous les blocs seraient divisés en deux groupes de traitement et deux méthodes d’examen différentes des BDO (ou utilisées par ceux-ci) ou des VRO – on peut imaginer ces options sans trop d’efforts –, que l’on opposerait au groupe de contrôle gardant les méthodes de suivi habituelles.

Un tel dispositif mettrait immédiatement en lumière l’importance de la qualité du suivi et le rôle des améliorations des capacités de l’État (d’une manière plus objective que cela n’a jamais été fait auparavant par des chercheurs) dans une mise en œuvre efficace. Si, par exemple, il s’avère que les BDO qui examinent les VRO une fois par semaine, sont, par rapport à ceux qui procèdent à cet examen une fois par mois, associés à une augmentation de x % des encaissements de transferts monétaires pour le quartile le plus pauvre, cela sert de déclencheur, avec à l’appui des données significatives et exploitables, pour le Secrétaire du gouvernement de l’État de Telangana qui met en œuvre le programme Rythu Bandhu. On pourrait donc générer des retombées réelles plus importantes et à un coût quasiment nul.

De plus, les gains dépassent la simple amélioration de l’efficacité de l’intervention spécifique. Cette démarche s’appliquerait probablement à la plupart des interventions mises en œuvre dans cette juridiction. Elle mettrait véritablement en évidence la capacité de l’État, et plus précisément la façon dont un meilleur suivi pourrait accroître l’efficacité de la prestation de services publics. Cela peut sembler aller de soi, mais, dans un monde où chacun est à la recherche d’innovations et de manières différentes de faire les choses, ce qui devrait être totalement évident finit souvent par être marginalisé !

Dans la même veine, les questions qui intéressent les praticiens dans le cas des audits menés par des tiers sont plutôt de l’ordre de la « plomberie ». Ce qui aurait été très utile pour les responsables des PCB concernés, c’est la conception d’un système solide d’audits de pollution réalisés par des tiers indépendants. Quelques questions viennent immédiatement à l’esprit. Quelle serait la conception la plus rentable pour des audits menés par des tiers ? Quel nombre, quelle fréquence et quelle portée des inspections seraient les plus rentables ? Que peut-on faire pour limiter le risque de capture réglementaire ? Comment les audits peuvent-ils répondre à des attentes évolutives ? Comment les méthodes d’inspection devraient-elles changer pour pallier la forte probabilité d’adaptation et de manipulation des audits par les usines ? Et, comment les audits peuvent-ils être financés de manière durable ?

Dans le cas de travaux d’ingénierie, la conception la plus rentable serait axée sur le plus petit nombre d’échantillons avec la périodicité la plus longue possible sans compromettre l’effet dissuasif. Concernant la capture, les inspections devraient non seulement être aléatoires, mais également réalisées par du personnel en rotation. Les organismes eux-mêmes devraient être réorganisés régulièrement, ou plusieurs organismes devraient être sollicités. Pour ce qui est des attentes évolutives, il pourrait s’avérer nécessaire de revoir périodiquement les critères d’audit et de les calibrer pour prendre en compte les adaptations. Sur le plan du financement, il pourrait être opportun que les PCB commandent et financent les audits et, peut-être, qu’ils récupèrent une partie des coûts sous la forme de taxes aux usagers (ou par le biais des amendes perçues, bien que cela puisse avoir des effets pervers) qui seraient versées dans un fonds commun. Ce sont-là autant de détails compliqués relatifs à la mise en œuvre, qui relèvent du rôle du bureaucrate.

Mais, en fin de compte, ce dont les praticiens ont besoin, c’est d’une conception des audits de tiers qui soit simple et applicable sur le plan administratif. Ou, plus précisément, il leur faudrait un document d’appel d’offres qui reprenne toutes ces spécifications de conception. Or, les travaux de recherche précédemment mentionnés n’apportent rien de pertinent sur ce plan.

Une autre recommandation, en rapport avec votre deuxième question, est d’élargir considérablement le champ des questions de recherche pour couvrir la liste que je vous ai proposée plus tôt.

Quels seraient, selon vous, les points clés que les chercheurs devraient retenir de ces exemples ?

D’emblée, je tiens à préciser que mon objectif n’est pas de minimiser l’importance des RCT ou des expérimentations de terrain dans ces domaines. Elles ont une valeur incontestable, mais doivent être considérées dans leur véritable perspective. Il y aura toujours des cas où les gouvernements devront faire un choix entre différentes options possibles. Ces expérimentations peuvent renforcer les arguments en faveur de certaines idées convaincantes et contribuer à créer une dynamique pour leur adoption à grande échelle. Et, tout aussi important, elles génèrent des preuves empiriques qui peuvent aider à éviter les mauvaises idées. À tout le moins, elles fournissent au responsable politique hésitant une base lui permettant d’initier des audits indépendants et/ou par échantillonnage aléatoire. Fondamentalement, nous avons besoin d’une boîte à outils complète d’évaluations qualitatives et quantitatives pour nous aider à générer des informations permettant de concevoir et d’améliorer la mise en œuvre des interventions de développement.

Les trois cas présentés ont en commun une particularité importante, caractéristique de nombreuses RCT. Ce sont des solutions techniques autonomes qui, considérées isolément, ont un attrait certain sur le plan logique. Les visites secrètes sont des techniques simples et astucieuses. Les audits indépendants réalisés par des tiers qui sont payés à partir d’un fonds central et validés par des contre-vérifications sont logiquement inattaquables. Les centres d’appels et les remontées d’informations par téléphone donnent une impression d’indépendance et de simplicité. Ces trois exemples semblent nouveaux ou innovants, en ce sens qu’ils ne constituent pas la norme. Ils ont un attrait irrésistible lorsque l’on prend le problème isolément et que l’on considère la triste photographie, constellée d’échecs, des réponses administratives habituelles. Et il est possible de mener des projets pilotes de courte durée dans tous ces domaines, supervisés par des assistants de recherche de grande qualité, et de produire des preuves d’efficacité.

Malheureusement, quand on arrive au point critique de la mise en œuvre à grande échelle, l’ironie veut que toutes ces caractéristiques attrayantes se transforment en défauts. Certains facteurs, sur lesquels on avait fermé les yeux, deviennent des freins. La capacité de l’État à administrer et à contrôler, qui était masquée par la faible ampleur de l’expérimentation de terrain et la présence de chercheurs dynamiques et enthousiastes, est mise à nu. La logique ne résiste pas aux défis pratiques. Le système reprend le dessus.

La plupart des bureaucrates en sont conscients et les plus avertis renoncent à ces solutions de fortune ponctuelles ou les adoptent dans le cadre d’efforts de réforme systémique. Les responsables politiques en quête de popularité ou de réponses rapides ont une préférence pour ces solutions « au coup par coup », qui sont invariablement abandonnées dès qu’ils changent de poste.

Dans les trois cas, les preuves apportées par la recherche ont un rôle important à jouer dans l’amélioration des systèmes de police, dans la conception d’un système solide d’audits menés par des tiers et dans le suivi rigoureux de la mise en œuvre du programme. La réponse à la problématique du bureaucrate n’était pas une évaluation randomisée globale impliquant des innovations difficiles à mettre en œuvre. Ce qui était nécessaire, c’était plutôt de trouver des solutions institutionnelles plus durables.

Après une étape complète de résolution de problème, la recherche spécifique aurait dû porter sur un questionnement tel que celui-ci : sous réserve de l’efficacité des inspections surprises aléatoires dans la lutte contre la conduite en état d’ivresse, des audits menés par des tiers pour vérifier les rejets d’effluents et des systèmes de surveillance pour renforcer l’efficacité de la mise en œuvre du programme Rythu Bandhu, quelle serait l’approche la plus durable, pratique et rentable ?

Comme nous l’avons dit précédemment, il aurait fallu un ensemble d’outils plus hétérodoxes ou une combinaison de méthodes quantitatives et qualitatives. Cela aurait impliqué des tests A/B de courte durée pour déterminer les éléments incertains, des ethnographies/études qualitatives pour identifier les processus critiques, etc. Au cours de la mise en œuvre, il pourrait également s’avérer nécessaire d’utiliser les RCT pour une évaluation complète de modèles de programmes concurrents.

Il convient en outre de noter que, parmi ces problèmes de « plomberie », beaucoup n’ont rien de spécifique au Gujarat ou même à l’Inde. Les contextes généraux sont les mêmes : faible capacité de l’État, bureaucraties centralisées marquées par un faible niveau de confiance, ressources limitées, fonctionnaires surchargés et environnements de travail difficiles. Les facteurs relevant de l’économie politique apportent un degré de complication supplémentaire. Ils sont universels dans la plupart des pays en développement. Ainsi, de nombreux problèmes de « plomberie » susceptibles d’être testés comportent des caractéristiques généralisables. Ces efforts de recherche constituent donc peut-être des occasions manquées et, plus inquiétant encore, de nombreux chercheurs ne sont peut-être même pas conscients que les défis décrits plus haut sont bien réels.

Ces arguments sont motivés par la solide conviction que je me suis forgée en observant les origines de nombreuses études de ce type, voire en dirigeant des agences gouvernementales dans des endroits où plusieurs expérimentations de ce type (mais pas les trois exposées ici) étaient réalisées, que la recherche de terrain commence rarement par un besoin ou un problème ressenti par les représentants du gouvernement. Le plus souvent, les chercheurs en chef, ceux qui ont conçu la recherche, tombent sur une idée, habituellement dans le cadre d’une intervention indépendante, et sont motivés par un souci d’utilité. Partant de cette motivation, ils travaillent à contre-courant pour élaborer une hypothèse de « solution », obtenir un financement par un donateur, puis ils prennent contact avec un interlocuteur gouvernemental pour lui soumettre une proposition d’évaluation. Il est peu probable que l’interlocuteur gouvernemental ait un problème, ni qu’il ait un grand intérêt dans le résultat. Pour faire contrepoids, les gouvernements engagent tout au long de l’étude des consultants pour résoudre des problèmes spécifiques. Ces missions représentent un effort réel. Le travail débute par un examen approfondi du contexte du problème et des possibilités de solution émergent (une approche de type résolution de problème est plus complète), même si l’analyse des solutions manque de rigueur et les résultats sont pris au sérieux – qu’ils soient mis en œuvre ou non.

Bien qu’il existe aussi des difficultés pratiques, le principal obstacle pour s’attaquer directement au problème réside dans une mauvaise compréhension, parmi les chercheurs, des véritables défis liés à la « plomberie ». Il semble bien que les meilleurs « plombiers » (si on met de côté les vrais) soient les praticiens eux-mêmes. Les compétences en « plomberie » relèvent davantage de l’expérience vécue que d’un savoir théorique acquis.

Entretien avec Ila Patnaik

Ila Patnaik, vous êtes actuellement professeure au National Institute of Public Finance and Policy à New Delhi. Avant cela, vous étiez conseillère économique principale du gouvernement indien. Cela vous confère une double compétence pour évaluer le rôle des RCT dans l’élaboration des politiques en Inde. Pourquoi l’Inde est-elle devenue un lieu de prédilection pour les RCT ?

L’Inde est pratiquement devenue le centre névralgique des études RCT dans les pays en développement. Les données de l’American Economic Association concernant les RCT recensent 247 RCT réalisées en Inde depuis 2012. C’est le nombre le plus élevé dans le monde après les États-Unis. Sur ces 247 RCT, 137 ont été financées par l’Abdul Latif Jameel Poverty Action Lab (J-PAL). Les chercheurs préfèrent l’Inde aux autres pays pauvres, ce qui peut s’expliquer par le fait que l’anglais est couramment parlé et écrit dans la majeure partie du pays, et qu’il y règne un niveau de paix et de sécurité acceptable par rapport à d’autres pays en développement, où la violence et les interruptions de travail régulières peuvent venir perturber les expérimentations qui ne durent que quelques mois en raison de l’incertitude politique. En outre, une étude est moins coûteuse à réaliser en Inde que dans un pays riche. Des sommes très modestes peuvent suffire pour couvrir le coût du programme, le recrutement d’évaluateurs pour l’enquête, ainsi que les incitations financières pour les sujets afin de garantir la participation.

Les chercheurs viennent donc en Inde pour mener leurs expériences de recherche. La démarche est essentiellement conditionnée par l’offre plutôt que par la demande. En effet, les études ne sont pas induites par les problèmes auxquels les décideurs politiques sont confrontés aujourd’hui, mais par l’obligation, pour les chercheurs, de rédiger des articles pour leur doctorat ou pour des publications. La tendance est à créer de nouvelles interventions, plutôt que d’essayer d’évaluer l’impact d’une même intervention dans des régions, des communautés et des cadres de gouvernance différents.

Lorsque des chercheurs étrangers issus des meilleures universités et disposant de milliers de dollars expliquent aux bureaucrates des gouvernements locaux qu’ils peuvent investir des sommes non négligeables dans un programme qui permettra aux responsables concernés de valoriser leur image et de résoudre certains des problèmes auxquels ils font face, il est bien souvent difficile pour les bureaucrates de résister à de tels avantages. Les autorités locales « soutiennent » souvent ces études en accueillant les chercheurs, en les aidant à établir des contacts ou en fermant les yeux sur l’expérience. Les chercheurs indiens se précipitent fréquemment pour devenir administrateurs des RCT pour le compte des chercheurs étrangers. Ce sont eux qui gèrent le projet sur le terrain tandis que le chercheur international apporte les fonds et dirige le projet. Les chercheurs indiens sont parfois co-auteurs, mais ils restent généralement de simples employés.

Qu’en est-il des considérations éthiques ?

L’Inde n’a pas non plus établi de loi ou de réglementation concernant la façon dont les RCT doivent être réalisées et contrôlées. Les expériences qu’il n’est pas possible de mener aux États-Unis (par exemple, celles faisant intervenir des personnes mineures, impliquant la géolocalisation des individus ou l’absence de consentement éclairé) sont effectuées en Inde. En Inde (contrairement à de nombreux autres pays pauvres, par exemple), comme il n’existe pas d’organisme de régulation ou d’institution pour délivrer des autorisations pour la réalisation d’expérimentations, la procédure exige généralement l’approbation de l’université à laquelle le chercheur est affilié, mais personne, dans le pays, ne voit ce qui se passe. Les visiteurs, qui sont parfois des étudiants en doctorat, viennent souvent à titre personnel avec des visas touristiques, sans s’inscrire en tant que chercheur ou sans disposer d’autorisation explicite pour les travaux qu’ils mènent. Il n’existe donc aucun dispositif de contrôle des expériences réalisées en Inde ou sur des citoyens indiens. Bien souvent, on ne demande pas le consentement du sujet et cette violation des droits n’est même pas consignée. Et si elle l’est, le sujet est généralement une personne pauvre qui est prête à renoncer à sa vie privée et à céder ses informations personnelles et l’accès à sa personne ou à son entreprise contre une somme dérisoire, peu coûteuse en particulier pour les projets financés par des fonds internes.

Compte tenu des retombées pour les gouvernements, les universités et les organismes de financement, il n’est dans l’intérêt d’aucun groupe de protéger les sujets contre les expériences intrusives des chercheurs. Certains aspects sont donc très discutables en termes d’éthique, comme donner des comprimés à des enfants en bas âge, géolocaliser des étudiants ou donner des avis non scientifiques aux agriculteurs.

En 2017, le gouvernement indien a promulgué une loi sur les essais cliniques, afin d’éviter les pratiques non éthiques dans ceux qui ont lieu en Inde. Mais il reste nécessaire que le parlement indien vote également une loi et crée un organisme de régulation, ainsi qu’un cadre pour la réalisation de RCT dans le domaine des sciences sociales.

Quelle est l’utilité des RCT pour les décideurs politiques en Inde ?

Les RCT en économie du développement illustrent ce que nous pourrions appeler jugaad en Inde, c’est-à-dire une façon de « faire sortir quelque chose du système » sans résoudre vraiment les problèmes fondamentaux en matière de croissance économique ou de capacité de l’État. Le terme jugaad renvoie à une méthode permettant de résoudre un problème sans traiter les raisons qui sont à l’origine de ce problème, une méthode qui ne constitue en général pas une solution universelle. C’est un moyen qui, d’une manière ou d’une autre, offre une solution efficace à un problème, un « contournement », une « solution de fortune » qui évite de régler les questions fondamentales liées à la conception ou de se demander pourquoi le problème est apparu initialement. C’est une solution qui doit être mise en œuvre de manière répétée parce que l’on s’attaque rarement à la racine du mal et qui fonctionne pour un problème donné, à un endroit et à un moment donnés.

Les RCT, dont on connaît la faible validité externe, ne sont pas très utiles pour prendre des décisions politiques centralisées. On sait bien que les affirmations causales d’une RCT manquent de validité externe, mais trop souvent, auteurs et lecteurs se laissent aller à une généralisation. C’est un problème particulièrement important en Inde. L’Inde est une économie à une échelle continentale, caractérisée par une diversité extrême au sein du pays. Pour bien appréhender la situation dans celui-ci, il faut comprendre que le rapport entre les régions les plus favorisées et les moins favorisées de l’Inde est comparable au rapport entre les pays les plus riches et les plus pauvres d’une zone comprenant l’Amérique latine et l’Afrique réunies. Le terme « pays » renvoyant dans l’esprit à une unité organisationnelle naturelle, nous avons tendance à faire preuve de davantage de précautions lorsque nous appliquons les résultats d’un article sur la Tanzanie, par exemple, à l’élaboration d’une politique au Chili. Mais nous sommes plus enclins à penser qu’une étude publiée en Tanzanie devrait influencer la réflexion globale à l’échelle de ce pays. De nombreux chercheurs et décideurs politiques ont ainsi tendance à extrapoler sans se poser de questions les résultats d’une RCT concernant une région de l’Inde à d’autres régions du pays. Et c’est généralement une source de problèmes. Les auteurs comme les lecteurs doivent être plus attentifs à la manière dont les articles sont écrits, afin de mieux cerner les implications d’un projet de recherche donné.

Dans chaque pays, à tout moment, certaines questions viennent occuper une place importante dans la réflexion sur les politiques. Ces dernières années en Inde, les problématiques liées à la réglementation des banques et de l’économie, à l’inflation, à la politique des taux de change et au système juridique ont par exemple occupé le devant de la scène. Dans la plupart de ces domaines, l’utilité des RCT est limitée. Elles sont utiles plutôt pour les responsables des organes de régulation bien structurés. À titre d’exemple, l’US Securities and Exchange Commission, l’organisme fédéral américain de réglementation et de contrôle des marchés financiers, mène des expérimentations lorsqu’elle réfléchit à la façon de faire évoluer la réglementation. Mais en Inde, nos problèmes sont plus basiques. Il n’existe pas d’institution de régulation responsable, intégrée dans un État de droit et disposant d’un système de pouvoirs et de contre-pouvoirs permettant de compenser les incitations individuelles au sein de l’organisation. La réflexion actuelle en matière de politiques économiques est focalisée sur des mécanismes de droit administratif qui permettraient de freiner des responsables exerçant un pouvoir coercitif. Dans ce contexte, les RCT ont un impact limité sur la façon d’appréhender les questions importantes. L’allocation disproportionnée des ressources humaines de la communauté économique en faveur des RCT a contribué à réduire la contribution des économistes au processus d’élaboration des politiques.

Quel est l’impact des RCT sur la profession d’économiste en Inde ?

L’un des moteurs importants du développement économique est la présence d’une communauté d’économistes compétents au sein du pays. Je suis un peu désabusée par l’impact de la révolution des RCT sur cette jeune communauté. Comme je l’ai indiqué plus haut, l’intérêt disproportionné porté aux problèmes qui peuvent être résolus grâce aux RCT est délétère pour une communauté de chercheurs capables de travailler sur des questions vraiment importantes. Les publications relatives aux RCT nécessitent des financements de grande ampleur selon les standards indiens. Pour l’essentiel, ces fonds proviennent de sources étrangères, ce qui a créé une forme de dépendance particulière : les chercheurs, à qui l’on a dit que seuls des travaux concernant les RCT pouvaient être publiés, sont contraints de solliciter les réseaux internationaux qui sont à même de réunir les vastes ressources requises pour mener ces recherches. Cela a nui à l’authenticité des réflexions, et entravé la capacité à observer le monde et à se poser les questions importantes. Au lieu d’avoir une seule distorsion (le décalage entre les intérêts des éditeurs, des évaluateurs scientifiques et des chercheurs), il existe maintenant trois distorsions supplémentaires (seules les problématiques auxquelles on peut répondre à l’aide des RCT sont éligibles aux recherches, seules les questions qui intéressent les bailleurs de fonds étrangers sont prises en considération, et seuls les sujets pour lesquels il existe de tels réseaux internationaux peuvent être traités). Les publications sur les RCT se concentrent majoritairement sur des questions très limitées (par exemple : l’assiduité des enseignants s’améliore-t-elle lorsque l’enseignant doit poster un selfie chaque matin), et cela s’est fait au détriment d’une intellectualisation plus large de la jeune communauté des chercheurs en économie du développement. La capacité intellectuelle à penser l’économie et à réfléchir aux problématiques de l’Inde a décliné en échange des perspectives de carrière offertes par une publication dans des revues scientifiques de renom.

La réalisation de RCT constitue-t-elle une allocation efficace de ressources limitées au service de l’économie indienne ?

Si j’étais un planificateur central allouant des ressources pour mieux servir l’économie en Inde, il me semble évident que la meilleure façon d’optimiser le potentiel serait de créer davantage de données de toutes natures, et des données de meilleure qualité. En Inde, nous ne disposons notamment pas de données de qualité sur le produit intérieur brut (PIB), la consommation ou l’emploi. Il y a même un débat autour du nombre réel des personnes sans emploi dans le pays. Élaborer des politiques en l’absence de données revient à conduire avec un bandeau sur les yeux. Du point de vue d’un économiste, il serait plus utile d’utiliser les ressources pour mesurer l’économie, l’emploi, le marché du travail, etc. Nous ne disposons d’aucune mesure relative au secteur informel, pas plus qu’à l’innovation, aux compétences ou à la productivité, alors que ce sont des données essentielles pour élaborer des politiques et stimuler la croissance. Nous naviguons à vue lorsqu’il s’agit de l’économie dans son ensemble. Si, grâce aux RCT, nous connaissons le comportement des agents sur les marchés locaux du crédit, nous avons beaucoup de mal à mesurer l’évolution des taux d’intérêt sur les marchés informels du crédit.

Les données économiques concernant les ménages en Inde sont limitées. À titre d’exemple, les premières données de panel sur les ménages, qui reposent sur trois observations annuelles d’un échantillon de ménages, ne datent que de ces dernières années. La production d’un tel ensemble de données nécessite des ressources comparables à celles de quelques RCT, et va permettre de créer un corpus complet de nouvelles connaissances sur l’Inde. Une grande partie de ces connaissances seront descriptives, et d’autres quasi expérimentales. Cet investissement semble constituer une meilleure utilisation des ressources, en comparaison de quelques RCT qui coûteraient la même somme pour peu de résultats et une recherche non reproductible. Les données de panel permettent une réplication et font naître une concurrence entre les chercheurs (pour un investissement modeste), ce que les RCT ne sont pas capables de faire dans une telle mesure. Les données de panel offrent une mesure durable de faits simples et élémentaires concernant le pays (par exemple sur la participation des femmes à l’emploi), ce que les RCT ne permettent pas. Les données de panel sont beaucoup plus précieuses pour le développement d’une communauté de recherche indienne pertinente pour les politiques. Je comprends bien en quoi les problèmes de représentation des organisations gouvernementales et philanthropiques combinés à la recherche de solutions très à la mode ces dernières années ont incité à « découvrir ce qui fonctionne », au détriment d’une construction plus complexe d’un savoir en sciences humaines et sociales indispensable à l’élaboration des politiques. Mais, après ces longues années de « révolution des RCT », je plaide en faveur d’une réorientation vers des approches plus traditionnelles.