Entretiens
p. 391-432
Texte intégral
Entretien avec Jean-Paul Moatti et Rémy Rioux
Rémy Rioux, vous dirigez une institution (l’Agence française de développement – l’AFD) dont la mission est de financer des projets, des programmes et des politiques de développement. En quoi consiste l’évaluation dans votre institution et quel rôle joue-t-elle dans votre activité et celle de vos partenaires ?
Pour bien comprendre le rôle de l’évaluation, il convient d’abord de la situer dans le cycle de travail de l’Agence française de développement à la lumière de ce que j’appelle, dans mon livre Réconciliations, l’approche des 4E pour Écoute, Expertise, Engagement et Évaluation. Le point de départ de l’identification par l’AFD d’un projet ou d’une politique publique est toujours l’expression d’un besoin par un partenaire d’un pays du Sud, comme un ministère, une collectivité locale ou un organisme de coopération internationale. Si ce besoin est en phase avec les priorités d’aide au développement qui ont été fixées à notre agence par le gouvernement français, nous débutons alors une phase d’écoute et de dialogue dans laquelle l’AFD s’appuie sur des expertises internes et externes pour analyser l’opportunité du projet, ainsi que sa faisabilité sur les plans technique, financier et institutionnel. Cette phase de conception est essentielle, car elle conditionne le champ de l’évaluation du projet en définissant, avec les parties prenantes, les objectifs de transformation poursuivis par le projet.
Le projet est ensuite passé au crible d’un « avis développement durable », établi par une structure indépendante des opérations, qui note le projet selon une grille d’analyse composite afin d’estimer les impacts potentiels sur six dimensions du développement durable. L’évaluation ne porte pas seulement sur les réalisations matérielles, mais aussi – et surtout – sur l’atteinte de l’objectif du projet. Nos actions de développement doivent en effet être évaluées par rapport à ce qu’elles apportent au tissu économique, environnemental et social local. Par exemple, si un projet vise à augmenter le taux de scolarisation des enfants et à améliorer leurs acquis éducatifs, la construction d’établissements fonctionnels et pérennes est une condition importante, mais non suffisante pour le succès du projet. Le projet ne sera considéré comme réussi que si ces bâtiments sont fortement fréquentés et que l’on constate une amélioration significative des compétences des élèves en fin de cursus scolaire. Par conséquent, l’évaluation n’est possible que si la logique du changement a été clairement définie dès la conception du projet et si des critères de réussite, qui se traduisent par des indicateurs quantitatifs et qualitatifs renseignés de manière méthodique, ont été explicitement identifiés dès le départ.
Enfin, un dispositif de suivi doit être mis en place avant de démarrer la mise en œuvre du projet afin de contrôler non seulement le bon déroulement des activités financées, mais aussi l’atteinte des résultats intermédiaires. Si l’on reprend l’exemple de notre projet éducatif, cela signifie que l’on doit s’assurer, avant qu’il ne touche à sa fin, que les enseignants ont été formés et affectés dans les établissements construits dans le cadre du projet, et que les inégalités d’accès entre les filles et les garçons se réduisent. Si ce n’est pas le cas, il faudra prendre des mesures correctives avant l’achèvement du projet pour atteindre les objectifs fixés.
L’évaluation joue donc un rôle éminemment opérationnel. C’est un élément clé du métier de développeur pour comprendre les paramètres qui ont permis, accéléré ou freiné le déroulement du projet et la réalisation de ses objectifs, en tirer des enseignements et être plus efficace. Mais l’évaluation joue également un rôle de plus en plus stratégique. À l’heure où les besoins d’investissements pour réduire les inégalités et préserver les équilibres de notre planète vont croissant, la question principale qu’un bailleur de fonds comme l’AFD se pose est la suivante : comment l’évaluation peut-elle nous servir à coconstruire des projets de développement avec nos partenaires, et à soutenir des politiques publiques plus efficaces et efficientes au bénéfice des populations ? L’une des leçons que je tire de notre expérience à l’AFD est qu’évaluer notre action, c’est s’inscrire dans la démarche de redevabilité et d’amélioration continue. Voilà pourquoi l’évaluation joue un rôle central et croissant dans notre institution.
Il faut reconnaître qu’en raison de son histoire, l’évaluation de l’aide française a longtemps été reléguée au second plan par rapport aux autres pays et aux bailleurs multilatéraux. Les études comparatives de Laporte (2015) montrent que les pratiques d’évaluation ont émergé parallèlement en France et dans les pays anglo-saxons dans les années 1960, avec une approche spécifique en France, marquée par le rôle de l’Institut national de la statistique et des études économiques (Insee) et des experts en agronomie et développement rural de la coopération française. La France a toutefois pris du retard dans les années 1980 et 1990, à une époque où les bailleurs anglo-saxons systématisaient l’évaluation à mesure qu’augmentaient leurs budgets consacrés à l’aide internationale.
La France rattrape maintenant ce retard sous l’effet conjoint d’investissements croissants consacrés au développement durable et des exigences de résultats qui y sont associées. Les moyens dont dispose l’AFD augmentent progressivement pour atteindre l’objectif fixé par le Président français de consacrer 0,55 % du PIB à l’aide publique au développement d’ici 2022. Ces moyens accrus s’accompagnent naturellement d’un impératif : celui de rendre toujours mieux compte, au gouvernement, aux parlementaires et aux citoyens, de l’efficacité de notre action. L’évaluation joue un rôle déterminant pour répondre à cette exigence de redevabilité.
Parmi ses évaluations, l’AFD mène des études d’impact, qui ont une ambition scientifique plus poussée. Quelle est l’utilité de ces recherches évaluatives, et que pensez-vous de l’évaluation par assignation aléatoire (Randomized Controlled Trial – RCT), qui est présentée aujourd’hui comme la méthode la plus rigoureuse en la matière ?
Dans ma réponse précédente, je me référais aux évaluations en général. Les études d’impact constituent un type particulier d’évaluation, qui est conçu pour identifier, mesurer et comprendre de manière scientifiquement rigoureuse les effets strictement imputables à une intervention. Elles s’appuient pour cela sur un contrefactuel, c’est-à-dire qu’elles mettent en regard l’évolution d’une population bénéficiaire à celle d’une population non bénéficiaire, en s’assurant que ces deux populations sont effectivement comparables et que l’intervention évaluée est le seul critère qui les différencie.
Les évaluations d’impact sont essentiellement utilisées comme un outil ponctuel pour démontrer (to prove), plutôt que comme un outil d’amélioration (to improve). Elles permettent d’établir qu’en général certains types d’interventions fonctionnent dans des contextes donnés, mais elles s’avèrent trop lourdes, longues et coûteuses pour être systématisées comme un outil de redevabilité et d’apprentissage. Pour ceux-ci, on dispose de méthodes plus légères et harmonisées, qui ont été régulièrement améliorées au cours des trois dernières décennies. Ces démarches peuvent s’appuyer sur de l’expertise locale existante et être mobilisées de manière plus agile pour alimenter le dialogue avec nos partenaires.
L’AFD réalise des études d’impact depuis le début des années 2000 pour participer à l’enrichissement d’un corpus de connaissances générales sur le développement. L’analyse comparative détaillée que nous avons élaborée sur ce sujet (Pamiès-Sumner, 2015) montrait qu’il s’agissait d’une particularité de notre institution. À l’exception du Department for International Development (DFID), la plupart des bailleurs bilatéraux restent en retrait en matière d’évaluations d’impact par rapport aux grands bailleurs multilatéraux qui en ont produit des centaines.
Depuis quinze ans, l’AFD a également contribué activement à la réflexion méthodologique de la communauté du développement sur les évaluations d’impact. Parmi les méthodes qui peuvent être utilisées pour renforcer la comparabilité entre population bénéficiaire et contrefactuel pour déduire l’impact d’une intervention, la méthode des RCT a connu un fort engouement sur lequel le présent ouvrage se propose de prendre du recul. L’AFD a joué un rôle clé dans l’amorce de cette tendance en soutenant, dès 2005, deux vastes RCT sur des secteurs d’intervention qui étaient alors au cœur de l’actualité de l’aide : le microcrédit et l’assurance santé. Ces études nous ont permis de faire progresser l’état des connaissances sur ces deux secteurs d’intervention, mais aussi sur les méthodes expérimentales, dont nous avions alors tiré un bilan mitigé (Bernard et al., 2012). Avec ces travaux, nous avons participé à l’émergence d’un consensus sur la nécessité d’évoluer vers des approches pluridisciplinaires combinant méthodes quantitatives et qualitatives.
Aujourd’hui, il est plus indispensable que jamais de mener des actions efficaces. Il ne reste que neuf ans pour atteindre les Objectifs de développement durable (ODD). Les interventions publiques doivent s’appuyer sur des connaissances empiriques si l’on veut répondre aux exigences légitimes des citoyens, dans un monde déchiré par des fractures sociales, politiques, économiques et, bien sûr, environnementales. En tant que plateforme pour le développement durable, l’AFD se doit d’être pragmatique et efficiente, et nous sommes déterminés à réaliser davantage d’évaluations d’impact. Nous avons les moyens, objectifs et scientifiques, de savoir ce qui fonctionne et ce qui ne fonctionne pas.
Il reste une marge de progression. Comme je le souligne dans Réconciliations, les approches actuelles d’évaluation de l’impact de l’aide au développement sont loin d’être parfaites. Les résultats sont généralement mesurés par un instantané, utile, mais insuffisant, d’indicateurs quantitatifs tels que le nombre de personnes raccordées au réseau électrique, le taux de jeunes filles scolarisées ou les tonnes de CO2 économisées. Les approches quantitatives sont souvent décevantes, car elles ne permettent pas d’identifier dans quelle mesure un projet de développement contribue aux dimensions qualitatives de l’agenda 2030. À cet égard, il est essentiel de définir un cadre commun pour déterminer les investissements qui sont en phase avec les trajectoires durables à long terme et ceux qui ne le sont pas, afin d’améliorer les approches qualitatives de l’évaluation pour atteindre les objectifs de l’accord de Paris et des ODD.
Comme les méthodologies se sont diversifiées, l’important est maintenant d’utiliser les approches les plus pertinentes pour répondre aux questions sur les sujets étudiés, sans préjugés théoriques. C’est la raison pour laquelle les équipes de l’AFD ont le souci constant de combiner les études d’impact et les évaluations opérationnelles plus légères en développant un ensemble diversifié d’outils de mesure permettant de mieux appréhender l’efficacité de l’aide. Nous prévoyons en particulier de mettre davantage la science au service de l’évaluation, en collaborant avec des partenaires comme l’Institut de recherche pour le développement (IRD) et le monde scientifique en général, notamment par la promotion des recherches menées par nos partenaires dans les pays du Sud.
Jean-Paul Moatti, vous étiez, jusqu’à une date récente, président-directeur général de l’IRD. Mais d’abord, en tant que spécialiste en économie de la santé, vous connaissez bien les essais cliniques. Que pensez-vous des RCT à l’aune de votre propre expérience ?
J’ai consacré la plupart de mes quarante années de carrière universitaire à collaborer étroitement avec des épidémiologistes et des biostatisticiens qui ont longtemps considéré les évaluations randomisées comme un outil essentiel pour rationaliser la pratique médicale sur la base de preuves scientifiques, mais qui ont fini par exprimer certaines préoccupations sur la confiance excessive accordée aux protocoles randomisés.
On a longtemps pensé que les RCT constituaient la source idéale (le « Gold Standard », « l’étalon-or ») de données sur les effets des traitements médicaux. D’autres méthodes, comme les études de cohorte et les études cas-témoins, sont bien entendu utilisées lorsque la randomisation n’est pas possible pour des raisons éthiques ou pratiques, comme c’est souvent le cas des études sur les facteurs de risque environnementaux. Ces dernières années s’est néanmoins développé un intérêt croissant pour d’autres méthodes capables de fournir des preuves empiriques pour les stratégies les plus efficaces dans les domaines de la médecine et de la santé publique.
Des RCT bien conçues peuvent bien sûr prétendre à une forte validité interne dans la mesure où elles répartissent de manière équilibrée les facteurs connus et inconnus entre les groupes de contrôle et de traitement, limitant ainsi le risque d’introduire des facteurs de confusion dans l’identification d’un mécanisme causal. Pourtant, les experts en santé publique reconnaissent depuis longtemps les limites des RCT sur le plan de leur validité externe et de leur pertinence pour la prise de décision. En effet, il peut y avoir un certain nombre de raisons qui font qu’une RCT manque de validité externe, et la généralisation des résultats hors de la population étudiée peut s’avérer erronée. Les RCT ne portent généralement pas sur des périodes d’étude suffisamment longues ou sur des populations assez importantes pour pouvoir évaluer, dans la durée, les effets d’un traitement, comme dans le cas de l’impact des vaccins sur l’immunité à long terme d’une population, ou pour mettre en évidence des effets indésirables rares, mais graves du médicament, qui apparaissent seulement lors des phases de surveillance après la mise sur le marché au travers des dispositifs de pharmacovigilance. Les contraintes croissantes de coût et de temps pesant sur les RCT peuvent inciter à se fier à des marqueurs de substitution potentiellement mal corrélés au résultat clinique (mortalité ou morbidité grave) que l’on cherche en réalité à évaluer. Pour limiter la dimension de l’échantillon et garantir une puissance statistique suffisante, les RCT se concentrent souvent sur les groupes à haut risque, ce qui réduit fréquemment leur pertinence pour des populations cibles plus larges. En outre, il faut des années pour planifier, mettre en œuvre et analyser la plupart des RCT, ce qui limite leur capacité à suivre le rythme des innovations biomédicales et oblige à prendre des décisions concernant les nouveaux médicaments et les dispositifs médicaux alors que leur évaluation clinique est encore en cours. Les contraintes de temps associées aux RCT limitent également leur utilisation efficace pour les décisions de santé publique en cas de flambées épidémiques ou de crises sanitaires. En outre, des RCT différentes traitant d’un même sujet ont souvent produit des résultats contradictoires, notamment en ce qui concerne des questions clés sur l’efficacité des pratiques médicales. Cela a conduit au développement de méthodes dites de méta-analyse, qui combinent les résultats de différents essais afin de surmonter ces contradictions et de parvenir à des conclusions fondées. Mais ces méthodes soulèvent elles-mêmes des problèmes statistiques complexes ainsi que d’identification des essais dont les données peuvent être agrégées sans créer une hétérogénéité excessive.
De manière générale, les experts en santé publique tendent désormais à considérer que les systèmes actuels de hiérarchisation des preuves empiriques mises en œuvre dans les mécanismes d’évaluation des pratiques médicales sont biaisés en faveur des RCT et qu’ils sont susceptibles d’écarter des données valides qui ne sont pas issues d’expérimentations randomisées.
Plus récemment, un nombre croissant de biostatisticiens ont reconnu que la randomisation ne constitue pas en soi une garantie absolue de validité interne. Cook (2018) recense par exemple 26 hypothèses susceptibles de biaiser les résultats des RCT malgré la randomisation, 22 d’entre elles étant liées à la validité interne : une différence préexistante à la sélection des groupes de traitement et de contrôle qui pourrait être confondue avec un effet de traitement ; la possibilité que l’attribution ait pu varier d’un groupe à un autre dans l’essai, rendant les résultats très sensibles au traitement des données manquantes (notamment liés aux abandons et perdus de vue en cours d’essai) ; un biais dans le choix du groupe de contrôle (par exemple lorsque l’innovation est comparée à un standard actuel de traitement qui n’est pas optimal) ; des changements de comportement induits par la participation à l’essai (par exemple, dans certains essais en double aveugle avec un groupe de contrôle prenant un placebo, les patients infectés par le VIH ont commencé à partager leurs pilules afin de garantir que tous les participants reçoivent « au moins » quelques médicaments efficaces), etc. La plupart de ces préoccupations tournent autour d’une question clé : si la randomisation, qu’elle soit volontaire ou involontaire, qu’elle intervienne ex ante ou ex post (dans le mode d’analyse de l’essai), ignore les informations préalables issues de la théorie et la prise en compte des covariables, alors elle est susceptible d’introduire des biais, et peut même s’avérer contraire à l’éthique, car elle expose inutilement les participants à un danger éventuel dans le cadre d’une expérience risquée.
Des modifications de la structure de base de l’évaluation randomisée ont été élaborées pour minimiser ce risque grâce à des mesures comme la stratification, l’allocation adaptative et la pré-randomisation, visant à prévenir la distorsion entre les groupes, qui peut venir, en dépit du tirage au sort, de facteurs pronostiques connus ou identifiés. Les modèles recourant à la méthode du cas unique (Single Case Design ou SCD) sont utilisés lorsqu’une variable d’intérêt dépendante peut être mesurée de manière répétée dans le temps entre deux points (au départ et pendant ou après l’intervention). Plutôt que de recourir à la randomisation d’un grand nombre de participants, les chercheurs utilisent un ordonnancement minutieux et planifié des conditions expérimentales afin d’améliorer la validité interne en excluant toute autre explication des effets du traitement. Toutes ces tentatives d’amélioration de la validité interne constituent de facto un aveu que la randomisation ne présente, en pratique, aucune supériorité statistique intrinsèque pour l’inférence causale.
En mettant maintenant votre autre casquette, celle d’économétricien, vous connaissez sans doute bien les problématiques méthodologiques liées à l’inférence causale et les autres modèles de génération de groupes contrôle permettant d’identifier les facteurs causaux du phénomène d’intérêt.
Avec ces évolutions et la tendance actuelle vers l’« expérimentation pragmatique », les experts en santé publique ont redécouvert un « vieil » argument économétrique bayésien remontant à Fisher (1926) et Savage (1962), qui remet en question la croyance selon laquelle les effets de traitement moyens estimés à partir de RCT sont probablement plus proches de la vérité que ceux estimés par d’autres moyens. Le résultat visé par toute RCT réside dans l’écart de moyennes entre le groupe d’intervention et le groupe de contrôle, qui combine l’effet de traitement moyen estimé parmi les personnes traitées au terme d’erreur, qui lui-même traduit le déséquilibre généré aléatoirement parmi les effets nets issus d’autres causes. Les RCT offrent une base pour calculer l’ampleur de l’erreur, mais, comme indiqué précédemment, cela reste soumis à la condition qu’aucune corrélation avec des covariables ne soit intervenue avant ou après la randomisation. Que ce soit dans les RCT ou dans d’autres méthodes, la pertinence statistique sera menacée si la distribution des effets de traitement individuels dans la population étudiée est asymétrique. Dans sa synthèse des nombreuses publications économétriques sur le sujet, le prix Nobel d’économie Deaton soutient à juste titre que tout statut spécial accordé aux RCT est injustifié et conclut que « la méthode la plus à même de produire une bonne inférence causale dépend de ce que nous essayons de découvrir et de ce que nous savons déjà » (Deaton et Cartwright, 2018 : 2).
Les économètres connaissent d’autres méthodes conçues pour obtenir une inférence causale, comme l’appariement par scores de propension, les variables instrumentales, la modélisation économétrique et les réseaux bayésiens. Toutes les méthodes doivent bien entendu recourir à des groupes de contrôle pour garantir une comparaison appropriée avec le groupe d’intervention, mais le choix du modèle d’étude doit rester pragmatique et dépendre des problématiques en question.
Un autre prix Nobel d’économie, Heckman, met en lumière une autre source de scepticisme à l’égard des évaluations randomisées parmi les économètres, à savoir que les informations sur les effets de traitement moyens peuvent s’avérer peu utiles pour éclairer les politiques publiques, car elles ne prennent pas en compte les variations entre les bénéficiaires des interventions (Heckman et Smith, 1995). Les impacts moyens peuvent être le facteur d’intérêt principal dans une évaluation comparant deux médicaments ou deux interventions très simples, mais lorsqu’il s’agit de politiques à composantes multiples, la possibilité de tirer des enseignements utiles d’une expérience spécifique nécessite plutôt d’identifier les raisons pour lesquelles certaines stratégies fonctionnent mieux que d’autres. Dans de tels cas, même une RCT réussie ne peut garantir que la relation causale établie se maintiendra dans d’autres contextes ou de manière générale. Il paraît clairement fallacieux de prétendre que la microfinance doit être au cœur des efforts pour éliminer la pauvreté ou que les transferts monétaires conditionnels doivent être la priorité des politiques en matière de santé et d’éducation en s’appuyant sur un nombre limité d’évaluations randomisées réalisées dans ces domaines. Cela peut détourner l’attention des grandes politiques publiques destinées à réduire les inégalités ou à assurer la santé et l’éducation pour tous. Il est intéressant de constater que certains partisans des évaluations randomisées, tels que Banerjee et al. (2015b : 52), arrivent à une conclusion similaire lorsqu’ils reconnaissent, par exemple, que « les adeptes du microcrédit ont peut-être […] surestimé le potentiel des entreprises pour les pauvres, à la fois comme source de revenus et comme moyen d’autonomisation des femmes qui en sont les propriétaires ».
Rémy Rioux, avez-vous observé des retombées opérationnelles des évaluations au niveau des projets que vous soutenez sur le terrain, et quelles évolutions avez-vous remarquées ou souhaiteriez-vous voir ?
En général, nous constatons que la culture de l’évaluation favorise une culture de l’innovation. Les évaluations d’impact ont généré des retombées intéressantes dans la mesure où elles ont consolidé une culture de l’évaluation au sein de l’AFD et parmi nos partenaires des pays en développement.
En Mauritanie, par exemple, l’évaluation de l’impact d’un dispositif de protection sociale couvrant 40 % des femmes a montré que celui-ci augmentait significativement le recours aux soins et réduisait les inégalités, mais qu’il ne touchait pas les plus démunies et qu’il n’avait pas d’impact significatif sur la santé des mères et des enfants en raison de la dégradation de la qualité des soins dans les établissements (Philibert et al., 2017). En conséquence, nous avons complètement repensé la phase suivante du projet : action intégrale sur les différentes composantes de la qualité (ressources humaines, sang, médicaments et supervision) et opérationnalisation d’un mécanisme de gratuité pour les plus pauvres.
Les évaluations scientifiques d’impact ont également favorisé des innovations méthodologiques qui améliorent le suivi des projets. Par exemple, nous proposons désormais d’aider les responsables de projets et les partenaires à utiliser des données existantes dès l’instruction d’un projet pour mieux estimer les conditions de vie et l’accès aux services, analyser les dépenses des ménages, etc., ou encore à utiliser des images satellitaires pour suivre la productivité agricole, la déforestation, le développement urbain, etc. Le suivi continu des projets est également facilité par des outils numériques comme GeoPoppy, une application développée par l’Institut national de la recherche agronomique (Inra), que nous avons utilisée pour suivre l’agriculture en Côte d’Ivoire et que nous allons même faire évoluer en outil de renforcement des capacités au Bénin. Dans le même esprit, l’AFD collabore en Haïti et au Niger avec le Centre de recherches interdisciplinaires (CRI), fondé par François Taddei et Ariel Lindner, pour expérimenter et diffuser de nouvelles façons de mener des recherches et de mobiliser l’intelligence collective dans les domaines des sciences du vivant, de l’éducation et des technologies numériques.
Tous ces exemples montrent que, lorsque nous sommes à même de rendre compte des impacts de nos projets, nous apprenons à partager notre expérience, à mieux écouter nos bénéficiaires et, in fine, à innover pour eux et avec eux. En évaluant nos impacts, nous pouvons innover et montrer concrètement le retour sur investissement que génère la politique de développement, c’est-à-dire un investissement durable et solidaire.
Jean-Paul Moatti, vous êtes aussi engagé dans la contribution aux politiques publiques. Outre votre parcours académique, vous avez été membre du groupe d’experts des Nations unies chargé du rapport mondial sur le développement durable (Global Sustainable Development Report – GSDR). À ce titre, vous avez participé à la rédaction du premier rapport quadriennal d’évaluation des ODD, qui ont été adoptés par tous les États membres des Nations unies en septembre 2015 et qui fixent l’Agenda international 2030 pour le développement. Nous assistons dans ce cadre à l’émergence du concept de « science de la durabilité ». Soutenez-vous ce concept et comment les expérimentations randomisées peuvent-elles, ou non, contribuer à une recherche efficace pour le développement durable ?
Même si les 17 ODD restent le fruit de nombreux compromis entre les gouvernements et entre des intérêts contradictoires, ce programme de transformation ambitieux a très largement bénéficié de l’émergence de ce que l’on appelle aujourd’hui la « science de la durabilité ». L’Académie nationale des sciences des États-Unis, qui a commencé à promouvoir la science de la durabilité en 2000, la définit comme un « domaine de recherche émergent qui traite des interactions entre les systèmes naturels et sociaux, et de la manière dont ces interactions affectent le défi de la durabilité : satisfaire les besoins des générations actuelles et futures tout en réduisant sensiblement la pauvreté et en préservant les écosystèmes qui entretiennent la vie sur la planète » (Kates, 2011). Parce qu’elle est axée sur les problèmes, cette nouvelle approche scientifique est par nature interdisciplinaire et se prête à la coconstruction de programmes de recherche avec les communautés concernées. Elle s’attache à identifier les chaînes de causalité complexes qui génèrent les principales problématiques environnementales et sociales menaçant l’avenir de la Terre, et à proposer des solutions pour réduire le risque d’incohérence dans la mise en œuvre des ODD tout en maximisant les synergies positives qui existent entre eux : comment augmenter la productivité agricole pour garantir la sécurité alimentaire d’une population mondiale, censée augmenter de deux milliards de personnes d’ici 2050, tout en réduisant les intrants chimiques afin de limiter l’impact environnemental et le gaspillage des ressources ? Comment promouvoir une croissance durable pour éliminer l’extrême pauvreté sans accroître les inégalités à l’intérieur des pays ? Les enjeux sont multiples.
L’économie du développement devrait jouer un rôle de premier plan dans cette science de la durabilité, car elle mobilise des compétences et des connaissances essentielles pour la transposition en politiques publiques efficaces de faits et de preuves empiriques, issues d’une gamme étendue de disciplines allant des sciences naturelles aux sciences sociales, afin de les adapter à des contextes sociaux, environnementaux et économiques hétérogènes. Les RCT ne sont bien souvent pas adaptées à ce champ interdisciplinaire essentiel, car l’extrapolation et la généralisation de leurs résultats nécessitent un ensemble d’informations complémentaires qui doivent provenir d’autres sources. Surestimer leur rôle, en ignorant les limites de l’approche randomisée et en exagérant leurs mérites auprès des décideurs, pourrait compromettre la contribution de la science économique à la transformation des modèles de développement actuels vers la durabilité. Cependant, ce serait également une erreur de sous-estimer le fait que les études randomisées peuvent s’avérer extrêmement utiles, le cas échéant, pour déterminer quelles sont les meilleures pratiques, parmi différentes modalités d’intervention, pour atteindre les ODD et pour produire des arguments puissants en faveur de politiques de changement social et de transition écologique basées sur des preuves empiriques.
Une dernière question pour tous les deux : comment des institutions comme l’AFD et l’IRD peuvent-elles coordonner leurs efforts pour que les pays du Sud bénéficient d’actions de recherche pertinentes qui soient utiles et utilisées pour l’élaboration et la mise en œuvre des politiques ?
Rémy Rioux : Nous pensons que tout le monde gagne lorsque la recherche est menée en partenariat avec les décideurs et la société civile. Ces partenariats doivent préserver l’indépendance et la rigueur de la recherche et favoriser une fertilisation mutuelle afin que la production intellectuelle soit pertinente, appropriée, et qu’elle contribue au progrès de nos sociétés. Cette implication doit se manifester à toutes les étapes du cycle de la production scientifique, depuis la conception et le cadrage de la recherche, à sa mise en œuvre et à la formalisation des connaissances et leur diffusion.
Le groupe d’experts intergouvernemental sur l’évolution du climat (GIEC) est un bon exemple de cette dynamique. Il est essentiel de combiner l’action contre les changements climatiques à des politiques visant à réduire les inégalités et à renforcer le lien social dans nos sociétés pour garantir que la transition environnementale, si vitale aujourd’hui, soit également socialement durable. Cette recherche dont nous avons besoin devrait être implantée dans le Sud, avec le soutien et l’accompagnement de centres d’excellence du Nord lorsque c’est pertinent. « Le Sud inspirera le Nord », pour citer le président d’Unicef France, Jean-Marie Dru (communication personnelle).
À cet égard, l’IRD est un partenaire précieux, car il est reconnu pour son excellence scientifique et ses liens étroits avec les équipes universitaires des pays du Sud. Sa mission est en outre entièrement dédiée aux pays en développement, et tous ses travaux sont menés en partenariat et pour renforcer les capacités de recherche dans le Sud. Nos deux institutions sont engagées dans une démarche conjointe depuis 2012 en matière de recherche sur le développement durable. Notre collaboration s’appuie sur l’approche de la science de la durabilité, promouvant l’interdisciplinarité et le rapprochement entre connaissances scientifiques et les savoirs des autres acteurs du développement.
Dans la même veine, l’International Development Finance Club (IDFC), que je préside depuis 2017, œuvre pour que les pays du Sud bénéficient de travaux de recherche pour élaborer et mettre en œuvre des politiques publiques. Le Club a, de fait, présenté récemment un rapport novateur, rédigé par les groupes de réflexion indépendants CPI (Climate Policy Initiative) et I4CE (Institute for Climate Economics), qui fournit un cadre solide, utilisable par les 26 banques de développement nationales et régionales membres de l’IDFC – dont beaucoup sont basées dans les pays du Sud –, et par la communauté financière dans son ensemble, afin d’aligner les stratégies de toutes les institutions financières avec les objectifs de l’accord de Paris aux niveaux national, stratégique et opérationnel. L’évaluation des projets fait également partie des sujets discutés au sein du Club afin d’identifier les questions soulevées par l’évaluation des actions pour le climat par les organisations internationales et les bailleurs de fonds, et notamment l’examen des défis méthodologiques liés à la mesure des impacts des programmes de développement concernant le changement climatique. Dans les mois à venir, le lancement de la plateforme électronique de l’IDFC permettra au Club de favoriser les échanges entre les experts et de promouvoir le partage des connaissances et des bonnes pratiques.
Jean-Paul Moatti : L’IRD a derrière lui une longue histoire, puisqu’il a fêté ses 75 ans en 2019. Il travaille dans plus de 50 pays en développement. L’AFD bénéficie de l’expertise des chercheurs de l’IRD depuis de nombreuses années. Paradoxalement toutefois, bien que la France reste le seul pays avancé à disposer, avec l’IRD, d’un organisme public de recherche interdisciplinaire, dont la mission unique est la coopération scientifique équitable avec les collègues, chercheurs et universitaires, des pays en développement, nous avons travaillé moins fréquemment et moins systématiquement avec l’AFD que d’autres agences et banques de développement – comme l’USAID et le DFID britannique – ne l’ont fait avec leurs chercheurs nationaux. L’une des raisons est que, jusqu’à une date récente, le financement de la recherche ne faisait pas partie de la mission de l’AFD, les contributions scientifiques devant donc emprunter des canaux d’expertise contractuelle qui n’étaient pas toujours bien adaptés aux projets de recherche. Mais la situation évolue rapidement, alors que les ODD et l’action contre le changement climatique deviennent des axes de travail communs à l’AFD et à l’IRD, et que le rôle majeur de la diplomatie scientifique dans le développement durable est de plus en plus reconnu (voir le GIEC pour le climat et l’Intergovernmental Science-Policy Platform on Biodiversity and Ecosystem Services [IPBES] pour la biodiversité et, bien sûr, le GSDR).
Premièrement, et avant tout, l’AFD soutient maintenant des programmes de renforcement des capacités universitaires et de recherche dans les pays en développement, comme on peut le voir en Côte d’Ivoire, où l’AFD intervient, conjointement avec le programme français de désendettement et dans sa collaboration avec la Banque mondiale, pour soutenir les Centres d’excellence africains (African Center of Excellence – ACE) dans les domaines de la recherche, notamment en Afrique francophone. De nombreux partenaires africains du projet ACE de l’IRD reçoivent aujourd’hui l’aide de l’AFD. Deuxièmement, le nouvel accord global signé début 2019 entre l’AFD et l’IRD vise à associer plus étroitement, dans les pays, les initiatives décentralisées menées par l’AFD avec des chercheurs aux grands programmes codéveloppés par les deux organisations. Ces programmes incluront des projets d’évaluation scientifique et de développement financés par l’AFD, qui pourraient s’avérer riches d’enseignements et permettre un certain niveau de généralisation à l’échelle internationale. L’élaboration d’un protocole d’évaluation expérimental ou quasi expérimental ex ante, randomisé ou non, et la mise en place simultanée d’un projet de développement durable augmentent les chances de réussite, tant pour l’évaluation scientifique que pour le projet lui-même. Une collaboration plus étroite avec l’AFD est un excellent moyen de promouvoir les changements requis par la science de la durabilité en matière de pratiques de recherche, ceci incluant la coconstruction de programmes de recherche avec les communautés et les groupes de population vulnérables qui sont directement concernés.
Entretien avec Gulzar Natarajan
Gulzar Natarajan, au cours de votre carrière de haut fonctionnaire du gouvernement indien, vous avez accumulé un grand nombre d’expériences. Vous avez occupé un poste au sein du cabinet du Premier ministre, vous avez dirigé la société de développement des infrastructures de l’État d’Andhra Pradesh, vous avez été collecteur de district1 à Hyderabad, vous avez été président-directeur général d’une société de distribution d’électricité basée à Visakhapatnam, vous avez été commissaire municipal de Vijayawada, et vous avez occupé des postes dans le domaine du développement dans l’État d’Andhra Pradesh. Vous avez dirigé la conception et la mise en œuvre de projets de grande envergure dans de nombreux secteurs, tels que les infrastructures, l’urbanisme, la santé, l’éducation, le renforcement des moyens de subsistance ou encore la réduction de la pauvreté.
Ces différentes fonctions, combinées à votre formation en ingénierie d’une part et en études du développement d’autre part, vous permettent d’avoir une vision très précise du fonctionnement des bureaucraties indiennes et des politiques de développement, de la façon dont elles peuvent être améliorées et du type de méthodologie de recherche susceptible de contribuer à cette amélioration.
Quelles sont, selon vous, les questions les plus importantes en matière de politiques publiques auxquelles l’Inde est confrontée aujourd’hui et qui pourraient être éclairées par des recherches solides, en commençant par le niveau macro ?
Il existe un certain nombre de problématiques majeures auxquelles les décideurs politiques indiens sont confrontés de façon régulière. Elles pourraient toutes tirer profit d’informations et de preuves empiriques issues de recherches de haute qualité. J’ai moi-même été confronté à plusieurs d’entre elles à un moment ou à un autre, et j’ai été frustré par le manque de recherches qui auraient pu éclairer davantage mes hypothèses de travail et les solutions proposées. J’ai recensé douze domaines que je considère comme essentiels : la macro-économie, les marchés financiers, les infrastructures, le secteur bancaire, la politique industrielle, les finances publiques, les réformes du marché du travail, les marchés informels, l’urbanisation, le développement, la politique étrangère et commerciale et l’analyse des données. J’énumère dans l’annexe A les sous-questions spécifiques qui me paraissent fondamentales dans chacun de ces domaines.
Outre ces grands sujets, pourriez-vous nous donner quelques exemples concrets pertinents axés sur des questions plus pratiques qui relèvent de la compétence des maires ou des commissaires municipaux ?
En Inde, il existe trois niveaux de gouvernement à l’échelle infranationale : le gouvernement local (urbain ou rural), l’administration de district et les services des gouvernements des États. Les bureaucrates et les dirigeants politiques à ces niveaux sont confrontés à de multiples défis et doivent prendre des décisions en temps réel sur la base de données et d’informations limitées.
Quelles sont les questions, à la fois stratégiques et opérationnelles, qui occupent généralement l’esprit des dirigeants à chacun de ces trois niveaux ? Quels sont les choix de solutions techniquement fiables, administrativement réalisables et politiquement acceptables pour chaque problématique ? Comment une recherche scientifique de haute qualité peut-elle informer et nourrir les bureaucrates dans la prise de décision et dans la mise en œuvre ? Quelles sont les méthodes de recherche appropriées pour soutenir ce processus ?
Pour donner une idée des défis à relever, permettez-moi d’exposer les différentes questions auxquelles est confronté un bureaucrate type à chacun des trois niveaux de gouvernement dans n’importe quel État indien. Sans viser l’exhaustivité, mon objectif est de recenser un maximum de grands domaines d’intervention possible à chaque niveau. Compte tenu de la taille du pays, ces niveaux administratifs couvrent pour certains au moins un million de personnes, et même des populations qui se comptent en dizaines de millions au niveau des États. En termes d’impact également, chacune de ces questions s’étend sur l’ensemble du système particulier, et un changement de la pratique habituelle peut avoir des effets importants, souvent transformationnels. Il s’agit donc bien de défis de développement de premier ordre ayant un impact majeur.
En outre, ces questions définissent les problématiques communes et constituent un bon point de départ pour la recherche, représentant ainsi une bonne pratique pour s’attaquer à un sujet difficile.
L’annexe B fournit la liste des questions qui mobilisent les réflexions des responsables politiques à chacun de ces trois niveaux.
Il est évident que l’exploration des réponses à bon nombre de ces questions ne dépend pas d’une méthode de recherche particulière. En effet, la majorité d’entre elles ne relèvent peut-être pas d’approches quantitatives pures et nécessiteraient une analyse qualitative et ethnographique. Un consultant équipé d’une panoplie d’outils suffisamment rigoureux pourrait s’avérer le mieux placé pour les explorer. D’autres cas peuvent nécessiter une combinaison de techniques allant de l’analyse des données aux méthodes économétriques et aux expérimentations de terrain.
Comme on peut le constater, parmi ces questions, seul un petit nombre se prête à une RCT rigoureuse. Pour commencer, dans la plupart des cas, le bureaucrate n’a pas la flexibilité requise pour créer un traitement et des contrôles. Deuxièmement, il est le plus souvent impossible d’isoler clairement un problème et ses solutions potentielles afin de pouvoir examiner l’attribution. Troisièmement, comme les interventions portent sur des systèmes vastes et complexes, où les facteurs influents ne sont pas simples à identifier, il est plus facile d’étudier les contributions que les attributions. Quatrièmement, les bureaucrates prennent des décisions en temps réel et ne peuvent donc pas se permettre de longues expérimentations. Cinquièmement, les résultats immédiats de ces interventions ne reflètent bien souvent que des équilibres partiels, et il faut beaucoup de temps avant de pouvoir observer des résultats stables. C’est pour cela que les évaluations globales atteignent rarement leur objectif. Enfin, en rapport avec le point précédent, il n’existe pas de solution unique qui soit susceptible d’être simplement reprise et mise en œuvre. Au lieu de cela, les problèmes (y compris le sabotage interne) commencent à émerger lorsque la solution est lancée, ce qui nécessite une adaptation itérative, surtout dans la période initiale, avant la stabilisation.
En ce qui concerne les expérimentations de terrain, le test A/B, simple et rapide, peut apporter des informations sur les choix concurrents évidents à des carrefours décisionnels pendant la mise en œuvre, et s’avérer une technique plus pertinente que les RCT de longue durée. L’idée est de vérifier si certains indicateurs immédiats de succès probable (identifiés à partir d’un examen de la théorie du changement pour l’intervention) sont satisfaits. Face à des questions aussi complexes et à des environnements difficiles, et lorsque les résultats mettent du temps à se manifester, il peut être plus pertinent et plus utile de vérifier le respect d’indicateurs de processus immédiats plutôt que de procéder à des évaluations globales de ces résultats.
Concernant les questions soulevées par les partisans des RCT, apportent-elles les bonnes réponses, et dans quelle mesure ces réponses peuvent-elles être utiles ?
Je répondrai par trois exemples précis. Prenons le cas de la lutte contre l’alcool au volant, qui a été étudiée par Abhijit Banerjee et ses collègues (Banerjee et al., 2012) et résumée dans une publication (Banerjee et al., 2017c). Ils plaident en faveur d’une utilisation accrue des éthylomètres (outils) et de l’introduction d’amendes plus élevées (lois) pour lutter contre la conduite en état d’ivresse. Ils concluent également que ce dispositif doit être complété par une stratégie de contrôle des véhicules dans des lieux définis de manière aléatoire, en faisant appel à des équipes de police dédiées, issues des forces de réserve.
Cette « stratégie » n’a rien de nouveau. Elle est couramment appliquée par les commissaires de police sur de courtes périodes lorsque quelque chose (généralement un accident très médiatisé ou une directive du tribunal) suscite une vigilance accrue en matière de conduite en état d’ivresse. Le problème est que ces dispositifs ne peuvent pas être étendus au-delà de courtes périodes.
Le défi, comme l’a souligné Esther Duflo dans d’autres contextes, est une question de « plomberie ». Prenons la question des lieux aléatoires. Si, vue de l’extérieur, l’allocation aléatoire de lieux peut ressembler à un exercice algorithmique, il peut être difficile de la rendre opérationnelle à grande échelle. Face à des intérêts et des systèmes puissants qui incitent à « serrer les rangs », la capacité d’action institutionnelle est faible, en particulier dans les commissariats de police. De ce fait, les stratégies comme la vigilance accrue sont facilement compromises ou affaiblies, sauf si des dirigeants extrêmement engagés assurent eux-mêmes la gestion du processus.
À titre d’exemple, les contrôles qualité aléatoires effectués par des tiers sur des travaux d’ingénierie en cours, qui sont aujourd’hui monnaie courante, sont fréquemment compromis par la collusion. En ce qui concerne les réservistes, ils ne peuvent pas être mobilisés au-delà de quelques jours. Avec des forces de police en sous-effectif flagrant et débordées par les responsabilités de gestion de foule et des événements VIP qui exigent des services de sécurité, ils n’ont de « réserves » que le nom, tellement les demandes concurrentes sont nombreuses.
Par ailleurs, les normes en matière de preuve pour établir une infraction légale de conduite en état d’ivresse peuvent restreindre le rôle des réservistes. Par exemple, afin de limiter l’excès de pouvoir discrétionnaire, la loi (c’est-à-dire les règlements adoptés en vertu de la loi centrale dans différents États) impose que les tests d’alcoolémie soient effectués en présence d’un représentant de police d’un certain rang. Or, les administrations de police, débordées, disposent de trop peu de personnels de ce rang pour les dédier à la circulation, et encore moins aux patrouilles de nuit traquant les cas de conduite en état d’ivresse. Mais la délégation de cette responsabilité pose des problèmes juridiques et pratiques.
Les conclusions ci-dessus découlent d’une RCT réalisée dans 162 commissariats de police du Rajasthan et couvrant cinq interventions en matière de gestion : la limitation des mutations arbitraires, la rotation des missions et des jours de congés, l’engagement accru de la communauté, la formation interne et les visites « secrètes » par des agents de terrain se faisant passer pour des civils. L’étude a montré que les trois premières interventions « qui auraient réduit l’autonomie des cadres intermédiaires, étaient mal mises en œuvre et inefficaces », alors que les deux dernières avaient « des impacts solides ». Sur la base de ces observations, les chercheurs ont pointé les « résultats très positifs » d’une intervention associant une « bonne performance » en matière de tests de sobriété sans s’appuyer sur les cadres intermédiaires, à la « promesse d’une mutation des casernes de réservistes à un poste attractif dans un commissariat de police ».
La publication allègue que « les résultats expérimentaux exposés dans cet article montrent qu’il est possible d’influencer le comportement de la police dans un laps de temps relativement court, en utilisant un ensemble d’interventions simples et abordables ». Cette affirmation est trompeuse.
Examinons les « stratégies » explorées par les chercheurs. Nous avons déjà parlé du défi que représentent les contrôles aléatoires et le recours aux réservistes. Les « formations internes » sont un élément incontournable pour tout système administratif. Le seul problème est que les formations ne se traduisent pas par un apprentissage ou une appropriation suffisamment utiles. C’est d’ailleurs un défaut courant des formations internes dont bénéficient les enseignants, les médecins, les inspecteurs, etc.
Les visites « secrètes » par des agents de terrain ne constituent pas une idée nouvelle. Il s’agit d’un élément de base du renseignement d’origine humaine. Là encore, il existe des difficultés pratiques pour identifier et gérer ces activités. En outre, ces visites peuvent également créer des distorsions systémiques qui font plus de mal que de bien. Ainsi, plutôt que de se focaliser sur de telles mesures fantaisistes et sporadiques, les chefs de police devraient concentrer leurs efforts sur l’amélioration de leurs services de renseignement et de leurs services spéciaux, et sur l’utilisation de multiples canaux incluant les visites secrètes, les organismes tiers et la sollicitation de retours téléphoniques de la part des plaignants. En fait, de nombreux chefs de police en Inde varient régulièrement ces différentes approches pour obtenir des retours d’information.
Prenons le cas de la dernière intervention, qui associe les mutations de réservistes aux bonnes performances et réduit l’autonomie des cadres intermédiaires. Là encore, le défi relève de la « plomberie ». Pour commencer, la lutte contre la conduite en état d’ivresse ne figure bien souvent pas parmi les priorités des forces de police classiques, si l’on met de côté les forces de réserve. Et les activités principales des réservistes, c’est-à-dire les services de sécurité, ne se prêtent pas à des évaluations quantitatives individuelles des policiers. Deuxièmement, dans quelle mesure une politique qui cherche explicitement à récompenser certains policiers par des mutations dans des postes « attractifs » (en échange d’une « bonne performance », quelle qu’elle soit) et à en pénaliser d’autres (le corollaire naturel) en les affectant aux forces de réserve est-elle durable ?
Troisièmement, à partir du moment où l’on commence à associer des mesures incitatives à des indicateurs de performance quantitatifs dans la détection des cas de conduite en état d’ivresse, on n’est pas bien loin d’une fixation d’objectifs qui nous mène vers une pente dangereuse. C’est une caractéristique commune des systèmes publics qui cherchent à associer des mesures de performance aux décisions importantes en matière de gestion du personnel. Quatrièmement, quelle est la durabilité d’un processus administratif où il n’y a aucune implication des cadres intermédiaires ? En fin de compte, il faut bien une gestion institutionnelle du dispositif par des responsables d’un niveau ou d’un autre. Et à supposer même que cette gestion soit assurée par des responsables autres que les « cadres intermédiaires », devons-nous pour autant moins nous soucier d’eux ? Et est-ce même envisageable de penser que ces activités administratives peuvent se faire sans l’implication des cadres intermédiaires ? Enfin, il est faux de prétendre que « la direction de la police ne dispose généralement pas de preuves empiriques et d’informations générées par l’évaluation ». Les dirigeants de la police, pour autant qu’ils gardent les yeux et les oreilles grands ouverts, ont accès dans une large mesure à des « preuves empiriques » d’une portée bien plus vaste, et d’un niveau de crédibilité et de rigueur largement suffisant. Ce n’est pas la production de preuves quantitatives minutieuses qui va vous permettre d’aller bien loin dans les efforts déployés pour gérer efficacement des systèmes de grande ampleur.
Les chercheurs soulignent que les commissions successives de réforme de la police, non seulement n’ont pas défendu les trois interventions « réussies », mais ont également recommandé les interventions « inefficaces ». Pour commencer, les commissions de réforme préconisent des réformes institutionnelles telles que la limitation des mutations, la participation de la communauté, etc. et préfèrent éviter les mesures opérationnelles ordinaires et banales, comme les visites secrètes ou les formations internes, et encore moins celles qui ne sont pas réalisables, comme la gestion des performances des réservistes. En outre, ces recommandations sont des interventions de « plomberie » essentielles pour tout système administratif bien gouverné. En revanche, les solutions proposées par les chercheurs, comme nous l’avons vu plus haut, souffrent de graves lacunes sur le plan pratique. Les instigateurs des commissions de réforme se sont abstenus de recommander de telles solutions de fortune : étant eux-mêmes des « plombiers » de longue date, ayant dû faire face avec plus ou moins de réussite (ou d’échecs) aux défis de « plomberie » qu’implique le maintien de l’ordre dans le monde réel, ils ont été suffisamment responsables et honnêtes pour ne pas le faire.
Ce que je veux dire, c’est que ces idées – les contrôles aléatoires pour la lutte contre la conduite en état d’ivresse, la limitation des mutations arbitraires, la rotation des missions et des jours de congé pour le personnel de police, la participation accrue de la communauté, la formation interne et les visites secrètes par des agents de terrain se faisant passer pour des civils – sont toutes bonnes et n’ont pas besoin de preuves. Ce n’est pas un manque de preuves qui empêche leur adoption. Toutefois, leur mise en œuvre à grande échelle est difficile, et dépend de l’intérêt et de l’engagement du chef de police concerné, et certaines d’entre elles nécessitent des ressources et des capacités que le système ne possède pas actuellement. Dans les systèmes où les capacités de l’État sont faibles, de telles interventions reposent sur des individus (les chefs) et non sur les institutions.
Permettez-moi de prendre un autre exemple : il s’agit d’une RCT concernant des audits menés par des tiers d’installations industrielles polluantes au Gujarat, qui a fait l’objet d’un article (Duflo et al., 2013) et d’un document d’orientation (J-PAL, 2013). Les auteurs affirment apporter la preuve que les audits effectués par un organisme tiers indépendant sont efficaces pour réduire la pollution environnementale.
Pour résumer, en réponse à une directive de la Haute Cour, certaines usines très polluantes du Gujarat commandaient et présentaient des rapports d’audit établis par des organismes tiers trois fois par an depuis 1996. Mais leurs performances étaient peu satisfaisantes. Les chercheurs ont montré qu’une fois que les auditeurs, au lieu d’être payés par les entreprises elles-mêmes, ont été rémunérés par le biais d’un fonds central, que les audits ont été réalisés de manière aléatoire et que les auditeurs ont reçu une prime à la précision, il y a eu une augmentation significative de la présentation des relevés de pollution, et une réduction de la pollution réelle elle-même. Afin de renforcer leur théorie du changement, les chercheurs ont également annoncé et mené des contre-audits de vérification d’un échantillon aléatoire des relevés de chaque auditeur, et la rémunération des auditeurs a été subordonnée à l’exactitude de leurs contrôles originaux (qui ont été comparés aux contre-audits de vérification).
Aujourd’hui, personne ne conteste la valeur des audits réalisés par des agences indépendantes payées à partir d’un fonds central, et renforcés par des contre-audits de vérification. Les audits ou certifications réalisés par des tiers sur un échantillon aléatoire (et de manière inopinée) sont aujourd’hui monnaie courante pour contrôler tout, des travaux d’ingénierie à la qualité des biens achetés et des services fournis. En Inde, au cours des deux dernières décennies, les audits de qualité menés par des tiers, manifestement effectués sur des échantillons aléatoires et de manière inopinée, ont été adoptés pour les travaux d’ingénierie exécutés par toutes les structures, qu’elles soient petites ou grandes, urbaines ou rurales. Ils ont sans aucun doute contribué à améliorer la qualité de ces travaux et, lorsqu’ils sont bien réalisés, leurs bénéfices sont très importants. Et les responsables de la protection de l’environnement les plus avisés, présents dans tous les États, sont bien conscients de leur utilité.
Peut-on ainsi dire que la recherche a apporté des informations précieuses aux bureaux de contrôle de la Pollution (Pollution Control Boards – PCB) en Inde ? Dans les contextes où la capacité de l’État est faible, la gestion efficace des audits menés par des tiers représente elle-même une tâche énorme. Les contre-audits de vérification rendent la démarche encore plus lourde. Étant donné que ces contre-vérifications ont été effectuées sous la supervision de chercheurs de l’équipe, enthousiastes et impliqués, au su des entreprises, et que la rémunération des auditeurs était subordonnée à la concordance entre les audits initiaux et les contre-audits, les audits initiaux ont forcément été assortis d’enjeux plus importants, et sont donc aussi devenus plus qualitatifs (effet Hawthorne). La RCT a démontré l’efficacité de cette méthode particulière de double audit.
De tels audits, combinant deux niveaux, ambition et qualité, sont bien évidemment souhaitables. Malheureusement, ils sont bien trop exigeants et lourds pour avoir une chance d’être généralisés de façon efficace dans des systèmes publics de faible capacité, a fortiori lorsque la pollution est la norme plutôt que l’exception.
Dans l’intervention précédente, les chercheurs ont observé au moins deux sources de distorsion par les incitations. Premièrement, un problème d’agencéité découlant du fait que les auditeurs étaient payés par les structures auditées. Deuxièmement, le fait que les auditeurs recevaient une rémunération nettement inférieure à celle qui aurait été requise pour réaliser de bons audits.
Concernant le problème d’agencéité lié à la façon dont les auditeurs sont rémunérés, les chercheurs n’avaient pas besoin de recourir à une RCT, car il existe une littérature très riche sur les problèmes liés à l’achat des notations de crédit par les institutions financières. L’idée que les auditeurs/agences de notation ne soient pas rémunérés par les structures auditées/notées est largement acceptée. Ensuite, les auditeurs sont de moins en moins bien rémunérés, car ces audits sont devenus en grande partie un exercice pour la forme, et toutes les parties le savent.
Il est difficile de croire que le PCB du Gujarat ne savait pas ce qui se passait. Je vois au moins cinq bonnes raisons relevant de ladite « plomberie » pour lesquelles le PCB a préféré s’en tenir au statu quo plutôt que d’adopter des réformes qui paraissaient évidentes (ne serait-ce que parce que, comme mentionné précédemment, elles étaient déjà en cours dans d’autres secteurs). Premièrement, ces rapports étaient produits à la demande de la Haute Cour et lui étaient transmis. Tant que la Cour était satisfaite, il n’y avait aucune raison ni motivation intrinsèque pour que le PCB change de système. Les cas de conformité pour la forme aux exigences réglementaires ne sont pas rares. Deuxièmement, si le gouvernement décidait d’effectuer les audits, la question se posait alors de savoir qui allait les payer ou comment les montants seraient perçus, sans parler du casse-tête que représentait la gestion de cette responsabilité administrative supplémentaire. Troisièmement, les intérêts particuliers au sein des industries polluantes étaient forts et le statu quo préférable. Dans de tels contextes en particulier, la capture réglementaire et la tolérance administrative ne sont jamais bien loin. Pour ces entreprises en effet, la différence entre le statu quo et le respect de la réglementation en matière de pollution est, dans de nombreux cas, une question de survie, avec des répercussions importantes sur l’emploi. Quatrièmement, un durcissement brutal et rigoureux des normes entraînant un changement radical au niveau des rejets d’effluents aurait pour effet la fermeture de plusieurs usines, et, comme l’ont montré de nombreux précédents, cela perturbe des économies politiques fragiles. Enfin, que cela nous plaise ou non, la lutte contre la pollution a longtemps été une préoccupation marginale pour la plupart des gouvernements des États, qui courent après la croissance économique et la création d’emplois. Leur volonté d’entreprendre des réformes rigoureuses s’est par conséquent avérée limitée.
Prenons un dernier exemple. Karthik Muralidharan et ses collègues ont réalisé une RCT sur l’utilisation des téléphones mobiles pour améliorer la gouvernance (Muralidharan et al., 2018a ; 2018b). Pour résumer, un retour d’information basé sur des appels téléphoniques a été sollicité concernant la qualité de la mise en œuvre du programme Rythu Bandu par le gouvernement de l’État de Telangana, dans le cadre duquel des transferts monétaires directs par chèque ont été effectués aux agriculteurs éligibles (les agriculteurs ont-ils bien reçu le chèque, l’ont-ils reçu à temps, l’ont-ils encaissé, etc.). Une évaluation des appels téléphoniques au moyen d’une RCT a révélé que 83 % des agriculteurs avaient reçu et encaissé leur chèque, que les agriculteurs situés dans les zones faisant l’objet de ce suivi avaient 1,5 point de pourcentage de probabilités supplémentaires de recevoir et d’encaisser leur chèque, et 3,3 points de plus dans le dernier quartile des fermiers propriétaires. Selon les auteurs, les centres d’appels ont distribué 70 millions de roupies supplémentaires (soit 1 million de dollars US) aux agriculteurs, et ont coûté 2,5 millions de roupies (soit environ 35 000 dollars US).
Il convient à nouveau de s’interroger : qui conteste l’efficacité de cette idée ? Cela nécessitait-il une RCT ? La pratique consistant à solliciter un retour d’information des citoyens et des clients par le biais d’appels téléphoniques est en vogue depuis plusieurs années. Plusieurs organismes publics à travers les États ont mis en place depuis des années des systèmes de sélection des citoyens pour ces retours d’informations. L’État voisin d’Andhra Pradesh a même fait de cette pratique un élément central des études de performance en évaluant la plupart des activités gouvernementales par le biais de remontées d’information par téléphone réalisées grâce à son système élaboré de gouvernance en temps réel (Real Time Governance System – RTGS). Depuis longtemps, plusieurs compagnies de distribution d’électricité et de corporations municipales disposent de centres d’appels téléphoniques de ce type, leur permettant d’obtenir des retours d’informations.
Aucun bureaucrate ne viendrait contester l’idée sous-jacente que le retour d’information par le biais d’appels téléphoniques de citoyens échantillonnés de manière aléatoire constitue un moyen utile d’évaluer la qualité de la mise en œuvre. Cela soulève deux questions. Premièrement, s’agit-il là de l’approche la plus durable et rentable pour améliorer la qualité de la mise en œuvre ? Par exemple, comme nous le verrons plus loin, l’amélioration du système de suivi existant aurait été possible sans coût supplémentaire et avec d’autres avantages.
Deuxièmement, même si nous poursuivons le retour d’information par téléphone, qu’en est-il des problèmes qui en découlent ? D’abord, avec un système de retour d’information par téléphone, le véritable défi n’est pas d’obtenir un retour d’information, même granulaire et exploitable, mais la capacité du système à réagir à ces retours d’information d’une manière suffisamment constructive. La véritable limite est là, et elle dépend essentiellement de la capacité de l’État à traiter activement une problématique élémentaire de gouvernance : contrôler l’information et agir efficacement sur la base de celle-ci. En outre, nous ne devrions pas écarter le scénario d’un effet d’échelle dans lequel ce contrôle, en l’absence d’exigences de suivi, a toutes les chances de venir s’ajouter à la panoplie d’outils de surveillance sans apporter le moindre avantage supplémentaire, mais avec un coût additionnel important. De plus, la gestion des centres d’appels téléphoniques et du système de gestion des retours d’information lui-même monopolise des ressources administratives par ailleurs limitées. Enfin, ce système peut fausser les dispositifs d’incitation au sein de la bureaucratie et affaiblir les mécanismes de contrôle existants.
En fait, on pourrait très facilement imaginer le scénario suivant : les systèmes de retour d’information par téléphone peuvent améliorer l’efficacité de la mise en œuvre, et ils ont un petit air nouveau et séduisant. Alors, mettons en place des centres d’appels téléphoniques dans chaque district/État. Et dans cinq ans, ces centres d’appels dysfonctionnels et les énormes ressources financières qu’ils auront mobilisées viendront s’ajouter à la liste funeste des innovations de développement sans lendemain.
Soit dit en passant, j’ai participé en personne à la mise en œuvre des trois interventions exposées dans les publications citées ci-dessus, et j’ai été confronté à toute la confusion et autres défis pratiques engendrés par leur application. Audits menés par des tiers et remontées d’informations par téléphone ont été une constante dans les différents postes que j’ai occupés depuis 2005 au moins.
Toujours à propos des RCT, quelles seraient vos propres réponses et où se situent-elles par rapport aux suggestions des évaluations randomisées (par exemple dans le domaine de la gouvernance, pour améliorer les performances de l’administration indienne) ?
Commençons par le cas de la police. Au lieu de proposer des solutions qui contribuent à améliorer les institutions et les systèmes dans lesquels s’inscrivent ces activités de maintien de l’ordre, les chercheurs en viennent à recommander des solutions ponctuelles et non durables qui ne tiennent pas suffisamment compte des facteurs contextuels et des considérations systémiques.
Concernant la lutte contre la conduite en état d’ivresse, la recherche aurait par exemple dû avoir pour objectif d’améliorer les résultats de la police en renforçant la responsabilisation des cadres intermédiaires et en trouvant des solutions institutionnelles durables, au lieu de se passer des cadres intermédiaires et de faire appel ponctuellement à des visites secrètes.
Les incitations à la performance qui impliquent des récompenses financières ou des mutations d’une ampleur suffisamment grande ont peu de chances de fonctionner à grande échelle dans des systèmes publics complexes. En fin de compte, où ces mesures ont-elles une chance de fonctionner, même dans les pays développés ? Pour commencer, il est extrêmement problématique de quantifier les résultats de manière crédible, et encore plus de les collecter et les gérer, dans la plupart des contextes considérés. Des preuves de réussite limitées, constatées pour des activités logistiques contrôlables, comme le recouvrement des impôts, ne signifient pas que l’on peut appliquer les mêmes mesures avec des attentes similaires pour les enseignants ou la police. Deuxièmement, dans la durée, il y a une grande probabilité que les incitations financières finissent par être considérées comme un dû, aggravant ainsi le problème des salaires déjà élevés des fonctionnaires de niveau inférieur. Enfin, les affectations et les mutations font partie des actions administratives dont les enjeux sont les plus importants, et lorsqu’elles interviennent dans des contextes où les « bonnes performances » ne peuvent pas être hiérarchisées de manière crédible et incontestable, elles peuvent entraîner polémiques et mécontentement.
Il existe très peu d’innovations, qu’il s’agisse de grandes idées, de refontes des processus, voire de nouvelles théories de management, qui puissent durablement et significativement « influencer le comportement de la police dans un laps de temps relativement court » dans des contextes où le système et sa gouvernance sont entachés de graves lacunes. Toutes choses égales par ailleurs, les systèmes de police qui « fonctionnent bien » reposent vraisemblablement sur la combinaison d’une capacité administrative fonctionnelle et d’un bon leadership. L’intensité du second facteur peut même masquer temporairement les déficiences du premier. C’est pour cette raison que nous continuons à entendre parler d’administrations mal gérées qui deviennent soudainement efficaces à l’arrivée d’un bon commissaire de police, et reviennent à l’état précédent lorsque celui-ci s’en va.
En langage économique, la fonction de production permettant d’obtenir de bons résultats au niveau de la police dépend essentiellement de ces deux éléments. La plupart du temps, les innovations peuvent fonctionner à la marge pour améliorer la capacité administrative et libérer des énergies de leadership pour une utilisation productive à un autre niveau. Mais dans les systèmes vraiment faibles, comme c’est le cas ici, le leadership est nécessaire afin de générer de bons résultats à court terme et renforcer les capacités institutionnelles à long terme.
Relever le défi du renforcement des capacités de l’État était une opportunité offerte aux chercheurs engagés dans le programme Rythu Bandhu au Telangana. Pour les chercheurs, le problème de fond était d’améliorer l’efficacité de la mise en œuvre du programme. Le système de remontées d’informations par téléphone n’est qu’une approche parmi d’autres, qui présente plusieurs dangers potentiels. Les chercheurs auraient plutôt pu profiter de l’occasion pour comprendre comment le suivi de la mise en œuvre pouvait être amélioré. Cela aurait été utile pour étudier les problèmes de capacité de l’État, et notamment la question cruciale d’une utilisation plus efficace des systèmes de surveillance permettant de contrôler la qualité de la mise en œuvre du programme. Ces problématiques ne se prêtent malheureusement pas aux RCT.
Que serait une approche de suivi plus durable et plus efficace pour étudier les programmes de développement ? Considérons certaines variables (il pourrait y en avoir d’autres) liées à des études de ce type : qui étudie et qui est étudié, à quelle fréquence, quels sont les paramètres spécifiques concernés ? Ainsi, un collecteur de district (ou un responsable de développement de bloc, en anglais Block Development Officer – BDO) pourrait examiner une fois par semaine (ou une fois tous les quinze jours) le travail du BDO (ou du percepteur de village, en anglais Village Revenue Officer – VRO) sur certains indicateurs de processus (traitement des autorisations) ou de résultat (réception ou encaissement).
Comment pourrait-on optimiser cet examen ? Disons que tous les blocs seraient divisés en deux groupes de traitement et deux méthodes d’examen différentes des BDO (ou utilisées par ceux-ci) ou des VRO – on peut imaginer ces options sans trop d’efforts –, que l’on opposerait au groupe de contrôle gardant les méthodes de suivi habituelles.
Un tel dispositif mettrait immédiatement en lumière l’importance de la qualité du suivi et le rôle des améliorations des capacités de l’État (d’une manière plus objective que cela n’a jamais été fait auparavant par des chercheurs) dans une mise en œuvre efficace. Si, par exemple, il s’avère que les BDO qui examinent les VRO une fois par semaine, sont, par rapport à ceux qui procèdent à cet examen une fois par mois, associés à une augmentation de x % des encaissements de transferts monétaires pour le quartile le plus pauvre, cela sert de déclencheur, avec à l’appui des données significatives et exploitables, pour le Secrétaire du gouvernement de l’État de Telangana qui met en œuvre le programme Rythu Bandhu. On pourrait donc générer des retombées réelles plus importantes et à un coût quasiment nul.
De plus, les gains dépassent la simple amélioration de l’efficacité de l’intervention spécifique. Cette démarche s’appliquerait probablement à la plupart des interventions mises en œuvre dans cette juridiction. Elle mettrait véritablement en évidence la capacité de l’État, et plus précisément la façon dont un meilleur suivi pourrait accroître l’efficacité de la prestation de services publics. Cela peut sembler aller de soi, mais, dans un monde où chacun est à la recherche d’innovations et de manières différentes de faire les choses, ce qui devrait être totalement évident finit souvent par être marginalisé !
Dans la même veine, les questions qui intéressent les praticiens dans le cas des audits menés par des tiers sont plutôt de l’ordre de la « plomberie ». Ce qui aurait été très utile pour les responsables des PCB concernés, c’est la conception d’un système solide d’audits de pollution réalisés par des tiers indépendants. Quelques questions viennent immédiatement à l’esprit. Quelle serait la conception la plus rentable pour des audits menés par des tiers ? Quel nombre, quelle fréquence et quelle portée des inspections seraient les plus rentables ? Que peut-on faire pour limiter le risque de capture réglementaire ? Comment les audits peuvent-ils répondre à des attentes évolutives ? Comment les méthodes d’inspection devraient-elles changer pour pallier la forte probabilité d’adaptation et de manipulation des audits par les usines ? Et, comment les audits peuvent-ils être financés de manière durable ?
Dans le cas de travaux d’ingénierie, la conception la plus rentable serait axée sur le plus petit nombre d’échantillons avec la périodicité la plus longue possible sans compromettre l’effet dissuasif. Concernant la capture, les inspections devraient non seulement être aléatoires, mais également réalisées par du personnel en rotation. Les organismes eux-mêmes devraient être réorganisés régulièrement, ou plusieurs organismes devraient être sollicités. Pour ce qui est des attentes évolutives, il pourrait s’avérer nécessaire de revoir périodiquement les critères d’audit et de les calibrer pour prendre en compte les adaptations. Sur le plan du financement, il pourrait être opportun que les PCB commandent et financent les audits et, peut-être, qu’ils récupèrent une partie des coûts sous la forme de taxes aux usagers (ou par le biais des amendes perçues, bien que cela puisse avoir des effets pervers) qui seraient versées dans un fonds commun. Ce sont-là autant de détails compliqués relatifs à la mise en œuvre, qui relèvent du rôle du bureaucrate.
Mais, en fin de compte, ce dont les praticiens ont besoin, c’est d’une conception des audits de tiers qui soit simple et applicable sur le plan administratif. Ou, plus précisément, il leur faudrait un document d’appel d’offres qui reprenne toutes ces spécifications de conception. Or, les travaux de recherche précédemment mentionnés n’apportent rien de pertinent sur ce plan.
Une autre recommandation, en rapport avec votre deuxième question, est d’élargir considérablement le champ des questions de recherche pour couvrir la liste que je vous ai proposée plus tôt.
Quels seraient, selon vous, les points clés que les chercheurs devraient retenir de ces exemples ?
D’emblée, je tiens à préciser que mon objectif n’est pas de minimiser l’importance des RCT ou des expérimentations de terrain dans ces domaines. Elles ont une valeur incontestable, mais doivent être considérées dans leur véritable perspective. Il y aura toujours des cas où les gouvernements devront faire un choix entre différentes options possibles. Ces expérimentations peuvent renforcer les arguments en faveur de certaines idées convaincantes et contribuer à créer une dynamique pour leur adoption à grande échelle. Et, tout aussi important, elles génèrent des preuves empiriques qui peuvent aider à éviter les mauvaises idées. À tout le moins, elles fournissent au responsable politique hésitant une base lui permettant d’initier des audits indépendants et/ou par échantillonnage aléatoire. Fondamentalement, nous avons besoin d’une boîte à outils complète d’évaluations qualitatives et quantitatives pour nous aider à générer des informations permettant de concevoir et d’améliorer la mise en œuvre des interventions de développement.
Les trois cas présentés ont en commun une particularité importante, caractéristique de nombreuses RCT. Ce sont des solutions techniques autonomes qui, considérées isolément, ont un attrait certain sur le plan logique. Les visites secrètes sont des techniques simples et astucieuses. Les audits indépendants réalisés par des tiers qui sont payés à partir d’un fonds central et validés par des contre-vérifications sont logiquement inattaquables. Les centres d’appels et les remontées d’informations par téléphone donnent une impression d’indépendance et de simplicité. Ces trois exemples semblent nouveaux ou innovants, en ce sens qu’ils ne constituent pas la norme. Ils ont un attrait irrésistible lorsque l’on prend le problème isolément et que l’on considère la triste photographie, constellée d’échecs, des réponses administratives habituelles. Et il est possible de mener des projets pilotes de courte durée dans tous ces domaines, supervisés par des assistants de recherche de grande qualité, et de produire des preuves d’efficacité.
Malheureusement, quand on arrive au point critique de la mise en œuvre à grande échelle, l’ironie veut que toutes ces caractéristiques attrayantes se transforment en défauts. Certains facteurs, sur lesquels on avait fermé les yeux, deviennent des freins. La capacité de l’État à administrer et à contrôler, qui était masquée par la faible ampleur de l’expérimentation de terrain et la présence de chercheurs dynamiques et enthousiastes, est mise à nu. La logique ne résiste pas aux défis pratiques. Le système reprend le dessus.
La plupart des bureaucrates en sont conscients et les plus avertis renoncent à ces solutions de fortune ponctuelles ou les adoptent dans le cadre d’efforts de réforme systémique. Les responsables politiques en quête de popularité ou de réponses rapides ont une préférence pour ces solutions « au coup par coup », qui sont invariablement abandonnées dès qu’ils changent de poste.
Dans les trois cas, les preuves apportées par la recherche ont un rôle important à jouer dans l’amélioration des systèmes de police, dans la conception d’un système solide d’audits menés par des tiers et dans le suivi rigoureux de la mise en œuvre du programme. La réponse à la problématique du bureaucrate n’était pas une évaluation randomisée globale impliquant des innovations difficiles à mettre en œuvre. Ce qui était nécessaire, c’était plutôt de trouver des solutions institutionnelles plus durables.
Après une étape complète de résolution de problème, la recherche spécifique aurait dû porter sur un questionnement tel que celui-ci : sous réserve de l’efficacité des inspections surprises aléatoires dans la lutte contre la conduite en état d’ivresse, des audits menés par des tiers pour vérifier les rejets d’effluents et des systèmes de surveillance pour renforcer l’efficacité de la mise en œuvre du programme Rythu Bandhu, quelle serait l’approche la plus durable, pratique et rentable ?
Comme nous l’avons dit précédemment, il aurait fallu un ensemble d’outils plus hétérodoxes ou une combinaison de méthodes quantitatives et qualitatives. Cela aurait impliqué des tests A/B de courte durée pour déterminer les éléments incertains, des ethnographies/études qualitatives pour identifier les processus critiques, etc. Au cours de la mise en œuvre, il pourrait également s’avérer nécessaire d’utiliser les RCT pour une évaluation complète de modèles de programmes concurrents.
Il convient en outre de noter que, parmi ces problèmes de « plomberie », beaucoup n’ont rien de spécifique au Gujarat ou même à l’Inde. Les contextes généraux sont les mêmes : faible capacité de l’État, bureaucraties centralisées marquées par un faible niveau de confiance, ressources limitées, fonctionnaires surchargés et environnements de travail difficiles. Les facteurs relevant de l’économie politique apportent un degré de complication supplémentaire. Ils sont universels dans la plupart des pays en développement. Ainsi, de nombreux problèmes de « plomberie » susceptibles d’être testés comportent des caractéristiques généralisables. Ces efforts de recherche constituent donc peut-être des occasions manquées et, plus inquiétant encore, de nombreux chercheurs ne sont peut-être même pas conscients que les défis décrits plus haut sont bien réels.
Ces arguments sont motivés par la solide conviction que je me suis forgée en observant les origines de nombreuses études de ce type, voire en dirigeant des agences gouvernementales dans des endroits où plusieurs expérimentations de ce type (mais pas les trois exposées ici) étaient réalisées, que la recherche de terrain commence rarement par un besoin ou un problème ressenti par les représentants du gouvernement. Le plus souvent, les chercheurs en chef, ceux qui ont conçu la recherche, tombent sur une idée, habituellement dans le cadre d’une intervention indépendante, et sont motivés par un souci d’utilité. Partant de cette motivation, ils travaillent à contre-courant pour élaborer une hypothèse de « solution », obtenir un financement par un donateur, puis ils prennent contact avec un interlocuteur gouvernemental pour lui soumettre une proposition d’évaluation. Il est peu probable que l’interlocuteur gouvernemental ait un problème, ni qu’il ait un grand intérêt dans le résultat. Pour faire contrepoids, les gouvernements engagent tout au long de l’étude des consultants pour résoudre des problèmes spécifiques. Ces missions représentent un effort réel. Le travail débute par un examen approfondi du contexte du problème et des possibilités de solution émergent (une approche de type résolution de problème est plus complète), même si l’analyse des solutions manque de rigueur et les résultats sont pris au sérieux – qu’ils soient mis en œuvre ou non.
Bien qu’il existe aussi des difficultés pratiques, le principal obstacle pour s’attaquer directement au problème réside dans une mauvaise compréhension, parmi les chercheurs, des véritables défis liés à la « plomberie ». Il semble bien que les meilleurs « plombiers » (si on met de côté les vrais) soient les praticiens eux-mêmes. Les compétences en « plomberie » relèvent davantage de l’expérience vécue que d’un savoir théorique acquis.
Entretien avec Ila Patnaik
Ila Patnaik, vous êtes actuellement professeure au National Institute of Public Finance and Policy à New Delhi. Avant cela, vous étiez conseillère économique principale du gouvernement indien. Cela vous confère une double compétence pour évaluer le rôle des RCT dans l’élaboration des politiques en Inde. Pourquoi l’Inde est-elle devenue un lieu de prédilection pour les RCT ?
L’Inde est pratiquement devenue le centre névralgique des études RCT dans les pays en développement. Les données de l’American Economic Association concernant les RCT recensent 247 RCT réalisées en Inde depuis 2012. C’est le nombre le plus élevé dans le monde après les États-Unis. Sur ces 247 RCT, 137 ont été financées par l’Abdul Latif Jameel Poverty Action Lab (J-PAL). Les chercheurs préfèrent l’Inde aux autres pays pauvres, ce qui peut s’expliquer par le fait que l’anglais est couramment parlé et écrit dans la majeure partie du pays, et qu’il y règne un niveau de paix et de sécurité acceptable par rapport à d’autres pays en développement, où la violence et les interruptions de travail régulières peuvent venir perturber les expérimentations qui ne durent que quelques mois en raison de l’incertitude politique. En outre, une étude est moins coûteuse à réaliser en Inde que dans un pays riche. Des sommes très modestes peuvent suffire pour couvrir le coût du programme, le recrutement d’évaluateurs pour l’enquête, ainsi que les incitations financières pour les sujets afin de garantir la participation.
Les chercheurs viennent donc en Inde pour mener leurs expériences de recherche. La démarche est essentiellement conditionnée par l’offre plutôt que par la demande. En effet, les études ne sont pas induites par les problèmes auxquels les décideurs politiques sont confrontés aujourd’hui, mais par l’obligation, pour les chercheurs, de rédiger des articles pour leur doctorat ou pour des publications. La tendance est à créer de nouvelles interventions, plutôt que d’essayer d’évaluer l’impact d’une même intervention dans des régions, des communautés et des cadres de gouvernance différents.
Lorsque des chercheurs étrangers issus des meilleures universités et disposant de milliers de dollars expliquent aux bureaucrates des gouvernements locaux qu’ils peuvent investir des sommes non négligeables dans un programme qui permettra aux responsables concernés de valoriser leur image et de résoudre certains des problèmes auxquels ils font face, il est bien souvent difficile pour les bureaucrates de résister à de tels avantages. Les autorités locales « soutiennent » souvent ces études en accueillant les chercheurs, en les aidant à établir des contacts ou en fermant les yeux sur l’expérience. Les chercheurs indiens se précipitent fréquemment pour devenir administrateurs des RCT pour le compte des chercheurs étrangers. Ce sont eux qui gèrent le projet sur le terrain tandis que le chercheur international apporte les fonds et dirige le projet. Les chercheurs indiens sont parfois co-auteurs, mais ils restent généralement de simples employés.
Qu’en est-il des considérations éthiques ?
L’Inde n’a pas non plus établi de loi ou de réglementation concernant la façon dont les RCT doivent être réalisées et contrôlées. Les expériences qu’il n’est pas possible de mener aux États-Unis (par exemple, celles faisant intervenir des personnes mineures, impliquant la géolocalisation des individus ou l’absence de consentement éclairé) sont effectuées en Inde. En Inde (contrairement à de nombreux autres pays pauvres, par exemple), comme il n’existe pas d’organisme de régulation ou d’institution pour délivrer des autorisations pour la réalisation d’expérimentations, la procédure exige généralement l’approbation de l’université à laquelle le chercheur est affilié, mais personne, dans le pays, ne voit ce qui se passe. Les visiteurs, qui sont parfois des étudiants en doctorat, viennent souvent à titre personnel avec des visas touristiques, sans s’inscrire en tant que chercheur ou sans disposer d’autorisation explicite pour les travaux qu’ils mènent. Il n’existe donc aucun dispositif de contrôle des expériences réalisées en Inde ou sur des citoyens indiens. Bien souvent, on ne demande pas le consentement du sujet et cette violation des droits n’est même pas consignée. Et si elle l’est, le sujet est généralement une personne pauvre qui est prête à renoncer à sa vie privée et à céder ses informations personnelles et l’accès à sa personne ou à son entreprise contre une somme dérisoire, peu coûteuse en particulier pour les projets financés par des fonds internes.
Compte tenu des retombées pour les gouvernements, les universités et les organismes de financement, il n’est dans l’intérêt d’aucun groupe de protéger les sujets contre les expériences intrusives des chercheurs. Certains aspects sont donc très discutables en termes d’éthique, comme donner des comprimés à des enfants en bas âge, géolocaliser des étudiants ou donner des avis non scientifiques aux agriculteurs.
En 2017, le gouvernement indien a promulgué une loi sur les essais cliniques, afin d’éviter les pratiques non éthiques dans ceux qui ont lieu en Inde. Mais il reste nécessaire que le parlement indien vote également une loi et crée un organisme de régulation, ainsi qu’un cadre pour la réalisation de RCT dans le domaine des sciences sociales.
Quelle est l’utilité des RCT pour les décideurs politiques en Inde ?
Les RCT en économie du développement illustrent ce que nous pourrions appeler jugaad en Inde, c’est-à-dire une façon de « faire sortir quelque chose du système » sans résoudre vraiment les problèmes fondamentaux en matière de croissance économique ou de capacité de l’État. Le terme jugaad renvoie à une méthode permettant de résoudre un problème sans traiter les raisons qui sont à l’origine de ce problème, une méthode qui ne constitue en général pas une solution universelle. C’est un moyen qui, d’une manière ou d’une autre, offre une solution efficace à un problème, un « contournement », une « solution de fortune » qui évite de régler les questions fondamentales liées à la conception ou de se demander pourquoi le problème est apparu initialement. C’est une solution qui doit être mise en œuvre de manière répétée parce que l’on s’attaque rarement à la racine du mal et qui fonctionne pour un problème donné, à un endroit et à un moment donnés.
Les RCT, dont on connaît la faible validité externe, ne sont pas très utiles pour prendre des décisions politiques centralisées. On sait bien que les affirmations causales d’une RCT manquent de validité externe, mais trop souvent, auteurs et lecteurs se laissent aller à une généralisation. C’est un problème particulièrement important en Inde. L’Inde est une économie à une échelle continentale, caractérisée par une diversité extrême au sein du pays. Pour bien appréhender la situation dans celui-ci, il faut comprendre que le rapport entre les régions les plus favorisées et les moins favorisées de l’Inde est comparable au rapport entre les pays les plus riches et les plus pauvres d’une zone comprenant l’Amérique latine et l’Afrique réunies. Le terme « pays » renvoyant dans l’esprit à une unité organisationnelle naturelle, nous avons tendance à faire preuve de davantage de précautions lorsque nous appliquons les résultats d’un article sur la Tanzanie, par exemple, à l’élaboration d’une politique au Chili. Mais nous sommes plus enclins à penser qu’une étude publiée en Tanzanie devrait influencer la réflexion globale à l’échelle de ce pays. De nombreux chercheurs et décideurs politiques ont ainsi tendance à extrapoler sans se poser de questions les résultats d’une RCT concernant une région de l’Inde à d’autres régions du pays. Et c’est généralement une source de problèmes. Les auteurs comme les lecteurs doivent être plus attentifs à la manière dont les articles sont écrits, afin de mieux cerner les implications d’un projet de recherche donné.
Dans chaque pays, à tout moment, certaines questions viennent occuper une place importante dans la réflexion sur les politiques. Ces dernières années en Inde, les problématiques liées à la réglementation des banques et de l’économie, à l’inflation, à la politique des taux de change et au système juridique ont par exemple occupé le devant de la scène. Dans la plupart de ces domaines, l’utilité des RCT est limitée. Elles sont utiles plutôt pour les responsables des organes de régulation bien structurés. À titre d’exemple, l’US Securities and Exchange Commission, l’organisme fédéral américain de réglementation et de contrôle des marchés financiers, mène des expérimentations lorsqu’elle réfléchit à la façon de faire évoluer la réglementation. Mais en Inde, nos problèmes sont plus basiques. Il n’existe pas d’institution de régulation responsable, intégrée dans un État de droit et disposant d’un système de pouvoirs et de contre-pouvoirs permettant de compenser les incitations individuelles au sein de l’organisation. La réflexion actuelle en matière de politiques économiques est focalisée sur des mécanismes de droit administratif qui permettraient de freiner des responsables exerçant un pouvoir coercitif. Dans ce contexte, les RCT ont un impact limité sur la façon d’appréhender les questions importantes. L’allocation disproportionnée des ressources humaines de la communauté économique en faveur des RCT a contribué à réduire la contribution des économistes au processus d’élaboration des politiques.
Quel est l’impact des RCT sur la profession d’économiste en Inde ?
L’un des moteurs importants du développement économique est la présence d’une communauté d’économistes compétents au sein du pays. Je suis un peu désabusée par l’impact de la révolution des RCT sur cette jeune communauté. Comme je l’ai indiqué plus haut, l’intérêt disproportionné porté aux problèmes qui peuvent être résolus grâce aux RCT est délétère pour une communauté de chercheurs capables de travailler sur des questions vraiment importantes. Les publications relatives aux RCT nécessitent des financements de grande ampleur selon les standards indiens. Pour l’essentiel, ces fonds proviennent de sources étrangères, ce qui a créé une forme de dépendance particulière : les chercheurs, à qui l’on a dit que seuls des travaux concernant les RCT pouvaient être publiés, sont contraints de solliciter les réseaux internationaux qui sont à même de réunir les vastes ressources requises pour mener ces recherches. Cela a nui à l’authenticité des réflexions, et entravé la capacité à observer le monde et à se poser les questions importantes. Au lieu d’avoir une seule distorsion (le décalage entre les intérêts des éditeurs, des évaluateurs scientifiques et des chercheurs), il existe maintenant trois distorsions supplémentaires (seules les problématiques auxquelles on peut répondre à l’aide des RCT sont éligibles aux recherches, seules les questions qui intéressent les bailleurs de fonds étrangers sont prises en considération, et seuls les sujets pour lesquels il existe de tels réseaux internationaux peuvent être traités). Les publications sur les RCT se concentrent majoritairement sur des questions très limitées (par exemple : l’assiduité des enseignants s’améliore-t-elle lorsque l’enseignant doit poster un selfie chaque matin), et cela s’est fait au détriment d’une intellectualisation plus large de la jeune communauté des chercheurs en économie du développement. La capacité intellectuelle à penser l’économie et à réfléchir aux problématiques de l’Inde a décliné en échange des perspectives de carrière offertes par une publication dans des revues scientifiques de renom.
La réalisation de RCT constitue-t-elle une allocation efficace de ressources limitées au service de l’économie indienne ?
Si j’étais un planificateur central allouant des ressources pour mieux servir l’économie en Inde, il me semble évident que la meilleure façon d’optimiser le potentiel serait de créer davantage de données de toutes natures, et des données de meilleure qualité. En Inde, nous ne disposons notamment pas de données de qualité sur le produit intérieur brut (PIB), la consommation ou l’emploi. Il y a même un débat autour du nombre réel des personnes sans emploi dans le pays. Élaborer des politiques en l’absence de données revient à conduire avec un bandeau sur les yeux. Du point de vue d’un économiste, il serait plus utile d’utiliser les ressources pour mesurer l’économie, l’emploi, le marché du travail, etc. Nous ne disposons d’aucune mesure relative au secteur informel, pas plus qu’à l’innovation, aux compétences ou à la productivité, alors que ce sont des données essentielles pour élaborer des politiques et stimuler la croissance. Nous naviguons à vue lorsqu’il s’agit de l’économie dans son ensemble. Si, grâce aux RCT, nous connaissons le comportement des agents sur les marchés locaux du crédit, nous avons beaucoup de mal à mesurer l’évolution des taux d’intérêt sur les marchés informels du crédit.
Les données économiques concernant les ménages en Inde sont limitées. À titre d’exemple, les premières données de panel sur les ménages, qui reposent sur trois observations annuelles d’un échantillon de ménages, ne datent que de ces dernières années. La production d’un tel ensemble de données nécessite des ressources comparables à celles de quelques RCT, et va permettre de créer un corpus complet de nouvelles connaissances sur l’Inde. Une grande partie de ces connaissances seront descriptives, et d’autres quasi expérimentales. Cet investissement semble constituer une meilleure utilisation des ressources, en comparaison de quelques RCT qui coûteraient la même somme pour peu de résultats et une recherche non reproductible. Les données de panel permettent une réplication et font naître une concurrence entre les chercheurs (pour un investissement modeste), ce que les RCT ne sont pas capables de faire dans une telle mesure. Les données de panel offrent une mesure durable de faits simples et élémentaires concernant le pays (par exemple sur la participation des femmes à l’emploi), ce que les RCT ne permettent pas. Les données de panel sont beaucoup plus précieuses pour le développement d’une communauté de recherche indienne pertinente pour les politiques. Je comprends bien en quoi les problèmes de représentation des organisations gouvernementales et philanthropiques combinés à la recherche de solutions très à la mode ces dernières années ont incité à « découvrir ce qui fonctionne », au détriment d’une construction plus complexe d’un savoir en sciences humaines et sociales indispensable à l’élaboration des politiques. Mais, après ces longues années de « révolution des RCT », je plaide en faveur d’une réorientation vers des approches plus traditionnelles.
Annexe
Annexe A. Liste des sujets de recherche sur l’économie et la politique étrangère de l’Inde
Il est préoccupant de constater que des sujets importants relatifs à l’Inde ne suscitent qu’un intérêt limité de la part des chercheurs. Le seul domaine qui intéresse les chercheurs renommés au sujet de l’Inde concerne les études sur la pauvreté comportant une évaluation randomisée (RCT) et des conceptions romancées de l’entrepreneuriat et des entreprises sociales visant la « base de la pyramide » (Bottom of Pyramid – BoP).
Les activités de recherche peuvent aller des analyses économétriques aux ethnographies, en passant par les études de cas/d’événements. L’objectif devrait être de promouvoir une recherche de la plus haute qualité qui puisse alimenter de manière fiable les débats sur certaines problématiques de l’Inde, et influencer ainsi l’élaboration de politiques dans ces domaines.
Voici une liste indicative des domaines dans lesquels les politiques publiques peuvent être améliorées de manière significative grâce, notamment, à des travaux de recherche de haute qualité.
- Marchés financiers
- Politique monétaire : comment l’approche indienne hétérodoxe de la politique monétaire menée avant et pendant la crise financière mondiale se situe-t-elle par rapport à l’approche orthodoxe ? Évaluation de la transmission de la politique monétaire, quantification, contraintes probables et comparaison avec d’autres pays. Évaluation des causes récentes de l’inflation en Inde. Le ciblage de l’inflation est-il une stratégie de politique monétaire appropriée pour l’Inde, ou l’Inde devrait-elle adopter un ensemble d’outils plus hétérodoxes et, si oui, de quoi devrait être composé cet ensemble ?
- Quelle a été l’expérience de l’Inde en matière de gestion des flux de capitaux, notamment par rapport à ses homologues ? Comment l’Inde a-t-elle réussi à atténuer les répercussions des arrêts soudains et des fuites de capitaux ? Quels sont les enseignements tirés des politiques de gestion des taux de change ?
- Marchés de capitaux : comment les différentes composantes des marchés de capitaux indiens ont-elles évolué dans le temps par rapport à leurs homologues ? Quel est le niveau d’intégration globale des différents segments des marchés financiers nationaux ? Comment la réglementation des marchés de capitaux de l’Inde se situe-t-elle par rapport à celle de ses homologues ?
- Infrastructures
- Quelle a été l’expérience de l’Inde en matière de la participation du secteur privé aux projets d’infrastructures par rapport à celle des pays d’Amérique latine et d’Europe ? Évolution des partenariats public-privé (PPP), tendances en matière de dépassements de coûts et de délais, évaluation du rapport qualité-prix et comparateurs du secteur public par rapport aux PPP, problèmes des offres agressives et des financements imprudents, renégociations et leurs cadres, variantes de contrats/concessions, sources de financement, monétisation des actifs, etc.
- Comment les entreprises d’infrastructures indiennes, leurs pratiques commerciales et leurs stratégies de financement se situent-elles par rapport à celles d’autres grandes économies (notamment européennes) ?
- Comment se situent les barèmes de coûts et les pratiques/approches en matière de passation de marchés publics d’infrastructures en Inde, en Chine et ailleurs ?
- Secteur bancaire
- Quelle est l’expérience de l’Inde en matière de crises périodiques du secteur bancaire et de leur résolution par rapport à celle de la Suède, des États-Unis, de l’Espagne, de l’Irlande, de l’Islande, de l’Italie, etc. ?
- Quels sont les pratiques de gestion, les contrôles internes et les processus d’évaluation du crédit des banques publiques et des banques privées ? Comment les pratiques de micro-gestion du gouvernement faussent-elles les mécanismes d’incitation au sein des banques du secteur public ?
- Politique industrielle
- Quelle est l’évaluation/la quantification des zones économiques spéciales (ZES) de l’Inde sur le plan de la création d’emplois, de l’augmentation de la production et du vaste champ des externalités, y compris les retombées technologiques et les effets de déplacement ? Comment se situent-elles par rapport à la politique de la Chine en matière de ZES ? Comment une approche basée sur des « Villes sous charte » (Charter Cities, en anglais), ou sur des réglementations pourrait-elle être différenciante, et quels gains potentiels peuvent être quantifiés ?
- Quelle est l’évaluation/la quantification de la politique industrielle de l’Inde basée sur les avantages fiscaux et les concessions sur les intrants, à la fois en termes de bénéfices directs et d’externalités ? Quel a été son impact sur la croissance des petites et moyennes entreprises (PME) par rapport aux grandes entreprises ? Quels autres leviers de politique industrielle peuvent être utilisés sur la base de l’expérience d’autres pays et quel serait leur impact potentiel sur les recettes fiscales et la croissance économique ?
- Quel a été l’impact relatif des principaux leviers de politique industrielle que sont les avantages fiscaux et les subventions aux intrants sur les PME et les grandes entreprises ?
- Évaluation des réformes relatives à la facilité de faire des affaires (« Ease of Doing Business ») et études comparatives : qu’est-ce qui a fonctionné et qu’est-ce qui n’a pas fonctionné ?
- Quelle a été la création nette relative d’emplois par les grandes entreprises et les PME, l’impact des sociétés multinationales sur les entreprises nationales et leur productivité, les gains de transferts de technologie émanant des sociétés multinationales ? Quels sont les impacts relatifs des investissements directs étrangers et des investissements nationaux sur la productivité, la production et la création d’emplois ?
- Pourquoi la chaîne de valeur mondiale (CVM) échappe-t-elle à l’Inde ? Que peut-on faire pour associer l’Inde à la CVM ? Comment les pays ont-ils établi et renforcé les liens avec la CMV et quels enseignements peut-on en tirer pour l’Inde ?
- Finances publiques
- Évaluation du fédéralisme fiscal de l’Inde par rapport à celui d’autres grandes démocraties.
- Évaluation du système d’imposition direct et indirect de l’Inde sous divers aspects : descriptions et comparaisons, réaction/élasticité à différents instruments de politique fiscale et indicateurs de croissance, impact des mesures informelles sur les recettes fiscales, distorsions des incitations résultant de mesures d’application offensives, etc.
- Évolution du régime de subventions de l’Inde : quelle est son efficacité/efficience relative dans le temps et par rapport à d’autres ?
- Comment les différents régimes et taux de la taxe sur les produits et services se situent-ils les uns par rapport aux autres en termes de mobilisation des recettes, de bénéfices des entreprises et de croissance économique ?
- Réformes des marchés des facteurs de production
- Quel a été l’impact des dispositions essentielles de la loi sur les conflits du travail (« Industrial Disputes Act »), en particulier celles relatives aux départs, et la performance relative de l’Uttar Pradesh et d’autres États qui ont disposé de seuils plus élevés ?
- Quels ont été les coûts liés à la multiplicité des réglementations du travail et aux exigences de conformité/dépôt/déclaration qui en découlent ? Quel a été le principal facteur de dissuasion au rassemblement de milliers d’employés dans un régime unique, en particulier dans des secteurs comme le textile ?
- Quelles sont les principales sources de distorsion sur le marché foncier, quels ont été leurs effets respectifs, quelles sont les options politiques possibles pour éliminer ces distorsions et comment se situent-elles les unes par rapport aux autres ?
- Marchés informels
- Étude descriptive de l’économie informelle de l’Inde et de ses externalités positives et négatives. Comment a-t-elle évolué depuis la libéralisation du début des années 1990 et comment se situe-t-elle par rapport à celle des pays homologues ? Perspectives sur la manière de s’attaquer à l’économie informelle et de réduire son rôle : faut-il plutôt forcer les entreprises à aller vers l’économie formelle ou encourager les nouvelles entreprises à démarrer dans l’économie formelle ?
- Comment les marchés formels et informels interagissent-ils entre eux ? Quel est l’impact des grandes entreprises sur la productivité et la croissance des entreprises sur les marchés informels ?
- Urbanisation
- Quels sont les coûts associés au faible coefficient d’occupation des sols (COS) de l’Inde, et à l’expansion urbaine qui en résulte en termes d’accessibilité au logement, de déplacements urbains et de pollution de l’environnement ? Quel est le coût en termes de productivité et de croissance urbaines lié au faible COS ?
- Évaluation des recettes de l’impôt foncier par rapport à celles des pays homologues. Quelles sont les sources possibles de revenus pour les gouvernements locaux en Inde et quel est leur potentiel respectif ? Quel est le potentiel de financement par récupération des plus-values et d’achat de COS ?
- Ampleur et importance du problème du caractère abordable ou non des logements en Inde et ses conséquences économiques. Quelles sont les réponses politiques découlant de l’expérience d’autres pays ? La rénovation urbaine s’est-elle accompagnée d’une gentrification et quel est son impact sur l’inclusion ? Quels sont les principaux facteurs influençant les prix de l’immobilier en zones urbaines ? Comment le programme indien de logements publics urbains a-t-il fonctionné : quel a été son impact et quelles comparaisons peut-on faire avec d’autres pays ? Quels sont les impacts relatifs des principaux instruments du type mandats, augmentation des COS, logement public ou cession de terrains publics sur les prix des logements et sur le parc de logements abordables ?
- Évaluation de la fourniture de services publics urbains en Inde par rapport aux pays homologues ? Quel a été le coût des externalités dues aux embouteillages, à la pollution de l’air, à l’interruption de l’approvisionnement en eau, aux installations d’égouts défectueuses et aux rejets dans les rivières, aux dépôts de déchets solides à ciel ouvert, etc. ?
- Comment le système indien de taxe foncière se situe-t-il par rapport à celui des pays homologues ? Comment a-t-il réagi aux diverses politiques et à l’augmentation des infrastructures ? Quelles sont les variations des taux d’imposition entre les villes indiennes, et quels enseignements peut-on en tirer en matière de bonnes pratiques et de tendances positives ?
Annexe B. Sujets de préoccupation pour les décideurs
Combien de questions ci-dessous sont susceptibles de trouver une réponse dans les RCT ? Et, au contraire, combien d’entre elles auraient pu trouver une réponse dans le cadre d’ethnographies, d’études comparatives et d’autres formes de recherches rigoureuses ?
- Sujets de préoccupation pour les
conseillers municipaux et les maires, supposant un bon rapport
coût/efficacité tout en étant faisables sur les plans politique et
administratif :
- Quelles seraient les tranches d’imposition les plus efficaces, les moins distorsives et les plus simples pour les impôts fonciers ?
- Quelles innovations peuvent réduire la sous-estimation par les inspecteurs des impôts – autocertification, inspections aléatoires internes, inspections aléatoires externalisées, nouvelles enquêtes périodiques, technologie ? Quels seraient les dispositifs de délégation de pouvoirs les plus efficaces pour les estimations fiscales ?
- Quel est le mécanisme d’incitation le plus approprié pour les inspecteurs des impôts afin de maximiser le recouvrement ?
- Quelles sont les approches possibles pour améliorer l’efficacité du recouvrement des impôts : récompenses, sanctions, encouragements, regroupement, mobilisation communautaire, humiliation, etc. ? Quelles sont les plus rentables ?
- Comment atténuer l’opposition politique (révolte, évitement fiscal) à l’introduction de nouvelles catégories de taxes : enlèvement des ordures à domicile, taxe routière sur les carburants, péages urbains, etc. ?
- Comment rationaliser et simplifier le processus d’agrément des constructions : où l’autocertification peut-elle être rendue suffisante, et où n’est-ce pas le cas ? Quelle innovation de processus peut-elle permettre de contrôler les infractions à la réglementation sur la construction ? Quel serait le dispositif de délégation de pouvoirs le plus efficace et le moins distorsif pour les agréments de construction ?
- Comment décourager la fraude sur les systèmes de raccordement d’eau, d’égouts et d’électricité et réduire le nombre de biens échappant à la facturation ? Quels sont les moyens les plus efficaces pour décourager les fraudes ?
- Des sommes considérables ont été investies dans les réseaux d’eau et d’égouts, mais seule une petite proportion de personnes finit par s’y raccorder en raison des coûts élevés de raccordement et d’autres obstacles. Comment faire en sorte que les ménages se raccordent aux réseaux d’eau et d’égouts une fois ces réseaux installés, sans compromettre le recouvrement des recettes ? Comment peut-on alléger les obstacles d’accès à ces réseaux ?
- Quels seraient les programmes de maintenance préventive les plus pratiques (pas nécessairement les meilleurs sur le plan technique) pour les canalisations, les réseaux d’égouts, les moteurs, les routes, l’éclairage public, etc. ?
- Comment réduire les embouteillages, en particulier sur certains tronçons routiers et à certains moments de la journée ? Ou comment réduire les embouteillages aux heures d’ouverture et de fermeture des écoles ?
- Quelle est la meilleure stratégie possible pour l’adoption d’une planification par étapes axée sur le transport ? Par exemple, des COS plus élevés, mais autour de quelles stations de transport ou de quels lieux spécifiques ?
- Comment développer l’utilisation des transports publics ? Comment décourager l’utilisation des véhicules privés ? Comment encourager un plus grand nombre de personnes à utiliser les transports publics ?
- Quelle devrait être la stratégie la plus efficace pour allouer le petit nombre de logements sociaux construits chaque année entre les nombreuses demandes concurrentes : tirage au sort, établissement de critères, etc. ? Comment s’assurer que les gens ne vendent pas le logement et ne retournent pas dans des bidonvilles ?
- Quelle serait la stratégie la plus efficace pour le déploiement des éboueurs : longueur des rues et des égouts, lieux de ramassage des ordures, etc. ?
- Quel devrait être le calendrier de gestion des stocks le plus efficace pour les entrepôts municipaux : produits sanitaires, fournitures pour l’éclairage public, pièces de rechange pour les réseaux publics, etc. ?
- Comment devrait être conçu le calendrier d’inspection le plus efficace (et le moins distorsif) pour les agents de recouvrement et les éboueurs employés par les municipalités ?
- Quelle est la stratégie la plus appropriée pour récompenser les agents de recouvrement, les éboueurs, les inspecteurs des bâtiments, etc. ?
- Quelles sont les stratégies les plus efficaces pour réduire les déchets jetés sur la voie publique ? Des poubelles ont été placées dans les lieux publics, mais les gens ne les utilisent toujours pas : alors, que faut-il faire ?
- Comment prévenir la défécation en plein air ? Comment prévenir la miction dans les rues ? Comment s’assurer que les toilettes publiques installées sont bien utilisées ?
- Quelle est la meilleure approche possible pour gérer les toilettes publiques ? Quelle stratégie permettrait de maximiser l’utilisation des toilettes publiques ? Comment la communauté peut-elle être mobilisée pour améliorer l’utilisation des toilettes ?
- Quel dispositif permettrait de rationaliser la vente ambulante : réglementations, incitations, « coups de pouce » ?
- Comment devraient être conçus les audits réalisés par des tiers pour les travaux d’ingénierie, les contrôles de présence des enseignants/fonctionnaires et l’exécution d’activités spécifiques, etc. afin qu’ils soient les plus rentables ? Quelle est la taille minimale des échantillons, la fréquence des visites et la portée des examens/inspections pour une action suffisamment dissuasive ?
- Comment améliorer la sécurité routière – les lieux, horaires et causes des accidents sont très concentrés et spécifiques – recours à des mesures d’encouragement, des patrouilles ciblées, etc. ?
- Questions préoccupantes pour le collecteur
de district/chef du gouvernement de comté :
- Quelles devraient être mes trois grandes priorités en matière de santé, d’éducation, d’agriculture, de moyens de subsistance et de protection sociale ? Quels sont les résultats que je devrais surveiller pour chacune de ces priorités et comment le faire ?
- Quelles devraient être mes priorités en matière de développement rural ? Quels sont les résultats à surveiller, que faut-il faire et comment (pour chacune de ces priorités) ?
- Quelle devrait être ma priorité en matière de développement urbain et industriel ? Quels sont les quelques résultats que je devrais surveiller pour chacun de ces domaines ? Que faut-il faire et comment (pour chacun) ?
- Quels sont les 5 à 10 projets d’infrastructure que je devrais surveiller périodiquement ? À quelle fréquence ?
- Comment puis-je minimiser les pertes lors des différents transferts ? Existe-t-il une solution technologique ? Existe-t-il une option de réingénierie des processus ? Est-il possible d’appliquer des mesures d’encouragement ? Les pertes sont-elles concentrées sur une série d’opérations dans la longue chaîne de transferts ?
- Quelles sont les trois meilleures utilisations possibles d’un budget annuel de 100 millions de roupies consacré à l’innovation ?
- Quels sont les problèmes liés aux systèmes d’achats dans les différents services ? Comment rendre les achats plus transparents et plus rentables ?
- Quel est le moyen le plus efficace de contrôler mes services (et les programmes phares) ? Quelle devrait être la fréquence des contrôles des agents aux différents niveaux ? Quel devrait être le programme de contrôle pour chaque niveau, et comment assurer un suivi efficace ?
- Comment puis-je utiliser au mieux les données pour suivre les activités de terrain et l’avancement de la mise en œuvre du programme ?
- Comment optimiser l’efficacité de mes inspections sur le terrain ?
- Comment minimiser les absences non autorisées au niveau des agents ?
- Le collecteur de district préside de nombreux comités. Comment établir les priorités de travail entre les différents comités ?
- Comment puis-je rendre le système de règlement des plaintes dans mon collectorat plus efficace : trouver l’équilibre en veillant à ce qu’il soit véritablement une solution de dernier recours pour les citoyens et non une solution de premier recours ?
- Comment gérer le plus efficacement possible les audits réalisés par des tiers pour les travaux d’ingénierie, les contrôles de présence des enseignants/fonctionnaires, l’exécution d’activités, etc. ? Quelle est la taille minimale des échantillons, la fréquence des visites et la portée des examens/inspections pour une action suffisamment dissuasive ?
- Comment motiver mes employés (changer le discours/le langage) ? Comment tirer profit de leurs forces ? Comment les responsabiliser pour qu’ils s’approprient leur travail ?
- Quel est le bon niveau de délégation de responsabilités aux différents chefs de service, c’est-à-dire un niveau qui favorise l’efficacité et l’appropriation sans engendrer trop de problèmes ?
- Comment améliorer les acquis d’apprentissage ? Pour atteindre cet objectif, quelles sont les bonnes utilisations des roupies disponibles chaque année pour des dépenses discrétionnaires ? En général, quelles sont les bonnes utilisations des budgets de dépenses discrétionnaires pour les différents départements ?
- Quelles devraient être mes initiatives phares et sur quelle base les identifier ?
- Quelles sont les meilleures stratégies d’inspection pour les responsables des secteurs de la santé et de l’éducation à différents niveaux ? Une liste de contrôle peut-elle fonctionner ? Quelle est la liste de contrôle de second choix la plus crédible et la plus complète ?
- Comment exploiter au mieux les visites sur le terrain des agents de vulgarisation agricole et d’autres services (qui offrent des services de conseil) ?
- Comment dois-je rationaliser l’affectation de mon personnel : nombre adéquat de personnes qui traitent les priorités dans un secteur ?
- Quel est le système le plus efficace pour la coordination interservices ?
- Comment faire pour mobiliser des ressources afin que mes bureaux extérieurs locaux, dont les ressources sont limitées, disposent de suffisamment d’argent pour faire face à leurs dépenses ordinaires non salariales ?
- Questions préoccupantes pour les décideurs
politiques et le département de la santé :
- Quelle est la meilleure utilisation de mon budget santé non pré-affecté ? Comment dois-je répartir ce budget entre les activités primaires, secondaires, tertiaires, l’enseignement médical et d’autres activités ?
- Mes ressources en matière d’enseignants, de médecins et de personnel sont-elles affectées de manière optimale ? Quelle devrait être la meilleure politique d’affectation du personnel : critères pour les mutations, système de points ? Quelle est la meilleure stratégie d’affectation basée sur les besoins fonctionnels : médecins avec une formation de base, spécialistes ? Comment éviter les mutations/affectations ad hoc ?
- Quel devrait être le système d’affectation et d’orientation le plus efficace pour les places en écoles de médecine et les places dans des fonctions paramédicales ?
- Quelles sont les réglementations à réformer dans le domaine médical, et comment, dans un premier temps, définir celles qui sont susceptibles de générer les bénéfices les plus évidents et les plus importants, et celles qui sont réalisables ?
- Comment réglementer le plus efficacement possible les établissements d’enseignement médical et hôpitaux privés ? Comment réglementer les pratiques médicales : quelles sont les actions qui relèvent des associations professionnelles et celles qui relèvent des gouvernements ? Comment déléguer les pouvoirs de réglementation ?
- Comment intégrer les prestataires privés dans le système d’orientation ? Devrait-il y avoir un dispositif de régulation : engagement sur les tarifs à un niveau régional avec une certaine périodicité ?
- Comment améliorer la qualité des conseils de traitement dans les centres de santé primaire ? Les protocoles de traitement devraient-ils être obligatoires ? Si oui, comment les faire appliquer ?
- Quelle est la stratégie la plus efficace de saisie des données pour les dossiers médicaux électroniques ? Quels sont les domaines qui se prêtent le mieux à la digitalisation et à l’automatisation des flux de travail ? Quelle devrait être l’automatisation des flux de travail pour chaque initiative ?
- Comment améliorer mes protocoles de lutte contre les épidémies : quelle réorganisation des processus, quel degré d’automatisation, quel niveau de délégation ?
- Compte tenu de mes ressources, quelle devrait être ma stratégie en matière de maladies non transmissibles ? Jusqu’où les services gouvernementaux devraient-ils aller au-delà du dépistage ?
- Comment améliorer l’efficacité des formations ? Quelle devrait être la fréquence des formations ? Quel devrait être leur contenu ? à quel niveau géographique les formations seraient-elles les plus efficaces ? Les formations devraient-elles être complétées par un mentorat ? Qui devraient être les mentors ?
- Quelles incitations dois-je mettre en place pour les infirmières/agents sanitaires et sociaux agréés pour les accouchements en structures médicales et la vaccination : incitations en nature, points ou incitations financières ? Si elles sont financières, quel est le montant le plus susceptible d’être rentable ? Ou bien dois-je laisser les détails au libre arbitre des États (ou aux districts), et les tenir responsables des résultats liés à une mesure d’incitation globale ?
- Comment concevoir la transition la moins distorsive et la plus pratique entre le budget par poste et le budget axé sur les résultats ? Quelle est la meilleure stratégie possible pour amorcer le passage de l’actuelle budgétisation par poste à la budgétisation axée sur les résultats ? Quels domaines ou parties du budget se prêtent le mieux au démarrage du processus ?
- Dans quels domaines dois-je promouvoir des partenariats avec le secteur privé et quelle doit être la stratégie pour chacun d’eux ?
- Comment intégrer dans le système les praticiens non agréés et peu qualifiés (ou « charlatans »), qui constituent, dans la grande majorité des cas, les premiers points de contact avec le secteur du soin ? Comment devrait être conçu leur module de formation ?
- Comment rationaliser les mesures disciplinaires et simplifier les actions en justice concernant le personnel des services de santé ?
- Quels changements peuvent être apportés à la politique de recrutement afin de la rendre plus efficace, transparente et crédible ?
- Quels sont les changements à apporter à la politique des achats ? Comment la rendre plus transparente ? Quelle devrait être la délégation des pouvoirs la plus efficace en matière d’achats ? Comment gérer plus efficacement la chaîne d’approvisionnement en médicaments et en fournitures ? Quels achats devraient être délégués au niveau local ?
- Les problèmes du politicien (on se sent mal
rien que d’y penser…) :
- Comment gérer un système scolaire dans lequel les enseignants ne sont là que pour enseigner, tout en faisant fonctionner une démocratie avec des recensements, des sondages, des élections, des catastrophes à répétition, etc. qui requièrent leur participation ?
- Comment gérer une unité juridictionnelle démocratique dans laquelle personne ne veut payer d’impôts, mais où tout le monde veut des services publics de classe mondiale ?
- Comment réglementer les contrats et les marchés avec un système de régulation en sous-effectif chronique et mal équipé ?
- Comment réussir à faire des réformes radicales avec un État si faible qu’il ne peut pas gérer des réfectoires ?
- Comment décentraliser et responsabiliser les fonctionnaires dans un système où la corruption et les incitations perverses sont omniprésentes ?
- Comment supprimer les subventions inefficaces et génératrices de distorsions, et mettre en place un programme plus efficace et efficient sans provoquer de réactions politiques hostiles de tous bords ?
- Comment savons-nous que les transferts monétaires sont un substitut plus efficace (pour la réalisation de son objectif) aux transferts en nature ?
- Comment faire ce qui est le mieux pour le pays tout en réussissant à gagner les élections ?
Notes de bas de page
1 Note sur la traduction : En Inde, le collecteur est le représentant de l’État au niveau du district. Il est chargé de superviser la collecte d’impôts, de certaines fonctions de maintien de l’ordre et de la gestion de crise.
Auteurs
Titulaire d’un doctorat de l’université de Paris 1 Panthéon-Sorbonne. Depuis octobre 2022, il est chercheur à l’IRD, membre de l’Unité mixte internationale SOURCE et titulaire d’une Chaire de Professeur Junior pour le développement de méthodes d’évaluation des politiques et solutions d’adaptation au changement climatique. Il est aussi chercheur affilié à l’équipe DIAL (UMR LEDa). Il a été entre 2019 et 2022 responsable du management de la donnée à Nantes Métropole, de 2013 à 2019 en charge de la coordination des évaluations d’impact scientifique à l’AFD et de 2007 à 2013, responsable des activités de recherche et du développement de Cerise, une plateforme de soutien aux institutions de microfinance. Auparavant, il a travaillé pendant trois ans en Amérique latine dans une entreprise solidaire spécialisée dans le tourisme et la culture au Brésil, pour un réseau de coopératives de microfinance au Mexique ou encore pour une ONG internationale au Guatemala.
Titulaire d’un doctorat. Elle est socio-économiste, directrice de recherche à l’IRD, affiliée à l’Institut français de Pondichéry, et membre de la School of Social Sciences de l’Institute for Advanced Study, Princeton (2019-2020). Elle est spécialisée dans l’économie politique et morale de l’argent, de la dette et des finances. Ses travaux actuels se concentrent sur la financiarisation des économies nationales en examinant comment elle génère de nouvelles formes d’inégalités et de domination, mais aussi des initiatives alternatives et solidaires. Ses travaux se basent le plus souvent sur ses propres données originales recueillies sur le terrain, combinent l’ethnographie et l’analyse statistique, et s’inscrivent dans une perspective interdisciplinaire et comparative. Elle mène également une réflexion permanente sur les conditions de production des données et la combinaison des méthodes.
Économiste et statisticien, directeur de recherche à l’IRD, membre de l’équipe DIAL (UMR LEDa, laboratoire d’économie de Dauphine) à Paris, dont il a été le directeur entre 2000 et 2004, et actuellement basé au Brésil (Université Fédérale Rio de Janeiro). Titulaire d’un doctorat en économie de l’université Paris-Ouest Nanterre, il est aussi diplômé de l’École nationale de la statistique et de l’administration économique (ENSAE) de Paris. En statistique, il a lancé l’approche des enquêtes mixtes (ménages-entreprises) pour mesurer l’économie informelle, notamment l’enquête 1-2-3, et a mis au point les modules de gouvernance greffés sur les enquêtes officielles auprès des ménages, désormais utilisés pour le suivi de l’Objectif de développement durable (ODD) 16. Ces deux méthodes sont reconnues comme des normes internationales et mises en œuvre dans des dizaines de pays (en Afrique, en Amérique latine et en Asie). Ses recherches sur l’économie du développement portent plus particulièrement sur le marché du travail et l’économie informelle, la corruption, la gouvernance, et les institutions, ainsi que sur l’évaluation de l’impact et l’économie politique des politiques de développement.
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Du social hors la loi
L’anthropologie analytique de Christian Geffray
Yann Guillaud et Frédéric Létang (dir.)
2009
Gestion durable des eaux et des sols au Maroc
Valorisation des techniques traditionnelles méditerranéennes
Éric Roose, Mohamed Sabir et Abdellah Laouina
2010
Madagascar face au défi des Objectifs du millénaire pour le développement
Bénédicte Gastineau, Flore Gubert, Anne-Sophie Robilliard et al. (dir.)
2010
Le projet majeur africain de la Grande Muraille Verte
Concepts et mise en œuvre
Abdoulaye Dia et Robin Duponnois (dir.)
2010
La Grande Muraille Verte
Capitalisation des recherches et valorisation des savoirs locaux
Abdoulaye Dia et Robin Duponnois (dir.)
2012
Parcours de recherche à Madagascar
L’IRD-Orstom et ses partenaires
Christian Feller et Frédéric Sandron (dir.)
2010
Pratiques et représentations linguistiques en Guyane
Regards croisés
Isabelle Léglise et Bettina Migge (dir.)
2008
Les sociétés rurales face aux changements climatiques et environnementaux en Afrique de l’Ouest
Benjamin Sultan, Richard Lalou, Mouftaou Amadou Sanni et al. (dir.)
2015
Aires marine protégées ouest-africaines
Défis scientifiques et enjeux sociétaux
Marie Bonnin, Raymond Laë et Mohamed Behnassi (dir.)
2015