Préambule

1Ce chapitre actualise mon article publié en 1992, « Randomization and Social Policy Evaluation » (Heckman, 1992) et le replace dans le contexte de recherches ultérieures. Le papier demeure pertinent pour comprendre la nature fondamentale des expérimentations et les leçons à tirer des expérimentations « idéales » sans attrition, non-réponse et stratification sur les variables de résultat d’intérêt. Il vaut la peine d’être revisité à la lumière des controverses qui se sont fait jour autour du rôle de la randomisation en économie du développement. Les arguments conceptuels avancés ici n’ont pas été traités dans la littérature, à l’inverse de nombreux problèmes de mise en œuvre.

2Ce préambule aborde à travers une perspective historique les expériences de terrain et les origines du mouvement expérimental en économie. L’histoire de l’expérimentation de terrain en économie depuis 1965 comprend deux grandes époques : (1) la première vague, qui s’est servie des expérimentations pour régler d’importants débats de politiques publiques lorsque les preuves non expérimentales étaient ambiguës et (2) la résurgence de l’expérimentation en économie du développement, qui a abouti au prix Nobel d’économie en 2019. Chaque époque a été marquée par un zèle quasi religieux en faveur de la méthodologie des évaluations par assignation aléatoire (Randomized Controlled Trials – RCT). C’est pourquoi je nomme ci-après ces deux époques « Grands Réveils », en l’honneur des deux renaissances religieuses qui ont façonné les Églises protestantes en Amérique du Nord aux xviii^e et xix^e siècles et en reconnaissance de la quête effrénée de pureté méthodologique constatée dans le domaine économique aux deux époques.

3Le Premier Grand Réveil a eu lieu sous l’impulsion du mouvement pour l’évaluation des programmes d’emploi, d’éducation et de santé promulgués dans le cadre de la guerre contre la pauvreté de Lyndon Johnson. Le Second Grand Réveil a fait irruption en économie du développement dans le sillage d’une série de microprogrammes ciblant des pays moins développés et financés par des ONG, des milliardaires et diverses institutions internationales influentes. Les économistes qui promeuvent le Second Grand Réveil font peu de cas des enseignements tirés des limites des expérimentations sociales du Premier Grand Réveil. Les incitations et ambitions professionnelles de la nouvelle génération plaident contre l’examen et la citation des contributions et enseignements du Premier Réveil, lequel s’est terminé par une remise en question considérable de la revendication de « résultats transparents » et un déclin de l’enthousiasme irréfléchi suscité par les RCT. Le Second Réveil connaîtra probablement le même sort.

Le Premier Réveil

4Bien avant que la randomisation ne devienne de rigueur dans le domaine du développement, au Premier Grand Réveil, elle était préconisée pour évaluer une grande diversité de programmes sociaux, d’interventions éducatives, de programmes de formation professionnelle et de réformes de l’aide sociale.

5Au cours de la première vague, des cabinets d’étude de premier plan, tels que Westat, Mathematica, SRI, Abt Associates et Manpower Demonstration Research Corporation (MDRC), ont répondu à une demande de l’Office of Economic Opportunity (OEO), qui coordonnait la guerre contre la pauvreté de Lyndon Johnson, en évaluant une série de programmes sociaux nouvellement lancés. L’importance accordée à l’évaluation s’est propagée à de nombreuses agences fédérales américaines.

6Ce premier effort d’évaluation a conduit à la collecte de nouveaux jeux de microdonnées de panel, qui continuent de guider la compréhension de la société et sont désormais largement imités dans le monde entier. Le Premier Réveil a également favorisé l’adoption de nouvelles méthodologies pour analyser les graves problèmes ayant entaché les expérimentations conduites lors de la première vague.

7La première utilisation à grande échelle de la randomisation en économie a porté sur l’évaluation de programmes d’impôt négatif sur le revenu (INR). Ces programmes ont été proposés par Milton Friedman (Friedman, 2009, réédition) et d’autres comme alternative aux lourds programmes de transfert de l’aide sociale de l’époque, qui taxaient lourdement les travailleurs à faible revenu en réduisant considérablement les prestations sociales pour chaque dollar supplémentaire gagné. L’INR a été conçu pour remplacer le système morcelé d’aide sociale des années 1960 en accordant un transfert forfaitaire aux pauvres et en imposant les revenus supplémentaires à un taux bas et uniforme sur l’ensemble du barème des revenus. La question politique était de savoir si l’imposition de l’INR risquait de réduire sensiblement l’offre de main-d’œuvre. La réponse dépendait de la taille relative des effets de revenu et de substitution. Les transferts risquaient de réduire l’offre de main-d’œuvre à travers un effet de revenu. En revanche, le taux d’imposition réduit sur les revenus risquait de l’accroître par un effet de substitution. Les estimations non expérimentales des effets de revenu et de substitution étaient à l’époque très disparates, comme le montre le chapitre d’introduction de Cain et Watts (1973).

8Au début des années 1960, Heather Ross, alors étudiante de troisième cycle au MIT, a proposé une expérimentation randomisée à grande échelle pour mesurer les effets de l’INR. L’OEO a accepté sa proposition et l’a financée. De nombreux cabinets de conseil économique ont relevé le défi. La première expérimentation INR a vu le jour en 1968.

9Les chercheurs des débuts se sont aventurés dans des eaux profondes et s’y sont parfois noyés. Les plans d’étude initiaux étaient défectueux. Les études étaient criblées de biais de sélection. Les taux d’attrition et de non-participation étaient massifs. Curieusement, l’analyse des données INR a contribué à lancer la discipline alors balbutiante de la micro-économétrie. Cette époque a culminé avec le témoignage de Cogan (Congress of the United States, SCOFSOPA, 1978) livré devant le Congrès américain, dans lequel il a réanalysé les données de l’expérience INR à l’aide des toutes nouvelles techniques micro-économétriques. Ces méthodes ont ensuite été consacrées par le comité Nobel en 2000.

10Le témoignage de Cogan a remis en question les preuves « transparentes » de l’expérimentation en pointant une multitude de biais de sélection. Il a montré des impacts négatifs sur l’offre de main-d’œuvre qui étaient sensiblement plus importants que les impacts insignifiants constatés à partir des comparaisons expérimentales « transparentes » des différences moyennes entre les groupes de traitement et de contrôle. Lors de ces audiences, le sénateur Daniel Patrick Moynihan s’est dit consterné par la piètre qualité des preuves expérimentales « transparentes », révélées par l’analyse de Cogan, et lui a exprimé sa gratitude pour avoir présenté un rapport honnête de ce que l’expérimentation avait réellement démontré à l’appui de méthodes non expérimentales pour analyser les données expérimentales erronées.

Le Second Réveil

11La seconde vague est aujourd’hui à son zénith. L’enthousiasme suscité par l’expérimentation a conduit les ONG, les fondations et les gouvernements à en prescrire l’application. Alors que la première vague était motivée par le désir de traiter des grandes questions sociales, la seconde vague a une orientation davantage méthodologique. Elle est le fruit de l’obsession professionnelle des économistes pour les « effets causaux », qu’ils recherchent coûte que coûte, même quand ceux qu’ils identifient sont dénués de signification sociale et/ou économique (introduction de Deaton, ce volume). Les études miniaturistes ont ainsi été couvertes de louanges, puisque jugées idéales pour une économie empirique rigoureuse. Il ne s’agissait plus de poser de grandes questions importantes et d’essayer d’y répondre, mais de chercher des réponses claires et nettes à des questions mineures sans grande conséquence politique. En effet, le comité Nobel a salué en 2019 les praticiens de la seconde vague pour s’être concentrés sur des « problèmes plus petits et plus gérables » (Royal Academy of Sciences, 2019). Le prix Nobel est venu récompenser la pureté méthodologique et la « gérabilité » plutôt que la substance.

12Il est utile ici de situer la quête de nombreux spécialistes de l’économie appliquée, qui paradent en tête du défilé de la seconde vague dans un cadre de régression traditionnel. Imaginons que Y soit un résultat d’intérêt. Supposons ensuite que :

où X est un vecteur de variables de contrôle observées, D est un indicateur de la réception d’un traitement (D = 1 si traité, D = 0 si non) et U est corrélé avec D. α est « l’effet » du traitement en contrôlant X et U. Si l’on ne tient pas compte de X et U, les estimations naïves de α sont biaisées et le signe du biais déterminé par le signe de la corrélation entre U et D en contrôlant X. La randomisation évite ce biais si elle est correctement menée.

13Comme l’indique la littérature récente sur les variables instrumentales, dans le cadre du Second Réveil, l’élimination de ce biais est la préoccupation primordiale, généralement à l’exclusion de l’enjeu de savoir si α répond à une question importante, que ce soit en théorie ou en pratique. Dans le Premier Réveil, cet enjeu était au premier plan.

14Le papier révisé présenté ici, tout comme un article de suivi de Heckman et Smith (1995) ont été rédigés après la première vague d’enthousiasme en faveur des RCT et avant la seconde vague. Ces deux articles n’ont rien perdu de leur pertinence aujourd’hui. Le fait que la seconde vague ait vu le jour est un hommage, soit à la mauvaise rédaction de ces articles, soit à la capacité démontrée des économistes à ignorer les leçons durement gagnées du passé et aux fortes incitations carriéristes poussant à verser du vieux vin dans des bouteilles neuves et à en oublier l’origine. Je passe maintenant au papier original.

Introduction

15Ce papier examine les avantages et les limites de l’expérimentation sociale randomisée en tant qu’outil d’évaluation de programmes sociaux1. L’argument en faveur de l’expérimentation sociale est désormais familier. Les données transversales et chronologiques disponibles présentent souvent une variabilité insuffisante au niveau des variables explicatives critiques pour permettre aux analystes de proposer des estimations convaincantes des impacts des programmes sociaux sur les variables de résultat cibles. En collectant des données en vue d’induire davantage de variations dans les variables explicatives, on obtient des estimations plus précises des impacts des politiques. En outre, la variation contrôlée des variables explicatives peut rendre exogènes des variables endogènes, c’est-à-dire qu’elle peut induire une variation indépendante des variables observées par rapport aux variables non observées. Les expérimentations sociales induisent une variation en contrôlant la manière dont les données sont collectées. La randomisation permet certes d’instiller une variation supplémentaire, mais ce n’est en aucun cas le seul moyen, ni même nécessairement le meilleur moyen d’obtenir la variation souhaitée.

16Le point de départ de l’expérimentation sociale a été le paradigme de planification sociale de Haavelmo (1944), Marschak (1953) et Tinbergen (1956). À l’époque, les connaissances en sciences sociales ont été jugées suffisamment avancées pour pouvoir identifier des relations comportementales de base qui, une fois estimées, pourraient être utilisées afin d’évaluer les impacts de toute une série de programmes sociaux, dont aucun n’avait été réellement mis en œuvre au moment de l’évaluation. L’approche par estimation d’« équations structurelles » appliquée à l’évaluation de politiques sociales promettait d’autoriser les analystes à simuler un large éventail de contrefactuels susceptibles de servir de base à des politiques sociales « optimales ». L’objectif de l’expérimentation sociale, tel que le voyaient Conlisk et Watts (1969) et Conlisk (1973), était d’élaborer de meilleures estimations des équations structurelles requises pour effectuer la simulation des contrefactuels.

17Les premiers partisans de la méthode expérimentale en économie se sont concentrés sur l’incapacité des études en coupes de l’offre de main-d’œuvre à isoler les effets « revenu » des effets de « substitution » nécessaires pour estimer l’impact des impôts négatifs sur le revenu (INR) sur l’offre de main-d’œuvre. Les expérimentations ont été conçues pour induire une plus grande variation des salaires et des revenus entre individus afin d’autoriser une meilleure estimation des paramètres de politiques critiques. L’objectif initial de ces expérimentations n’était pas d’évaluer un ensemble spécifique de programmes INR, mais d’estimer les paramètres qui pourraient être utilisés pour évaluer les impacts de ces programmes et de nombreux autres programmes possibles.

18Au fur et à mesure que les expérimentations INR ont été mises en œuvre, leurs administrateurs ont commencé à en attendre moins. L’attention s’est peu à peu portée sur l’évaluation des effets de traitements spécifiques réellement en place (Cain, 1975). Par extrapolation et interpolation, les effets de traitement estimés ont remplacé les simulations de politiques contrefactuelles fondées sur des paramètres structurels estimatifs et sont devenus la méthode de référence pour évaluer les programmes proposés non réellement mis en œuvre (Hausman et Wise, 1985b).

19Les arguments plus récents en faveur des expérimentations sociales randomisées représentent un recul spectaculaire par rapport à l’ambitieux programme d’analyse des politiques sociales « optimales », qui n’a jamais été pleinement adopté par la plupart des économistes et qui a été totalement ignoré par d’autres spécialistes des sciences sociales. Un scepticisme considérable a récemment été exprimé quant à la valeur des méthodes économétriques ou statistiques pour estimer les impacts de programmes sociaux spécifiques ou les paramètres d’équations « structurelles » pour simulate des programmes sociaux qui n’ont pas encore vu le jour. Les études influentes de Lalonde (1986) et de Fraker et Maynard (1987) en ont en effet convaincu plus d’un que les méthodes économétriques et statistiques sont incapables d’estimer les véritables impacts des programmes à partir de données non randomisées.

20Les récents partisans des expérimentations sociales ont des ambitions plus modestes que les partisans des premiers jours. Ils proposent d’utiliser la randomisation pour évaluer des programmes réellement en place (qu’il s’agisse de programmes en cours ou de projets pilotes de « démonstration ») et d’éviter d’invoquer la litanie d’hypothèses souvent peu convaincantes qui sous-tendent les approches « structurelles », « économétriques » ou « statistiques » des évaluations de programmes2. Leur argument en faveur de la randomisation est extrêmement simple et convaincant : assigner des personnes au hasard à un programme et comparer les réponses cibles des participants à celles de non-participants exclus par randomisation. La différence moyenne entre les participants et les non-participants randomisés donne l’effet du programme. La recherche de paramètres « structurels profonds » est abandonnée. Nul besoin d’ajustements statistiques élaborés ou d’hypothèses arbitraires sur les formes fonctionnelles des équations pour estimer le paramètre d’intérêt avec des données randomisées. Et aucune stratégie d’estimation compliquée n’est nécessaire. Tout le monde comprend les moyennes. La randomisation garantit l’absence de biais de sélection parmi les participants, c’est-à-dire qu’il n’y a pas de sélection à l’entrée ou à la sortie du programme sur la base des résultats de l’échantillon randomisé.

21Les partisans des expérimentations sociales randomisées font implicitement une hypothèse importante : que la randomisation ne modifie pas le programme étudié. Pour certains problèmes d’évaluation et pour certains modèles comportementaux, cette hypothèse est soit valable, soit inoffensive. Il en va différemment pour d’autres problèmes et modèles. L’une des principales conclusions de ce chapitre est que les adeptes de la randomisation ont surévalué leurs arguments d’avoir évité les hypothèses arbitraires. L’évaluation par randomisation formule des hypothèses comportementales implicites qui, dans certains contextes, sont assez fortes. Le biais induit par la randomisation est une possibilité réelle. Et tout indique qu’il s’agit d’un phénomène important.

22En outre, les adeptes de la randomisation supposent implicitement que certaines différences moyennes dans les résultats sont invariablement les objets d’intérêt de l’évaluation. De fait, il existe de nombreux paramètres d’intérêt potentiel, dont certains seulement peuvent être intégrés à un cadre de différence moyenne. Néanmoins, les méthodes expérimentales ne peuvent pas estimer des différences médianes ou d’autres « effets de traitement par quantiles » sans invoquer des hypothèses plus fortes que celles qui sont nécessaires à l’obtention de moyennes. Les paramètres d’intérêt peuvent ne pas être définis par une randomisation hypothétique et les données randomisées peuvent ne pas être idéales pour estimer ces paramètres.

23Les partisans de la randomisation sont souvent peu loquaces sur une question pratique importante. Bon nombre des programmes sociaux se déroulent en plusieurs étapes. À quel stade la randomisation doit-elle intervenir : lors de l’inscription, de l’assignation au traitement, de la promotion, de l’examen des performances ou du placement ? La réponse à cette question révèle une contradiction dans la justification des expérimentations randomisées. Pour utiliser des méthodes simples (c’est-à-dire des différences moyennes entre participants et non-participants) afin d’évaluer les effets des différentes étapes d’un programme, il faut procéder à une randomisation à chaque étape. Une telle randomisation en plusieurs étapes a rarement été mise en œuvre, probablement parce qu’elle modifierait radicalement le programme évalué3. Mais si une seule randomisation peut être pratiquée, l’évaluation de toutes les étapes d’un programme impose l’application de la méthodologie économétrique très controversée que l’on a récemment voulu éviter dans l’expérimentation sociale.

24L’objectif de ce chapitre est d’expliciter les arguments pour et contre les expérimentations sociales randomisées. Afin de guider la discussion, je présente d’abord un prototype de programme social et examine les caractéristiques du programme qui intéressent les évaluateurs de politiques. Dans la deuxième section, j’aborde les difficultés qui se posent pour déterminer les caractéristiques d’intérêt du programme. Un énoncé précis du problème d’évaluation est dressé. Dans la section suivante, j’expose les arguments en faveur de la randomisation simple, puis j’examine les hypothèses comportementales implicites qui la sous-tendent et les conditions dans lesquelles elles se vérifient. Je discute également de ce qui peut et ne peut pas être appris d’une expérimentation sociale randomisée, même dans des conditions idéales. Dans la quatrième section, je présente quelques preuves empiriques indirectes sur la validité des hypothèses en prenant l’exemple d’une récente évaluation de la loi sur les partenariats en matière de formation professionnelle (Job Training Partnership Act – JTPA). J’examine également certaines études comparatives de leur validité menées sur des essais cliniques randomisés en médecine. Dans la cinquième section, j’aborde la question du choix du stade auquel il convient de procéder à la randomisation dans un programme en plusieurs étapes. Dans la sixième section, je traite de la tension entre les anciens et les nouveaux arguments en faveur de l’expérimentation sociale. La dernière section résume l’argumentaire présenté.

Questions d’intérêt dans l’évaluation d’un prototype de programme social

25Le prototype considéré ici est un programme de formation de main-d’œuvre analogue au programme JTPA décrit par Heckman et al. (1998b). Ce programme prototypique proposait différentes options de formation aux stagiaires potentiels. Des compétences professionnelles spécifiques peuvent être acquises, ainsi que des compétences générales (telles que la lecture, l’écriture, le calcul). Une formation générale de rattrapage peut précéder la formation spécifique. Un placement professionnel peut être proposé dans le cadre d’un service distinct, indépendamment de toute acquisition de compétences ou à l’issue de la formation. Certains programmes de compétences spécifiques impliquent de travailler pour un employeur à un salaire subventionné (soit une formation continue).

26Les personnes qui suivent la formation passent par les étapes suivantes : elles postulent (1), sont acceptées (2), sont affectées à une séquence de formation spécifique (3), sont évaluées (4), sont certifiées dans une compétence (5) et sont placées chez l’employeur (6). Pour les stagiaires qui suivent une formation continue, les étapes 3 à 6 sont combinées, bien que les stagiaires puissent être périodiquement évalués pendant leur période de formation. Les stagiaires peuvent abandonner le processus ou en être exclus à chaque étape.

27Les centres de formation étaient payés par le gouvernement américain sur la base de la qualité du placement de leurs stagiaires. La qualité était mesurée en partie par les salaires perçus pendant une période déterminée après l’achèvement du programme de formation (par exemple, six mois). Les responsables étaient ainsi incités à former des personnes ayant des chances de trouver un emploi de qualité et pouvant y parvenir à faible coût pour le centre. Les stagiaires ont perçu une rémunération (subventions) pendant la durée du programme. Les centres de formation ont recruté des stagiaires par le biais de divers mécanismes de promotion.

28Il y a de nombreuses questions d’intérêt pour les évaluateurs du programme. Celle qui reçoit le plus d’attention est l’effet de la formation sur les personnes formées.

29Q-1 Quel est l’effet de la formation sur les personnes formées ?

30C’est l’objectif central mis en avant dans de nombreuses évaluations. Lorsque les coûts d’un programme sont soustraits de la réponse à la question Q-1 et que les rendements sont correctement escomptés, on obtient le bénéfice net du programme pour un groupe de stagiaires donné.

31Mais il y a beaucoup d’autres questions qui revêtent également un intérêt potentiel pour les évaluateurs du programme, par exemple :

32Q-2 Quel est l’effet de la formation sur les stagiaires aléatoirement assignés ?

33La réponse à la question Q-2 serait d’un grand intérêt si la formation était obligatoire pour toute une population, comme dans les programmes de travail obligatoire qui forcent les bénéficiaires de l’aide sociale à suivre une formation. D’autres questions d’intérêt concernent les décisions de candidature.

34Q-3 Quel est l’effet des subventions (et/ou de la publicité, des conditions du marché du travail local, du revenu familial et/ou de la race, du sexe) sur les décisions de candidature ?

35Q-4 Quels sont les effets des normes de performance du centre, des taux de profit, de la structure du marché du travail local et du contrôle gouvernemental sur l’acceptation par les centres de formation des décisions des candidats et sur leur placement dans des programmes spécifiques ?

36Q-5 Quels sont les effets du contexte familial, des taux de profit du centre, des subventions et des conditions du marché du travail local sur la décision d’abandonner un programme et sur le temps nécessaire pour terminer le programme ?

37Q-6 Quels sont les effets des conditions du marché du travail, des subventions, des taux de profit, etc. sur les taux de placement et les niveaux de salaire et de temps de travail atteints lors du placement ?

38Q-7 Quel est le coût de la formation d’un travailleur selon les différentes modalités possibles ?

39Les réponses à toutes ces questions et leur affinement sont susceptibles d’intéresser les décideurs politiques. Le problème central de l’évaluation est de déterminer comment obtenir des réponses convaincantes à ces questions.

Le problème de l’évaluation

40Pour définir les caractéristiques essentielles du problème d’évaluation, il est préférable de se concentrer uniquement sur quelques-unes des questions énumérées ci-dessus. Je porte donc mon attention sur les questions Q-1 et Q-2 et sur une combinaison des ingrédients des questions Q-3 et Q-4.

41Q-3’ Quels sont les effets des variables énumérées en Q-3 et Q-4 sur la candidature et l’inscription des personnes ?

42Pour simplifier l’analyse, je suppose tout au long de la discussion de cette section qu’il n’existe qu’un seul type de traitement administré par le programme, de sorte que la détermination de l’assignation au traitement ne pose pas de problème. Je suppose qu’il n’y a pas d’attrition dans le programme et que la durée de la participation au programme est fixe. Ces hypothèses seraient vraies si, par exemple, le programme idéal se déroulait à un seul instant T dans le temps et donnait à chaque participant la même « dose », bien que la réponse à la dose puisse varier d’une personne à l’autre. Je suppose également l’absence de toute interdépendance entre les unités résultant d’inobservables ou d’effets de rétroaction, communs ou propres à chaque site4.

43Ce papier ne s’intéresse pas exclusivement, ni même principalement, à l’« estimation structurelle », parce qu’elle n’est pas préconisée dans la littérature récente sur les expérimentations sociales et parce qu’une discussion sur ce sujet soulève des questions supplémentaires qui ne sont pas pertinentes ici. Les approches structurelles exigent la spécification d’un ensemble commun de caractéristiques et d’un modèle de participation aux programmes et de résultats pour décrire tous les programmes d’intérêt potentiel. Elles requièrent d’estimer les réponses aux variations de caractéristiques qui décrivent des programmes non encore déployés, ce qui nécessite à son tour la spécification et la mesure d’un ensemble commun de caractéristiques sous-tendant ces programmes.

44L’approche structurelle prototypique est bien illustrée dans les premiers travaux sur l’estimation des réponses de l’offre de main-d’œuvre aux programmes d’impôt négatif sur le revenu. Ces programmes fonctionnaient en modifiant le niveau de salaire et de revenu des participants potentiels. Selon la théorie néoclassique de l’offre de main-d’œuvre, si l’on peut déterminer la réponse de l’offre de main-d’œuvre aux changements de salaires et de niveaux de revenus (les effets de « substitution » et de « revenu », respectivement), on peut également déterminer qui participerait à un programme (voir, par exemple, Ashenfelter, 1983). Ainsi, à partir d’un ensemble commun de paramètres, on peut simuler l’effet de tous les programmes INR possibles sur l’offre de main-d’œuvre.

45C’est pour cette raison que les premiers partisans des expérimentations sociales ont cherché à concevoir des expérimentations qui produiraient des variations maximales (indépendantes des échantillons) des niveaux de salaire et de revenu entre les sujets, de manière à obtenir des estimations précises des effets sur les salaires et les revenus. Cain et Watts (1973) ont fait valoir que, dans les données en coupes, la variation des salaires et des revenus était suffisamment faible pour qu’il soit difficile, voire impossible, d’estimer des effets distincts des salaires et des revenus sur l’offre de main-d’œuvre.

46L’approche structurelle est très séduisante lorsqu’elle est crédible. Elle se focalise sur des aspects essentiels de la réponse aux programmes, mais son utilisation pratique nécessite la formulation d’hypothèses comportementales fortes afin de placer différents programmes sur une base commune. En outre, elle exige que les caractéristiques communes des programmes puissent être mesurées. Tant les problèmes que les hypothèses comportementales requises dans l’approche structurelle soulèvent des questions qui dépassent le cadre de ce chapitre. Je me cantonne essentiellement au problème pratique – et néanmoins très difficile – de l’évaluation des effets de programmes existants et des réponses aux changements de paramètres de ces programmes qui pourraient affecter la participation aux programmes.

Un modèle d’évaluation de programme

47Pour être plus précis, il convient de définir la variable D = 1 si une personne participe à un programme hypothétique ; sinon D = 0. Si une personne participe, elle reçoit le résultat Y₁ ; sinon, elle reçoit Y₀. Ainsi, le résultat observé Y est :

 (1)

48Une caractéristique essentielle du problème de l’évaluation est que nous n’observons pas la même personne dans les deux situations. C’est ce que certains statisticiens appellent le « problème de la référence causale » (voir, par exemple, Holland, 1986). Faisons en sorte que Y₁ et Y₀ soient respectivement déterminés par X₁ et X₀. On peut supposer que X₁ induit des aspects pertinents de la formation reçue par les stagiaires. X₀ et X₁ peuvent contenir des variables en termes d’antécédents et de marché du travail local. Nous écrivons des fonctions reliant ces variables à Y₀ et Y₁, respectivement :

 (2a)

 (2b)

49Pour les équations linéaires plus familières, (2a) et (2b) peuvent être spécialisées respectivement en :

 (2a’)

et

 (2b’)

50Supposons que Z désigne des variables déterminant la participation au programme. Si

 (3)

où Ψ est un ensemble de valeurs Z possibles. Si les personnes ont des caractéristiques qui se situent dans l’ensemble Ψ, elles participent au programme ; sinon, elles n’y participent pas. Z comprend les caractéristiques des personnes et leurs débouchés sur le marché du travail, ainsi que les caractéristiques des sites de formation sélectionnant les candidats. Afin d’économiser sur les symboles, je représente l’ensemble des variables explicatives par C = (X₀, X₁, Z). Si une variable dans C n’apparaît pas dans X₁ ou X₀, son coefficient ou sa dérivée associée dans g₁ ou g₀ est fixé(e) à zéro pour toutes les valeurs de la variable.

51Même si l’on pouvait observer toutes les composantes de C pour chaque personne d’un échantillon, on ne pourrait peut-être pas déterminer g₁, g₀ et Ψ. Les échantillons disponibles pourraient ne pas contenir suffisamment de variations dans les composantes de ces vecteurs pour retrouver g₀, g₁ ou pour identifier l’ensemble Ψ. C’est un problème de « multicolinéarité » (dans les variables de revenu et de salaire nécessaires pour déterminer les équations de l’offre de main-d’œuvre) et un manque de variation des revenus au sein de l’échantillon qui ont en partie motivé les partisans initiaux des expérimentations sociales en économie.

52En supposant une variabilité suffisante dans les composantes des variables explicatives, on peut utiliser les données sur les participants pour déterminer g₁, sur les non-participants pour déterminer g₀ et l’échantillon combiné pour déterminer Ψ. En connaissant ces fonctions et ensembles, on peut facilement répondre aux problèmes d’évaluation Q-1, Q-2, et Q-3’ (à condition que le support des variables X₁, X₀, et Z dans l’échantillon couvre le support de ces variables dans les populations cibles d’intérêt). Il serait ainsi possible d’obtenir Y₁ et Y₀ pour chaque personne et d’estimer le gain brut de participation pour chaque participant ou pour chaque personne de l’échantillon. De cette manière, les questions Q-1 et Q-2 peuvent trouver une réponse complète. De même, en connaissant Ψ, il est possible de répondre complètement à la question Q-3’ pour chaque personne.

53En pratique, les analystes n’observent pas toutes les composantes de C. Les composantes non observées de ces résultats et des fonctions de participation constituent des sources majeures de problèmes d’évaluation. Ce sont ces composantes manquantes qui motivent le traitement de Y₁, Y₀ et D comme des variables aléatoires, en fonction des informations disponibles. Ce caractère intrinsèquement aléatoire exclut toute stratégie visant à déterminer Y₁ et Y₀ pour chaque personne. Au lieu de cela, une approche statistique est adoptée pour estimer la distribution conjointe de Y₁, Y₀, D en fonction des informations disponibles ou de certaines de leurs caractéristiques.

54Prenons a comme notation des informations disponibles. Ainsi, C_a contient les variables dont l’analyste dispose et qu’il juge légitimes pour déterminer Y₁, Y₀ et D. Ces variables peuvent être constituées de certaines composantes de C ainsi que de variables de substitution pour les composantes manquantes.

55La distribution conjointe de Y₁, Y₀, D, compte tenu de C_a = c_a, est

 (4)

où je suis la convention en désignant les variables aléatoires par des lettres majuscules et leur réalisation par des lettres minuscules. Si (4) peut être déterminé, et que la distribution de C_a est connue, il est possible de répondre aux questions Q-1, Q-2, et Q-3’ dans le sens suivant : on peut déterminer la distribution en population de Y₀, Y₁ et la distribution en population du gain brut de la participation au programme

et on peut écrire la probabilité de l’événement D = d compte tenu de Z_a.

Paramètres d’intérêt dans l’évaluation de programmes

56Nous pouvons répondre à la question Q-1 si nous pouvons identifier

et donc

(la distribution de l’effet du traitement sur les personnes traitées, où δ est la version minuscule de Δ). On peut répondre à la question Q-2 si nous connaissons

 (5)

qui peut être produite à partir de (4) et la distribution des variables explicatives par des opérations de probabilité élémentaires. En ce sens, on peut déterminer les gains d’un déplacement aléatoire d’une personne depuis une distribution F(y₀|c_a) vers une autre F(y₁|c_a). La réponse à Q-3’ peut être obtenue en calculant à partir de (4) la probabilité de participation :

57En pratique, les comparaisons de moyennes accaparent la majeure partie de l’attention dans la littérature, bien que les médianes, ou d’autres quantiles, soient également intéressantes. Une grande partie de la littérature définit la réponse à Q-1 comme :

 (6)

et la réponse à Q-2 comme

 (7)

quoique, en principe, il puisse être souhaitable de connaître la distribution complète de Δ, ou de certaines caractéristiques autres que la moyenne (par exemple, la médiane).

58Même si les moyennes en (6) et (7) étaient nulles, il serait intéressant de savoir quelle fraction des participants ou de la population bénéficierait d’un programme. Pour cela, il faudrait connaître F(δ|D = 1, c_a) ou F(δ|c_a), respectivement. Afin de vérifier la présence d’« écrémage » (phénomène par lequel les sites de formation sélectionnent les meilleurs candidats à un programme – ceux qui ont des valeurs élevées de Y₀ et Y₁), il est nécessaire de connaître la corrélation ou la dépendance stochastique entre Y₁ et Y₀. Il faudrait pour ce faire connaître les caractéristiques de :

ou

autres que les moyennes de Y₁ et Y₀. Pour répondre à de nombreuses questions, la connaissance des différences moyennes est insuffisante ou incomplète.

59La détermination de la distribution conjointe (4) est un problème difficile. Dans la section suivante, je montre que les expérimentations sociales randomisées du type de celles présentées dans la littérature récente ne produisent pas de données suffisantes pour résoudre ce problème.

60Les données produites de façon routinière à partir des registres de programmes sociaux permettent aux analystes de déterminer :

la distribution des résultats pour les participants et

la répartition des résultats pour les non-participants et ceux-ci sont parfois suffisamment riches pour déterminer

la probabilité de participation. Mais, à moins que des informations supplémentaires ne soient disponibles, ces éléments ne suffisent pas à déterminer (4). En vertu de (1), il n’existe pas de données sur les deux composantes de (y₁, Y₀) pour la même personne. En général, pour les mêmes valeurs de C_a = c_a

 (8a)

et

 (8b)

ce qui pose le problème du biais de sélection dans les distributions des résultats. Le problème de sélection se pose le plus souvent en termes de moyennes :

 (9a)

 (9b)

c’est-à-dire que les personnes qui participent à un programme sont différentes des personnes qui n’y participent pas, en ce sens que les résultats moyens des participants dans la situation de non-participation seraient différents de ceux de non-participants, même après ajustement de C_a.

61De nombreuses méthodes ont été proposées pour résoudre le problème de la sélection, que ce soit pour des moyennes ou pour des distributions entières. Heckman et Robb (1985 ; 1986), Heckman et Honoré (1990), Heckman (1990a ; 1990b) et Heckman et al. (1997a) proposent des traitements alternatifs et complets des différentes approches de ce problème en économétrie et en statistique. Certaines hypothèses a priori non vérifiables doivent être formulées pour récupérer les composantes manquantes de la distribution. La construction de ces contrefactuels est inévitablement source de controverses.

62Pour Lalonde (1986) et Fraker et Maynard (1987), ces controverses ne se cantonnent pas à la sphère académique. Dans des travaux influents analysant des données expérimentales randomisées à l’aide de méthodes non expérimentales, ces auteurs produisent un large éventail d’estimations des impacts d’un même programme à l’appui de différentes méthodes non expérimentales. Selon eux, il n’est pas possible de faire un choix parmi des estimateurs non expérimentaux concurrents.

63Heckman et Hotz (1989) réanalysent leurs données et démontrent que leurs propos sont grandement exagérés. Aucun des deux collectifs d’auteurs n’a effectué de tests de spécification de modèle standard pour leurs estimations alternatives non expérimentales. Lorsque de tels tests sont effectués, ils permettent une estimation de tous les modèles, à l’exception des modèles non expérimentaux qui reproduisent l’inférence obtenue par des méthodes expérimentales.

64Il y a néanmoins un fond de vérité dans les critiques de Lalonde (1986) et de Fraker et Maynard (1987). Chaque test de modèle non expérimental proposé par Heckman et Hotz (1989) a ses limites. Le test des caractéristiques de suridentification d’un modèle peut perdre de sa valeur dès lors que l’on change le modèle pour une forme exactement identifiée, une critique qui vaut également dans l’application du test de Durbin-Wu-Hausman (Durbin, 1954 ; Wu, 1973 ; Hausman, 1978).

65Toutes les méthodes non expérimentales reposent sur une hypothèse retenue et non vérifiable. La principale source d’intérêt des expérimentations randomisées est qu’elles semblent ne nécessiter aucune hypothèse. Dans la section suivante, je démontre que les arguments en faveur des évaluations randomisées reposent sur des hypothèses non déclarées concernant le problème d’intérêt, le nombre d’étapes d’un programme et les réactions des agents à la randomisation. Ces hypothèses sont différentes des hypothèses avancées dans la littérature non expérimentale en économétrie et en statistique, mais pas nécessairement plus crédibles.

Arguments pour et contre les expérimentations sociales randomisées

66Les arguments en faveur des expérimentations sociales randomisées sont presque toujours énoncés dès lors que l’on tente de répondre aux questions Q-1 et Q-2 – le « problème causal » tel que défini par les statisticiens (Fisher, 1935 ; Cox, 1958 ; Rubin, 1978 ; Holland, 1986). De ce point de vue, l’équation de participation qui répond à Q-3’ est une « fonction de nuisance » qui peut générer un problème de sélection. La randomisation simple rend le statut du traitement statistiquement indépendant de (Y₁, Y₀, C).

67Pour exposer le plus clairement possible les arguments en faveur de la randomisation, il est utile d’introduire une variable A indiquant la participation réelle à un programme :

et de la différencier de la variable D indiquant qui aurait participé à un programme obéissant à un protocole non expérimental. Supposons que D* désigne une variable indiquant si un agent est susceptible d’être randomisé (c’est-à-dire si l’agent a postulé et a été accepté dans un régime de sélection aléatoire) :

68Dans l’approche standard, la randomisation est mise en œuvre à un stade où D* est révélé. Étant donné que D* = 1, A est supposé être indépendant de (Y₀, Y₁, C) alors

69Des protocoles de randomisation plus élaborés pourraient être mis en œuvre, mais sont rarement proposés.

70Le fait de modifier le processus d’inscription au programme en refusant de manière aléatoire l’accès aux personnes qui postulent et sont jugées aptes à participer à un programme peut rendre la distribution de D* différente de celle de D. Une telle randomisation modifie l’ensemble des informations dont disposent les candidats potentiels et des administrateurs de programmes, à moins que ni les uns ni les autres ne soient informés de la possibilité d’une randomisation – une condition peu probable pour un programme en cours ou pour des programmes ponctuels dans de nombreux pays comme les États-Unis, où la loi impose la divulgation complète des règles de fonctionnement des programmes. Même s’il était possible d’agir à l’insu des stagiaires potentiels, il ne serait pas possible d’agir à l’insu les centres de formation qui administrent le programme. Rappelons que D* est le résultat de décisions conjointes de stagiaires potentiels et de centres de formation. L’ensemble de conditionnement déterminant D* diffère de celui de D par l’inclusion de la probabilité de sélection (p = Pr(A = 1)) c’est-à-dire qu’il inclut l’effet de la randomisation sur les choix des agents et des centres.

71Les partisans de la randomisation invoquent l’hypothèse selon laquelle

 (HY-1)

ou supposent que c’est « pratiquement » vrai5.

72Il y a de nombreuses raisons de douter de la validité de cette hypothèse. Si des personnes qui auraient pu s’inscrire à un protocole non randomisé font des projets anticipant leur inscription à une formation, le fait d’ajouter de l’incertitude au stade de l’acceptation peut modifier leur décision de s’inscrire ou d’entreprendre des activités complémentaires à la formation. Les personnes peu enclines à prendre des risques auront tendance à être éliminées du programme. Même si la randomisation accroît l’utilité de l’agent6, le comportement sera modifié. Si les centres de formation doivent randomiser après un processus de sélection, ils pourraient avoir à sélectionner davantage de personnes afin d’atteindre leurs objectifs de performance, ce qui pourrait amoindrir la qualité des stagiaires. Il peut y avoir dégradation de la qualité des candidats même si les places d’un programme sont rationnées. La randomisation peut résoudre les problèmes de rationnement de manière équitable s’il existe une file d’attente pour accéder au programme, mais elle peut aussi modifier la composition du vivier de stagiaires.

73L’hypothèse (HY-1) est tout à fait naturelle dans le contexte de l’expérimentation agricole et biologique, dans lequel le modèle Fisher des expérimentations randomisées a vu le jour. Cependant, le modèle Fisher est un paradigme potentiellement trompeur en sciences sociales. Les humains agissent de manière intentionnelle et leur comportement est susceptible d’être modifié par l’introduction de la randomisation dans leur domaine de choix. Le modèle Fisher peut se révéler idéal pour l’étude des traitements à l’engrais sur les rendements des cultures. Les parcelles de terrain ne répondent pas à des traitements à l’engrais anticipés et ne peuvent pas non plus refuser d’être traitées. Les fabricants commerciaux d’engrais peuvent être exclus de la sélection de parcelles de terrain favorables dans un cadre expérimental agricole, tout comme les responsables de centres de formation ne peuvent être exclus de la sélection de stagiaires favorables dans un cadre de sciences sociales.

74Si l’hypothèse (HY-1) est vraie,

 (10a)

 (10b)

 (11)

75Les estimateurs simples de différence moyenne entre les participants et les non-participants randomisés répondent à la question Q-1 énoncée en termes de moyennes, du moins pour les grands échantillons. La distribution de variables explicatives C est la même dans les échantillons conditionnés en A. Les échantillons conditionnés en A = 1 et A = 0 sont ainsi équilibrés.

76En ce sens, les données randomisées sont « idéales ». Les personnes non formées aux statistiques – comme les politiciens et les administrateurs de programmes – comprennent les moyennes et aucun ajustement statistique élaboré ni aucune hypothèse de forme fonctionnelle concernant un modèle ne sont imposés aux données. De plus, (11) peut être vraie, même si (HY-1) est fausse.

77Cela se vérifie dans le modèle de variable endogène binaire largement employé (Heckman, 1978). En l’occurrence,

 (12)

78Ce modèle est appelé « modèle à effets de traitement fixes pour toutes les unités » dans la littérature statistique (Cox, 1958). Ce modèle s’écrit :

de sorte que l’effet du traitement est le même pour tous. En ce qui concerne le modèle de régression linéaire de (2a’) et (2b’), ce modèle peut s’écrire comme suit : X₁β₁ = α + X₀β₀. Même si (HY-1) est fausse, (11) est vraie parce que

79Le modèle à variables endogènes binaires est largement employé dans les travaux appliqués. La confiance placée en ce modèle renforce l’argument en vogue en faveur de la randomisation. Q-1 et Q-2 ont la même réponse dans ce modèle et la randomisation permet de répondre de manière convaincante aux deux questions.

80L’exigence d’homogénéité des résultats du traitement peut être affaiblie et (11) peut encore se justifier si (HY-1) est fausse. Supposons qu’il existe un modèle de réponse aléatoire (parfois appelé modèle à effets aléatoires) :

 (13a)

où Ξ est la réponse idiosyncrasique d’un individu au traitement après avoir éliminé une réponse commune α et

 (13b)

alors (11) reste vrai. Si les stagiaires potentiels et les centres de formation ne connaissent pas les avantages du programme avant leur inscription au programme et qu’ils utilisent a α + Ξ pour prendre leur décision en matière de participation, alors (11) est toujours correcte. Ainsi, même si les réponses aux traitements sont hétérogènes, l’estimateur simple de différence moyenne obtenu à partir de données expérimentales peut toujours répondre à la version de différence moyenne de Q-1.

81Il est important de noter les limitations des données obtenues à partir d’une expérimentation sociale « idéale », c’est-à-dire une expérimentation sociale vérifiant (HY-1). Sans invoquer d’autres hypothèses, on ne peut pas estimer la distribution de Δ conditionnelle ou inconditionnelle sur D = 1. On ne peut pas estimer la médiane de Δ ni déterminer l’importance empirique de l’« écrémage » (la dépendance stochastique entre Y₀ et Y₁) à partir des données, à moins de formuler l’hypothèse extrême d’une invariance de rang, c’est-à-dire un rang égal des personnes dans la distribution de Y₁ et dans la distribution de Y₀ (Heckman et al., 1997a). Les données expérimentales et non expérimentales sont toujours confrontées au problème fondamental de l’impossibilité d’observer Y₀ et Y₁ pour une même personne. Les données expérimentales randomisées du type proposé dans la littérature ne facilitent que l’estimation simple d’un paramètre,

82Des hypothèses doivent être imposées pour produire des paramètres d’intérêt supplémentaires, même à partir de données expérimentales idéales. La réponse à la plupart des questions énumérées dans la première section requiert encore l’application de procédures économétriques, avec les hypothèses controversées qu’elles impliquent.

83Si l’hypothèse (HY-1) n’est pas satisfaite, les égalités finales en (10a) et (10b) ne sont pas satisfaites et, en général

84De plus, les données produites par l’expérimentation ne permettront pas aux analystes d’évaluer les déterminants de la participation à un protocole non randomisé, car les processus décisionnels de candidature et d’inscription auront été altérés par la randomisation, c’est-à-dire :

à moins que p = 1. Ainsi, l’expérimentation ne générera pas de données permettant de répondre à la question Q-3’, à moins que la randomisation ne soit une caractéristique permanente du programme évalué.

85Dans le cas général où la réponse des agents aux programmes est hétérogène (Ξ ≠ 0) et où les agents anticipent cette hétérogénéité (plus précisément, Ξ n’est pas stochastiquement indépendant de D), l’hypothèse (HY-1) joue un rôle crucial dans la justification des expérimentations sociales randomisées. Si le modèle (HY-1) est largement admis dans certains domaines scientifiques – comme l’expérimentation agricole, qui a donné naissance au modèle Fisher –, il se révèle plus problématique dans les milieux des sciences sociales. Il peut donner des réponses claires à la mauvaise question et produire des données impossibles à utiliser pour répondre à des questions d’évaluation cruciales, même lorsqu’il est possible de répondre clairement à la question Q-1.

Preuves empiriques sur le biais de randomisation

86Les violations de l’hypothèse (HY-1) en général rendent peu fiables les preuves empiriques issues des expérimentations sociales randomisées. Quelle est, dans la pratique, l’importance de cette possibilité théorique ? Étonnamment, on ne sait que très peu de choses sur la réponse à cette question pour les expérimentations sociales menées en économie. En effet, à l’exception d’un programme, l’expérimentation sociale randomisée n’a été mise en œuvre que sur des « projets pilotes » ou des « projets de démonstration » destinés à évaluer de nouveaux programmes inédits. Le risque de perturbation pour cause de randomisation ne peut être ni confirmé ni infirmé à l’appui des données de ces expérimentations. Dans un programme évalué par randomisation, la participation était obligatoire pour la population cible (Doolittle et Traeger, 1990). Partant, la randomisation n’a pas eu d’incidence sur le vivier de candidats, ni sur l’évaluation de l’admissibilité des candidats par les administrateurs du programme.

87Heureusement, nous avons quelques informations disponibles sur cette question, même si elles sont indirectes. En réponse à la grande variabilité des estimations de l’impact des programmes de main-d’œuvre dérivées d’estimateurs non expérimentaux de Lalonde (1986) et de Fraker et Maynard (1987), le département américain du Travail a financé une évaluation expérimentale à grande échelle de la loi sur les partenariats en matière de formation professionnelle (Job Training Partnership Act, JTPA), qui était alors le principal dispositif pour la formation du gouvernement aux États-Unis. Une évaluation randomisée a donc été mise en œuvre sur différents sites. L’organisation en charge de la mise en œuvre de cette expérimentation – la MDRC – est un défenseur ardent et efficace de la randomisation comme méthode d’évaluation des programmes sociaux.

88Un rapport de cette organisation (Doolittle et Traeger, 1990) fournit quelques informations autorisant une analyse approximative des préférences révélées7. À la fin des années 1980 et au début des années 1990, la formation professionnelle aux États-Unis était organisée par le truchement de centres géographiquement décentralisés. Ces centres recevaient des primes d’incitation dès lors qu’ils parvenaient à trouver des emplois « à haute rémunération » à des chômeurs et à des personnes bénéficiant de l’aide sociale. La participation des centres à l’expérimentation n’était pas obligatoire. Une réserve a été constituée pour compenser les coûts administratifs de l’expérimentation à la charge des centres de formation professionnelle. Les fonds de cette réserve représentaient 5 à 10 % des coûts de fonctionnement totaux des centres.

89En essayant d’enrôler des sites géographiquement dispersés, la MDRC a enregistré un taux de refus des centres de formation de plus de 90 %. Les raisons du refus de participation sont indiquées dans le tabl. 1 (Les raisons énoncées ne sont pas mutuellement exclusives). En tête de liste figurent des objections éthiques et des objections en termes de relations publiques. Des craintes majeures (items 2 et 3) ont été exprimées quant aux effets de la randomisation sur la qualité du vivier de candidats, qui entraverait la rentabilité des centres de formation. Avec la randomisation, les centres ont dû élargir le vivier de personnes jugées éligibles, et les effets de cet élargissement sur la qualité des candidats – à savoir le comportement exclu par l’hypothèse (HY-1) – ont suscité de vives inquiétudes. Afin d’inciter les centres à participer, la MDRC a dû réduire la probabilité de rejet aléatoire, passée de 1/2 à un niveau aussi bas que 1/6 pour certains centres. La taille réduite de l’échantillon de contrôle qui en résulte nuit à la puissance des tests statistiques conçus pour tester l’hypothèse nulle d’absence d’effet du programme. La compensation a été multipliée par sept afin que tous les centres puissent participer à l’expérience. Les analystes de la MDRC ont formulé les conclusions suivantes :

« La mise en œuvre d’un plan de recherche complexe par assignation randomisée dans un programme en cours fournissant une variété de services modifie inévitablement son fonctionnement, d’une manière ou d’une autre […] La différence la plus probable découlant d’une étude de terrain par assignation randomisée des impacts du programme […] est un changement dans la composition de la clientèle servie. Les efforts accrus de recrutement, nécessaires pour constituer le groupe de contrôle, attirent des candidats supplémentaires qui ne sont pas identiques aux personnes précédemment servies. Un deuxième changement probable est que les catégories de traitement peuvent quelque peu restreindre la flexibilité du personnel du programme à modifier les recommandations du service » (Doolittle et Traeger, 1990 : 121).

90Ces auteurs ajoutent que « certains [centres de formation], en raison de graves problèmes de recrutement ou de services de première ligne, ne peuvent pas mettre en œuvre le type de modèle d’assignation randomisée nécessaire pour répondre aux différentes questions d’impact sans apporter de changements majeurs aux procédures » (ibid. : 123).

Tableau 1 – Pourcentage d’agences locales JTPA citant des préoccupations spécifiques sur la participation à l’expérimentation.

91Durant l’expérimentation conduite à Corpus Christi, au Texas, les administrateurs du centre ont demandé et obtenu du gouvernement du Texas de pouvoir déroger à ses normes de performance au motif que l’expérimentation avait perturbé les opérations du centre. L’auto-sélection réduit probablement le risque de perturbation pour les sites participants. Une telle participation sélective à l’expérimentation remet en question la validité des estimations expérimentales en ce qui concerne le système JTPA dans son ensemble. Au moins, les données peuvent être utilisées pour établir une estimation plus précise de l’impact majeur de la perturbation.

92La randomisation est également controversée dans les essais cliniques en médecine, qui sont parfois présentés comme un parangon pour les sciences sociales empiriques (voir par exemple Ashenfelter et Card, 1985). Le problème éthique soulevé par les centres de formation de main-d’œuvre, qui consiste à refuser l’accès à la formation à des personnes également qualifiées, trouve son pendant dans l’application des essais cliniques randomisés. Par exemple, Palca (1989), dans la revue Science, note que des patients atteints du Sida, privés de médicaments potentiellement vitaux, ont pris des mesures pour neutraliser l’assignation randomisée. Les patients ont fait tester les pilules qui leur étaient administrées pour voir s’ils recevaient un placebo ou un traitement insatisfaisant. Dans un cas comme dans l’autre, ils étaient susceptibles d’abandonner l’expérience ou de rechercher un médicament plus efficace, ou les deux. Pour ce qui est de l’expérimentation de la MDRC, les stagiaires qualifiés de certains sites ont trouvé d’autres moyens d’obtenir exactement la même formation dispensée par les mêmes sous-traitants, avec d’autres mécanismes de soutien financier.

93Dans le Journal of the American Medical Association, Kramer et Shapiro (1984 : 2739) notent que les sujets d’essais pharmaceutiques sont moins susceptibles de participer à des essais randomisés qu’à des études non expérimentales. Ils évoquent en particulier une étude sur des médicaments administrés à des enfants atteints d’une maladie. L’étude comportait deux volets. La phase non expérimentale de l’étude a connu un taux de refus de 4 %, tandis que 34 % d’un sous-échantillon des mêmes parents ont refusé de participer à un sous-essai randomisé, alors que les traitements proposés étaient tout aussi dénués de risques.

94Ces auteurs invoquent des preuves empiriques suggérant que la non-réponse à la randomisation est sélective. Dans une étude sur le traitement d’adultes atteints de cirrhose, aucun effet du traitement n’a été constaté pour les participants à un essai randomisé. Mais les taux de mortalité des personnes randomisées et ne recevant pas le traitement étaient sensiblement inférieurs à ceux des personnes qui ont refusé de participer à l’expérience, bien que les deux groupes aient reçu le même traitement alternatif.

95Cette preuve nuance le plaidoyer en faveur de l’expérimentation sociale randomisée. Lorsque celle-ci est possible, elle peut modifier le programme étudié. Pour de nombreux programmes sociaux, ce n’est pas un outil d’évaluation réaliste.

À quel stade la randomisation doit‑elle être mise en œuvre ?

96Jusqu’ici, j’ai délibérément fait abstraction de la caractéristique multi-étapes de la plupart des programmes sociaux. Dans cette section, j’examine brièvement la question du choix du stade d’un programme en plusieurs étapes auquel la randomisation devrait être mise en œuvre.

97En principe, une randomisation pourrait être effectuée pour évaluer les résultats à chaque étape, mais la rareté des randomisations multiples indique probablement qu’elles exacerberaient le problème du biais de randomisation discuté dans les deux sections précédentes. En supposant qu’il n’y ait pas de biais de randomisation, si une seule randomisation doit être effectuée, à quel stade doit-elle l’être ? Une réponse évidente est le stade où elle est la moins perturbatrice, même si ce stade n’est pas si facile à déterminer en l’absence d’informations substantielles sur le processus étudié. Si la randomisation est effectuée à un stade donné, des estimateurs « économétriques » ou « statistiques » non expérimentaux sont nécessaires pour évaluer les résultats attribuables à la participation à tous les autres stades. Cela explique les analyses parfois très compliquées (Ham et Lalonde, 1990) ou controversées (Cain et Wissoker, 1990 ; Hannan et Brandon, 1990) des données expérimentales randomisées qui sont apparues dans la littérature récente.

98En outre, pour certaines des questions posées au début du papier, il n’est pas évident que la randomisation soit la méthode à préconiser pour garantir des réponses convaincantes. Nombre des questions énumérées ici concernent la réponse des stagiaires et des centres de formation aux variations des contraintes. Si une variation accrue des variables explicatives (dans un sens précisé par Conlisk, 1973) facilite l’estimation des fonctions de réponse, il n’y a aucune raison pour que les allocations randomisées soient souhaitables ou optimales à cette fin.

99Ainsi, si nous cherchons à améliorer nos connaissances sur la façon dont le revenu familial détermine la participation au programme, il n’est pas évident que les allocations de suppléments de revenu familial assignées de façon aléatoire soient un substitut efficient ou optimal aux stratégies non expérimentales de plan d’échantillonnage optimal qui suréchantillonnent le revenu familial aux extrêmes de la population éligible8.

100Si nous cherchons à améliorer nos connaissances sur la manière dont les conditions du marché du travail affectent l’enrôlement et le mantien dans le programme, ou encore les décisions d’acceptation ou de placement par les centres de formation, il serait souhaitable d’avoir une variation entre les sites de formation et ces conditions. Il n’est pas évident que la randomisation soit le meilleur moyen de garantir cette variation.

101La randomisation de l’éligibilité au programme a été proposée comme alternative à la randomisation lors de l’inscription. Cette modalité est parfois considérée comme un type de randomisation plus acceptable, car il évite les coûts de candidature et de sélection encourus lorsque la randomiation exclut les personnes acceptées du programme. Étant donné que la randomisation est effectuée en dehors du centre de formation, le centre n’a pas à assumer le coût politique induit lorsqu’il refuse à des personnes éligibles le droit de participer au programme. C’est pourquoi la randomisation est peut-être moins disruptive lorsqu’elle est effectuée à un autre stade.

102Si l’éligibilité est assignée de manière aléatoire dans la population, elle se heurte toujours au problème de l’auto-sélection. En supposant que l’éligibilité ne perturbe pas les paramètres fondamentaux du programme, le simple paramètre de différence moyenne comparant les personnes éligibles aux personnes inéligibles identifie E(Y₁ – Y₀|D = 1)P, où P est la probabilité de participation au programme par sélection volontaire en l’absence d’expérimentation. En divisant par P, on peut identifier le traitement sur les personnes traitées.

La tension entre les expérimentations sociales comme substitut aux modèles comportementaux et les expérimentations sociales comme source d’information supplémentaire

103Il existe une tension intellectuelle entre le point de vue du plan expérimental optimal et le point de vue de la différence moyenne simple à l’égard des expérimentations sociales. Le point de vue du plan expérimental optimal, plus ancien, privilégie des modèles explicites et utilise les expérimentations pour obtenir des paramètres de modèles comportementaux ou « structurels ». Le point de vue de la randomisation simple cherche à contourner les modèles et donne – sous certaines conditions – une réponse nette à une question (Q-1) : le programme fonctionne-t-il pour les participants ? Les deux points de vue peuvent être conciliés si l’on fait preuve d’agnosticisme quant aux informations préalables dont disposent les analystes pour concevoir les expérimentations (Savage, 1962). Cependant, les avantages de la randomisation sont moins évidents lorsque l’objectif est de récupérer des fonctions de participation et de poursuite des stagiaires que s’il s’agit de récupérer la distribution des mesures de résultats du programme.

104Le conflit potentiel entre les objectifs de l’expérimentation comme moyen d’obtenir de meilleures estimations d’un modèle comportemental et l’expérimentation comme méthode de production d’estimateurs simples des impacts moyens d’un programme apparaît avec force lorsque nous envisageons d’utiliser des données provenant d’expérimentations randomisées pour estimer un modèle comportemental. Pour se concentrer sur les points principaux, prenons l’exemple d’un programme en deux étapes. D₁ = 1 si une personne passe la première étape ; = 0 sinon. D₂ = 1 si une personne passe la deuxième étape ; = 0 sinon. Supposons que le résultat Y puisse être écrit sous la forme suivante :

 (14)

105Le problème statistique est que D₁ et D₂ sont stochastiquement dépendants de U. La randomisation à la première étape rend D₁ indépendant de U. Elle ne garantit pas que D₁ D₂ soit stochastiquement indépendant de U.

106L’estimateur simple de différence moyenne, qui compare les résultats des personnes ayant achevé la première étape avec les résultats des personnes randomisées, estime, dans de grands échantillons :

107Afin d’estimer θ₂ ou θ₁ pour mesure les effets marginaux de l’achèvement du programme à chaque étape, il faut trouver une variable instrumentale pour D₁ D₂.

108La randomisation sur une seule coordonnée élimine uniquement la nécessité d’avoir un seul instrument pour accomplir cette tâche. La question de savoir à quelle étape la randomisation doit être mise en œuvre demeure une question ouverte. Le compromis entre la randomisation en tant que variable instrumentale et un meilleur plan d’échantillonnage non expérimental reste à étudier. Le plan optimal d’une expérimentation pour estimer les paramètres de (14) en général n’impliquerait pas une randomisation simple à une étape particulière. Les données générées comme sous-produit d’une randomisation simple ne sont idéales que pour l’estimation de modèles tels que (14), dans le sens limité où il faut une variable instrumentale de moins pour estimer de manière cohérente θ₁ ou θ₂, bien que ces données constituent un réel avantage.

Résumé du papier de 1992

109Ce chapitre examine de manière critique les arguments avancés lors du Premier Réveil en faveur de l’expérimentation sociale randomisée comme méthode d’évaluation de programmes sociaux. La méthode donne des réponses convaincantes à certaines questions politiques en reposant sur des hypothèses fortes concernant le comportement des agents et les questions d’intérêt pour les évaluateurs de programmes.

110La méthode est idéale pour évaluer des programmes sociaux si l’on se focalise sur l’estimation de l’effet moyen du traitement sur les résultats des personnes traitées et si l’une des hypothèses suivantes se vérifie :

(HY-1), la randomisation n’a aucun effet sur les décisions de participation ;

ou

(HY-2), s’il y a un effet de la randomisation sur les décisions de participation, soit (a) l’effet du traitement est le même pour tous, soit (b) si les agents diffèrent dans leurs réponses aux traitements, leurs réponses idiosyncrasiques au traitement n’influencent pas leurs décisions de participation.

111Si l’on se focalise sur d’autres caractéristiques des programmes sociaux, comme les déterminants des décisions de participation, de rejet ou de poursuite, les données randomisées ne présentent aucun avantage comparatif par rapport à des données stratifiées non randomisées. Même si (HY-1) se vérifie, il est impossible d’employer des données expérimentales pour étudier la distribution des résultats du programme ou leur médiane sans formuler des hypothèses « statistiques » ou « économétriques » supplémentaires. Dans un programme en plusieurs étapes, les données expérimentales randomisées produisent un estimateur « propre » (différence moyenne) de l’impact du programme uniquement pour les résultats définis de manière conditionnelle à l’étape ou aux étapes où la randomisation est mise en œuvre. Il faut malgré tout employer des méthodes statistiques, et les hypothèses qui les accompagnent, pour évaluer les résultats à d’autres étapes et les résultats marginaux à chaque étape.

112Avec des hypothèses garantissant des réponses valables, la méthode expérimentale randomisée contourne la nécessité de spécifier des modèles comportementaux élaborés. Cependant, les preuves expérimentales acquièrent alors une certaine rigidité pour prédire les résultats dans des environnements différents de ceux utilisés pour mener l’expérience. L’interpolation et l’extrapolation remplacent les prévisions basées sur des modèles. Cela étant, de telles procédures d’ajustement de la courbe peuvent produire des prévisions plus convaincantes que celles générées à partir d’un modèle comportemental controversé.

113L’hypothèse (HY-1) n’est pas controversée dans le contexte de l’expérimentation agricole randomisée. C’est dans ce contexte que le modèle d’expérimentations de Fisher (1935) a été développé. Ce modèle est le fondement intellectuel des expérimentations sociales récentes, bien que la littérature économique l’attribue souvent à tort aux statisticiens des années 1970. L’hypothèse (HY-1) est toutefois plus controversée dans le contexte des essais cliniques en médecine. Des agents humains peuvent répondre à la randomisation et ces réponses menacent potentiellement la fiabilité des preuves expérimentales. Les preuves sur le biais de randomisation présentées précédemment remettent en question la validité de (HY-1).

114Si cette hypothèse n’est pas valable, si les participants au programme réagissent différemment aux traitements communs et que ces différences déterminent au moins en partie les décisions de participation au programme – de sorte que (HY-2) est fausse –, les méthodes expérimentales n’estiment pas même l’effet moyen du traitement sur les personnes traitées. Dans ce cas, les méthodes expérimentales randomisées répondent à la mauvaise question, à moins que la randomisation ne soit une caractéristique permanente du programme social évalué. Les données issues d’expérimentations randomisées ne peuvent pas être employées pour estimer des équations de participation, d’inscription et de poursuite pour les programmes en cours.

Postscript, 2019

115Je m’en tiens à ma discussion des questions conceptuelles soulevées dans ce chapitre et dans mon article avec Smith (Heckman et Smith, 1995)9. Les points soulevés sont tous valables aujourd’hui et ont été largement ignorés lors du récent Second Réveil observé en économie du développement. De nombreux documents rédigés à la suite de ces papiers établissent ou réitèrent les points soulevés ici. Outre qu’ils ne tirent pas les leçons du passé, les randomistas se montrent peu généreux envers les véritables pionniers des expérimentations de terrain.

116Dans des travaux ultérieurs, Heckman et Smith (1998) développent le point selon lequel l’auto-sélection dans un programme génère des informations sur les perceptions ex ante des agents quant aux avantages du programme10. Ces évaluations subjectives sont sans doute plus importantes que les évaluations « objectives » (δ) privilégiées par les statisticiens qui considèrent le non-respect du protocole comme un problème plutôt que comme une source d’information. Ces informations disparaîtraient si les personnes étaient forcées de s’inscrire dans un groupe de traitement ou dans un groupe de contrôle. Ce point est un exemple de plus des avantages qu’il y a à se servir de l’économie pour concevoir et évaluer des programmes sociaux.

117Dans des travaux ultérieurs, Heckman et al. (2000) voient dans le biais de substitution une menace majeure à l’interprétation directe des expérimentations. Si les agents ont accès à des programmes alternatifs, les personnes éligibles à un programme et les personnes non éligibles peuvent choisir de participer à un programme alternatif. La différence moyenne « transparente » entre groupe de traitement et de contrôle ne compare pas l’effet du traitement avec l’absence de traitement, mais plutôt l’effet du traitement par rapport à la meilleure alternative, qui peut en fait être meilleure que le programme évalué. Notre papier (Heckman et al., 2000) documente l’omniprésence du problème. Kline et Walters (2016) ont récemment livré une démonstration du problème du biais de substitution. L’estimateur « transparent » de la différence moyenne d’une récente évaluation expérimentale du programme Head Start suggérait que le programme n’avait aucun impact sur les enfants défavorisés. Une analyse plus approfondie tenant compte du biais de substitution à l’aide de méthodes microéconométriques montre un effet important. Leur article fait écho aux conclusions de Cogan (Congress of the United States, SCOFSOPA, 1978) concernant l’INR.

118Banerjee et Duflo (2009) répondent aux points soulevés dans mon papier de 1992, tout comme Athey et Imbens (2017). Ils affirment que ces critiques n’ont plus lieu d’être en raison de l’amélioration des plans d’enquête et de la méthodologie de mise en œuvre. Toutefois, ils n’abordent pas de nombreux points interprétatifs ou conceptuels de base soulevés dans mon papier de 1992 ou dans l’article de 1995, ni l’incapacité des comparaisons expérimentales des différences moyennes à répondre à l’éventail des effets de traitement pertinents au plan politique qui sont discutés dans mes papiers et dans des études ultérieures (Heckman, 2008).

119La littérature postérieure à mon papier de 1992 a fourni des preuves considérables de l’insuffisance des preuves expérimentales dans de nombreux domaines. Sanson-Fisher et al. (2007) montrent que les expérimentations ont une portée fondamentalement trop limitée pour prendre en compte les évaluations d’impact, comme l’autonomisation des femmes. Concato et Horwitz (2018) étudient le consensus en médecine11. Ce consensus ne voit plus dans les RCT un « étalon-or », une réputation qui, selon eux, était de mise dans les années 1990 en médecine. Ils présentent de nombreux articles sur les limites des expérimentations randomisées en médecine (Horwitz, 1996 ; Feinstein et Horwitz, 1997 ; Shahar, 1997 ; Sehon et Stanley, 2003 ; Concato et Horwitz, 2004 ; Chakravarty et Fries, 2006 ; Worrall, 2007 ; Rawlins, 2008 ; Borgerson, 2009 ; Concato, 2012 ; 2013 ; Horwitz et Singer, 2017 ; Frieden, 2017). Czibor et al. (2019) ont récemment publié un article de mise en garde pour les économistes expérimentaux, qui reprend les points de mon papier de 1992. Cet article met en lumière les graves problèmes de l’économie expérimentale et ce dont les fervents expérimentateurs doivent se méfier.

120Les modèles causaux préconisés dans la récente littérature sur l’évaluation des programmes sont motivés par l’idée de l’expérimentation comme idéal. Ils ne précisent pas clairement les mécanismes théoriques déterminant les ensembles de résultats contrefactuels possibles, la manière dont les contrefactuels hypothétiques sont réalisés ou le mode de mise en œuvre des interventions hypothétiques, si ce n’est pour comparer des interventions « randomisées » avec des interventions « non randomisées ». Ils se concentrent sur les résultats, sans spécifier le modèle de sélection des résultats ni les préférences des agents par rapport aux résultats attendus (Heckman, 2008).

121Quiconque ignore l’histoire intellectuelle est condamné à répéter les erreurs du passé. La seconde vague se retirera lorsque les économistes réapprendront les leçons du passé.