De quelques recommandations pour l’action publique

1Ce livre est issu d’un travail spécifiquement universitaire, et sans doute le plus spécifique qui soit : le doctorat. À ce titre, il a cherché à répondre à des exigences, à des critères et à des objectifs propres au monde parfois abscons de l’Université. Nous pouvons en particulier souligner un certain attachement à la démonstration, la précision des sources et aux questions méthodologiques points qui, s’ils ne sont évidemment pas propres à l’exercice de la thèse en économie et plus généralement en sciences sociales, en constituent néanmoins des traits importants. Ce travail s’inscrit donc dans une perspective scientifique, ce qui soulève d’ailleurs de nombreuses questions sur le plan épistémologique que nous manquons de temps de traiter ici mais que d’autres ont développé ailleurs¹.

2Pour autant, nous ne défendons pas l’image, trop souvent justifiée, du chercheur enfermé dans sa tour d’ivoire, sans prise avec le réel. Au contraire, avec cet ouvrage, nous prétendons participer au débat public en tentant de l’éclairer avec quelques grandes idées dont nous proposons maintenant une synthèse. Pour des questions aussi importantes que celles de l’évaluation des politiques publiques, de l’usage du chiffre dans l’administration de la cité, de la notion de preuve, il ne nous faut pas nous en tenir à des considérations purement intellectuelles – oserait-on dire purement universitaires – mais élargir à des aspects sinon plus pratiques, du moins plus proches de l’action publique.

3L’objet que nous avons étudié avec précision ici – les expérimentations aléatoires – peut à ce titre être perçu comme un alibi. Il n’aurait pas été faisable d’étudier cette question de la « preuve par le chiffre » sans la restreindre drastiquement. Le risque aurait alors été de s’en tenir à des considérations très générales. Se limiter à cet objet nous a permis de l’étudier en profondeur. Pour autant, nous espérons néanmoins en tirer des enseignements d’une portée plus générale.

4La simplicité de l’énonciation du premier d’entre eux pourrait surprendre : il ne faut pas négliger l’histoire. En retraçant dans notre premier chapitre la genèse de la méthode des expérimentations aléatoires, nous avons resitué les débats qui l’ont traversée, des pionniers du xix^e siècle en passant par les expérimentations sociales américaines de grande ampleur des années 1970, jusqu’à celles contemporaines menées par Esther Duflo et ses collègues. Un aspect est particulièrement frappant : presque tous les débats contemporains autour des expérimentations aléatoires étaient déjà présents dans des phases antérieures. Non seulement pendant la vague des années 1970-1980, bien documentée, mais tout autant dans les diverses tentatives qui ont eu lieu avant la Seconde Guerre mondiale. Double aveugle, placebo, biais, validité externe, etc., sont autant de questions soulevées dès les origines de cette méthode. Nous avons montré longuement que la récupération des expérimentations aléatoires par Esther Duflo et son laboratoire, le J-PAL, dans les années 2000, s’est largement faite en faisant fi de l’histoire des expérimentations aléatoires, et en particulier des controverses qui l’ont animée, comme le suggérait déjà Agnès Labrousse en 2010². Une étude de ces différents moments historiques où le contrôle d’une part et l’aléatoire de l’autre ont été progressivement élaborés aurait permis de gagner en robustesse dans l’application contemporaine de cette méthode. Mais sa simplicité apparente (la constitution aléatoire de plusieurs groupes, dont au moins un de contrôle et les autres dit « de traitement ») a sans doute contribué à masquer les vifs débats qui subsistent, comme en témoigne l’abondante littérature médicale dont nous avons fait état dans le premier chapitre.

5L’action publique comme son évaluation mérite donc de porter une attention particulière à l’histoire, en particulier à deux types de champs : l’histoire de l’intervention publique, dont il existe déjà un large corpus³, et l’histoire de l’évaluation de l’action publique, en insistant sur les dimensions méthodologiques. Rares en effet sont les dispositifs radicalement nouveaux et les politiques foncièrement innovantes : la grande majorité ne sont que des adaptations de l’existant. Les décideurs publics gagneraient sans doute à activer davantage le levier historique pour construire mais aussi justifier les mesures qu’ils préconisent ou qu’ils mettent en œuvre. Dès lors qu’il est question de mettre sur pied une politique, on songe souvent à l’économiste, parfois au sociologue, mais plus rarement à l’historien. Ce dernier apporte pourtant une profondeur qui permettrait d’anticiper certains problèmes, certaines incompréhensions. Concernant les méthodes qui permettent d’apprécier les effets de l’intervention publique, là aussi il est nécessaire d’intégrer une dimension historique. Si l’évaluation en la matière s’est fait jour plus tardivement en France qu’aux États-Unis⁴, il n’en reste pas moins que l’on peut compter sur plusieurs décennies d’études en la matière, dont la connaissance fine demeure nécessaire, à l’heure où d’aucuns prétendent développer des méthodologies nouvelles et hautement scientifiques.

6La deuxième recommandation que nous souhaiterions formuler en matière d’action publique concerne l’importance de la validité externe, que nous avons évoquée à de nombreuses reprises tout au long de ce travail. Derrière ce terme technique se cache l’idée plus simple de généralisation. Centrale dans toutes les sciences sociales⁵, elle revêt une dimension particulièrement forte dès lors que l’on parle d’évaluation de politiques publiques. La validité externe, c’est la capacité d’une démonstration à demeurer valide dans un autre contexte que celui dans lequel elle a été obtenue. Pour donner un exemple appliqué aux politiques publiques, cela reviendrait à se demander dans quelle mesure les résultats d’une évaluation d’une aide sociale dans une ville d’un département se retrouveraient à l’échelle du département tout entier, voire du pays dans son ensemble. Connaître la validité externe d’une évaluation est évidemment crucial dans la mesure où cela en détermine l’utilité pour l’action publique. Elle pose un défi à l’expérimentation, le plus souvent réalisée à une échelle moindre que celle qui est visée. Ainsi en est-il du RSA, évalué dans certains endroits avant d’être généralisé à la France entière. Si les localités sont bien choisies et si on a des raisons de croire qu’elles sont représentatives du territoire sur lequel on veut intervenir, alors on a déjà fait un pas dans la bonne direction. Mais cela n’est pas suffisant.

7Les expérimentations aléatoires constituent un objet intéressant pour montrer l’importance de la validité externe dans la mesure où bon nombre de commentateurs – le lecteur attentif aura compris que nous n’en faisons pas partie – jugent que leur validité interne, c’est-à-dire le degré de certitude que l’on a que les effets mesurés proviennent bien uniquement de ce qui est testé, est très forte, sinon totale. Autrement dit, c’est uniquement du côté de la validité externe que cette méthode pourrait pêcher. Effectivement, nous avons soulevé les problèmes qu’elle pose en matière de validité externe, sans qu’ils soient plus importants que d’autres méthodes d’évaluation d’ailleurs. Une étude attentive de la littérature des expérimentations aléatoires, telle que nous l’avons opérée⁶, montre que la question de la validité externe est cependant le plus souvent négligée. Là où les économistes qui pratiquent cette méthode s’intéressent effectivement de près à la validité interne, force est de constater que ce n’est pas le cas pour la validité externe. La démonstration de celle-ci est pourtant au moins aussi rude que fournir la preuve de celle-là. Montrer que la distribution de vermifuges dans la lutte contre l’absentéisme scolaire est un succès dans une région de l’ouest kényan⁷ ne dit que peu de choses sur la côte est, dans des pays voisins, ou dans d’autres régions du monde plus lointaine. Si certaines expérimentations aléatoires prennent explicitement en compte ce problème, soit en proposant un appareillage théorique qui cherche à y apporter une réponse, soit en travaillant sur un échantillon que l’on estime représentatif de la population d’intérêt, elles demeurent minoritaires.

8On ne peut donc qu’appeler à une vigilance en matière d’action publique dès lors que l’on se réfère à des études économiques (mais également sociologiques). Il s’agit en effet de toujours se demander quelle validité externe elles apportent. Elle peut rarement être totale, ce n’est d’ailleurs pas forcément nécessaire, mais elle ne doit pas être absente. Le cas échéant, elle ne serait que de peu d’utilité pour l’action publique. Prenons un exemple, célèbre dans la littérature économique, et qui ne s’appuie d’ailleurs pas sur la méthode des expérimentations aléatoires : l’étude de Card et Krueger sur le relèvement du salaire minimum dans le New Jersey, paru en 1994⁸. À l’aide d’une méthode astucieuse, ils montrent qu’il n’a pas eu d’effets néfastes sur l’emploi, contrairement à ce que prévoit la théorie standard. On aurait tort de prétendre que cet article répond définitivement à la question de l’effet du salaire minimum sur l’emploi (qu’aurait donné une telle étude dans un autre État ou dans un autre pays ? Que se passerait-il si on répliquait l’étude aujourd’hui ?) comme on aurait tort de ne pas prendre en compte ces résultats (la hausse du salaire minimum ne saurait impliquer systématiquement une hausse du taux de chômage). Aussi, les praticiens de l’action publique doivent scruter avec attention les différents indices qui leur permettent d’attester de la validité externe des études qu’ils mobilisent. Ces indices portent entre autres sur la nature du dispositif testé et sur la proximité de l’échantillon mobilisé avec la population d’intérêt.

9Le problème de la validité externe n’est pas le seul écueil des expérimentations aléatoires. Dans notre travail, nous en avons relevé d’autres, ce qui avait pour objectif de nuancer l’(auto-) attribution du titre de « gold standard » de l’évaluation, qui nous semble en effet exagéré. Une partie du prestige associée à cette méthode dans l’évaluation des politiques publiques provient du parallèle qui est souvent fait avec la médecine, où les essais cliniques randomisés occupent le sommet de la pyramide des preuves telle qu’elle est le plus souvent définie dans la littérature médicale. Or, il est frappant de voir que le double aveugle, condition requise le plus souvent en médecine, est une préoccupation largement absente de la littérature économique. Là où les essais cliniques randomisés en font généralement une condition nécessaire à leur existence même, son absence est dans l’immense majorité des expérimentations sociales aléatoires passée sous silence. Or, le fait de savoir que l’on fait partie d’une expérimentation et éventuellement que l’on fait partie du groupe test, d’une part, et d’autre part le fait que les évaluateurs connaissent le statut des individus, sont à même d’introduire certains biais qui risquent précisément de miner la validité interne de ces études, comme cela est démontré depuis longtemps (cf. par exemple la célèbre expérience Hawthorne). En médecine, la question de l’effet placebo est bien connue et traitée de manière centrale dans de nombreux essais cliniques. Il est tout à fait possible qu’elle existe en matière de politique publique, mais trop rares sont les expérimentations aléatoires qui cherchent à l’isoler. Il faut dire que la tâche est plus ardue que dans les sciences médicales et pharmacologiques : là on peut facilement produire un placebo d’un médicament, c’est plus délicat pour un manuel scolaire⁹, une moustiquaire¹⁰ ou une subvention pour un permis de conduire¹¹. Mais cela ne veut pas évidemment pas dire que l’effet placebo est absent. La vigilance méthodologique doit donc être de mise pour tout type de méthode, y compris pour celle présentée par leurs promoteurs comme étant le « gold standard ».

10Un aspect que nous avons peu développé dans notre ouvrage et qui n’en demeure pas moins important est celui des questions éthiques. Particulièrement fortes en matière expérimentale¹², elles doivent être prises au sérieux dès lors qu’on a recours à des méthodes qui privent explicitement certains individus d’un dispositif ou d’une politique. La justification éthique avancée par les randomistes repose sur le raisonnement suivant : admettons que l’on ait de quoi traiter 1 000 enfants kényans à l’aide de vermifuges. Traitons-les, mais constituons également (de manière aléatoire) un groupe de 1 000 autres enfants qui n’auraient de toute façon pas été traités. L’éthique serait ainsi sauve, puisque le nombre d’enfants potentiellement traités serait le même qu’il y ait une expérimentation ou pas. Pourtant, ce raisonnement nous apparaît particulièrement spécieux, en ce qu’il néglige le coût propre à l’expérimentation elle-même. Celui-ci peut être relativement élevé, surtout lorsque l’on intervient dans des pays pauvres. Il n’est alors pas rare que celui-ci excède le coût de ce qui est évalué. Le plus souvent, on aurait donc les moyens de « traiter » davantage d’individus que celui qu’on inclut dans l’étude, nombre qui est de toute façon déterminé selon des considérations statistiques le plus souvent, bien plus que suivant des considérations budgétaires. Dès lors, le choix de priver sciemment certains individus pose un questionnement éthique qu’il n’est pas aisé de trancher. En médecine, on estime qu’une telle privation est éthiquement acceptable dès lors que l’on ne peut être sûr des bienfaits du traitement dont on souhaite mesurer les effets. Quel intérêt, en effet, à priver certains individus d’un traitement si l’on est persuadé de son efficacité ? Cette posture éthique ne se retrouve pas toujours chez les randomistes. Si dans certaines expérimentations aléatoires les chercheurs semblent réellement ignorer les effets du dispositif ou du programme qu’ils évaluent, dans d’autres cas c’est simplement l’ampleur des effets positifs qu’ils procurent qui les intéressent. En effet, il paraît certain que distribuer des vermifuges à des enfants kényans régulièrement touchés par des vers intestinaux ne leur sera que bénéfique. Par contre, établir que cela améliorera significativement leur présence en classe et que cette politique publique serait potentiellement moins coûteuse que d’autres pour diminuer l’absentéisme n’a rien d’évident. Il ne nous appartient pas de trancher dans tous ces débats éthiques, que nous avons volontairement laissé de côté dans notre travail, mais il nous est apparu nécessaire de les évoquer dans cette dernière partie. Dès lors que l’on entend avoir recours à des dispositifs expérimentaux, il convient en effet de se poser avec sincérité et transparence les questions éthiques auxquelles ils renvoient. Parce que l’expérimentation suppose l’intervention directe sur des individus, il convient de les considérer avec sérieux et respect.

11L’expérimentation demeure bien sûr une option intéressante pour l’action publique. Ce travail ne prétend ni démontrer le contraire, ni décourager leur mise en place, bien au contraire. Il cherche d’une part à démythifier une de ses versions – l’expérimentation aléatoire – et à mettre en garde, de manière plus générale, sur quelques limites qu’elle comporte nécessairement.

12Il y a une idée, le plus souvent implicite, largement partagée par les randomistes, qui consisterait à saisir, à travers l’expérimentation, la vérité du réel. Pour bien saisir notre propos, il convient d’inscrire cette « mode » de l’expérimentation dans un contexte plus large en économie de retour aux données, que le succès de Thomas Piketty aussi bien dans le champ de la discipline qu’à l’extérieur, vient attester. Les données, c’est-à-dire le réel, ne mentiraient pas. Mieux : elles parleraient d’elles-mêmes. Ainsi en est-il de la posture des randomistes dans leurs travaux : les solutions qu’ils préconiseraient, que ce soit en éducation, en santé, en agriculture, etc., n’émaneraient pas d’une grille de lecture idéologique, mais seraient soutenues par l’écho du réel que permettent de saisir les expérimentations. Les économistes ont depuis longtemps la crainte de voir leur science confondue avec le politique et de n’être vus que comme des idéologues déguisés en scientifiques. Aussi, bon nombre d’entre eux n’ont-ils eu de cesse de donner des gages de scientificité, que la dérive formaliste de la science économique des années 1980 et 1990 symbolise bien. L’économiste et philosophe Frédéric Lordon parle avec justesse du « désir de “faire science” » des économistes¹³. Le relatif tournant empirique impulsé par la discipline dans les années 2000, et dont Esther Duflo et Thomas Piketty sont deux illustres représentants, peut être compris dans cette même optique, mais avec une volonté louable de lier leur discipline (même si Thomas Piketty se réclame plus, depuis quelques années, des sciences sociales en général que de l’économie en particulier) au réel. Thomas Piketty et son équipe ont construit d’impressionnantes bases de données sur les inégalités. Esther Duflo et son laboratoire ont multiplié les expérimentations afin de recueillir des milliers de micro-données. Dans les deux cas, il convient de prendre garde à cette profusion de chiffres. La simplicité des statistiques qu’ils produisent (des écarts interdéciles par exemple pour le premier, des pourcentages d’évolution pour la seconde) ne doit pas masquer leur caractère construit. Nous avons essayé de le montrer longuement dans cet ouvrage à propos des expérimentations aléatoires, mais cet enseignement demeure valable dès lors que l’on a à faire à des chiffres : une donnée quantitative est toujours une construction sociale, avec des choix (sur la manière de récolter ses chiffres, de les agréger, de les présenter, etc.) qui les ont précédés. Pour reprendre les termes du grand historien et sociologue de la quantification Alain Desrosières, « quantifier, c’est convenir, puis mesurer »¹⁴. Toute donnée quantitative est une cristallisation de conventions qui ne sont pas nécessairement absurdes, illégitimes ou simplistes, mais qui méritent toujours d’être explicitées. Dans le cas des expérimentations aléatoires, nous avons montré dans cet ouvrage que ce travail d’explicitation n’était pas toujours suffisamment bien réalisé selon nous. Il permet pourtant d’amoindrir l’attribut d’objectivité qu’on associe trop souvent et trop rapidement aux chiffres, tout en se donnant les moyens de les apprécier à leur juste valeur.

13Loin de nous dire l’idée de dire que l’on pourrait tout faire dire aux chiffres (c’est même le contraire), encore faut-il avoir bien en tête la façon dont ils ont été élaborés. Aussi s’agit-il là d’une recommandation importante que nous aimerions formuler. La quantification, au service de l’action publique, doit être manipulée avec une réflexivité constante. Quand on a conscience de l’étendue de cette quantification aujourd’hui dans notre société, on mesure, si on ose dire, l’importance qu’il y a à s’en saisir convenablement, dès lors que l’on entend œuvrer pour le bien public. Utiliser les chiffres, c’est avant tout s’interroger sur leur fabrication. Dire qu’un chiffre, une statistique, est une construction, c’est entre autre dire qu’ils auraient pu être bâtis autrement. Ce genre d’arguments est bien connu pour les plus médiatiques des indicateurs, comme le taux de chômage ou le PIB¹⁵. Mais il doit également être retenu pour d’autres chiffres moins visibles, mais qui ne sont pas sans importance pour l’action publique. À l’heure du big data et de la facilité avec laquelle on peut désormais traiter les nombreuses données dont on dispose, en particulier dans l’administration, cette exigence de réflexivité, dont on a montré la nécessité au sujet des expérimentations aléatoires, nous semble d’autant plus forte.

14Le corollaire de cette exigence de vigilance épistémologique et méthodologique à l’égard de la quantification réside dans la nécessaire revalorisation des approches qualitatives en matière d’évaluation. Dès lors que l’on prétend évaluer les effets d’une politique publique, le réflexe quantitatif se fait jour presque systématiquement. La question se résume alors souvent à « combien ? ». Il est vrai que le chiffre est bien utile. Présenté sous forme brute en termes de pourcentage, il est simple à calculer et, surtout, à comprendre. Sans équivoque apparente, il permettrait de donner une réponse claire, tranchée. Mais évaluer n’est pas que mesurer. En outre, dès lors que l’on adopte une posture constructiviste à l’égard de la quantification, celle-ci perd en objectivité – ce qui ne veut pas dire qu’elle perd en utilité. Les chiffres ne sont pas plus neutres que les mots. Resituer les premiers à leur juste valeur, c’est dans le même temps revaloriser les seconds. Les conséquences d’une politique publique sur la vie des individus ou sur le fonctionnement des institutions sont souvent trop complexes pour s’en tenir à un résumé numérique. Les chiffres demeurent un support tout à fait appréciable, mais ils ne permettent pas nécessairement de capter l’ambiguïté, la déception, l’estime de soi, la perplexité, etc., que peut pourtant produire l’action publique. Prenons un cas où l’on demanderait à un échantillon de contribuables s’ils sont satisfaits d’un nouvel équipement public. On peut imaginer de leur laisser quelques réponses possibles seulement (Très satisfait / Satisfait / Peu satisfait / Pas du tout satisfait) ou de leur demander de noter leur satisfaction sur une échelle numérique (de 0 à 10 par exemple). Les résultats peuvent être alors résumés numériquement, et on peut alors dire que x % des individus interrogés sont très satisfaits, y % satisfaits, etc., ou encore que le score moyen obtenu est de 6,2. Un tel procédé est instructif, mais il ne doit pas constituer le recours systématique. Car il n’est pas rare qu’une part de satisfaction se mêle à une part de « insatisfaction », sur des éléments différents du dispositif. Par exemple, on peut le trouver performant, mais trop cher, ou placé au mauvais endroit. Comment capter cette équivocité des effets de l’action publique ?

15Comme nous avons cherché à le montrer dans le cas des expérimentations aléatoires, les sciences sociales offrent une série d’outils à même de l’appréhender. Là où certains économistes ne voient pas d’autres approches de leur discipline que la quantification ou la formalisation, il existe des méthodes qualitatives qui ont fait leur preuve, en sociologie, en anthropologie, en géographie, et même en économie, dans des courants souvent qualifiés aujourd’hui d’hétérodoxes. La mise en nombre n’est pas le seul accès à la scientifisation de l’approche du monde social. Comme le rappelle l’anthropologue Jean-Pierre Olivier de Sardan¹⁶, le qualitatif n’est pas sans rigueur. Nous ne pouvons qu’adhérer à ses propos lorsqu’il écrit que le qualitatif produit de l’« à peu près, [qui] n’a rien d’un n’importe quoi ». Deux outils majeurs de nature qualitative sont à disposition des chercheurs en sciences sociales : l’entretien et l’observation, avec plusieurs modalités pour chacun. L’entretien permet précisément de saisir toute la complexité d’un propos, et parfois même ce qui peut apparaître comme des contradictions. Il est particulièrement utile dès lors que l’on s’intéresse à l’action publique, et en particulier à l’évaluation. S’il n’est évidemment pas possible de travailler sur un échantillon aussi large qu’avec une approche statistique, il permet néanmoins d’aller plus en profondeur. En ce sens, il complète utilement l’approche quantitative, en permettant de creuser davantage, de préciser des éléments qui ressortent de l’analyse des données et surtout, d’offrir des pistes d’explication. L’observation offre également de saisir plus finement la complexité du réel, en s’attardant in situ à comprendre les interactions, les institutions, les dispositifs mis en place. Si elle peut aussi permettre de produire des chiffres, elle ne peut s’y résumer, en s’attardant par exemple sur des éléments de langage, sur des postures corporelles ou encore sur des situations inattendues.

16Les randomistes négligent cette dimension qualitative dans leurs travaux, sans doute parce qu’elle est exclue de leur paradigme, souvent même sans qu’il soit nécessaire de l’expliciter, comme si cela était naturel. En matière d’expérimentations aléatoires, nous avons essayé de montrer les manques que cette absence pouvait engendrer. Il nous semble que cette conclusion peut être étendue à l’évaluation des politiques publiques en général. Il ne faut pas négliger, en effet, les apports de la démarche qualitative en matière d’évaluation, pour les raisons que l’on vient d’évoquer.

17Nous nous permettons d’en ajouter une autre. Pour cela, il nous faut revenir sur une distinction importante que nous avons opérée dans notre travail sur les expérimentations aléatoires : celle de la distinction entre preuves d’efficacité et preuves de causalité. Une méthode d’évaluation, qu’elle soit expérimentale ou non d’ailleurs, peut éventuellement permettre de produire des preuves d’efficacité. Autrement dit : est-ce que ça marche ou pas ? Mais dire et, surtout, démontrer qu’une politique produit des effets (preuve d’efficacité), ce n’est pas la même chose qu’expliquer pourquoi (preuve de causalité). Dans la grande majorité des expérimentations aléatoires que nous avons analysées demeure une confusion entre ces deux types de preuves. Or, savoir qu’un programme ou une politique publique marche sans savoir pourquoi, sans mettre au jour les mécanismes à l’œuvre, risque d’être décevant pour les décideurs publics. En effet, dès lors que l’on s’intéresse à l’action publique et que l’on prétend sinon l’améliorer, du moins la mettre en œuvre dans des conditions appréciables, on est au moins aussi intéressés par l’existence d’effets (si possible positifs !) que par l’explication de ses effets. Prenons un exemple : les effets de la distribution gratuite d’ordinateurs portables à des collégiens. Admettons qu’une évaluation bien menée trouve des effets significatifs sur certains apprentissages. On a donc là une preuve d’efficacité. Mais quid de la causalité ? Peut-on simplement dire que les ordinateurs portables sont la cause de ces améliorations ? Ce serait là une conclusion bien simpliste. Les origines peuvent être multiples : les enseignants peuvent se sentir davantage valorisés que l’on donne plus de moyens à leurs élèves, comme ce pourrait être le cas pour les parents, les logiciels installés peuvent avoir été particulièrement bien pensés, les pratiques pédagogiques ont pu évoluer grâce à ce support, etc.

18Le dévoilement de la causalité, qui constitue un des grands questionnements des sciences sociales, demeure un chemin ardu. Les statistiques peuvent aider, fournir des indices, mais ne constituent jamais une condition suffisante pour prouver une causalité – il suffit de connaître la distinction entre une corrélation (qui est donc statistique, par définition) et une causalité (qui n’est pas statistique) pour s’en convaincre. Dès lors, comment faire ? Tout d’abord, avoir en tête cette distinction causalité/efficacité permet d’éviter des conclusions abusives, qui tenteraient d’expliquer les effets d’une politique sans en avoir de réelles preuves. Bien sûr, certaines études ou certaines expérimentations se donnent davantage les moyens de saisir les mécanismes causaux. Ensuite, il nous est apparu, avec les expérimentations aléatoires, qu’un croisement méthodologique pouvait améliorer les choses. En effet, les outils qualitatifs que nous avons évoqués plus haut peuvent permettre de reconstituer, au moins en partie, comment s’est jouée une politique publique. Parce que les chaînes causales sont souvent complexes, l’entretien comme l’observation contribuent à mieux les appréhender. Il ne s’agit pas de dire que le qualitatif permet à coup sûr de résoudre la question causale, mais il nous semble qu’on est mieux armés à l’associer avec du quantitatif qu’en s’appuyant uniquement sur des chiffres.

19Nous aimerions conclure ces quelques recommandations sur l’action publique en revenant sur la place qu’occupe la quantification dans cette dernière, comme dans la société en général. Nous avons évoqué plus haut la nécessaire posture réflexive et constructiviste qu’il convient d’adopter à l’égard des chiffres. Il nous faut maintenant y ajouter une dimension de nature plus politique, en lieu et la place de ce que le juriste Alain Supiot nomme la « gouvernance par les nombres »¹⁷. Car, à bien y penser, une croyance aiguë de la primauté des statistiques comme mode d’administration de la preuve ne serait que peu dommageable si une telle idée se cantonnait au plan épistémologique. Or, la quantification, comme l’ont bien repéré des penseurs comme Alain Desrosières¹⁸, Albert Ogien¹⁹ ou encore Roland Gori²⁰ se constitue aujourd’hui en outil de gouvernement, pour reprendre l’analyse de Michel Foucault²¹. C’est en ce sens qu’il faut saisir l’importance d’une analyse des expérimentations aléatoires, au-delà de son aspect strictement méthodologique. En présentant cette méthode comme le « gold standard » de l’administration de la preuve, les randomistes entendent marquer un point décisif dans l’évaluation de l’action publique. Cette incursion des statistiques dans la vie publique n’est ni nouvelle, ni néfaste en elle-même. Mais elle le devient dès lors que ne sont pas, ou plus, dévoilés les choix et les conventions qui ont permis de les bâtir, c’est-à-dire ce qu’elles contiennent de politique. Il s’agit donc bien de repolitiser la quantification, non en la disqualifiant puisqu’elle conserve toute sa valeur sur le plan méthodologique, mais bien en montrant ce qu’elle contient de nécessairement arbitraire. C’est à ce prix, et à ce titre, que les chiffres peuvent être à même d’éclairer utilement l’action publique.