1L’impact est un terme à la mode qui s’est imposé dans le langage courant par une combinaison de néologisme et d’anglicisme dont le management est souvent un vecteur privilégié. Le mot, dérivé du latin impingere signifiant « frapper », désigne étymologiquement le choc d’un projectile contre un corps et le trou qu’il laisse à l’endroit heurté. L’impact suppose donc une certaine dose de violence, un choc, en vertu duquel l’Académie française déconseille l’usage du terme pour décrire un simple changement. C’est pourtant bien dans ce sens affaibli que le mot impact est utilisé couramment pour décrire toutes les conséquences directes ou indirectes d’une action ou d’un processus, d’un évènement ou d’une activité.

L’impact, une notion « floue »

2La notion reste cependant peu stabilisée et utilisée de façon spécifique selon les champs d’application. Dans le domaine de l’environnement, les évaluations d’impact nées au début des années 1970 aux États-Unis visent à déterminer les changements positifs et négatifs, de court, moyen et long terme qui affectent l’environnement suite à la réalisation d’un programme ou d’un projet d’aménagement en raison de sa localisation ou de sa taille. En matière sanitaire, l’OMS définit depuis 1999 les études d’impacts en santé (EIS) comme l’analyse des effets potentiels d’une politique sur la santé de la population et la distribution de ces effets à l’intérieur de la population (Jabot, Turgeon, 2010). On retrouve ainsi des définitions équivalentes dans le domaine des politiques économiques, de l’emploi ou de l’éducation, jusque dans le champ académique où l’impact factor est un indice bibliométrique permettant d’estimer la portée d’une publication scientifique.

3Trois composantes caractérisent généralement un impact. Sa valeur, tout d’abord : l’impact peut être positif (création d’emplois, développement de compétences…), négatif (pertes financières, émissions polluantes…) ou nul. L’enjeu est donc d’estimer, au moyen d’une mesure chiffrée et rigoureuse, la valeur de l’impact, voire d’en proposer une traduction financière, afin d’envisager des actions susceptibles d’atténuer les impacts négatifs et de renforcer les impacts positifs. Les impacts se distinguent ensuite par leur intentionnalité. Ils peuvent correspondre tout aussi bien à une conséquence attendue au départ de l’action comme à une conséquence inattendue, laquelle peut être désirable (effet levier, effet d’entraînement) ou non désirable (effet d’aubaine, effet de bord, effet d’éviction). Par ailleurs, les impacts peuvent concerner les groupes cibles d’une intervention (bénéficiaires directs) mais aussi d’autres groupes qualifiés de destinataires finaux de l’intervention. La temporalité des impacts constitue enfin la troisième composante. L’impact met l’accent sur la portée ultime d’une intervention et ses effets transformateurs à long terme. Dans les approches basées sur la théorie d’action, l’impact se distingue des résultats (outcomes) désignant les effets de court terme sur les bénéficiaires directs. Les impacts d’une intervention se situent dès lors au bout d’une chaîne de causalité : les actions réalisées entraînent des résultats qui contribuent aux impacts escomptés (Weiss, 1997).

De l’approche balistique à l’essor de la performance publique

4Pour les policy sciences développées aux États-Unis à partir des années 1950 et focalisées sur les étapes de la décision et de formulation des problèmes par les responsables publics, l’impact constitue un intérêt mineur. Dans le modèle d’analyse séquentielle proposé par Harold Laswell et rendu célèbre par Charles O. Jones, la séquence de l’évaluation correspond simplement à l’analyse des résultats de la mise en œuvre de l’intervention au regard des objectifs. Cette évaluation n’est utile que dans la mesure où elle permet aux décideurs publics le réajustement des objectifs de politiques publiques (Laswell, 1956). Selon cette approche, qualifiée de « balistique », le gouvernement agit en fonction de réponses prévisibles de la société et vise des cibles à atteindre selon une trajectoire déterministe, comme dans le cas d’un tir d’artillerie.

5Dans le sillage de l’ouvrage publié au début des années 1970 par deux chercheurs américains, Aaron Wildavsky et Jeffrey Pressman, sur l’échec d’un programme fédéral mené à Oakland, c’est surtout l’analyse des failles de l’action publique qui va s’intéresser aux écarts entre les intentions des décideurs publics et leurs faibles résultats (Wildavsky, 1973). Pour ces travaux empiriques, il s’agissait de lier la qualité des résultats à des logiques de mise en œuvre qui échappent aux décideurs centraux, davantage que de juger de la performance des interventions en tant que telles (Lascoumes, Le Galès, 2012).

6La diffusion des principes du New Public Management va marquer un tournant pour la prise en compte des résultats dans l’analyse des interventions publiques (Pollitt, Bouckaert, 2000). Elle impose un nouveau registre de justification des organisations publiques, non plus seulement basé sur la sélection des élites et le fonctionnement des organisations (bureaucraties) mais sur l’efficacité de leur action (Duran, 2018). En particulier, les approches de type value for money vont dominer dans les années 1980 pour favoriser un pilotage des dépenses publiques fondé sur l’appréciation de leur impact socio-économique. Ces études sont cependant menées dans une perspective principalement micro-économique et sans prise en compte des impacts sociaux et qualitatifs autres que budgétaires. Il reste que cette dynamique va avoir un effet important sur l’évolution des administrations publiques et l’intégration progressive d’une culture de l’audit et de la performance. Ce changement se traduit également par la refonte des mécanismes de planification ministériels et la consécration des indicateurs de pilotage. En France, avec la Lolf, de très nombreux indicateurs sont ainsi élaborés dans les ministères pour formaliser l’activité administrative et favoriser une gestion budgétaire de l’État par les résultats (Bezes, 2005). Pour les observateurs avertis, l’acculturation des managers publics aux subtilités de l’impact est restée cependant faible (Brunetière, 2006).

7La focalisation sur la question de l’impact va véritablement connaître un essor dans le champ du management des politiques publiques avec le développement de l’évaluation des politiques publiques, et en particulier des évaluations d’impact basées sur les méthodes statistiques et économétriques d’analyse des données.

Évaluer l’impact : la quête du Graal

8Pour les évaluateurs, l’impact constitue à la fois le critère le plus difficile à apprécier et celui qui concentre le plus de débats tant sur sa définition que sur les méthodes mobilisées.

9Évaluer l’impact de l’action publique revient à comparer la situation avant et après la mise en place d’une intervention en essayant d’isoler les changements imputables à l’intervention évaluée. Assimiler changement et impact revient à ne pas tenir compte des facteurs externes qui ont pu peser sur l’évolution observée après la mise en œuvre de l’intervention. C’est pourquoi les économistes insistent sur les notions de causalité et de contrefactuel (Ferracci, Wasmer, 2014) permettant d’apprécier les effets strictement attribuables à une intervention en comparant l’évolution d’une population traitée par rapport à la situation qui aurait prévalu en l’absence d’intervention. Plusieurs techniques statistiques et économétriques pointues sont généralement convoquées sous le vocable d’évaluation d’impact mais les méthodes quantitatives expérimentales, basées sur la comparaison entre un groupe de bénéficiaires et un groupe de contrôle assignés de façon aléatoire (Randomized Control Trial) en constituent l’étalon-or méthodologique.

10La popularisation de ces méthodes doit beaucoup à l’essor des évaluations d’impact dans le champ du développement, sous l’influence des bailleurs internationaux désireux de dépasser les critiques relatives aux limites des méthodes d’évaluation des aides publiques (Barbier, 2014). Elle repose aussi sur la consécration ces dernières années, dans le champ académique et au-delà, de « randomisateurs » proches des cercles décisionnels comme Esther Duflo, professeure au Massachusetts Institute of Technology (MIT) et prix Nobel d’économie. Pour ces chercheurs, la suprématie revendiquée de ces méthodes constitue le point de départ d’un projet plus politique visant à présenter les évaluations d’impact comme autant d’antidotes aux problèmes publics tels que la pauvreté, le chômage ou les inégalités scolaires (Labrousse, Zamora, 2010).

11Ces idées ne sont pas nouvelles. Elles remettent au goût du jour les promesses de la société expérimentale (experimenting society) théorisées par Campbell dans les années 1960 (Campbell, 1969). Inspirées du domaine de la médecine et des sciences du vivant, elles se diffusent dans les cercles de décision depuis les années 1990 sous le vocable de l’evidence-based policy et s’étendent désormais à l’ensemble des champs d’action publique, en particulier les politiques d’emploi, d’éducation ou de lutte contre la criminalité (Laurent et al., 2009). Croisées avec les principes du New Public Management, les politiques publiques fondées sur la preuve ont connu une forte exposition dans les pays anglo-saxons, notamment au Royaume-Uni avec la création du National Institute for Health and Care Excellence (NICE) ainsi que les évaluations de plusieurs programmes phares dans les années 2000 (tels que Pathways to Work) ayant favorisé au cœur de l’administration britannique l’installation d’un écosystème de la preuve reposant largement sur des acteurs privés (organismes de recherche indépendants, cabinets de conseil, réseaux d’associations) (Bozio, 2014).

12Cette préoccupation de mise à disposition judicieuse des connaissances disponibles a donné lieu à plusieurs avatars, à travers les études visant à mesurer l’impact social dans le domaine de l’économie sociale et solidaire, le développement des obligations à impact social (social impact bonds) ou encore les calculs de rendement de l’investissement social. Les évaluations d’impact y sont positionnées comme un outil d’aide à la décision pour les décideurs publics et favorisent la diffusion d’une culture de l’expérimentation (de mesures ou de programmes, souvent à petite échelle) au sein des organisations.

L’injonction à l’impact suscite pourtant de nombreuses critiques

13Sur le plan méthodologique, les réserves soulignent l’étroitesse du champ d’application de ces méthodes, particulièrement adaptées pour des interventions « tunnels » aux impacts circonscrits mais qui ne permettent pas d’éclairer des politiques aux impacts multiples, non connus et portant sur différents publics.

14D’un point de vue éthique, la focalisation sur l’impact tend à réduire la compréhension du monde social à la seule question de la mesure. Les classements et baromètres de performance développés à des fins de simplification et de communication évacuent les dimensions qualitatives de l’impact comme les caractéristiques des acteurs affectés, les mécanismes de contribution à l’œuvre ou le rôle de l’environnement dans les comportements observés.

15Sous couvert d’ingénierie sociale, les approches fondées sur les impacts entretiennent, enfin, un brouillage des frontières entre recherche scientifique et décision politique. Tout à la fois outils de preuve et de gouvernement (Desrosières, 2008), elles oublient les contextes organisationnels, les logiques décisionnelles et font de l’optimisation des buts le critère central de l’action publique. En termes de management, ce constat pose question car il coupe court à une réflexion sur le fonctionnement des organisations et la prise de décision et ne permet pas de relier l’analyse des impacts à des processus d’apprentissage.