« De l’arbitraire à l’arbitrage » : les indicateurs de S&T en débat
p. 13-20
Texte intégral
1En 1985, Robert Chabbal, président de la Mission scientifique et technique du ministère de la Recherche et de l’Enseignement supérieur, avait demandé une étude dont l’objet était de « concevoir un ensemble d’indicateurs destinés à l’évaluation de la recherche ». En janvier 1986 paraissait à La Documentation française le rapport intitulé Évaluation des politiques publiques de la recherche et de la technologie, les auteurs étant Rigas Arvanitis, Michel Callon et Bruno Latour (Arvanitis, Callon & Latour, 1986).
2Ce rapport a été directement à l’origine de la création de l’Observatoire des sciences et des techniques (OST), dont l’objet, le type de statut et même le nom étaient proposés dans le rapport. Au-delà, ce rapport proposait une conception très clairement énoncée de la raison d’être et du rôle des indicateurs.
3Ce bref article a pour objet d’apporter quelques éclairages et propositions concernant le rôle des indicateurs dans la politique de recherche, ceci à partir d’une réponse à des critiques récentes sur l’usage des indicateurs – réponse construite en mobilisant des concepts et arguments développés dans le rapport cité plus haut.
4Nous présentons d’abord une synthèse de la vision des indicateurs présentée dans ce rapport, puis nous faisons écho aux débats récents sur les effets pervers des indicateurs pour montrer en quoi la conceptualisation du rapport de 1986 offre des clés pour dépasser cette controverse et proposer une vision contemporaine du rôle des indicateurs dans la politique de recherche.
Le rapport de 1986 : les indicateurs comme véhicules d’un rapport intelligible entre science et priorités politiques
5Le rapport aborde la question de l’évaluation à travers le cas des programmes incitatifs, instruments privilégiés, à l’époque, de la mise en œuvre de la politique gouvernementale ; il indique en préambule que « la tâche essentielle des années qui viennent est d’imaginer des institutions qui restituent à la puissance publique sa capacité d’initiative et d’arbitrage sur les grandes orientations du développement technologique et scientifique » (p. 10)1.
Les indicateurs comme instruments de l’interaction entre scientifiques et décideurs via l’évaluation
6À partir de ces prémisses, la notion de programmation de la recherche est mise en avant, définie comme ensemble des pratiques administratives qui visent à amener une partie du potentiel de recherche à développer des connaissances qui contribuent à la mise en œuvre de priorités affichées par la puissance publique. En pratique, l’idée centrale est que « programmer, c’est construire de nouveaux réseaux », qui sont des « réseaux hétérogènes liant dans un même destin des chercheurs, des ingénieurs et des administrateurs que rien ne préparait à collaborer ». Or cette programmation implique un flux continu de décisions, qui reposent sur des évaluations.
7Pour les auteurs du rapport, les processus correspondants ont deux caractéristiques :
- ils consistent largement en des interactions entre acteurs, où s’expriment oppositions et conflits, où chacun peut exprimer son point de vue et défendre ses intérêts ;
- ils impliquent un va-et-vient permanent entre « décisions scientifiques, décisions opérationnelles et décisions stratégiques » (p. 26), ce qui amène à la reconnaissance de « l’inévitable et féconde interdépendance des divers types de décisions et d’évaluation » (p. 26) et donc de l’interaction entre chercheurs, administratifs, parties prenantes et décideurs.
8La thèse centrale du rapport est alors exprimée, qui consiste à dire que les programmes doivent se doter de ressources leur permettant d’entretenir et de construire les réseaux qui leur donnent corps, en particulier d’un système d’information permettant de suivre la stratégie des principaux acteurs. Bref, « la programmation de la recherche est inévitable : elle seule permet de rendre des arbitrages, mais à condition qu’existent des informations adaptées » (p. 40).
9Cette thèse est argumentée par la mise en symétrie du scientifique et du politique : dans les situations où il n’existe aucun indicateur permettant de construire un rapport intelligible entre les contenus scientifiques et les priorités politiques ou économiques, les choix sont opérés « soit de façon brutale, soit de façon obscure » (p. 40). On a d’un côté le risque d’arbitraire politique, de l’autre celui d’opacité des choix internes aux communautés scientifiques. Le fondement de l’argument est cette idée fondatrice que la science est insérée dans le social : « l’analyse stratégique ne peut se détacher de jugements proprement scientifiques […] de même que les évaluations scientifiques ne sont jamais dénuées de considérations stratégiques. » Autrement dit, la programmation, donc l’objet de l’évaluation, est la mise en relation, qui doit être discutée, de contenus scientifiques et d’objectifs ou de buts qui ne le sont pas – ce qui appelle des indicateurs pour informer ces acteurs hybrides.
10La conclusion arrive alors : « les indicateurs devraient contribuer à l’instauration d’un tel débat : passer de l’arbitraire à l’arbitrage ».
La mise en perspective et en controverse des indicateurs
11Ces éléments ont des implications importantes sur les indicateurs, que précisent bien les auteurs : il s’agit non pas de produire une quelconque « vérité », mais de nourrir des argumentaires, dans une optique pluraliste, où le ministère de la Recherche produit des indicateurs et des évaluations qui « prennent place au milieu d’autres évaluations rendues possibles par la diversité des indicateurs disponibles ».
12L’ambition est donc de produire des informations destinées à nourrir la réflexion et l’analyse, à affiner et à nuancer les jugements. Ceci suppose que les indicateurs soient conçus en fonction des besoins précis d’un utilisateur.
13Le rôle de ces indicateurs tel que proposé dans le rapport est donc à la fois modeste (contribution à la réflexion, sans revendication d’un statut épistémologique particulier) et ambitieux (ouvrir la « boîte noire » que constituent tant les communautés scientifiques que les milieux de la décision politique, pour les faire communiquer).
14Il reste qu’au-delà de la forte cohérence interne du rapport et du caractère apparemment consensuel de ses attendus, les auteurs savaient bien que certains les accuseraient d’introduire le social dans le scientifique, autrement dit le ver dans le fruit. Ils choisissent à cet égard d’avoir une attitude offensive en déclarant que « l’idée selon laquelle la science et la technique relèvent de l’indicible et n’ont de comptes à rendre à personne fait partie de notre patrimoine culturel » (p. 38) et que « l’idée selon laquelle l’usage des indicateurs pourrait n’avoir que des effets néfastes renvoie à une conception de l’activité scientifique qui nous semble largement surannée » (p. 40).
La controverse des années 2000 : les indicateurs comme instruments du pouvoir et d’asservissement de la science
15Plus de vingt ans plus tard, tout a changé en matière d’indicateurs S&T : avec les nouvelles technologies de la communication (bases de données, Internet, etc.), l’offre est devenue pléthorique et avec la vogue du « nouveau management public », lui-même largement lié à la mondialisation, c’est la demande qui a explosé. Bref, de quasi-désert au début des années 1980, le champ des indicateurs S&T est devenu foisonnant, ceux-ci investissant tous les espaces, qu’ils soient politiques, médiatiques ou administratifs : depuis le processus budgétaire (LOLF), jusqu’aux débats sur les universités (classements) et à l’évaluation des chercheurs (le « h-index »).
16Cette prégnance des indicateurs, loin de marquer un consensus sur leur rôle, révèle au contraire une situation de controverse, latente depuis longtemps, et qui s’est exprimée avec force ces dernières années, notamment en France. Cette situation a donné lieu à différentes publications ; nous allons nous appuyer sur quelques-unes d’entre elles pour situer les termes de cette controverse sur les indicateurs.
17Il apparaît que les critiques de fond sur les indicateurs renvoient à deux grandes lignes d’analyse.
Les indicateurs comme instruments de pouvoir : le risque de manipulation
18Après les travaux pionniers de Desrosières (2008), il est de plus en plus reconnu que l’effort qui préside aux mises en forme statistique est à proprement parler politique ; ce type d’analyse a été spécifiquement appliqué à la question des indicateurs S&T, notamment dans le contexte européen, par Isabelle Bruno (2008), pour qui la construction d’indicateurs « façonne des représentations, des catégories, des classements, bref un ordre du visible et du dicible, de l’envisageable et du praticable » (p. 170) ; autrement dit, « les statistiques agissent sur les consciences et mettent en forme des identités » (p. 187), et il s’en suit que l’art de quantifier et d’étalonner des indicateurs est à proprement parler un art de gouverner : ils informent les visions du monde qui régissent les conduites individuelles et collectives. Ainsi, « [l’espace des possibles] se façonne au quotidien dans les enceintes où sont débattus les critères d’évaluation, la comparabilité des indicateurs ou le bien-fondé des classements » (p. 252).
19La question posée est alors celle de la manipulation qui consiste à faire passer pour techniques des choix en réalité politiques et de présenter les résultats sous forme d’indicateurs quantitatifs pour sécuriser davantage s’il en était besoin leur non discutabilité. Les gouvernants jouent de la « confiance dans les nombres » et de la réputation d’objectivité dont bénéficient les statistiques et les indicateurs grâce à la professionnalisation des activités de quantification. La supercherie consiste alors à capter la force d’un consensus scientifique au profit d’une politique.
20Cette ligne de critique fait sienne l’idée que les indicateurs sont utilisés, de fait, pour manipuler le processus de décision et cacher les vrais enjeux.
Les indicateurs au service d’un programme idéologique de l’asservissement de la science
21Cette ligne de critique des indicateurs complète et dépasse la précédente dans la mesure où, selon elle, il y a une idéologie sous-jacente à l’usage des indicateurs, au service d’un projet politique qui a des implications directes et négatives sur la science.
22Cette position, dans laquelle se retrouvent plus ou moins explicitement des opposants aux réformes en cours et plus généralement au nouveau management public et à la réforme de l’État, a été développée dans plusieurs articles de livraisons récentes de revues telles que la Revue d’histoire moderne et contemporaine (2008) ou la revue Cités – philosophie, politique, histoire (2009).
23Cette critique part du constat que la mesure quantitative d’entités est l’expression du postulat de leur « équivalence », c’est-à-dire de leur comparabilité directe et donc de leur nature à être en situation de concurrence les unes avec les autres pour l’obtention des ressources. Pour les tenants de cette critique, les indicateurs sont à ce titre la pièce maîtresse de mise en œuvre de la mise en compétition et de la construction de « marchés » en matière de recherche – ce qui serait l’expression d’une idéologie libérale d’un « marché de la recherche » : « Cet art de gouverner les hommes par l’octroi de libertés et de rationaliser leurs organisations par le calcul utilitaire a un nom : c’est le libéralisme » (Bruno, 2008, p. 236).
24L’idéologie sous-jacente dénoncée est celle de la primauté donnée à la mesure chiffrée, mesure susceptible d’être présentée comme une caractérisation de l’efficacité : « Tout se passe donc comme si on introduisait, via les indicateurs de résultat, une sorte de sanction d’un “marché” – un marché devenu une sorte de fonctionnement naturel du monde » (Blay, 2009, p. 16).
25Selon cette lecture, les indicateurs sont l’expression de l’introduction d’une conception managériale de l’université et de la recherche, qui porte en elle une vision comptable, instrumentale et « marchande » de l’activité des chercheurs, introduisant en outre contrôles et hiérarchisations.
26L’argument est qu’un tel contexte nouveau est porteur d’atteintes fondamentales à l’acte de production de connaissances lui-même et à la créativité du chercheur : « Que peut-on bien “produire” lorsqu’on cherche avant tout la quantité (quantité de l’écriture ; quantité de citations ; quantité du soi-disant “impact” du chercheur) ? » (Marzano, 2009, p. 59). C’est la raison d’être même de la recherche qui est en cause : « En se focalisant ainsi sur la mesure des résultats, on évite plus facilement de se confronter au questionnement critique des fins » (Guillaume, 2009, p. 101).
27Le modèle de management impliqué par l’usage des indicateurs constituerait une négation du sens de la recherche, l’imposition de valeurs « comme si elles allaient de soi, alors qu’elles sont établies contre d’autres valeurs » et au fond l’instauration d’un pouvoir « qui prétend normer et réglementer le savoir » (Zarka, 2009, p. 113-123). On retrouve dans un contexte particulier, des réflexions présentes par exemple chez Habermas ou chez Foucault.
28Bref, selon cette ligne de critique, les indicateurs sont le véhicule et l’instrument d’une idéologie où la science – et plus généralement la pensée – n’aurait plus sa place ; il est donc nécessaire d’en bannir l’usage en matière de politique de recherche.
Les indicateurs : le langage exigeant de la démocratie S&T
29À première vue, on pourrait considérer que les critiques présentées ci-dessus portent sur des usages des indicateurs – directement liés au management – qui seraient hors du champ d’analyse de l’ouvrage d’Arvanitis, Callon et Latour, qui se concentre sur les indicateurs de la programmation. Il y a en réalité un continuum entre les différents usages, puisque par exemple les indicateurs de positionnement scientifique des institutions dans un champ de recherche font aussi bien partie de la problématique de la programmation que de celle du management.
30Il nous semble que la critique concerne très fondamentalement l’usage d’indicateurs quantitatifs dans les politiques de recherche, à toutes les échelles – et que cette critique est une interpellation à laquelle il est important de répondre.
Les critiques ne disqualifient pas les indicateurs mais appellent à la construction d’autres indicateurs
31Au fond, en quoi consistent les critiques sur les indicateurs ? Elles visent le fait que, d’une part, ils sont construits sur des catégories définies dans la sphère du politique et que, d’autre part, ils induisent la problématique de la mise en concurrence.
32Dans ces critiques, un double problème est soulevé :
- d’abord celui d’un usage manipulatoire des indicateurs qui consiste à faire passer pour naturel ou scientifique ce qui n’est qu’une construction (de nomenclature, de comparabilité de paramètres, etc.) ;
- ensuite, que cette construction est en cohérence avec la vision de ceux qui l’ont élaborée et qu’à ce titre elle en facilite l’expression et la réalisation.
33Les critiques montrent que les indicateurs n’ont rien de neutre ni de naturel et qu’ils sont au service de ceux qui les conçoivent. Ainsi, pour fortes qu’elles soient, ces critiques ne disqualifient pas les indicateurs en tant que tels, puisque leurs effets prétendument néfastes ne peuvent se déployer sans débat que pour autant qu’il n’y a pas d’expression d’une vision autre qui apporte une alternative argumentée.
34En effet, à partir du moment où sont – judicieusement – dévoilés les intérêts ou projets que peuvent véhiculer les indicateurs utilisés, il convient alors d’en proposer d’autres, basés sur une autre construction et qui rendraient compte d’une autre compréhension des choses.
35Face à une représentation de la réalité avec laquelle on est en désaccord, il convient à l’évidence de lui en opposer une autre – pas de la déclarer illégitime.
36Pour préciser ce que peut être la conception et l’usage des indicateurs dans cette perspective pluraliste, nous allons reprendre et pousser les concepts et raisonnements proposés dans l’ouvrage d’Arvanitis, Callon et Latour.
Un cadre conceptuel : les indicateurs comme représentation et comme langage
37Les indicateurs S&T sont la mesure de paramètres jugés pertinents pour rendre compte du fonctionnement du système de recherche – le choix de ces paramètres et l’interprétation de leur mesure étant basés sur une modélisation, le plus souvent qualitative et implicite, de ce système.
38La connaissance scientifique sur ce système contribue à cette modélisation, mais plusieurs modélisations sont compatibles avec ces connaissances – elles-mêmes d’ailleurs donnant lieu à débat au sein des communautés scientifiques concernées. Concrètement, cette liaison entre indicateurs et représentation s’effectue par plusieurs mécanismes :
- tout indicateur est basé sur une nomenclature (de disciplines scientifiques, de types d’institutions, de secteurs industriels, de types de publications, etc.) : or toute nomenclature est une représentation qu’on se fait du sujet ;
- un indicateur le plus souvent ne mesure pas directement la notion qu’on cherche à appréhender (par exemple les relations entre recherche publique et industrielle) mais mesure une « proxy », c’est-à-dire un paramètre – qui est mesurable – et qui est supposé varier comme la notion visée (par exemple le nombre de brevets pris par la recherche publique) : or le choix de cette proxy repose sur une représentation (ou un modèle ou une théorie) ;
- plus généralement, un indicateur renvoie à un modèle implicite du fonctionnement du système – par exemple la relation entre innovation et croissance, ou entre mode de financement et efficacité et de ce que sont les paramètres moteurs dans ce système.
39Dans cette vision, les indicateurs ne sont ni vrais ni faux, mais un langage qui exprime une représentation du système, d’autres représentations pouvant donner lieu à la construction d’autres indicateurs, ou à tout le moins à d’autres interprétations – ces représentations dépendant de la culture, de la position, des intérêts ou du dessein de l’acteur concerné.
40La crédibilité de ces représentations va dépendre de la qualité des arguments qui vont les étayer, en particulier leur compatibilité avec les connaissances scientifiques validées sur ces systèmes – étant entendu que différents aspects font l’objet de controverses et que des représentations vont privilégier tel ou tel aspect des connaissances non stabilisées.
41Ainsi, les indicateurs sont liés à une représentation (à un modèle ou à une théorie) et à ce titre discutables. L’enjeu est alors de rendre explicite cette représentation (ou modèle ou théorie) sous-jacente.
Des indicateurs pour une démocratie scientifique et technique
42Les indicateurs, porteurs de visions du monde et en même temps s’exprimant dans le langage universel du nombre, ont un potentiel élevé pour permettre l’explicitation et l’approfondissement des représentations différentes portées par les acteurs, et rendre possible l’échange sur les valeurs qui sous-tendent ces représentations.
43Pour réaliser ce potentiel – qui a quelque chose à voir avec le débat démocratique – un certain nombre de règles méthodologiques et procédurales doivent être respectées :
- d’abord une déontologie de la production des indicateurs et de leurs usages où, au-delà des spécifications des sources des données utilisées et des traitements effectués, les nomenclatures et les raisonnements sous-jacents aux interprétations doivent être explicités ;
- ensuite, des modalités doivent être prévues permettant l’expression de la critique des indicateurs, de leurs interprétations et de leurs usages, permettant la mise en évidence des hypothèses et théories sur lesquelles ils reposent, ainsi que les « proxies » qu’ils utilisent – le tout donnant lieu à débat public ;
- enfin, sous-tendant cela, des possibilités doivent être ouvertes pour développer des approches alternatives pour construire des indicateurs – autres nomenclatures, hiérarchie de paramètres, modèles de fonctionnement, pour développer d’autres interprétations des indicateurs existants et questionner les interprétations et usages dominants, bref pour développer une recherche sur les indicateurs.
44Dans ces conditions, les indicateurs constituent un puissant moyen d’apprentissage collectif et d’approfondissement des questions posées par les politiques de recherche – à la fois dans leurs dimensions scientifiques et politiques. Ces conditions sont exigeantes, mais dépendent largement de la volonté des acteurs du système de recherche et sont à leur portée ; à eux, par les indicateurs qu’ils construiront et les argumentaires qu’ils élaboreront, de déjouer les risques de manipulation et de faire vivre la démocratie scientifique et technique.
Conclusion
45La critique des instruments de l’arbitrage (les indicateurs) ne devrait pas être le masque d’une réaction appelant de ses vœux le retour à un arbitraire garant de fait d’un certain statu-quo, mais être un appel à des arbitrages plus exigeants et argumentés : les indicateurs méritent autre chose qu’une critique qui masquerait (mal) une idéologie. Ils invitent à une critique qui serait le fondement d’une démocratie S&T.
46Pour reprendre les expressions d’Arvanitis, Callon et Latour en 1986 : non, science et technique ne relèvent pas de l’indicible et les indicateurs sont effectivement le véhicule d’un rapport intelligible entre science et priorités politiques : c’est bien eux qui permettent de passer ainsi « de l’arbitraire à l’arbitrage ».
Bibliographie
Des DOI sont automatiquement ajoutés aux références bibliographiques par Bilbo, l’outil d’annotation bibliographique d’OpenEdition. Ces références bibliographiques peuvent être téléchargées dans les formats APA, Chicago et MLA.
Format
- APA
- Chicago
- MLA
Références
Arvanitis, R., M. Callon & B. Latour (1986), Évaluation des politiques publiques de la recherche et de la technologie, Ministère de la Recherche et de l’Enseignement supérieur, Paris : La Documentation Française.
Blay, M. (2009), « L’évaluation par les indicateurs dans la vie scientifique : choix politique et fin de la connaissance », Cités, 37, p. 15-26.
Bruno, I. (2008), À vos marques, prêts, cherchez ! La stratégie européenne de Lisbonne, vers un marché de la recherche, Bellecombe-en-Bauges : Éditions du Croquant.
Cités – philosophie, politique, histoire (2009), « L’idéologie de l’évaluation, la grande imposture », 37.
10.4000/books.pressesmines.901 :Desrosières, A. (2008), Pour une sociologie historique de la quantification. L’argument statistique I, Paris : Presses de l’École des mines.
10.3917/cite.037.0101 :Guillaume, B., « Indicateurs de performance dans le secteur public : entre illusion et perversité », Cités, 37, p. 101-109.
10.3917/cite.037.0059 :Marzano, M. (2009), « “Publish or perish” », Cités, 37, p. 59-64.
Revue d’histoire moderne et contemporaine (2008), supplément, 55-4bis.
10.3917/cite.037.0113 :Zarka, Y.-C. (2009), « L’évaluation : un pouvoir supposé savoir », Cités, 37, p. 113-123.
Notes de bas de page
1 Tous les renvois ultérieurs à une pagination sans autres indications se rapportent à Arvanitis, Callon & Latour (1986).
Auteur
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Le Design : l’objet dans l’usage
La relation objet-usage-usager dans le travail de trois agences
Sophie Dubuisson et Antoine Hennion
1996
La nature a-t-elle un prix ?
Critique de l’évaluation monétaire des biens non-marchands
Martin Angel
1998
Reconnaissance et usages d’Internet
Une sociologie critique des pratiques de l’informatique connectée
Fabien Granjon
2012
Sur la piste environnementale
Menaces sanitaires et mobilisations profanes
Madeleine Akrich, Yannick Barthe et Catherine Rémy (éd.)
2010
Communiquer à l’ère numérique
Regards croisés sur la sociologie des usages
Julie Denouël et Fabien Granjon (dir.)
2011
Le vin et l’environnement
Faire compter la différence
Geneviève Teil, Sandrine Barrey, Pierre Floux et al.
2011