Version classiqueVersion mobile

Les valeurs de la science

 | 
Clémentine Gozlan

Chapitre 2

Quand des universitaires endossent des discours néo-managériaux au nom de la science

Texte intégral

  • 1 Cette procéduralisation s’accompagne d’une importante standardisation des règles du jugement : cel (...)

1« Charte de l’évaluation », « Code de bonne conduite », « Critères d’identification des enseignants-chercheurs publiants », « Statut de l’expert »… L’ampleur de la documentation officielle produite par l’AERES atteste de l’intense activité de création de méthodes et de principes d’évaluation à laquelle se sont livrés ses membres. Après avoir esquissé le portrait des scientifiques qui bâtissent le système d’évaluation de la recherche à l’AERES, il est temps de s’intéresser à leur activité et à ce qu’ils produisent dans cette agence. À de nombreux égards, leur travail s’apparente à une véritable entreprise de bureaucratisation des pratiques professionnelles. Par ce terme, j’entends un processus d’encadrement de la pratique évaluative par un corpus de règles écrites rendues publiques : le jugement par les pairs est organisé par des procédures qui déterminent comment il doit être conduit1.

  • 2 Pour une recension plus exhaustive de ces travaux, voir Bezès et Demazière (2011, p. 293-305).

2De nombreux secteurs d’action publique ont connu un tel mouvement de bureaucratisation (Bezès, 2014), et les politiques scientifiques ne font pas figure d’exception. Mais si les tendances contemporaines à la bureaucratisation apparaissent souvent comme un moyen de court-circuiter des formes de régulation professionnelles (de Bruijin, 2002)2, elles se donnent à voir sous un autre jour à l’AERES. En effet, les hérauts de la bureaucratisation de l’évaluation ne sont ici pas des hauts fonctionnaires (Bezès, 2009, 2012), mais des scientifiques en exercice qui, accédant à des positions qui leur permettent de faire valoir leurs préférences, promeuvent la création de standards et s’investissent concrètement dans la codification des pratiques de leurs collègues. Ainsi, c’est bien au sein de la profession qu’émergent et que sont relayées des revendications pour un plus fort encadrement des pratiques professionnelles, et il s’agira de comprendre comment et pourquoi une partie des universitaires cherchent à normer et à encadrer l’expertise professionnelle par des procédures, et au nom de quelle conception du travail scientifique et de la façon de l’effectuer.

  • 3 Certains travaux montrent bien que des formes de rationalisation existent à l’intérieur des mondes (...)
  • 4 Cette approche s’inscrit à la suite des travaux qui montrent l’intérêt d’articuler représentations (...)
  • 5 Ce terme, qui désigne le caractère, le comportement et la manière d’être d’un individu, a été réin (...)

3En considérant que les logiques bureaucratiques et néo-managériales ne remplacent pas toujours les logiques professionnelles3, ce chapitre se penche sur leur articulation. Il étudie comment des scientifiques qui se caractérisent moins par leur proximité au pouvoir politique que par leur attachement à leur cœur de métier endossent des discours néo-managériaux visant à rationaliser les arènes d’évaluation professionnelles auxquelles ils ont déjà, pour la plupart, participé. Ce chapitre retrace d’abord le travail de mise en règle du jugement opéré au sein de l’AERES et tente de comprendre les raisons organisationnelles d’une telle montée en puissance des procédures. Il montre ensuite comment les croyances des scientifiques de l’AERES et leurs conceptions des bonnes pratiques de jugement s’incarnent dans les instruments qu’ils produisent4. Il s’agit d’étudier leur ethos5, et la façon dont ils mettent en sens leur trajectoire et leur position dans le monde pour justifier les réformes qu’ils mettent en œuvre. On montrera ainsi qu’ils mobilisent, paradoxalement, une rhétorique professionnelle pour défendre la standardisation des pratiques de jugement de leurs collègues. Enfin, le chapitre établit que la construction des procédures d’évaluation n’est pas un simple choix technique, mais peut devenir une ressource dans les luttes et les jeux de pouvoir internes à la profession. Prenant le cas des règles de composition des comités d’experts, il explique comment celles-ci redessinent les rapports de pouvoir et la captation de l’autorité à juger au sein de la communauté scientifique.

Encadré 2. Les étapes de l’évaluation en bref

La procédure d’évaluation des centres de recherche mise en place par l’AERES a sensiblement évolué au cours du temps, mais son principe est resté le même. Les laboratoires transmettent à l’AERES leur dossier d’autoévaluation, construit selon une maquette disponible sur le site internet de l’agence. En fonction des thématiques et des disciplines, les délégués scientifiques composent pour chaque laboratoire expertisé un comité d’évaluation, constitué d’un président et d’un ensemble d’experts. Vient ensuite la visite sur site, où les comités se rendent sur place pour rencontrer leurs collègues évalués. À la fin de la rencontre, ils produisent un rapport d’évaluation, qui sera, après relectures, transmis aux intéressés et publié sur le site de l’agence. Enfin, les directeurs et directrices de laboratoire ont un droit de réponse, également publié sur le site. Les procédures mises en place par l’agence ont cherché à formaliser l’ensemble de ces étapes de l’évaluation.

La longue marche de la bureaucratisation

4En considérant l’AERES comme un espace de création de normes, ce chapitre donne d’abord à voir le cheminement itératif et expérimental de la formalisation des procédures de jugement. La mise en règle du jugement observée dans cette agence n’introduit pas une rupture radicale dans la conduite de l’évaluation académique : elle relaie et fait aboutir des tentatives d’encadrement du jugement académique largement préexistantes au tournant managérial.

Rupture et continuité

5Il est tentant de construire une grille d’interprétation opposant un avant, règne de l’évaluation collégiale, et un après, caractérisé par l’introduction de modèles gestionnaires d’évaluation incarnés par des agences (Boure, 2011). Mais ce schéma ne résiste pas à l’analyse empirique : l’étude du travail des membres de l’AERES, tout comme celle des formes dites « traditionnelles », rend malaisée cette dichotomie. Des travaux diachroniques permettent de mesurer l’ampleur des transformations contemporaines de l’évaluation de la recherche. Dans un article coécrit (Aust et Gozlan, 2019), nous avons montré que les processus de bureaucratisation et de rationalisation dans les politiques scientifiques ne sont pas assimilables à une brusque irruption du tournant néo-managérial dans le secteur public, mais qu’ils ont une histoire plus longue.

6En retraçant l’évolution des pratiques de gouvernement de la recherche depuis les années 1960, nous avons mis en évidence plusieurs formes d’articulation entre autonomie professionnelle et bureaucratisation. Le premier mouvement identifié correspond à la mise en place de structures consacrées au gouvernement de la recherche scientifique, qui s’accompagne d’un assez faible encadrement des pratiques de gouvernement par des règles (1960-1980). Le second correspond à une spécialisation des structures du gouvernement scientifique, ainsi qu’à une formalisation croissante des procédures permettant d’allouer les moyens et d’évaluer la qualité scientifique (1990-2000). La mise en place des agences, à partir du milieu des années 2000, correspond donc moins à l’invention de la bureaucratie qu’à son extension et son approfondissement. Ce mouvement se caractérise par une « mise en règle » et une formalisation sans précédent des pratiques d’expertise et de gouvernement de la recherche.

  • 6 Soulignons cependant que le mouvement de rationalisation, ou du moins, de prescription à la formal (...)
  • 7 AN, 19980513/3, chemise verte « Fiches d’expertise. Notice explicative ».
  • 8 Ibid., chemise bleue « Groupes d’experts ».

7Ainsi, la mise en place de l’AERES ne signe pas le passage d’une forme d’évaluation professionnelle dégagée de toute règle et de tout standard à une évaluation contrainte et procéduralisée. Les instances d’évaluation de la recherche ont connu un mouvement de codification antérieur à la création de l’agence. Je me centre ici sur les tentatives de cadrage de l’évaluation par la Mission du ministère, dans la mesure où c’est de cette structure qu’est née la section d’évaluation des laboratoires de l’AERES6. On retrouve des traces de la formalisation de l’expertise à la Mission scientifique avant les années 2000 : un « mode d’emploi »7 est ainsi proposé aux évaluateurs dès 1992 pour remplir leurs fiches d’évaluation, elles-mêmes standardisées. L’année suivante, un document de neuf pages, présenté sous forme tabulaire et préparé par les membres de la Mission, constitue le « cahier des charges des experts »8 et précise le « déroulement des travaux ». En voici reproduit un court extrait :

Tableau 2. « Cahier des charges des experts », ministère de la Recherche, 1992

Actions Questions Procédures et moyens Échéances fixées ou à préciser Observations
Constitution des nouveaux groupes d’experts Équilibres à respecter : 50 à 60 % de Parisiens, 40 à 50 % de provinciaux ; âge (fourchette 36-55 ans) ; grade (PR-MCF) ; et équilibre homme femme (c’est la compétence qui importe…). « Labellisation » fonctionnelle et disciplinaire des experts. Consultation préalable des experts pressentis par les DSPT [départements scientifiques pédagogiques et techniques]. Propositions de noms à transmettre par les DSPT au chef de la MST. Validation par le chef de la MST et par le Cabinet. Compte tenu de l’expérience antérieure, faire attention aux facteurs de ralentissement de la procédure : désaccord sur les noms proposés ; refus des experts pressentis ; informations incomplètes sur les experts pressentis (il est demandé aux DSPT de fournir des indications aussi précises que possible : nom, prénom, qualité, établissement d’appartenance, adresse professionnelle et personnelle, tél., fax).

8La réflexion sur la question de savoir qui sont les bons juges était déjà en germe au ministère de la Recherche, comme en témoigne ce document interne. Les évaluateurs des équipes de recherche étaient déjà appelés « experts » à l’époque à la MST. L’AERES a repris cette dénomination telle quelle – au prix d’une certaine confusion, si l’on reprend l’opposition entre « pairs » et « experts » proposée par Catherine Vilkas (2009) : en effet, le terme peut laisser penser qu’il s’agit de personnalités externes à la profession scientifique.

9Ce document ministériel énonce un certain nombre de conditions pour que lesdits experts soient éligibles, telles que l’attention portée à leur compétence disciplinaire, la variété des localisations géographiques, mais aussi une fourchette d’âge délimitée et certaines considérations sur le genre. Ces critères atteignent d’ailleurs un degré de précision qui n’apparaît pas même dans la documentation interne de l’AERES. Ce document fait par ailleurs état du souci du cadrage de la procédure évaluative et de sa déclinaison en un certain nombre d’étapes : à chaque action sont attachés un ensemble de principes et un protocole à respecter. Enfin, les expériences antérieures sont capitalisées de sorte à assurer la bonne conduite de la procédure.

10Les archives de la Mission scientifique du ministère de la Recherche, ainsi que les entretiens avec plusieurs de ses membres, illustrent donc l’ancienneté des tentatives d’uniformisation et d’encadrement du jugement académique. Le « long cheminement de l’artisanat le plus total vers un fonctionnement un peu plus méthodique », pour reprendre les termes d’une énarque qui a été la responsable administrative de la Mission, est incarné par l’arrivée d’un mathématicien à la tête de la Mission en 2000. Lui-même situe les transformations de l’exercice d’évaluation dans un temps plus long, en insistant sur son rôle dans la formalisation des outils d’évaluation :

Il faut voir que quand même, il y a eu une sacrée évolution, […] c’est-à-dire que moi quand j’étais arrivé, j’ai trouvé que les statistiques dont on disposait étaient partielles, celui qui était avant moi était un littéraire qui ne s’intéressait pas trop à cet aspect, moi j’avais beaucoup développé les statistiques, les tableaux, etc., et ça paraissait nouveau. (Chef de la MSU)

11Le nouveau « chef de la Mission », pour reprendre l’appellation consacrée jusqu’en 2003, a un parcours particulier au sein de la profession universitaire : polytechnicien, puis attaché de recherche au CNRS en 1962, il devient docteur d’État en mathématiques et professeur des universités à l’âge de 28 ans, en 1967. Se définissant comme « gauchiste », il exerce pendant près de quarante ans dans la même université. Il y prend des responsabilités, comme la direction du département de mathématiques et d’un laboratoire de recherche, et s’investit aussi particulièrement dans les sociétés savantes à l’échelle nationale, avant de faire un mandat de cinq ans en tant que président de son université, puis d’arriver à la tête de la Mission scientifique.

  • 9 Les travaux de Pauline Ravinet (2012) montrent également que les réformes conduites sous la présid (...)

12Si l’un des pionniers de la rationalisation de l’évaluation scientifique au ministère est un universitaire, il se caractérise par son parcours de responsabilités et ses engagements pluriels dans la vie de sa discipline et des institutions scientifiques. Il convient enfin de souligner que le profil singulier du chef de la Mission, son appétence pour la mise en place d’outils de pilotage et de rationalisation de l’activité, qu’il rattache à sa discipline d’appartenance, rencontre également un contexte favorable à la rationalisation : celui de la mise en place de la loi organique relative aux lois de finances (LOLF) en 2001, qui introduit une logique de compte rendu et des outils de quantification des performances, afin de rationaliser les dépenses de l’État (Eyraud, El Miri et Perez, 2011). Ainsi, l’introduction d’outils pour encadrer la production du jugement précède de plus de dix ans la mise en place de l’AERES. Lorsque celle-ci voit le jour, la procéduralisation de l’évaluation scientifique a déjà été bien amorcée. Les chercheurs qui s’engagent dans l’AERES poursuivent et amplifient un travail de rationalisation, déjà ancien, des procédures d’évaluation de la recherche9.

13Pour autant, cela ne signifie pas qu’ils importent des procédures et des standards préétablis. Les acteurs de l’agence ont rarement pris appui sur un travail préexistant de mise en forme de l’évaluation pour fabriquer leurs outils. Lorsqu’on les interviewe sur les éventuelles filiations des procédures qu’ils ont construites avec d’autres, les références aux méthodes existantes apparaissent singulièrement absentes. Il ne faut probablement pas surestimer la rupture opérée par la mise en place de l’AERES : cette rupture est avant tout un mot d’ordre politique au moment de la création de cette agence. Dès lors, il n’est pas étonnant que les procédures déjà conçues dans les institutions d’évaluation de la recherche françaises ne soient pas présentées comme modèles. Comme on le verra, elles font même l’objet d’une charge critique importante par les premiers membres de l’AERES. La participation de ces scientifiques à une agence venue supplanter les institutions historiques d’évaluation de la recherche peut éclairer leur tendance à mettre en scène la nouveauté et la rupture instaurées par le dispositif qu’ils construisent.

  • 10 Archives personnelles, délégué coordinateur, « Réunion des délégués scientifiques du secteur [x], (...)

14Faisant l’hypothèse qu’ils seraient plus prompts à revendiquer la filiation de leurs méthodes avec celles en vigueur dans le cadre européen, j’ai cherché à savoir s’ils avaient repris des éléments de modèles d’évaluation européens. Mais les entretiens et les archives montrent que le quotidien et le mode de travail des scientifiques à l’agence sont bien peu affectés par l’inscription de l’agence dans un dispositif européen. On peut a minima affirmer que la référence au cadre européen laisse peu de traces dans les sources écrites de la section d’évaluation des laboratoires. Dans les comptes rendus des réunions internes, on ne trouve qu’une mention de l’accréditation de l’agence par l’Europe, et celle-ci est pour le moins elliptique. Il s’agit de ce message d’un coordinateur à destination des délégués scientifiques : « Accréditation européenne de l’AERES : Si possible, essayez d’être disponibles entre le 12 et le 16 avril 2010 »10. En entretien, les enquêtés sont passablement embarrassés pour répondre à la question de l’importation de procédures européennes lors de la mise en place des leurs :

Enquêtrice : Est-ce que vous vous êtes inspirés à un moment ou un autre de modèles européens ?

Délégué coordinateur A : [Silence.] De temps en temps… Ça revenait régulièrement, mais bon… [Il soupire.] Bof.

  • 11 Ce résultat est proche de ce que Julien Barrier et Christine Musselin (2016) avaient montré sur le (...)

15Plusieurs raisons peuvent être avancées. D’une part, le manque de temps – l’urgence avec laquelle les premiers membres de l’agence ont dû élaborer des procédures pour pouvoir mener leur mission d’évaluation – éclaire d’abord le fait qu’ils n’ont pas produit une enquête approfondie des modes d’expertise existants, en France et à l’étranger, pour en établir les mérites comparatifs et les importer dans leurs procédures. Si importation de procédures il y a, elle est moins le produit d’une stratégie délibérée (il faut imiter tel ou tel modèle d’évaluation international) que le reflet des convictions des membres de l’AERES et de leurs représentations indigènes des bonnes pratiques d’évaluation11. En effet, les parcours et les profils des premiers membres de l’agence – des scientifiques ayant pour une part déjà eu l’expérience de structures d’évaluation, au Comité national, à la Mission scientifique ou ailleurs – leur rendent la pratique de l’évaluation des laboratoires familière, et les conduisent à s’appuyer sur leur propre expérience du métier pour construire les procédures.

16Ces éléments permettent de comprendre que les scientifiques nommés à la création de l’agence oscillent dans leur discours. D’une part, ils reconnaissent que leur travail d’organisation de l’expertise n’est pas né de rien : ils soulignent bien que la pratique d’évaluation des laboratoires est antérieure à la mise en place de l’AERES, et qu’ils ont, à travers leur parcours dans les institutions scientifiques, incorporé certaines normes d’évaluation. Mais d’autre part, ils insistent sur la latitude importante qu’ils ont eue pour façonner le dispositif d’évaluation. Démiurges de l’évaluation, ils mettent l’accent sur la créativité dont ils ont fait preuve au moment de le refonder, et témoignent de la nouveauté du travail qu’ils ont conduit : celui de construire un système d’évaluation identique pour toutes les disciplines et tous les types de laboratoires de recherche. Comme le soulignent les coordinateurs :

Au début, il n’y avait rien. Il n’y avait même pas de locaux. (Délégué coordinateur A)

Il y avait tout le déroulé du processus à mettre en place […], organiser les visites, les plannings de visite, etc. […] Ce n’était pas non plus tout neuf, parce qu’on sait bien ce qu’il faut regarder en général, mais c’était quand même à organiser. (Délégué coordinateur C)

  • 12 Ils ont, cependant, intériorisé certaines desdites bonnes pratiques européennes, telles que la dis (...)

17Les acteurs de l’AERES ne font pas table rase du passé, mais les guidelines existants ne font pas partie des matériaux dont ils se servent pour refonder le système d’évaluation. Les références aux méthodes d’évaluation existantes suscitent a minima leur indifférence, quand elles ne font pas figure d’anti-modèles. Quant à l’Europe, elle constitue un cadre de référence abstrait et déconnecté de la représentation que les membres de l’AERES délivrent de leur activité normative12. Se donne alors à voir le décalage entre d’une part les discours des présidents de l’agence, qui exposent dans de nombreuses prises de parole publiques leur aspiration à créer une agence conforme aux standards (notamment européens), et d’autre part, le fait que le travail concret des constructeurs de normes repose davantage sur la mobilisation de leur expérience, de leurs tâtonnements et de leurs réflexions internes sur l’organisation de l’activité d’expertise.

Du bricolage à la bureaucratisation

18Lorsque les membres de l’AERES relatent leur travail de construction des procédures d’évaluation, ils en parlent comme d’une activité qu’ils ont conduite dans un entre-soi relativement clos, sur la base de leur expérience professionnelle :

À l’époque, on a beaucoup plus travaillé en interne. […] C’était aussi peut-être la nouveauté, il fallait qu’on crée les choses, etc. mais on était beaucoup moins dans le dialogue [avec le Conseil et les partenaires], on était plus dans notre expérience, voilà, on avance avec notre expérience, et ensuite on va un peu le dire aux autres. (Délégué coordinateur C)

19La genèse des normes encadrant l’évaluation a d’abord été le fruit d’un travail continu de coordination interne. Chaque mercredi matin, entre 2007 et 2008, les responsables de la section d’évaluation – directeur, délégués coordinateurs, déléguées administratives – se réunissaient pour élaborer ensemble les règles du jeu de l’évaluation. Lors de ces réunions hebdomadaires, ils établissaient le calendrier, spécifiaient le déroulement de l’évaluation, de la prise de connaissance des unités à évaluer jusqu’à la réunion de notation, en passant par l’élaboration d’un planning des visites. Un après-midi par mois, des réunions par grands secteurs disciplinaires, animées par les coordinateurs, rassemblaient les délégués scientifiques et permettaient de transmettre l’état d’avancée des réflexions internes sur les procédures, et réciproquement de faire remonter les problèmes rencontrés sur le terrain, qui à leur tour généraient de nouvelles réflexions sur l’organisation pertinente de l’évaluation. Les délégués scientifiques nommés dès la création de l’agence s’accordent à décrire le mouvement progressif d’encadrement de l’exercice du jugement. Ils se remémorent ainsi la genèse des procédures de jugement :

Je crois que les premiers rapports on les a fait free-lance, et c’est sur la base des premiers rapports que [les responsables de la section] ont commencé à dire : « il va peut-être falloir normaliser tout ça ». (Délégué scientifique 27, sciences sociales)

C’est une organisation qui a appris en marchant, donc sur les unités de recherche, il y a eu des règles, qui d’informelles sont devenues explicites. (Délégué scientifique 21, sciences sociales)

  • 13 Dans le secteur de la santé, Patrick Castel et Magali Robelet (2009) opposent une rationalisation (...)

20Si l’on peut qualifier de « professionnelle » la rationalisation du jugement à l’AERES13, l’enquête met cependant bien au jour un encadrement accru de l’évaluation par des critères et des indicateurs, qui se formalisent au fil des ans. Plusieurs délégués scientifiques nommés aux débuts de l’AERES relèvent, avec le recul que leur confèrent les deux ou trois mandats qu’ils y ont effectués, l’inflation du nombre de critères d’évaluation. Interviewés en 2012 sur les évolutions qu’ils ont observées à l’AERES depuis leur nomination, ils les critiquent en ces termes :

J’ai le sentiment que les procédures sont de plus en plus codifiées […] : vous voyez, quand vous avez vingt pages d’indicateurs pour produire six pages de rapport, il y a quelque chose qui ne va pas… (Délégué scientifique 18, sciences sociales)

On devient de plus en plus paperassier, […] on est dans une logique évidemment de la perfection, quand je vois le nombre de critères par lequel on juge une unité de recherche, on est totalement exhaustif, c’est hallucinant. (Délégué scientifique 2, sciences humaines)

21C’est ensuite une procéduralisation interne à l’AERES qui se donne à voir. Elle cible le travail des membres de l’agence et le processus évaluatif lui-même (organisation du déroulement de l’évaluation, rationalisation des tâches respectives des différents membres de l’agence). Ce mouvement correspond à ce que Philippe Bezès (2014) a qualifié de « bureaucratisation au carré », c’est-à-dire la quête effrénée de la performance de l’administration elle-même. Le souci d’efficacité interne et de rationalisation des tâches se donne à voir dans la multiplication des chaînons hiérarchiques. Pour n’en donner qu’un exemple, aux débuts de l’AERES il était prévu que les rapports d’évaluation, rédigés par le comité d’évaluateurs, fassent l’objet d’une relecture par le délégué scientifique, puis par le délégué coordinateur. Ils devaient enfin être visés par le directeur de section pour être publiés. En 2011 a été introduite une fonction hiérarchique intermédiaire entre les délégués scientifiques et les délégués coordinateurs : les délégués scientifiques « de groupe », qui devaient aussi procéder à la relecture, afin d’assurer l’harmonisation des rapports. Selon certains délégués, cette division accrue du travail reflète la bureaucratisation de l’agence, ce que déplorent plusieurs d’entre eux :

Avant il y avait un peu moins de cadrage sur les rapports […], évidemment, parce qu’il y a des problèmes, parce que le DS [délégué scientifique] n’a pas toujours fait son travail, etc., on restait sur des choses un peu trop encore disparates en termes de rapports [d’évaluation], alors pour éviter ça, on multiplie les coordinations, donc la première relecture par le DS, et on crée une forme de super-délégué par discipline […] en disant que lui il va relire les autres […]. C’est pas forcément mieux parce que finalement les relectures se feront justement sur un cadrage très formel […] ; et j’ai peur qu’à force de vouloir trop harmoniser sur des manières d’écrire, sur des dimensions de rapports, etc., on aboutisse à des choses qui ont toutes la même tête. (Délégué scientifique 9, sciences sociales)

  • 14 L’annexe 5 reproduit intégralement ce document.

22Les archives personnelles des membres de l’AERES fournissent de nombreuses traces du travail normatif qu’ils ont entrepris dès la création de l’agence. Plusieurs documents à usage interne, conçus par les délégués coordinateurs, consignent les différentes étapes du jugement. Ainsi, un document daté de mai 2008 et intitulé « De la préparation d’un comité de visite à la rédaction du rapport d’évaluation » détaille sur plusieurs pages quatorze étapes de préparation et de déroulement d’un comité de visite. Chaque étape est elle-même subdivisée en un ensemble de consignes, constituant une véritable liste de tâches organisées chronologiquement et thématiquement14. La longueur du document comme son degré de précision témoignent de la minutie et de l’exhaustivité avec lesquelles le processus de l’évaluation a été formalisé. Cette « montée de l’écrit » (Cochoy, Garel et de Terssac, 1998) qui caractérise les premières années de l’AERES a été telle que, d’une année sur l’autre, les membres de l’agence ont pu revenir à une version allégée de ce déroulement « idéal » de l’expertise, du moins dans la documentation rendue publique : ainsi, le « carnet de visite » publié en 2009 présente d’une façon bien moins détaillée les étapes de l’évaluation que celui qui avait initialement été rédigé en 2008.

  • 15 Par cette expression, Philippe Bezès (2009, p. 61-126) désigne le fait que les administrations pub (...)

23Ces efforts de formalisation et d’objectivation des processus évaluatifs signalent en tous les cas la volonté des dirigeants de la section d’assurer une forme d’homogénéité dans la conduite de l’expertise, en cataloguant les étapes de ce processus, dans des documents précis et exhaustifs qui constituent de véritables modes d’emploi de l’évaluation académique. Tous les aspects du processus font l’objet d’une mise à l’écrit. Ce qui est cadré ici, c’est moins le contenu de l’évaluation que la manière dont l’évaluation est produite, c’est-à-dire les différentes étapes au terme desquelles seront produits les rapports d’évaluation. L’on pourrait parler, par analogie avec le « souci de soi »15 de l’État (Bezès, 2009), du souci procédural des agences. L’un des coordinateurs a par exemple conçu un document d’une dizaine de pages contenant des exemples d’e-mails types, à envoyer aux interlocuteurs pertinents pour chaque étape de l’évaluation :

Vous allez me prendre pour un obsessionnel, mais j’avais même… Le délégué scientifique, sa mission c’était de contacter le directeur de l’équipe, contacter les membres du comité, etc., et j’avais fait toute une série de messages types. [Il rit.] « Première prise de contact en français », « Première prise de contact en anglais », « Message de remerciements », etc., etc., donc toutes les étapes du métier du délégué scientifique étaient dans ces fiches. C’est moi qui avais eu l’idée. Enfin l’idée, ce n’est pas une idée géniale, c’est de l’organisation. J’avais organisé. Donc effectivement tout le travail de mes délégués scientifiques était mâché. (Délégué coordinateur A)

24Le coordinateur a présenté ces messages types sous plusieurs formes : les uns en version française, les autres en version anglaise pour les experts étrangers. Les cas de vouvoiement ou de tutoiement sont aussi prévus et des versions adaptées à chaque registre relationnel complètent cet ensemble de messages, déclinant ainsi toutes les formes possibles d’interaction écrite entre les délégués scientifiques et les évaluateurs ou les évalués. Les premiers peuvent ainsi mettre en application un protocole « presse-bouton », qui prévoit jusqu’au contenu des échanges entre les différents participants à l’évaluation. Certains enquêtés comparent ainsi l’AERES à une usine de production industrielle :

On analyse l’ensemble de l’activité en la découpant en différents… selon chaque processus. Pour un processus, vous découpez par tâches. Vous analysez, comme si vous étiez dans une usine et vous produisez une voiture, ce sont les différentes étapes de la production, donc dans une évaluation ça va depuis le contact de l'évalué jusqu'à la publication du rapport. (Cadre administratif, AERES)

  • 16 En effet, dans d’autres pays, tels qu’en Grande-Bretagne avec le RAE, la procéduralisation et la s (...)

25C’est également la montée de l’écrit qui différencie le fonctionnement de l’AERES de celui d’autres instances d’évaluation collégiales françaises16 :

Par exemple, on recrute des experts. Comment on fait ? Tout le monde sait comment on recherche les experts, mais l’écrire, c’est encore autre chose, donc on a fait ces choses-là. (Délégué coordinateur C)

26L’abandon de l’oralité, l’analogie entre le travail d’organisation de l’expertise à l’AERES et la taylorisation à l’œuvre dans l’industrie signalent l’ambition des membres de l’AERES de fixer la référence et d’édicter des règles uniformes. Ces remarques appellent cependant deux nuances. D’une part, la tendance à la rationalisation de l’évaluation n’exclut pas une part importante de tâtonnement, de bricolage, et de corrections successives. La plupart des procédures ont évolué et connu des flottements, sans qu’une doctrine soit établie une fois pour toutes. D’autre part, la création de certaines procédures est contingente et tributaire de facteurs contextuels. C’est par exemple en 2009 qu’apparaît pour la première fois par écrit dans un document interne à l’agence la consigne de composer les comités de visite en respectant la parité hommes-femmes. Or, comme plusieurs enquêtés me l’ont confié au détour des entretiens et des observations, cette consigne est la conséquence directe de propos maladroits tenus quelques mois plus tôt par le président de l’AERES sur la place des femmes dans le gouvernement de la recherche :

Ça c’était une instruction venue de la direction de l’agence parce qu’une fois [le président] avait dit un truc un peu stupide, pour les femmes, et donc pour compenser, ils ont dit : « non non, les femmes, etc. », on a eu une instruction comme quoi il fallait mettre plus de femmes dans les comités. (Délégué scientifique 1, sciences humaines)

27Ces quelques paragraphes ont retracé l’importante formalisation des compétences et des pratiques professionnelles entreprise par les membres de l’AERES. Certes, le cadrage de l’évaluation porte sur les procédures à respecter pour produire une évaluation. Mais ce faisant, l’emprise de la procédure recèle une certaine conception de la bonne manière d’évaluer . Une « bonne » évaluation ne serait donc pas seulement le produit de l’expertise des scientifiques, elle résiderait dans la capacité des évaluateurs à conformer leur pratique à un certain nombre de règles et de normes préétablies. Comment comprendre alors que les scientifiques qui travaillent à l’agence mettent leurs savoirs professionnels au service d’une bureaucratisation des pratiques de leurs collègues ? Au-delà de la description de ce mouvement de standardisation – qui soulève d’importantes résistances au sein même de l’agence, on y viendra –, il s’agit de réfléchir aux logiques qui ont rendu cette bureaucratisation nécessaire et légitime aux yeux des responsables de la section.

Les logiques de la bureaucratisation

28Tous les membres de l’AERES ne soutiennent pas le mouvement de bureaucratisation à l’œuvre, loin s’en faut. Cependant, l’obsession de la standardisation qui caractérise les premières années de l’AERES est le produit de deux logiques qui s’entremêlent. Elle tient d’une part au fonctionnement spécifique de cette agence et à l’étendue de ses missions d’évaluation. Les rationalités techniques que les promoteurs des standards invoquent n’épuisent cependant pas les raisons d’une plus grande mise en règle des pratiques d’expertise. Des motifs plus politiques s’adjoignent, d’autre part, aux contraintes organisationnelles qui rendent cette bureaucratisation incontournable aux yeux des enquêtés. En effet, les architectes du mouvement de bureaucratisation de l’évaluation tiennent un discours critique à l’égard des institutions d’évaluation académique existantes, entachées selon eux d’un risque de conflit ou de proximité d’intérêts. Selon ces discours, l’élaboration de procédures constitue un garde-fou qui prémunit l’évaluation collégiale de ces biais. La bureaucratisation n’est pas un simple effet collatéral ou mécanique de l’ampleur des missions de l’AERES, elle est au cœur d’un projet réformateur qu’il convient de décrypter, en explorant tant les positions qu’occupent les promoteurs des normes que leurs représentations des bonnes façons de juger et des experts légitimes à le faire.

Superviser un travail à la chaîne

29Dans la documentation officielle de l’agence tout comme dans les entretiens, la mise en place de modes d’emploi écrits, détaillés et formalisés de l’expertise, est d’abord liée à la particularité du fonctionnement de l’agence. L’évaluation de la recherche n’est en effet plus conduite par des commissions disciplinaires, qui ont leurs normes de qualité propres, mais par une instance centrale dont la mission est de normaliser la production du jugement, en établissant des standards valides quelles que soient les spécificités disciplinaires, pour que les rapports d’évaluation qu’elle produit soient homogènes et comparables.

30La rationalisation des procédures est ainsi défendue au nom d’un impératif d’équité dans le traitement des différents centres de recherche : il s’agit de rendre leurs rapports d’évaluation comparables, dans un contexte d’industrialisation de la production du jugement. Produire des règles, des procédures, des modes d’emploi standardisés, est un moyen de garantir une certaine homogénéité des rapports que l’AERES produit et rend publics. Cette formalisation rappelle, plus d’un siècle plus tard, le processus à l’origine de la mise en place des bureaucraties en Europe (Dreyfus, 2000 ; Weber, 1995 [1922]). La création de règles standardisées répondait à un besoin de justice et d’équité du service public. L’avènement des bureaucraties est porteur d’une transformation radicale de l’exercice du pouvoir, celui-ci devenant formel, plutôt qu’informel, et encadré par des lois écrites supposées protéger tant l’administration que ses publics de l’arbitraire du pouvoir politique.

  • 17 De fait, les délégués nomment parfois plusieurs fois un même président de comité voire les mêmes é (...)
  • 18 Les comités AERES pour une équipe de recherche regroupent généralement cinq experts, accompagnés d (...)

31C’est cette conception procédurale de la justice que les membres de l’AERES mettent en avant lorsqu’ils expliquent leur travail de bureaucratisation : l’équité du jugement serait assurée par le respect scrupuleux de procédures transparentes et identiques pour tous. Cette bureaucratisation est ensuite d’autant plus nécessaire aux yeux des responsables de l’AERES que les comités qu’ils nomment ne sont pas pérennes ou du moins désignés pour plusieurs années, comme c’est le cas des sections du Comité national : les comités AERES sont constitués ad hoc, c’est-à-dire qu’ils changent à chaque équipe évaluée. Alors que l’habitude de travailler ensemble peut produire des formes de régulation et de régularité, celles-ci sont relativement faibles dans des comités éphémères, dont les membres ne sont pas toujours amenés à travailler de nouveau ensemble au sein d’un autre comité d’évaluation17, tout en étant beaucoup moins nombreux18. Dès lors, il peut naître de grandes disparités dans les façons de travailler des comités, jouant sur les résultats de l’évaluation… et sur la crédibilité publique de l’agence. Les textes officiels de l’AERES sont jalonnés de ces justifications, qui légitiment ainsi l’encadrement procédurier de l’évaluation par les pairs :

  • 19 Archives publiques AERES, « Synthèse de l’évaluation des unités de recherche. Vague C (octobre 200 (...)

À l’issue de la visite sur site, les experts ont rédigé leur rapport dans un cadre homogène fixé par l’agence. Cette procédure est plus directive que la pratique traditionnelle, par exemple celle qui était en cours au CoNRS. L’adoption d’une architecture commune facilite la lecture des rapports et évite les rapports trop laconiques, incomplets ou à l’inverse trop dilués.19

32Il devient ici intéressant d’observer plus finement qui, dans l’AERES, soutient le mouvement de bureaucratisation observé. En effet, la progressive formalisation de l’expertise a suscité des réactions hostiles au sein même de l’agence, comme en témoignent ces extraits d’entretiens :

Il y avait une procédure, dans mon souvenir, en trente et un points. Pour la constitution des comités de visite. Alors c’est l’exemple type de points sur lesquels nous nous sommes complètement affranchis, […] dans notre discipline, moi j’ai expliqué à mes collègues que je n’avais pas besoin qu’on m’explique en trente et un points comment on constitue un comité de visite. Que […] notre méthode consistait à prendre notre téléphone, à prendre notre plume ou notre clavier, à téléphoner, écrire ou envoyer un mail aux personnes que l’on pressentait pour être présidents. (Délégué scientifique 26, sciences sociales)

Moi j’ai bien senti cette déshumanisation à travers la fixation d’un certain nombre de cadres extrêmement rigides… […] Chaque année, il y avait des consignes de plus en plus fermes, avec ce que je considère comme une ossification du processus d’évaluation […], une usine à gaz de l’évaluation, c’est-à-dire qu’ils sont partis dans un délire où ils ne cessent d’améliorer la performance de leur propre outil et ils se contrefoutent de savoir si ça améliore vraiment [les laboratoires]. (Délégué scientifique 27, sciences sociales)

33Les critiques de la bureaucratie sont plus volontiers portées par les délégués scientifiques qui nomment et accompagnent les évaluateurs lors des visites de laboratoire. S’ils approuvent généralement, en entretien ou dans les sources écrites, la mise en place de règles de l’évaluation, ils soulignent que leur formalisation est parfois excessive et se plaignent des contraintes qu’elles font peser sur leurs pratiques. Tout en approuvant le principe d’une plus grande transparence des procédures, ils sont plus souvent prompts que les coordinateurs ou les directeurs de section à s’en distancier en critiquant leur emprise excessive dans l’organisation et la conduite du jugement par les pairs. La position qu’ils occupent dans l’agence éclaire ces réserves : les délégués scientifiques représentent leur discipline dans l’institution et sont au contact direct des récriminations parfois très violentes des évalués envers les procédures de l’agence. Ils sont plus à même de s’opposer à des directives qu’ils estiment néfastes dans leur domaine, ou absurdes, telles que l’évaluation du nombre de brevets chez les enseignants-chercheurs en lettres classiques. Ils cherchent également à conserver une souplesse dans l’organisation opérationnelle de l’évaluation, afin de pouvoir gérer la singularité des cas qu’ils ont à traiter, de façon parfois plus informelle que ce que prévoient les procédures.

  • 20 Archives personnelles, délégué coordinateur, document « Réunion des délégués scientifiques […], 1e (...)

34À l’inverse, les documents d’archives internes produits par les coordinateurs et les directeurs de section montrent leur obsession pour un cadrage accru de la conduite des expertises. Dans les documents préparés par les coordinateurs pour animer des réunions avec leurs délégués scientifiques, ou conçus à destination de la direction de la section, la mention du besoin d’un « meilleur cadrage » ou d’un « cadrage nécessaire » des procédures d’évaluation revient de manière constante. Fait marquant, la récurrence du thème de l’encadrement de l’expertise ne décroît pas à mesure que se formalisent les procédures. Ce leitmotiv perdure bien au-delà de la mise en route de l’AERES : fin 2010, le directeur de la section des laboratoires rappelle en réunion que « les “cultures” de l’évaluation sont différentes d’un secteur à l’autre, mais [qu’]on doit aller vers une plus grande homogénéisation des procédures »20.

35Les responsables de l’évaluation des laboratoires à l’AERES mettent au premier plan les conditions matérielles de leur travail, qui consiste à orchestrer l’évaluation d’un nombre important de laboratoires, pour justifier l’inflation des procédures. En entretien, ils soulignent en effet que leur rôle est surtout de « faire marcher la baraque », c’est-à-dire mener à bien leur mission de faire conduire l’évaluation de tous les laboratoires à la même enseigne. Leur position à la tête de la section d’évaluation des laboratoires les engage à endosser ponctuellement un rôle de surveillant, venant vérifier la bonne mise en application des standards qu’ils ont travaillé à mettre en place.

36La contrainte de publicité de l’expertise rend également plus saillant le souci d’assurer le caractère irréprochable des évaluations menées. En effet, c’est aussi l’image publique de cette agence qui est en jeu, à travers ses expertises, et assurer la qualité et le sérieux des expertises est un enjeu d’autant plus fort que l’agence est vivement contestée, du moins dans ses premières années d’existence. Ainsi, le travail de mise en règle d’évaluation coïncide avec un souci de crédibilité de l’agence vis-à-vis de l’extérieur. Cette légitimité est de type bureaucratique : elle se fonde sur le respect scrupuleux de normes publiques, partagées et standardisées, visant à rendre inattaquable le jugement, dès lors qu’il se conforme à ces règles.

37Ce mécanisme n’est pas propre à l’AERES. Dans sa thèse sur l’Agence nationale de la recherche (ANR), Émilien Schultz (2016) a souligné que le souci de donner des gages de légitimité et d’irréprochabilité est aussi au cœur des préoccupations de ses membres. Plus généralement, des travaux ont montré que la mise en place de normes et de standards vise à donner une crédibilité à des instances sur lesquelles pèse un soupçon ou dont la légitimité est vacillante. Dans le domaine sanitaire, pour regagner la confiance du public à la suite de plusieurs scandales, des agences se créent et mettent en place des protocoles visant à garantir la rigueur et l’indépendance de leur expertise (Granjou, 2004 ; Borraz, 2008).

38La normalisation du jugement répond donc à un ensemble de facteurs techniques et conjoncturels : publicité de l’expertise, massification de l’évaluation, construction de la légitimité d’une nouvelle instance dans le panorama des institutions scientifiques conduisent les membres de l’AERES à bureaucratiser les pratiques de jugement. Ces facteurs « font système », au sens où ils se renforcent mutuellement pour aboutir à une mise en règle inédite du jugement par les pairs. Mais ils convergent également avec les intentions politico-scientifiques des chercheurs qui s’investissent aux débuts de l’agence. Le mouvement de rationalisation de l’expertise mis en place par les membres de l’AERES rejoint en effet leurs représentations des bonnes manières de juger. Les instruments d’action publique ne sont jamais neutres ou simplement techniques, comme le montrent de nombreux travaux (Lascoumes et Le Galès, 2005 ; Halpern, Lascoumes et Le Galès, 2014 ; Borraz, 2004) : ils recèlent des conceptions politiques que l’enquête approfondie auprès de leurs créateurs permet de mettre au jour. Sous-tendue par la critique d’un certain fonctionnement de l’évaluation collégiale, leur activité de procéduralisation recèle un projet politique de réforme du jugement.

Regard critique sur l’évaluation et projets réformateurs

L’AERES, ça mettait ensemble énormément de gens d’horizons différents pour un même but. […] C’était un peu une mission. Les gens qui venaient là, ils ne venaient pas là par ambition, au sens gagner beaucoup d’argent, etc. Ils venaient parce qu’ils pensaient que c’était comme ça que ça permettrait de faire avancer le système d’enseignement supérieur. (Cadre administratif, AERES)

  • 21 L’Académie des sciences a publié, à l’occasion des Assises de la recherche de 2012, un rapport enj (...)

39Les prises de parole les plus médiatisées concernant cette agence en ont plus souvent fait le procès qu’elles ne l’ont encensée21. Certains délégués nommés aux débuts de l’AERES soulignent leur double loyauté, les conduisant à la situation ubuesque d’aller manifester contre la loi LRU, puis de retourner travailler, quelques heures plus tard, dans les locaux fraîchement aménagés de l’AERES. D’autres membres évoquent par ailleurs la difficulté à travailler pour le compte d’une instance honnie par leurs collègues et leurs proches :

Quand on était du milieu universitaire, on ne disait pas qu’on travaillait à l’AERES, c’était une période qui était extrêmement désagréable, on était vraiment détestés, en tant que personnes, on était des sociaux-traîtres. Moi toute ma famille est dans l’enseignement supérieur, aller dans les dîners en ville pour s’entendre dire que franchement on travaille pour un truc qui veut faire crever la recherche, etc., c’était assez… particulier. (Cadre administratif, AERES)

40Étant donné qu’ils participent à un dispositif particulièrement controversé, comment comprendre les motifs de l’engagement de certains scientifiques dans cette agence ? Plusieurs enquêtés soulignent que la perspective de contribuer à rebâtir les règles de l’évaluation scientifique les a incités à s’engager dans l’institution. Pour comprendre leur engouement à réformer le système évaluatif, il est intéressant de rappeler la position d’élites intermédiaires qu’ils occupent dans la profession (chapitre 1), en examinant d’abord une caractéristique que partagent les scientifiques à la tête de la section des laboratoires : le fait d’avoir participé aux instances d’évaluation existantes, qu’il s’agisse de l’évaluation des carrières académiques et/ou de la recherche.

41L’un des directeurs de section a par exemple été membre du CNU pendant une dizaine d’années, et du CoNRS pendant quatorze ans. Comme il a participé à plusieurs instances d’évaluation scientifique en Europe, son expérience dépasse par ailleurs l’Hexagone. L’un des coordinateurs a également participé à la fois au CNU et CoNRS, en tant qu’élu et nommé, tandis qu’enfin, un autre directeur de section était juste avant sa nomination à l’agence l’un des directeurs scientifiques de la Mission scientifique du ministère de la Recherche. L’AERES met ainsi en position de créateurs des normes des universitaires qui ont une certaine expérience de l’évaluation scientifique. C’est justement en se revendiquant de leur expérience en leur sein qu’ils défendent la nécessité de mettre en règle l’évaluation. En effet, ces responsables ne se connaissaient pas personnellement avant leur nomination à l’AERES, mais ils convergent dans certaines de leurs représentations : ils partagent un regard critique sur ces instances et sur les réformes qu’il convient d’entreprendre pour améliorer l’évaluation collégiale.

  • 22 Cet argument en faveur d’une agence unique d’évaluation était déjà présent dans le rapport des Éta (...)

42Dans les entretiens et les sources écrites, les enquêtés s’appuient souvent sur leur trajectoire et sur leur connaissance de l’évaluation scientifique, qu’ils la vivent en tant qu’évaluateurs ou en tant que directeurs d’un laboratoire évalué, pour formuler des recommandations quant à la bonne conduite de l’évaluation. Ils réinvestissent leur propre trajectoire dans le monde académique pour justifier la nécessité d’une rationalisation accrue des pratiques de leurs collègues. Ils sont d’abord animés par la croyance en la nécessité d’unifier les méthodes et les processus de jugement. Cet argumentaire est surtout défendu dans des domaines de recherche où les équipes ont plusieurs tutelles (CNRS ; Institut national de la santé et de la recherche médicale, INSERM ; Institut national de la recherche agronomique, INRA ; ministère de la Recherche…) et sont par conséquent soumis à autant d’évaluations disjointes. Ce sont ici les spécificités organisationnelles de ces disciplines que mettent en avant certains membres de l’AERES pour expliquer, en entretien, leur soutien à la création d’un guichet unique de l’évaluation22. C’est ainsi bien en invoquant leur position de membre de la profession et leur connaissance empirique des règles du jeu existantes de l’évaluation que les acteurs de l’AERES défendent la nécessité de les refonder.

43Le discours sur le besoin de réforme est enfin construit à partir d’une critique sur les biais inhérents à l’évaluation collégiale, tels qu’ils se les représentent ou qu’ils les ont vécus dans les instances françaises d’évaluation scientifique. Des archives personnelles de membres de l’agence permettent de confronter les discours tenus en entretien, conduits plusieurs années après la mise en place de l’AERES, avec ceux qu’ils défendaient au moment de sa création. Dans un document interne daté de 2008, l’un des coordinateurs exprimait ainsi sa position sur les pratiques d’expertise en vigueur :

  • 23 Archives personnelles, délégué coordinateur, document « Réflexion sur l’évaluation de la recherche (...)

L’évaluation en France actuellement repose sur des données trop subjectives. Il existe trop de comités, de conseils scientifiques dans un pays dans lequel le nombre de chercheurs ne permet pas d’éviter les conflits d’intérêts soit en fonction de la présence d’une relation amicale ou hostile, le résultat peut être bouleversé […]. Il est important de borner par des données objectives la subjectivité des évaluateurs.23

44La production de diagnostics critiques est un ressort argumentatif classique permettant aux porteurs de réformes de les justifier (Bezès, 2009). Ici, le diagnostic, qui porte sur les lacunes des dispositifs d’évaluation antérieurs à l’AERES, est commun à l’ensemble des responsables (directeur, coordinateurs) de la section nommés à la mise en en place de l’AERES ; plusieurs délégués scientifiques interviewés s’en réclament également. Ce n’est pas pour être des administrateurs supervisant de loin le processus évaluatif, ni parce que cette position couronnerait leur carrière, qu’ils acceptent leur nomination à l’agence. Un autre coordinateur stipule explicitement que c’est pour contribuer à refonder les règles de l’évaluation scientifique qu’il s’engage dans l’institution :

Formaliser les procédures, rendre transparents les critères et le résultat des évaluations, pour moi c’était vraiment essentiel […]. Je me suis résolu assez vite [à venir à l’agence] parce que ça me paraissait un enjeu intéressant que de modifier les pratiques de l’évaluation au niveau des laboratoires […]. Les rapports étaient publiés, ça pour moi ça représente une des grandes avancées du travail de l’AERES, c’est-à-dire une transparence dans l’énoncé des évaluations. […] Ça me paraissait également être un critère d’équité parce que rendre visibles les jugements, savoir, lorsqu’on les émet, qu’ils vont être publiés, incite je pense à mettre en œuvre plus d’objectivité que si on le faisait dans le secret d’un rapport anonyme, et donc invisible. Et c’est pourquoi j’ai accepté la fonction, c’était qu’il y avait à la clé cette transformation. (Délégué coordinateur B)

45Le mouvement de rationalisation de l’expertise observé n’est pas un effet inattendu de la création de l’AERES, il est au cœur du projet réformateur dont se réclament certains de ses membres et qu’ils érigent comme l’un des motifs de leur investissement dans l’agence.

46En contrepoint des vertus positives de la formalisation des procédures, telles qu’elles sont présentées ci-dessus, se dessinent des contre-modèles. Dans les entretiens conduits avec les premiers membres de l’AERES, l’un des thèmes récurrents de leurs discours se structure autour de la critique plus ou moins virulente qu’ils portent sur les institutions qu’ils ont fréquentées de l’intérieur, en y participant, ou de plus loin, en tant que destinataires des évaluations. Aucune instance n’est épargnée, à commencer par la Mission scientifique et technique du ministère, « cabinet noir » du pouvoir pour certains d’entre eux, dont les pratiques d’évaluation font l’objet d’attaques vigoureuses de la part des scientifiques de l’agence :

[Avant l’AERES] quand vous étiez directeur d’équipe d’accueil […], vous receviez, sans aucune visite, sans aucune discussion, […] une enveloppe comparable à peu près à une enveloppe pour voter, c’est-à-dire toute petite, en papier marron même pas collé, enfin un truc incroyablement cheap, à l’intérieur duquel il y avait une languette de papier […] avec une ligne tapée à la machine : « équipe valable, reconduite pour quatre ans », ni signé ni rien, donc vous receviez cette espèce d’avis absolument sibyllin, non justifié, dans une vieille enveloppe moche, ce qui fait que je l’ai ouverte par hasard, parce que je la sors de mon casier à la fac, je croyais que c’était, je sais pas moi, un tract ou n’importe quoi, je sors ce bout de papier, je me dis « qu’est-ce que c’est que ce truc ? »… C’était l’avis du ministère ! (Délégué scientifique 5, sciences humaines)

47À travers les nombreux détails pittoresques, qui mettent en scène le caractère bricolé et artisanal de la pratique du jugement au ministère, l’enquêté insiste sur l’opacité qui caractérisait à ses yeux les décisions de la tutelle. Dans plusieurs entretiens, les diptyques obscurité/transparence, secret/visibilité sont mobilisés pour opposer terme à terme la Mission scientifique à l’AERES. Les critiques peuvent également émaner d’acteurs qui ont occupé des positions importantes dans cette instance dissoute à la création de l’agence. L’un des directeurs de section compare ainsi les deux institutions dans lesquelles il s’est investi pour vanter les mérites de l’AERES :

Tout a des défauts, mais par rapport à l’époque où moi je notais, comme directeur de la physique, je dirais presque sur un coin de table […], à la MSTP, […], je trouve que l’AERES c’était quand même beaucoup plus transparent et c’est un pas en avant par rapport à ce qu’on faisait avant. (Directeur de section A)

48La Mission scientifique constitue aux yeux des premiers membres de l’AERES un contre-modèle plutôt consensuel, sur lequel se cristallisent les critiques. Mais ils pointent également les lacunes qui caractérisent, à leurs yeux, les instances d’évaluation des organismes. Un enquêté, alors membre du Comité national, relate en entretien sa démission du CoNRS pour rejoindre l’AERES lorsqu’elle a été créée. Interviewé sur les raisons qui l’ont conduit à ce revirement, il insiste sur la suivante :

J’ai été parfois choqué lors des discussions sur les classements de concours, avec le sentiment que, je ne vais pas utiliser le mot « tripatouillages », même si je le fais, qui avaient lieu. […] donc j’avais adressé une lettre à l’ensemble des membres de la section […] dans laquelle je dénonçais notamment une pratique qui me hérissait, que j’avais gentiment appelée « les coups de fil vespéraux et les petits arrangements de dernière minute ». (Délégué scientifique 26, sciences sociales)

49De façon plus évasive, l’un des directeurs de section à l’AERES, qui a effectué plusieurs mandats au CoNRS, synthétise dans l’échange suivant sa conception de l’évaluation collégiale pratiquée dans cette instance :

Directeur : Moi, j’avais eu des frustrations avec le Comité national, nombreuses et variées et donc je pensais que c’était une bonne chose de faire ça.

Enquêtrice : Des frustrations ?

Directeur : Oui, si vous voulez, ça oscille entre le corporatisme, les groupes de pression… c’est humain, tout cela est humain.

  • 24 C’est également l’un des résultats relevés par Christine Musselin (2005) au terme d’une enquête ap (...)

50Les enquêtés nommés aux débuts de l’agence ne remettent pas en cause le fonctionnement et l’existence des organismes de recherche français : une très large majorité revendique, en entretien, son attachement à ces structures. Ils affirment cependant leur insatisfaction quant à la conduite de l’évaluation dans différentes instances chargées de l’évaluation des équipes et des personnels. Certes, ils soulignent le caractère plus exceptionnel que systématique de ce qu’ils décrivent comme des dysfonctionnements24. Cependant, lorsqu’ils y font référence, ils dressent un portrait sans concession des dérives (éventuelles ou qu’ils relatent avoir rencontrées dans leur carrière) de l’expertise par les pairs dans ces structures. Ils soulignent que la collégialité est la condition sans laquelle l’expertise deviendrait une tâche technique et déprofessionnalisée, au point que la compétence scientifique ne serait plus requise. Mais ils estiment qu’en favorisant l’expression de clivages méthodologiques, scientifiques et idéologiques, l’évaluation par les pairs peut s’exercer au détriment de la quête d’objectivité dans la production du jugement. Il s’agit donc de mettre en règle le jugement par les pairs : la création de normes écrites et publiques constituerait un rempart contre ce qu’ils présentent comme les biais inhérents à l’évaluation collégiale, à savoir principalement les liens de complicité ou de conflictualité entre évaluateurs et évalués.

Conflits d’intérêts et quête d’objectivité

  • 25 Par ailleurs, la production de règles ne garantit pas un comité de visite pacifié, pas plus qu’ell (...)

51Parmi les facteurs qui peuvent selon eux mettre en doute l’impartialité du jugement, les membres de l’AERES mentionnent fréquemment les liens entre évaluateurs et évalués. Les types de liens qu’ils déclinent en entretien sont le plus souvent les relations personnelles d’amitié ou d’inimitié, ainsi que les relations professionnelles de proximité ou d’éloignement, voire de désaccord épistémique, liées à l’appartenance des chercheurs à certains courants ou écoles de pensée dans leur discipline. Certains soulignent aussi l’existence de transactions plus stratégiques entre collègues, sous forme d’échange de faveurs ou de « renvoi d’ascenseur ». Cette configuration est favorisée par le fait que les évaluateurs de l’AERES ont été, sont ou seront potentiellement évalués au cours de leur carrière ou lors de la proposition de projets par les collègues mêmes qu’ils évaluent. Le travail de normalisation et de publicisation de l’expertise observé à l’AERES s’inscrit alors dans une réflexion sur les biais que ces liens peuvent occasionner dans les résultats de l’évaluation. Certes, les membres de l’agence n’estiment pas qu’il soit possible de supprimer ces liens par l’artifice de règles procédurales25, mais ils considèrent qu’il est possible de limiter leur emprise tout en restant attaché au principe de l’évaluation par les pairs, dont l’exercice suppose une certaine proximité entre évaluateurs et évalués.

52En effet, dans leurs discours et leurs pratiques, ils continuent de défendre l’expertise collégiale et ne préconisent pas de la confier à des experts externes au monde académique. Cependant, en rationalisant la production du jugement, il s’agit pour les membres de l’AERES de contrecarrer ses potentielles dérives, à savoir les effets du copinage, de la connivence, ou au contraire, des inimitiés scientifiques et/ou personnelles susceptibles de déformer le résultat de l’expertise. Il s’agit, en d’autres termes, de mettre de la distance dans les liens interpersonnels.

53À l’AERES, cette recherche de distance se matérialise à travers deux types de procédures. Elle s’incarne tout d’abord à travers la consigne de constituer des comités d’évaluation « internationaux ». Réputés extérieurs, par leur éloignement géographique, aux réseaux et aux chapelles disciplinaires nationales, ces experts internationaux sont supposés plus objectifs dans leur jugement, étant dégagés de relations de service ou de liens d’interdépendance. Pierre Bourdieu (1975) soulignait déjà que l’engouement pour les experts internationaux relevait d’une « philosophie naïve de l’objectivité » (p. 94), selon laquelle leur position d’étranger les placerait en surplomb des partis pris. Les délégués scientifiques ne sont pas non plus dupes de l’artifice : ils rappellent parfois que les experts étrangers sollicités font aussi partie de leur réseau scientifique et qu’ils ont fréquemment des liens avec eux, étant spécialistes des mêmes domaines. L’« objectivité » de ces experts n’est donc pas automatiquement inscrite dans le fait qu’ils travaillent dans un autre pays ou qu’ils en sont originaires.

  • 26 Cette injonction n’a pas toujours été suivie dans les faits : de nombreux comités d’évaluation des (...)

54Dans un autre cas de figure, c’est un argument inverse qui est mobilisé dans les entretiens : si une partie des délégués est bien favorable à l’ouverture des comités d’évaluation des laboratoires à des scientifiques étrangers, ils considèrent aussi que cette part doit rester minoritaire. En effet, le caractère international des comités peut être problématique pour la justesse de l’expertise, dès lors que la distance entre évaluateurs et évalués est trop grande. Ils soulignent que la méconnaissance des particularités institutionnelles et disciplinaires françaises peut affaiblir la légitimité de leur jugement, en les conduisant à des mésinterprétations. Cependant, avec l’AERES, même des disciplines dont les membres accordent une faible légitimité à l’expertise « internationale », comme la littérature, sont initialement sommées d’internationaliser leurs comités d’évaluation26. L’objectif est encore de rendre irréprochable le jugement en l’extrayant d’un entre-soi national, en vertu de cette croyance en l’objectivité et le sérieux scientifique des comités extérieurs.

55La seconde manifestation de cette recherche de distance entre évaluateurs et évalués se donne à voir dans le type de consignes adressé aux experts. Il est frappant de constater que les règles qui encadrent l’évaluation ne formalisent pas seulement le déroulement et les étapes de l’évaluation, mais qu’elles vont jusqu’à définir les relations entre les évaluateurs et les évalués. Les membres de l’agence produisent en effet des « codes de bonne conduite » – pour reprendre la dénomination officielle –, qui définissent le comportement et l’attitude requis des évaluateurs. Les consignes données peuvent prendre pour objet le contenu de l’interaction humaine qui va s’établir lors de l’expertise ou en amont. Certains délégués ne manquent pas d’ironiser à ce propos :

Pendant la visite, [il y a] tout un tas de règles, c’est tout juste s’ils ne donnent pas la composition du menu quoi ! « C’est un plateau-repas, composé d’une salade, etc. ». Je caricature mais c’est presque ça. (Délégué scientifique 27, sciences sociales)

  • 27 Ce n’est pas sans rappeler certains résultats des travaux ethnographiques de Michel Anteby (2013) (...)
  • 28 Archives publiques de l’AERES, « Synthèse de l’évaluation des unités de recherche. Vague C (octobr (...)

56Les responsables de l’AERES s’efforcent en effet de standardiser l’intégralité du déroulement de l’expertise pour le rendre prévisible27. Plus encore, quand on compare chronologiquement les documents officiels de l’AERES, on observe une progressive mise à distance entre les évaluateurs et les évalués. En effet, alors que les visites pouvaient se conclure par un échange informel entre les comités d’experts et les directeurs de laboratoire, pour faire le point sur la journée de rencontre, cette pratique a été interdite à partir de la fin de l’année 2008, « ce processus ayant donné lieu à des divergences d’interprétation de ce compte rendu oral »28. Enfin, dès 2011, les documents officiels proscrivent une autre pratique jusque-là courante lors des visites, celle du partage du déjeuner ou du dîner entre les experts et les évalués. Voici comment cette consigne est formulée :

Les structures évaluées ne doivent pas inviter les experts à dîner lors de la visite. Si un repas est prévu le soir, il doit se dérouler hors de la présence des évalués. Les observateurs des tutelles peuvent être présents, mais il est déconseillé d’évoquer le sujet de l’évaluation en cours. (Archives publiques de l’AERES, « Carnet de visite des unités de recherche. Vague C », 2011)

57Ce type de consigne recèle une vision spécifique du conflit d’intérêts, qu’il s’agirait de réguler par l’énoncé de procédures écrites introduisant une distance formelle entre les évaluateurs et les évalués. On ne retrouve pas seulement ces consignes à l’AERES : leur énoncé est aussi caractéristique de l’agence de financement de la recherche sur projets, mise en place en 2005, l’ANR. On peut par exemple lire, dans sa documentation publique, la recommandation suivante :

Les membres d’un comité ne doivent pas accepter de cadeaux ou d’avantages qui les rendraient ensuite débiteurs d’une autre partie et pourraient altérer l’objectivité de leurs positions finales. (ANR, Charte de déontologie, 22 juillet 2005, p. 4)

58À l’AERES, le cadrage du comportement et des liens acceptables entre les évaluateurs et les évalués a pu être perçu par une partie de ses membres comme une remise en cause de la collégialité de l’évaluation. En effet, à leurs yeux, la collégialité suppose la compétence des experts sur une spécialité donnée, si bien qu’elle s’accompagne généralement de formes d’interconnaissance : il est fréquent que les spécialistes d’un domaine se connaissent, de nom, ou par suite d’une collaboration académique, y compris lorsqu’ils travaillent ou résident à l’étranger. Pour plusieurs délégués, il est artificiel et naïf de chercher à camoufler cette proximité, pour eux nécessaire à la conduite de l’expertise, derrière une surenchère de règles formelles :

Lorsque j’étais délégué scientifique, je ne voyais aucun inconvénient à ce qu’un déjeuner ou un dîner soit organisé avec les collègues de la faculté visitée. J’avais une formule un peu triviale, parce que ça c’était l’objet de discussions au sein même de l’AERES, je disais : « nous, et les experts que nous désignons, nous ne sommes pas à vendre pour un plat de nouilles ». Ce n’est pas parce qu’on nous invite à déjeuner que tout à coup notre perception des choses s’en trouverait modifiée. Et je trouvais que de surcroît c’était une bonne façon là aussi d’accréditer la thèse non pas d’une connivence, mais la thèse selon laquelle nous n’étions pas des inspecteurs. (Délégué scientifique 26, sciences sociales)

59Il peut sembler surprenant que les universitaires qui travaillent à l’AERES se soient faits les premiers défenseurs d’une standardisation des pratiques évaluatives de la recherche, et mettent alors en question une manière éprouvée d’exercer leur compétence, la reconnaissance de l’expertise des professionnels ayant partie liée à celle de son caractère discrétionnaire (Abbott, 1988 ; Karpik, 1989, 1995 ; Damien et Tripier, 1994). Mais cette rationalisation n’est pas antinomique avec l’exercice de l’expertise professionnelle telle qu’ils l’entendent. En effet, dans la plupart des organisations collégiales, dominées par le consensus entre pairs et des formes horizontales de surveillance, la collégialité n’est pas incompatible avec certaines formes de bureaucratie (Waters, 1989 ; Lazega et Wattebled, 2010). Ici, les membres de l’AERES consacrent une vision du professionnalisme qui repose sur l’encadrement bureaucratique de la collégialité. Autrement dit, c’est paradoxalement au nom d’une certaine conception de l’expertise « professionnelle » qu’ils limitent l’autonomie de leurs collègues dans la production de leur jugement, en introduisant davantage de règles, de cadres et de procédures.

60Plusieurs travaux consacrés aux discours sur le professionnalisme dans la période contemporaine ont montré qu’il s’agissait parfois d’une injonction portée par des sphères managériales pour assujettir les salariés à certaines normes, et redéfinir ce qu’est être un bon travailleur, parfois en conduisant ceux-ci à endosser des valeurs peu compatibles avec leurs propres représentations du métier (Boussard, Demazière et Milburn, 2010 ; Fournier, 1999 ; Evetts, 2011). Ces injonctions et les redéfinitions de l’expertise professionnelle qu’elles portent sont ici défendues par des scientifiques en exercice, qui mettent en sens leur expérience du métier et des épreuves de reconnaissance scientifique pour justifier la mise en règle des pratiques d’évaluation collégiales. Ils ne défendent pas tant la mise en automaticité du jugement qu’ils ne considèrent que l’appartenance de l’expert au monde professionnel évalué ne suffit pas à garantir la qualité et la rigueur de son expertise : selon leur discours, la collégialité reste au fondement de l’évaluation, mais son exercice doit être contrôlé et cadré par des standards plus ou moins codifiés. Si l’on suit leur raisonnement, il ne s’agirait pas ainsi de sonner le glas de l’expertise qualitative et collégiale, mais de l’améliorer en la rationalisant.

61Ainsi, alors que les recettes du New Public Management, telles que la création d’agences autonomes, visent souvent à remplacer un mode de gouvernement bureaucratique jugé inefficace (Pollitt et Boukaert, 2004 ; Osborne et Gaebler, 1992), dans le cas de l’AERES, c’est au contraire le projet de mettre en règle et de procéduraliser des pratiques considérées par une partie des professionnels comme discrétionnaires qui anime ces derniers et les incite à se mobiliser. Cette étude permet de comprendre les logiques de la rationalisation de l’évaluation scientifique de l’intérieur : elle montre comment des scientifiques mettaient en avant leur connaissance et leur perception du système d’évaluation de la recherche avant la mise en place de l’AERES pour justifier le besoin de réforme. La refonte de l’expertise qu’ils mettent en œuvre est orientée par une représentation particulière de l’évaluation : ils font la promotion d’une rationalisation et d’une codification des procédures encadrant le jugement scientifique. Ces règles apparaissent alors comme des garde-fous prémunissant le jugement par les pairs de ses risques inhérents. Enfin, les procédures que créent les membres de l’AERES sont nourries de leurs conceptions de la juste manière de conduire l’évaluation et des bons experts. En cela, elles sont politiques, et contribuent à redistribuer le pouvoir de juger au sein de la communauté scientifique.

Redéfinir qui est juge de la qualité : une ressource dans les luttes professionnelles

62Les responsables de l’AERES présentent parfois les normes qu’ils produisent comme des instruments techniques répondant à une rationalité pragmatique (organiser les évaluations de façon homogène, produire un grand nombre de rapports en un temps limité…). C’est souvent ainsi que sont dépolitisés les instruments d’action publique, alors que leur mise en place est loin d’être neutre. En effet, derrière le caractère technique de la bureaucratisation se cachent certaines représentations des pratiques d’expertise légitime. Le choix de certaines procédures est éclairé par les convictions et les projets réformateurs que leurs concepteurs ont construits au long de leur circulation dans le monde académique. Comment le système de valeurs des dirigeants de la section se reflète-t-il dans les instruments retenus ? Pour répondre à cette question de façon concrète, je prendrai le cas de la définition des règles de composition des comités d’évaluation. Dès la mise en place de l’AERES, ses membres se sont attelés à inventer ou réinventer les règles présidant à l’organisation des comités d’évaluation et de visite sur site.

  • 29 Archives publiques AERES, « Vague D. Organisation des comités d’experts pour les visites des unité (...)

63L’une des questions qui s’est immédiatement posée était celle de savoir comment seraient composés ces comités, qui en seraient les experts et par quelles procédures ils seraient recrutés. Les responsables de la section ont travaillé à définir la composition canonique d’un comité d’évaluation. Il s’agit d’utiliser la règle pour imposer de nouvelles normes d’évaluation, et redéfinir qui est juge de la qualité scientifique. Voici les règles qu’ils ont produites au cours de l’année 200829 :

Encadré 3. « Composition du comité d’experts », AERES, 2008

Composition du comité d’experts
Règle générale : le comité d’experts est constitué d’une part d’au moins six experts dont un président et, d’autre part, d’un représentant de l’instance d’évaluation des personnels de chaque établissement dont relève l’unité évaluée, sur proposition de cette instance (CoNRS, CNU, commissions scientifiques spécialisées de l’INSERM…). La liste des experts est rendue publique. Toutefois, pour les petites unités on pourra réduire la taille du comité.
Cas d’une unité de recherche de taille moyenne (60 membres permanents) :
Président(e) désigné(e) par l’AERES ;
5 experts désignés par l’AERES ;
1 expert proposé par le CNU si des enseignants-chercheurs figurent dans l’organigramme de l’unité ;
1 expert proposé par le CoNRS, la Commission spécialisée INSERM, INRA…, des unités rattachées au CNRS, à l’INSERM, à l’INRA…

  • 30 L’enquêté ne produit pas ici un discours générique, il prenait l’exemple de certains comités.

64Le premier élément remarquable concerne la place spécifique qui est dévolue aux membres représentant les instances d’évaluation des organismes et du personnel. Ils semblent appartenir aux comités AERES à un titre différent de celui des évaluateurs nommés par l’agence, comme la formule « d’une part, des experts […] et, d’autre part, des représentants » le laisse entendre. En établissant une frontière entre les experts nommés intuitu personae et ceux qui le sont au titre de leur participation aux instances d’évaluation des organismes, les membres de l’AERES cantonnent ces derniers à un rôle de représentation ou de porte-parole d’une institution dans les comités de visite. Ils laissent alors supposer que le jugement des évaluateurs nommés au titre de leur participation à l’évaluation des organismes a un statut spécifique, que caractérise ainsi un directeur de section30 :

Ils jouaient leur rôle, mais leur rôle était un rôle qui n’est pas celui d’un comité d’évaluation aux standards internationaux ! C’est un rôle de comité de visite au niveau d’un comité paritaire. (Directeur de section A)

65Par ailleurs, le nombre de ces représentants est limité. La supériorité numérique des experts nommés par l’agence relève d’une volonté forte des dirigeants des sections de limiter au maximum la présence des représentants du Comité national du CNRS, quand bien même le laboratoire évalué dépendrait de plusieurs sections du CoNRS, ce qui justifierait la présence de plusieurs de ces représentants.

  • 31 Également appelée le C3N, elle regroupe le Conseil scientifique du CNRS, les conseils scientifique (...)

66Ces choix n’ont pas manqué de susciter des conflits entre les institutions concurrentes d’évaluation de la recherche. La structure de coordination du CoNRS31 s’est par exemple formellement mobilisée pour que soit conforté le poids des membres du Comité national dans les comités d’évaluation AERES, et revendique notamment la présence d’un élu de rang C (personnels ingénieurs, techniques, administratifs) lors de l’évaluation des laboratoires du CNRS. Les responsables des sections d’évaluation de l’AERES se sont initialement opposés à cette réclamation officielle, et dans les premières années de l’AERES ces mesures n’ont pas été instituées.

67Les constructeurs des normes ne sont pas des bureaucrates « neutres ». Leur nomination à l’AERES constitue une fenêtre d’opportunité leur permettant de faire valoir leur représentation des acteurs légitimes à conduire l’évaluation. Les premiers dirigeants de la section sont, on l’a souligné, des enseignants-chercheurs, et non des chercheurs travaillant dans des organismes. Si l’on peut penser que c’est en raison de leur statut qu’ils s’efforcent d’assurer une assise aux universitaires dans le paysage de la recherche, cette lecture n’est pas suffisante et souvent peu opératoire. Il faut se tourner vers un fait plus invisible dans leurs curricula : aucun d’entre eux ne se revendique d’une affiliation syndicale. En entretien, ils mentionnent parfois cette caractéristique pour produire une critique des dispositifs d’évaluation reposant sur des élections syndicales :

Le Comité national, c’est très hétérogène, et quand même en moyenne dominé par les syndicats et dans le mauvais sens du terme, si vous voulez moi je n’ai rien contre les syndicats, mais… j’ai vu nommer des directeurs de recherche pour des raisons qui n’avaient rien à voir avec la qualité. La qualité scientifique. (Directeur de section B)

68Dans certains discours, excellence académique et posture syndicale sont présentées comme radicalement incompatibles. En témoigne l’élitisme affiché dans l’extrait suivant concernant la définition des « bons » juges :

Quand on m’a embauché, et c’était le cas pour les collègues [de la section], j’étais intimement convaincu que l’évaluation de la recherche pendant très longtemps on l’avait laissée justement à des gens qui n’étaient pas des bons chercheurs. […] Les gens qui ont des responsabilités ce sont des gens qui n’ont pas en tout cas été successfull […] et donc très souvent ces gens-là, parce qu’ils n’arrivent pas à faire de la recherche, etc., ils s’orientent vers des responsabilités. Ce n’est pas généralement les meilleurs chercheurs qui font l’évaluation. Et le principe de départ c’était d’avoir les meilleurs chercheurs. Des médailles d’or, des médailles d’argent du CNRS, des membres de l’Institut universitaire de France, […] des gens de l’Académie des sciences, enfin voilà des gens qui étaient reconnus pour leur accomplissement dans le domaine de la recherche. (Délégué coordinateur A)

69Ces prises de position relèvent d’une stratégie de différenciation entre une évaluation à caractère scientifique, la seule acceptable aux yeux des responsables de la section, et une autre forme d’expertise qui reposerait sur des ressorts politiques ou des logiques syndicales et qu’il conviendrait de bannir. Cette représentation n’est pas perceptible seulement dans leurs discours, en entretien, ou dans des documents internes. Elle se donne très directement à lire dans les procédures qu’ils retiennent :

On avait refusé des ingénieurs ITA [ingénieurs, techniciens et personnels administratifs], [le directeur de l’autre section] […] disait que les ingénieurs dans les comités de visite faisaient de la « bobologie », c’est-à-dire qu’ils allaient regarder si la soupe était bonne, voir les gens qui se plaignaient, ça n’avait rien à voir avec de l’évaluation scientifique […]. La notion de commission paritaire n’a aucun sens pour la recherche en général. (Directeur de section A)

70Ainsi, même quand on décrypte une opération apparemment technique, comme l’établissement de règles numériques de composition des comités de visite, elle recèle une charge politique importante. Plus encore, la rationalisation bureaucratique est aussi un enjeu de lutte politique, dans la mesure où, en édictant des règles de composition des comités d’évaluation, les membres de l’AERES redistribuent le pouvoir de juger au sein de la communauté académique. En restreignant la place des membres des instances d’évaluation des organismes, les responsables de l’agence accomplissent une mise à l’écart des organismes jusque-là centraux dans la régulation de la communauté scientifique :

Et donc le CNRS et l’INSERM aussi, dans son domaine, voyaient ça d’un très mauvais œil parce que ça les dépossédait aussi en partie, enfin ça pouvait les déposséder de leur rôle d’arbitre de la recherche. (Cadre administratif, AERES)

71Ces responsables invoquent leur connaissance et leurs expériences des institutions d’évaluation – estimant, pour les avoir investies au long de leur carrière, que leur fonctionnement est préjudiciable à la bonne conduite de l’évaluation de la recherche – afin de justifier leur volonté de limiter le poids de certains organes d’évaluation dans le nouveau dispositif qu’ils mettent en place. Le choix des procédures apparaît alors comme le reflet et l’enjeu de luttes entre différents acteurs scientifiques pour la maîtrise de l’exercice évaluatif. Les instruments d’action publique peuvent ainsi être analysés à la lumière des trajectoires et des prises de position des acteurs qui les conçoivent. Prendre au sérieux le système de valeur défendu par les scientifiques nommés à l’AERES permet de dévoiler la charge politique qui sous-tend les règles du jugement qu’ils produisent. La construction des modalités d’évaluation devient ainsi une ressource dans les luttes de pouvoir institutionnelles.

*

72Comme la France, d’autres pays ont connu d’importants débats sur les façons de juger la qualité scientifique et sur l’émergence de règles bureaucratiques encadrant l’évaluation. Ces débats ont par exemple pris place aux États-Unis pendant les années 1970, le Congrès américain critiquant le poids des old boy networks à la National Science Fondation (Cole, Rubin et Cole, 1977), c’est-à-dire le poids des réseaux de « patrons » bien institués dans les différentes disciplines et qui parviennent à capter la plupart des crédits scientifiques. Toutefois, la bureaucratisation de l’expertise scientifique connaît en France une histoire singulière. En effet, les liens historiques particulièrement forts entre l’État et les scientifiques (Musselin, 2008) ont d’importantes conséquences sur la façon dont les réformes de l’évaluation sont conçues et mises en œuvre. Cette configuration confère aux réformes de l’évaluation scientifique « à la française » leur spécificité, par rapport à d’autres pays, comme la Grande-Bretagne, où les transformations du gouvernement de la recherche sont plus exogènes (Le Galès et Scott, 2008). Elle conduit à revisiter l’opposition classique entre logiques néo-managériales et logiques professionnelles. Ce chapitre montre au contraire leur imbrication, en mettant en lumière la façon dont des professionnels relaient des injonctions au changement et portent des critiques sur le fonctionnement du monde du travail auquel ils appartiennent. Les prescriptions à la transparence et à l’efficacité des pratiques de travail, habituellement conçues comme des critiques envers l’autonomie professionnelle, peuvent être promues depuis le cœur même de la profession.

73Ce chapitre a d’abord exploré comment les scientifiques investis à l’AERES ont travaillé à rationaliser la conduite de l’expertise. Lorsqu’ils façonnent les procédures encadrant la conduite du jugement, ces réformateurs ne prennent pas appui sur des références externes à leur univers professionnel : le « management de la qualité », mis en place dans le secteur privé, ou des modèles d’évaluation existants, anglo-saxons par exemple, ne font pas partie des références qu’ils mobilisent dans leurs discours ou leurs pratiques. Ils ont davantage pris appui sur leur conception personnelle de la bonne manière d’organiser l’évaluation que sur des modèles étrangers qu’ils auraient importés tels quels dans l’agence. Les processus de rationalisation du jugement comportent une part de bricolage et d’invention, et l’action publique en matière d’évaluation scientifique est innervée des savoir-faire et des convictions des membres de l’AERES, acquis au fil de leur participation aux instances du monde académique. Les scientifiques n’adoptent pas toujours une attitude défensive vis-à-vis de la standardisation de leurs pratiques. L’originalité de la fabrique de modes d’emploi de l’évaluation réside dans le fait que ce sont des membres de la profession académique qui les construisent et les défendent. Ce faisant, ils endossent des discours généralement portés depuis des sphères managériales, par des acteurs qui cherchent à contrôler leurs administrés tout en témoignant de leur propre « souci de soi » (Bezès, 2009).

74Considérer leurs représentations des réformes légitimes de l’évaluation, qu’éclaire l’analyse de leurs trajectoires, permet de comprendre comment des membres centraux d’une profession peuvent être les premiers promoteurs d’un contrôle accru des pratiques de leurs collègues. Ces acteurs partagent un diagnostic commun : tout en considérant que l’évaluation collégiale est la seule forme d’expertise légitime, ils mettent l’accent sur ce qu’ils considèrent comme son défaut originel, celui de n’être pas assez contrôlée par des dispositifs stabilisés. Certains scientifiques s’adonnent ainsi à une lecture critique des travers de l’autorégulation professionnelle : aux yeux de certains membres de l’AERES, l’interconnaissance entre les évalués et les évaluateurs est certes le gage de la compétence des experts pour juger leurs collègues, mais elle peut être incompatible avec l’impartialité que requiert l’exercice. La rationalisation de l’évaluation témoigne d’une définition du professionnalisme selon laquelle il ne suffit pas aux « experts » d’être des spécialistes du domaine qu’ils évaluent pour garantir la rigueur et l’équité de leur expertise. En objectivant les ressorts du jugement, la formalisation écrite des savoir-faire ou des « savoir-juger » incorporés est, pour les réformateurs, un garde-fou qui assure l’équité du jugement, un gage de justice en quelque sorte, qui prémunit l’évaluation collégiale des risques de clientélisme ou des conflits d’intérêts.

75Certains membres de l’AERES justifient la mise en place de procédures par leur rationalité technique, qui dépassionne et dépolitise l’action publique. Cependant, ces procédures, même les plus techniques, revêtent une dimension normative qu’il convient de mettre au jour. Elles recèlent un projet réformateur parfois assumé par ceux qui les mettent en place : prôner l’évitement des biais du jugement collégial en encadrant la revue par les pairs sert aussi, indirectement, à justifier la relative mise à l’écart de certaines institutions jusque-là dominantes dans l’évaluation des laboratoires, notamment le Comité national du CNRS, qui a une forte légitimité élective au sein de la profession. Ces réformes sont aussi une occasion de redistribution et de création de pouvoir (Bezès, 2007). S’y jouent des conflits juridictionnels et idéologiques à l’intérieur de la profession, qui ont pour enjeu une redéfinition des méthodes de travail légitimes tout autant qu’une redistribution du pouvoir de juger la qualité scientifique.

76Les membres de l’AERES parviennent donc à imposer certaines procédures d’évaluation. Mais les rapports parfois conflictuels qu’ils entretiennent avec les représentants de la profession appartenant à des institutions concurrentes ne se soldent pas toujours ainsi. Le chapitre suivant porte sur les controverses que certains instruments suscitent au sein de la communauté académique. En s’appuyant sur le cas des classements de revues dans une discipline où leur mise en place a systématiquement échoué, ce chapitre montrera comment les professionnels mobilisent leurs savoirs et leurs pratiques épistémiques pour influer, de l’extérieur de l’AERES, sur l’élaboration de l’action publique.

Notes

1 Cette procéduralisation s’accompagne d’une importante standardisation des règles du jugement : celles-ci sont à la fois uniformes, décontextualisées, c’est-à-dire formulées à un niveau de généralité qui les rend applicables à l’évaluation de tous les laboratoires, et normatives, au sens où elles définissent un étalon par rapport auquel la bonne conduite de l’évaluation académique peut être jaugée.

2 Pour une recension plus exhaustive de ces travaux, voir Bezès et Demazière (2011, p. 293-305).

3 Certains travaux montrent bien que des formes de rationalisation existent à l’intérieur des mondes professionnels : Eliot Freidson (1984, 1994), par exemple, avait montré l’émergence d’un segment administratif de la profession médicale participant à l’élaboration des procédures. Cependant, dans ses écrits ultérieurs (Freidson, 2001), les logiques bureaucratiques et néo-managériales apparaissent nettement incompatibles avec les spécificités du travail professionnel, des services et de l’expertise que rendent les professions.

4 Cette approche s’inscrit à la suite des travaux qui montrent l’intérêt d’articuler représentations des « élites programmatiques » et analyse des programmes d’action (Genieys et Hassenteufel, 2012).

5 Ce terme, qui désigne le caractère, le comportement et la manière d’être d’un individu, a été réinvesti par les sciences sociales. Il permet de comprendre la propension des acteurs à privilégier une forme d’action ou une rationalité (plutôt qu’une autre) en fonction de leur position dans un espace social et du système de normes qu’ils ont incorporées.

6 Soulignons cependant que le mouvement de rationalisation, ou du moins, de prescription à la formalisation des procédures, se donne aussi à voir au sein d’instances collégiales en majorité élues telles que le CoNRS. Ainsi, un document officiel établissant le bilan de la mandature 2004-2008 du CoNRS commence par préciser que « le Secrétariat général du Comité national s’est attaché à moderniser les processus de l’évaluation en les rationalisant et en les formalisant » (Archives SGCN, Bilan 2004-2008, juillet 2008).

7 AN, 19980513/3, chemise verte « Fiches d’expertise. Notice explicative ».

8 Ibid., chemise bleue « Groupes d’experts ».

9 Les travaux de Pauline Ravinet (2012) montrent également que les réformes conduites sous la présidence de Nicolas Sarkozy radicalisent un certain nombre de transformations déjà en germe.

10 Archives personnelles, délégué coordinateur, « Réunion des délégués scientifiques du secteur [x], 9 septembre 2009 ».

11 Ce résultat est proche de ce que Julien Barrier et Christine Musselin (2016) avaient montré sur les fusions d’universités : alors que ces regroupements organisationnels ont été initiés en France en réponse à la diffusion de modèles « internationaux » d’universités, ces scripts ont finalement peu d’influence sur le travail organisationnel conduit à l’échelle des universités. Les directions des établissements s’approprient, en fonction des équilibres de pouvoirs et des contraintes locales, ces scripts, si bien qu’ils ne font pas l’objet d’une importation à l’identique.

12 Ils ont, cependant, intériorisé certaines desdites bonnes pratiques européennes, telles que la distinction faite dans les ESG entre évaluation interne (l’autoévaluation des laboratoires, produite dans un rapport remis à l’AERES) et évaluation externe (l’évaluation diligentée par l’AERES).

13 Dans le secteur de la santé, Patrick Castel et Magali Robelet (2009) opposent une rationalisation « professionnelle » – où le contrôle des pratiques médicales continue d’être exercé par et depuis l’intérieur de la profession – à des formes de « standardisation industrielle », qui place au second rang la compétence et l’expertise professionnelle.

14 L’annexe 5 reproduit intégralement ce document.

15 Par cette expression, Philippe Bezès (2009, p. 61-126) désigne le fait que les administrations publiques cherchent à rendre leur propre action rationnelle. Il situe ce tournant entre les années 1960 et 1970. Les hauts fonctionnaires des différents services questionnent l’efficience de l’administration, et tentent de produire des instruments rationnels de gouvernement, certes pour améliorer le service rendu aux usagers, mais surtout pour rationaliser le fonctionnement même de l’État.

16 En effet, dans d’autres pays, tels qu’en Grande-Bretagne avec le RAE, la procéduralisation et la standardisation de l’expertise sont intervenues plus tôt. Dans les sections du CoNRS français en revanche, les consignes pour conduire l’expertise continuent d’être plus oralisées qu’écrites. Elles ne sont par ailleurs pas unifiées mais négociées à chaque mandat au sein des sections.

17 De fait, les délégués nomment parfois plusieurs fois un même président de comité voire les mêmes évaluateurs pour plusieurs équipes, en fonction de l’adéquation de leurs domaines de compétences avec les thématiques de l’équipe évaluée et dans les cas où ils estiment que le comité a bien fonctionné. Aux débuts de l’AERES, les délégués soulignent aussi parfois leurs difficultés à trouver des évaluateurs, expliquant qu’ils se tournent vers les collègues ayant déjà accepté de travailler pour cette agence.

18 Les comités AERES pour une équipe de recherche regroupent généralement cinq experts, accompagnés d’un délégué scientifique de l’AERES, alors que chaque section du CoNRS compte une vingtaine de membres. Le nombre important de scientifiques qui siègent dans les sections assure l’autocontrôle de ce « parlement de la science » (Picard, 1999).

19 Archives publiques AERES, « Synthèse de l’évaluation des unités de recherche. Vague C (octobre 2007 - mai 2008) », 2009.

20 Archives personnelles, délégué coordinateur, document « Réunion des délégués scientifiques […], 1er septembre 2010. Remarques du [directeur de la section] ».

21 L’Académie des sciences a publié, à l’occasion des Assises de la recherche de 2012, un rapport enjoignant les pouvoirs publics à dissoudre l’AERES. Par ailleurs, de nombreux blogs et sites internet animés par des scientifiques foisonnent de réflexions critiques sur cette agence.

22 Cet argument en faveur d’une agence unique d’évaluation était déjà présent dans le rapport des États généraux de la recherche de 2004, issu d’une vaste consultation académique, qui souligne l’absence de mise en cohérence des évaluations conduites par différents opérateurs : Propositions pour améliorer le système de recherche français, Rapport des États généraux de la recherche, novembre 2004, 89 pages, p. 31. En ligne : [https://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/044000563.pdf].

23 Archives personnelles, délégué coordinateur, document « Réflexion sur l’évaluation de la recherche », 2008.

24 C’est également l’un des résultats relevés par Christine Musselin (2005) au terme d’une enquête approfondie sur les recrutements universitaires dans deux disciplines : même en l’absence de normes écrites et formalisées, des conventions tacites, partagées par les commissions, permettent d’assurer une certaine régularité dans le traitement des candidats.

25 Par ailleurs, la production de règles ne garantit pas un comité de visite pacifié, pas plus qu’elle ne clôt les controverses scientifiques : début 2008, une équipe de psychanalystes a réfuté l’évaluation du comité AERES, les travaux des membres du comité les inscrivant en psychologie cognitive – un courant dont les postulats s’opposent à ceux des psychanalystes, bien que des ponts aient été construits entre ces deux démarches. Alors qu’elle a été formellement bien orchestrée, la visite s’est très mal déroulée, les membres du comité et ceux de l’équipe évaluée se « déniant mutuellement toute légitimité scientifique » (délégué scientifique 15, sciences humaines).

26 Cette injonction n’a pas toujours été suivie dans les faits : de nombreux comités d’évaluation des laboratoires ne comportent aucun évaluateur étranger, notamment en SHS. Cette faible présence des étrangers s’explique d’une part par la barrière de la langue. Si en biologie, par exemple, les rapports d’autoévaluation des équipes sont souvent rédigés en anglais, c’est loin d’être le cas dans d’autres disciplines. Il s’agit alors de recruter des experts étrangers mais francophones, ce qui réduit le vivier potentiel d’évaluateurs. Elle s’explique d’autre part par des contraintes organisationnelles – il n’est pas toujours évident de réunir des comités aux mêmes dates entre différents pays – et, surtout, financières : les experts sont défrayés, mais pas rémunérés ou à un coût très symbolique, ce qui est faiblement incitatif.

27 Ce n’est pas sans rappeler certains résultats des travaux ethnographiques de Michel Anteby (2013) à la Harvard Business School, qui montrait que le déroulement des cours était soigneusement orchestré en amont et à la minute près, jusqu’à l’attitude et aux réponses attendues de la part des étudiants.

28 Archives publiques de l’AERES, « Synthèse de l’évaluation des unités de recherche. Vague C (octobre 2007 - mai 2008) », 2009.

29 Archives publiques AERES, « Vague D. Organisation des comités d’experts pour les visites des unités de recherche », 22 juillet 2008.

30 L’enquêté ne produit pas ici un discours générique, il prenait l’exemple de certains comités.

31 Également appelée le C3N, elle regroupe le Conseil scientifique du CNRS, les conseils scientifiques des instituts, et les présidents de sections du Comité national.

Le texte et les autres éléments (illustrations, fichiers annexes importés) sont sous Licence OpenEdition Books, sauf mention contraire.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search