Version classiqueVersion mobile

Les valeurs de la science

 | 
Clémentine Gozlan

Chapitre 5

L’« excellence » à l’épreuve des pratiques de jugement

Texte intégral

  • 1 Ce chapitre prolonge les résultats d’un article publié dans la revue Sociologie (Gozlan, 2016). Il (...)

1Les chapitres précédents ont mis au jour l’important travail de formalisation des procédures et des instruments du jugement à l’AERES. Il s’agit à présent d’étudier les pratiques d’évaluation par les pairs dans cette institution dont la mission est de codifier et de cadrer l’expertise. Dans la mesure où les critères qui comptent et les façons de juger prescrites par cette agence peuvent entrer en dissonance avec les conceptions que les chercheurs ont de la qualité en recherche, comment s’exerce le jugement professionnel ? Quelles ressources mobilisent les évaluateurs pour apprécier la qualité des laboratoires1 de leurs collègues ? La démarche consiste à repartir de la critériologie des évaluateurs et de leurs pratiques d’évaluation au concret, afin de comprendre les usages qu’ils font des instruments de l’AERES.

  • 2 Cette observation ethnographique permet d’étudier le processus concret de production de l’évaluati (...)

2Pour ce faire, je compare les façons de juger dans deux disciplines des sciences humaines et sociales, la littérature et la géographie, en articulant plusieurs méthodes. Afin d’objectiver les pratiques de jugement des évaluateurs, j’ai constitué une base de données à partir des informations contenues dans un échantillon de cinquante-quatre rapports AERES également répartis dans les disciplines de la littérature et de la géographie. Outre les entretiens et les sources écrites, j’ai cherché à étudier le jugement en action : j’ai observé un comité de visite AERES en 2014, qui se déroulait sur une journée dans une équipe de littérature d’une université de la région parisienne2.

  • 3 Notons ici que les conditions de l’autonomie des sciences humaines évoluent dans le temps et sont, (...)

3Pour étudier les appropriations variées des guidelines de l’AERES, il était intéressant de comparer des disciplines qui, selon les académiques, répondent à des normes de fonctionnement divergentes au sein des sciences humaines et sociales. Certes, les disciplines ne sont pas des espaces homogènes caractérisés par des pratiques et des méthodes de travail uniformes ou encore invariables dans le temps. Cependant, plusieurs traits permettent de les distinguer. Tout d’abord, la recherche en littérature à l’université, que Pierre Bourdieu (1984, p. 14) situait en haut de l’échelle du prestige académique, s’est historiquement constituée comme autonome des demandes sociales et politiques, tandis que certains segments de la géographie ont davantage été aux prises avec des formes d’applications sociales directes3. Ensuite, les révolutions méthodologiques qu’ont connues ces deux disciplines n’ont pas été conduites au même rythme ni avec la même ampleur. Tandis que les méthodes de travail en géographie requièrent de plus en plus, selon les enquêtés, des modes collectifs de travail, notamment depuis l’introduction de la modélisation et de l’analyse spatiale dans les années 1970, cette évolution – sans être inexistante – est moins perceptible en lettres, qui restent marquées par la prééminence du travail individuel. Enfin, la valeur accordée à l’internationalisation des résultats de recherche diffère selon les disciplines.

4Cette comparaison mettra en lumière la variété des systèmes axiologiques des évaluateurs et de leurs rapports aux normes énoncées par l’AERES. En effet, même au sein d’une agence qui produit des standards, la normalisation du jugement reste inachevée : les évaluateurs font valoir le primat d’une expertise collégiale et ils ne délèguent pas leur compétence à des indicateurs qui fonctionneraient comme des « pilotes invisibles » (Lorrain, 2004) du jugement. Les instruments de l’AERES ont cependant des incidences sur les conceptions de la bonne manière d’organiser la recherche, et ce chapitre montrera comment et dans quelle mesure ces instruments redessinent les contours organisationnels d’un laboratoire de recherche jugé performant. Enfin, quand il s’agit d’évaluer le « cœur du métier », à savoir la qualité scientifique des travaux de leurs collègues, les évaluateurs des deux disciplines étudiées ont des stratégies distinctes d’appropriation de ces outils. Alors qu’une majorité des littéraires s’emploient à discréditer les repères que l’AERES met à leur disposition, en revendiquant, à la manière des experts d’art (Heinich, 1997 ; Bessy et Chateauraynaud, 1993), le caractère ésotérique de leur pratique professionnelle, les géographes font au contraire un usage beaucoup plus systématique des outils d’objectivation du jugement produits par l’agence.

5La propension des évaluateurs à s’emparer de ces standards s’explique en partie par l’organisation du travail académique existant dans leur discipline. Les universitaires défendent des conceptions de la qualité et des « styles épistémologiques » distincts en fonction de leur discipline d’appartenance (Lamont, 2009), qui correspondent plus ou moins aux critères énoncés par l’AERES. Mais une analyse plus approfondie révèle également que la position dans le monde académique et le type de légitimité que les acteurs cherchent à donner à leur discipline les amènent à employer ces standards, ou inversement, à jeter le discrédit sur eux. C’est en s’intéressant au projet réformateur qu’ils nourrissent pour leur domaine que l’on peut comprendre leur recours variable aux normes édictées par l’agence dans leurs façons de juger.

Des évaluateurs en quête de collégialité

6Dans un cadre fortement contraint, une majorité des enquêtés s’accorde à défendre la proximité avec leurs collègues comme un ressort légitime du jugement. Ils tendent alors à mettre à distance les normes de l’AERES, dès lors qu’ils les estiment étrangères à leur critériologie.

Encadré 8. Le déroulement de l’évaluation

Pour comprendre comment s’exerce la collégialité en pratique, présentons brièvement les étapes de la visite sur site des laboratoires de recherche.
Le comité d’évaluateurs est nommé par le ou les délégués scientifiques de l’AERES dont les disciplines sont représentées dans le laboratoire évalué. Composé d’au moins quatre personnes (en fonction de la taille du laboratoire le nombre d’évaluateurs varie), il est supposé comprendre un représentant du CNU pour une équipe d’accueil, et un représentant des instances d’évaluation des organismes, tel le CoNRS, lorsque l’unité est une unité propre ou une unité mixte de recherche.
Le délégué scientifique accompagne le comité lors de la visite, il est présent à titre d’observateur et n’est pas supposé intervenir sur le contenu du rapport d’évaluation. Le président anime les débats et il est responsable de la rédaction du rapport d’évaluation, qu’il se charge de le rédiger entièrement sur la base des remarques des évaluateurs ou que ceux-ci en écrivent chacun une partie.
La visite s’organise selon un ordre du jour préétabli, qui a fait l’objet d’aménagements logistiques au cours des années et selon les laboratoires évalués : un premier huis clos se tient pendant une demi-heure, les évaluateurs y discutent de leurs premières impressions à la lecture du dossier de l’équipe. Il est suivi d’une réunion plénière où les responsables de l’équipe présentent leur bilan et leur projet, d’une rencontre avec les doctorants, d’un entretien avec la tutelle, enfin d’une rencontre avec le représentant de l’école doctorale. Ces réunions prennent la forme d’auditions : les évalués présentent un exposé, suivi d’un temps d’échange et de questions de la part du comité. Un déjeuner est également prévu, en présence ou hors présence des membres du laboratoire. La journée se conclut sur un huis clos d’une heure et demie au minimum, pendant lequel les membres du comité s’accordent sur les grandes lignes de leur rapport d’évaluation.
Dans le cas observé, le délégué connaissait deux des évaluateurs, les évaluateurs ne se connaissaient pas entre eux mais ont échangé tout au long de la journée, y compris sur leurs propres travaux et sur les difficultés rencontrées dans leurs équipes respectives (certains d’entre eux en ont dirigé). Les huis clos se sont déroulés dans une atmosphère informelle et cordiale, les membres du comité plaisantant à plusieurs reprises et partageant leurs expériences. L’équipe visitée avait mis à disposition du comité une salle décorée de posters. Les évaluateurs se sont installés autour de quelques tables rapprochées et agencées en carré. Sur une autre table étaient disposés les ouvrages publiés par l’équipe.

  • 4 Envoyés par les souverains pour contrôler les gouvernants locaux, ils sont l’incarnation du pouvoi (...)
  • 5 Ce terme est emprunté à la fiction. Il fait référence à une pièce comique de l’écrivain russe Nico (...)

7La plupart des enquêtés sont particulièrement attentifs à l’interaction avec les évalués, et emploient un arsenal de métaphores pour désigner la position qui leur est, à leurs yeux, attribuée par les membres des laboratoires qu’ils expertisent. Dans les entretiens, ils relatent avoir été reçus, ou avoir craint de l’être lors des visites, comme « l’Œil de Moscou », « les Missi Dominici4 de Charlemagne », « le Revizor5 ou le sous-préfet », « une espèce de collabo », ou encore un « suppôt de Satan ». La référence imagée à un pouvoir central qu’ils incarneraient n’est pas formulée au hasard. Elle rejoint un autre leitmotiv qui se dégage des entretiens, à savoir leur insistance récurrente à démentir le soupçon qui pèse sur eux, celui d’être des représentants de l’État mandatés pour inspecter leurs collègues :

À chaque fois qu’un directeur d’unité ou un vice-président recherche prononçait le mot « ministère », il me regardait. Alors je disais : « c’est très flatteur pour moi, je me sens très important, mais je n’ai rien à voir avec le ministère. Je ne les connais pas, nous sommes indépendants, nous avons toute la liberté possible ». (Délégué scientifique 1, sciences humaines)

8Pas moins de dix enquêtés parmi les délégués et membres des comités de visite emploient le terme d’« inspection », souvent usité dans les services ministériels, comme un anti-modèle du type d’évaluation qu’ils promeuvent, et tentent de mettre à distance ce rôle qui a pu leur être assigné. C’est surtout parmi les délégués et les membres de comité en SHS qui sont intervenus lors des premières années d’existence de l’AERES que l’impératif de ne pas apparaître aux yeux de leurs collègues comme des inspecteurs s’exprime avec le plus d’ardeur. Le contexte social est à prendre en considération. En effet, ces membres de la profession évaluent pour le compte d’une agence controversée, qui a commencé à fonctionner sous un gouvernement dont les représentants ont, à plusieurs reprises, exprimé des attaques envers la communauté académique. C’est ce dont témoigne l’un des délégués nommé début 2009, au plus fort des manifestations autour du projet de réforme du statut des enseignants-chercheurs :

L’AERES était très clairement en quête de légitimité scientifique. Même si c’était une évaluation par les pairs […], ils avaient l’impression […] que c’était piloté par le pouvoir néolibéral […]. Donc, nous il y avait un enjeu central, c’était comment on leur montre que c’est faux. (Délégué scientifique 21, sciences sociales)

9Pour ce faire, ces enquêtés attachent une importance particulière à manifester leur proximité avec les enseignants-chercheurs et chercheurs des laboratoires évalués. Lorsqu’ils sont interrogés sur leur représentation de leur rôle, ils insistent sur le fait qu’ils sont avant tout des membres de la profession académique, placés dans une situation d’échange avec leurs collègues :

Moi, en tant que pair, je suis en même temps l’autre. Ce qui arrive à l’autre m’arrive aussi à moi, parce qu’on partage… c’est le même métier, le même domaine scientifique, les mêmes difficultés. […] L’autre c’est moi, c’est ça l’évaluation par les pairs. (Coordinateur E, sciences humaines)

10La position qu’ils endossent en entretien ne relève pas seulement du discours. Lors du comité observé, les évaluateurs ont revendiqué de façon récurrente leur statut de collègues et d’égaux vis-à-vis des évalués. Ils ont été d’autant plus attentifs à conforter la collégialité de l’exercice que le décorum et le dispositif physique d’évaluation supposent une distance entre les évaluateurs et les évalués. Lors de la séance plénière, par exemple, face à une salle d’audience disposée en U, les membres du comité étaient alignés à la manière de jurés d’un tribunal, qui délibéreront après avoir écouté les dépositions des responsables de l’équipe. Plusieurs délégués comparent ainsi la visite à un jury de thèse :

Il y a une tendance, mais plutôt de la part du labo, à faire ça un peu comme sous forme d’un jury, c’est drôle, la disposition des tables puisque c’est eux qui l’organisent, ils mettent les noms ils mettent la position, il y a une espèce de plan de table, et on sent qu’ils voient ça un peu comme un jury. Alors on essaie de dédramatiser ça un peu, pour arriver à des échanges. (Délégué scientifique 14, sciences sociales)

11Il faut également souligner que la visite requiert une préparation importante de la part des laboratoires évalués. Les responsables d’équipe préparent en amont leurs exposés et leurs réponses aux questions éventuelles du comité, tandis que certains organisent des répétitions générales. Plusieurs enquêtés mentionnent l’appréhension qu’ils ont eux-mêmes ressentie ou observée chez leurs collègues à l’approche de cette épreuve, puis au moment de la visite.

12Pour contourner la dimension cérémoniale du protocole évaluatif, les membres du comité observé ont employé des signes de connivence, tels que l’humour construit autour de références littéraires communes, rappelant ainsi que c’est au titre de leur connaissance de la communauté scientifique qu’ils évaluent, et non comme « des Martiens qui regarderaient l’humanité » (président de comité de visite 3, littérature). Les évaluateurs ont également formulé, en présence des évalués et entre eux, des critiques sur les lourdeurs administratives de l’AERES, sur l’esprit « paperassier » de l’institution, en évoquant leur expérience personnelle en tant qu’évalués. Cette mise à distance du cadre de l’évaluation leur permet de manifester qu’ils ne sont pas tenus à une loyauté complète vis-à-vis de l’agence, mais également de refuser d’être assujettis à des dispositifs qu’ils jugent illégitimes dans la pratique de leur jugement.

13La défense de la collégialité permet ici de réaffirmer la mainmise des membres de la profession sur le processus évaluatif, contre des formes de contrôle que des instances bureaucratiques chercheraient à leur imposer. Plus généralement, lorsqu’ils sont interviewés sur leur engagement dans les missions d’expertise, certains membres des comités de visite manifestent leur vocation à « défendre les collègues » contre l’emprise d’un modèle de recherche uniforme :

  • 6 Dans la mythologie grecque, Procuste était un brigand qui torturait ses invités en les attachant à (...)

moi, c’était très nettement pour voir si on n’écrasait pas les initiatives de recherche universitaire sous la bureaucratie, la paperasserie, […] et pour défendre les collègues. Avec l’AERES, […] c’était un peu le lit de Procuste6 et c’est pour ça que je n’étais pas mécontent de mettre mon nez dans l’agence. (Président de comité de visite AERES 4, SHS)

14Cette représentation de la position de l’évaluateur a probablement été défendue avec plus ou moins d’ardeur selon les comités, mais elle est particulièrement présente chez les enquêtés interviewés. Deux présidents de comité de visite ont par exemple relaté en entretien leur expérience, en tant qu’évalués, de comités d’évaluation de l’AERES qu’ils ont estimés dysfonctionnels. Voici comment l’un d’eux en rend compte :

J’ai eu l’impression que c’était un dialogue de sourds. […] parce qu’il faut des gens capables de se mettre dans la peau des évalués, ce n’est pas très difficile puisque on fait le même métier […]. Mais il y a des gens qui au lieu de rentrer dans l’esprit de l’évaluation par les pairs qui est celle : « nous sommes collègues, donc on essaye de se juger sur la base d’une expérience commune », ils prennent une sorte de casquette AERES comme si à ce moment-là ils n’étaient plus des universitaires […] mais dans une posture d’évaluateurs extérieurs […] alors qu’il faut bien assumer le fait que l’on est à l’intérieur. (Président de comité de visite AERES 3)

15Selon ce discours, l’échec de l’interaction entre les évalués et leurs juges, l’échec de la visite autrement dit, provient d’une méprise sur le sens même de l’exercice du jugement et de la situation d’expertise. Ces enquêtés mettent au cœur de la pratique du jugement la collégialité horizontale entre évalués et évaluateurs, et critiquent sa supplantation par une relation hiérarchique illégitime dans laquelle les évaluateurs endossent un rôle de superviseur de la profession.

16Ainsi, pour ces enquêtés, il apparaît que la proximité avec leurs pairs assure l’équité du jugement. Plus précisément, c’est leur appartenance au métier qui leur confère la compétence d’expert, ce trait étant caractéristique de l’évaluation collégiale telle que l’ont étudiée de nombreux travaux de sociologie des sciences. Dans le deuxième récit de comité dysfonctionnel, l’enquêté considère également que des tentatives de dépersonnalisation de la relation entre pairs et experts mettent en péril la validité de l’expertise :

On a eu affaire à un comité qui pour l’essentiel […] n’avait pas de connaissance de notre manière de fonctionner dans nos disciplines ! […] ça c’est une des raisons pour lesquelles ça s’est mal passé [cette fois] […] : c’est fructueux, c’est constructif je dirais quand les gens se connaissent ; contrairement à ce qu’on peut imaginer ce n’est pas du tout un handicap pour la qualité de l’évaluation, au contraire. (Président de comité de visite AERES 2)

17Ainsi, dans la plupart de leurs discours, les enquêtés tentent de mettre au cœur du processus d’évaluation leur autorité à produire un avis informé – cette autorité reposant sur leurs savoirs et leur connaissance indigène, acquis au fil de leur trajectoire dans le monde académique. Cependant, leur activité d’expertise est particulièrement contrainte. En effet, les rapports de l’AERES constituent des documents standards, qui s’organisent autour de critères prédéfinis que les évaluateurs doivent renseigner dans leurs rapports d’évaluation.

Encadré 9. Les critères d’évaluation de la recherche à l’AERES (2008-2012)

Jusqu’en 2011, les critères d’évaluation des équipes de recherche étaient au nombre de quatre : « production scientifique », « rayonnement et attractivité », « gouvernance et vie du laboratoire », « stratégie et projet du laboratoire ». À la suite des travaux de la commission observée, ces critères ont été refondés et deux nouveaux sont apparus : « interactions avec l’environnement social, économique et culturel » et « implication dans la formation par la recherche ». Chacun de ces critères se voit attribuer une note (A+, A, B, C).

18Comme plusieurs travaux de sociologie économique l’ont montré (Dubuisson-Quellier et Neuville, 2003), ces outils peuvent participer de la construction du jugement, en l’équipant et en lui donnant forme. À partir de l’analyse des pratiques de jugement en lettres et en géographie telles qu’elles s’expriment dans les rapports de l’AERES, on verra que les critères publiés par l’agence réduisent la diversité des conceptions de ce qu’est un centre de recherche performant et redessinent, quelle que soit la discipline considérée, la définition organisationnelle de ce que doit être un laboratoire de recherche.

Promouvoir une culture de laboratoire en SHS

  • 7 C’est le cas dans les sections du CoNRS, dont les membres décident au début de chaque mandat des c (...)

19Comme dans d’autres espaces de jugement académique, et de façon encore plus saillante à l’AERES, l’évaluation n’est pas le produit de l’expression spontanée d’une communauté de chercheurs libres de toute contrainte contextuelle. Elle est au contraire médiée et encadrée par un ensemble de dispositifs formels. En effet, les critères de l’AERES sont posés en amont du processus d’évaluation, et non plus en partie négociés au sein des commissions d’experts, comme c’est le cas dans d’autres assemblées évaluatives7. Les évaluateurs ne doivent donc pas seulement s’ajuster entre eux sur ce qui constitue une bonne équipe de recherche, ils doivent en plus se conformer à des guidelines qu’ils n’ont pas conçus et auxquels ils n’accordent pas nécessairement crédit. Dans quelle mesure les outils de l’AERES ont-ils une emprise sur les critères d’appréciation des évaluateurs ?

Encadré 10. Coder et décoder la critériologie des évaluateurs

Il peut paraître surprenant de chercher à faire un traitement quantitatif des critères de jugement qualitatifs des évaluateurs. Cette démarche, qui réduit la complexité des représentations et des raisonnements des chercheurs, est cependant très utile pour objectiver leurs pratiques de jugement, et surtout pour les comparer. Elle permet en effet d’observer plus systématiquement les usages qui sont faits de certaines catégories (la valorisation ou non de l’« international », par exemple). L’analyse quantitative complète ensuite utilement les résultats obtenus par l’enquête qualitative, en faisant émerger des catégories que les entretiens ne rendaient pas visibles, ou au contraire, en permettant de repérer l’absence de certaines catégories de jugement, indiquant qu’elles ne sont pas signifiantes pour une partie des enquêtés.
Le codage reste cependant un exercice périlleux. Dans cette base, les catégories de jugement repérées dans les rapports d’évaluation ont été le plus souvent consignées en langage indigène : « bon encadrement des doctorants » a été transcrit tel quel. Mais dans certains cas, il s’agissait de transformer du discours littéraire, reposant parfois sur de nombreux implicites, en catégories de jugement objectivées. Cela nécessitait de prêter attention au contexte d’énonciation, par une lecture assidue, y compris du rapport entier, lorsque persistaient des ambiguïtés. Pour exemple, un point à améliorer était formulé ainsi : « Le financement de la recherche dépend trop exclusivement du ministère ». Le sens latent n’a pu être décrypté que par une confrontation des différents éléments de discours présents dans le rapport. En l’occurrence, un faisceau d’indices (encouragement à déposer des projets ANR, s’essayer aux projets européens) a permis d’interpréter, sans déformer le sens que les évaluateurs ont donné à leur propos, que le point à améliorer renvoyait aux invitations disséminées dans le texte à développer leurs recherches sur projets.
Cent-soixante catégories de jugement ont été répertoriées, mais les deux cinquièmes n’apparaissaient qu’entre une et trois fois dans l’ensemble de l’échantillon, ce qui constitue un indice de l’importante variation axiologique des rapports d’évaluation. De manière générale, le nombre d’occurrences des catégories recensées est relativement faible. J’ai travaillé sur celles qui apparaissent au minimum quatre fois dans l’ensemble des rapports, et n’ai conservé que les résultats dont la significativité était attestée par un test exact de Fisher.
La base a été construite de sorte à représenter différentes années d’écriture des rapports (2008-2011), différentes localisations géographiques des équipes évaluées, et différents types d’équipes (équipe d’accueil ou unité mixte de recherche).
Les catégories d’évaluation sur lesquelles la base a été fabriquée sont présentes dans les sections « points forts », « points à améliorer » et « recommandations » des rapports. En effet, d’une part, ces rubriques d’une demi-page à deux pages sont restées stables au fil des années, leur régularité permettant des comparaisons. D’autre part, elles constituent la partie la moins encadrée des rapports : elles sont le lieu où les évaluateurs formulent les éléments qui ont retenu leur attention, indépendamment des rubriques thématiques qu’ils ont à renseigner. Se centrer sur ces sections permettait alors d’observer les caractéristiques des laboratoires que les évaluateurs eux-mêmes valorisent, ainsi que le type de prescriptions qu’ils formulent, et in fine de restituer leurs représentations de ce qui constitue un « bon » laboratoire de recherche.
Enfin, la base renseigne également certaines caractéristiques des acteurs de l’évaluation. J’ai par exemple été attentive aux domaines de compétences scientifiques des président.es de comité de visite. Ces informations ont été obtenues grâce à l’auto-description qu’ils faisaient de leurs orientations académiques, sous forme de mots-clés, sur leur page personnelle ou sur celle de leur institution de rattachement. Ce repérage est certes imparfait, mais peut être considéré comme un proxy de leur sensibilité disciplinaire, qu’il est intéressant de relier aux critères de jugement mis en avant dans les rapports dont ils ont orchestré l’écriture.

Faire laboratoire

20Des critères d’appréciation sont-ils communs aux deux disciplines ? Dans la mesure où l’AERES évalue les laboratoires ou unités de recherche, soit des collectifs de recherche, les comités ne doivent pas seulement se prononcer sur la qualité du travail scientifique déjà conduit ou planifié, comme c’est le cas dans l’évaluation des projets de recherche. Ils apprécient également la forme organisationnelle de l’équipe de recherche, la façon dont elle est dirigée et structurée. C’est sur la définition organisationnelle des centres de recherche que s’accordent le plus les évaluateurs dans les rapports AERES, quelle que soit la discipline considérée – comme le montre cette représentation synthétique des résultats de l’analyse :

Tableau 4. Critères d’évaluation communs en littérature et en géographie

Critères mobilisés à part égale dans les rapports en littérature et en géographie
Points forts Collaborations académiques nationales
16 occurrences
Collaborations académiques européennes et internationales
16 occurrences
Qualité de l’encadrement des doctorants
16 occurrences
Importance des manifestations scientifiques collectives (colloques, séminaires)
11 occurrences
Points à améliorer et recommandations Améliorer la cohérence thématique de l’unité : « atomisation », « éparpillement » des thèmes de recherche
30 occurrences
Améliorer les collaborations académiques régionales et/ou nationales
17 occurrences
Regrouper des composantes/axes de l’unité
11 occurrences
Manque de personnel administratif
10 occurrences
Fusionner avec d’autres équipes (« taille critique »)
6 occurrences

21Le premier élément qui frappe à la lecture de ce tableau brille par son absence : n’est faite mention d’aucun critère relatif à la qualité scientifique des productions des laboratoires. Ce tableau recensant les critères que l’on trouve également distribués en littérature et en géographie, cela ne revient pas à dire que les évaluateurs ne se prononcent jamais sur la qualité académique, mais signifie que les critères d’appréciation de la qualité à proprement parler varient selon la discipline – nous y reviendrons. Ainsi, l’étude des critères de jugement communs aux deux disciplines montre que l’attention des évaluateurs se porte sur le laboratoire en tant qu’organisation. Ils se conforment ainsi aux prescriptions inscrites dans les instruments de l’AERES. En effet, le référentiel d’évaluation des unités de recherche préconisait notamment aux évaluateurs d’observer :

la représentativité des personnels dans les instances de pilotage, la collégialité des décisions, la fréquence des réunions, la pertinence des clés de répartition budgétaire au vu de la politique scientifique de l’entité de recherche ; […] le processus de prise de décision et les personnels impliqués ; l’existence d’un conseil de laboratoire, d’un organigramme fonctionnel, d’un règlement intérieur, d’assemblées générales des personnels ; […] l’animation scientifique et les interactions entre équipes, thèmes et disciplines. (Critères d’évaluation des entités de recherche : le référentiel de l’AERES, version du 21 février 2013, p. 14)

22Ces critères prescrits ne portent pas sur le fond du travail de recherche, à savoir la valeur scientifique des travaux entrepris par les équipes de recherche, mais proposent un modèle organisationnel auquel les équipes sont invitées à se conformer en le mettant en pratique.

  • 8 Les recommandations à ce sujet ne sont pas hégémoniques : un laboratoire issu de la fusion de plus (...)

23En effet, les rapports d’évaluation de l’AERES délivrent une définition convergente de la façon dont une équipe de recherche performante doit être organisée. Quelle que soit la discipline, ils valorisent la cohésion thématique de l’équipe de recherche. En témoigne le nombre important d’occurrences relatives à ce que les évaluateurs considèrent comme une « atomisation » des recherches entreprises au sein du centre de recherche, qui stigmatise une dispersion individuelle des travaux, selon un modèle de liberté et d’individualité absolu de recherche, et un manque d’orientations scientifiques structurantes dans le laboratoire. Si l’équipe ou le laboratoire est trop petit, il peut être encouragé à s’intégrer à un autre, afin d’obtenir une « taille critique »8.

24Les rapports relaient une conception selon laquelle la recherche performante doit être organisée, pilotée, et non pas seulement le produit de trouvailles ou de réflexions solitaires, entreprises par des scientifiques agrégés de façon ad hoc dans des centres de recherche. Les structures de recherche doivent également, selon ces recommandations, s’insérer dans un tissu institutionnel, en collaborant avec d’autres centres de recherche, en France ou à l’étranger. Cette injonction à se situer dans un panorama de recherche et à entreprendre des travaux communs répond à la représentation selon laquelle la recherche est le produit d’un travail collectif. Plus encore, elle relaie la conviction selon laquelle une recherche de qualité requiert des collaborations scientifiques. Certains enquêtés se remémorent en entretien le credo des politiques de mise en collaboration et de regroupement de chercheurs, notamment en sciences exactes, afin d’améliorer la performance de la recherche produite :

Je revois ça dans les années quatre-vingt, quatre-vingt-dix, dans certains articles du Monde ou du Journal du CNRS […], il y avait une sorte de corrélation statistique très forte entre le fait de travailler en groupe et le fait d’avoir de bons résultats de recherche en sciences exactes. (Expert 6, MSTP, littérature)

25Le type de recommandations qui nourrit les rapports analysés répond alors à un diagnostic formulé par plusieurs dirigeants intermédiaires de l’AERES :

L’AERES avait un regard attentif sur les laboratoires […]. En sciences dures les équipes sont plus organisées à l’intérieur de gros labos. […] En SHS à l’inverse, c’est la dispersion thématique, extrêmement variable entre les sous-disciplines au sein des sciences humaines et sociales, […] il y a un défaut d’organisation et je pense que ça s’améliore. (Coordinateur AERES, sciences et technologies)

En SHS, la difficulté c’est des […] difficultés d’organisation. Il y avait 70 % de gens isolés ou semi-isolés, ça ne les choque pas qu’ils appartiennent à quatre laboratoires différents, […] il y a donc ce problème d’organisation. (Directeur de section AERES, physique)

26Les équipes de recherche en sciences humaines et sociales sont alors encouragées, à l’image d’autres disciplines qui se sont déjà structurées autour d’équipements et de projets collectifs (Barrier, 2011 ; Aggeri et al., 2007), à adopter des modes collaboratifs et intégratifs de travail et à favoriser la création de réseaux de recherche. Ce stigmate porté sur les SHS est relayé par de nombreux représentants de ces disciplines à l’AERES. Comme le souligne l’un d’entre eux :

On ne fait pas de recherche seul, même en SHS, on fait de la recherche collectivement. Quand on travaille à un projet de recherche, on n’arrive pas tout seul et tout neuf. Un chercheur c’est un item dans une longue suite […] et donc il faut être en mesure de savoir quelle place on occupe, quelles collaborations on veut susciter. (Coordinateur E, sciences humaines)

27Étudier la critériologie employée dans ces rapports d’évaluation rendus publics montre ainsi que l’AERES est l’un des vecteurs de la diffusion d’une culture organisationnelle et d’une réflexion sur la manière de « faire laboratoire » en SHS. Pourtant, cette définition n’est pas perçue comme légitime par l’ensemble des académiques. Si, parmi les enquêtés en géographie, la notion de « culture de laboratoire » est régulièrement employée dans les entretiens comme un marqueur positif de bon fonctionnement des équipes de recherche, la légitimité de ce type d’organisation de la recherche est moins consensuelle en littérature.

L’organisation face au génie solitaire

28Tous les évaluateurs ne partagent pas cette représentation selon laquelle l’organisation du travail scientifique en collectif de recherche est légitime et fructueuse. En effet, les géographes interviewés, qu’ils représentent leur discipline à l’AERES ou à la section 39 du Comité national, s’accordent à promouvoir une structuration de la recherche qui passe par une vie de laboratoire, faite d’échanges entre ses membres. Pour ne citer qu’un enquêté, définissant ce qui constitue à ses yeux un bon centre de recherche :

Pour moi il faut une bonne intégration et une bonne interface entre les composantes […] parce qu’on a vu des labos avec des thématiques sans relations entre elles. Ce qui veut dire d’ailleurs pour moi qu’un bon labo c’est aussi un labo où on était présent sur place. Parce que ça, c’est des vieilles pratiques des lettres et sciences humaines, on travaille chez soi, mais si on veut créer une culture de laboratoire, il faut vraiment être présent. (Délégué scientifique A, géographie)

29L’entretien se prolongeant sur cette représentation de l’organisation de la recherche légitime, l’enquêté la rattache à des caractéristiques de sa discipline :

À cause de l’histoire même de la géographie, on est plus proche des sciences dures. Relativement. Il y a des disciplines qui s’y prêtent plus que d’autres aussi. Ça vaut la peine d’être souligné parce qu’il y a une culture vraiment des sciences dures, la géographie est un exemple assez proche, qui peut se couler. Ce n’est pas systématique, il y a encore quelques profs qui ont du mal, mais dans les pratiques de labo en géo, tout le monde est là, on discute, et puis alors plus vous allez vers l’histoire et la littérature, et moins je pense, c’est plus individualiste. […] Donc ces critères de l’AERES nous convenaient très bien à nous en tant que géographes.

  • 9 C’est ainsi que les chercheurs de certaines disciplines des sciences expérimentales désignent leur (...)

30Les enquêtés de la discipline soulignent fréquemment qu’elle a évolué au gré des innovations méthodologiques : le développement de la modélisation et de savoir-faire techniques spécialisés ont conduit un pan de cette discipline à adopter des formes de travail articulées autour d’équipements et marquées par une réelle division des tâches et une interdépendance entre les différents personnels (chercheurs, doctorants, ingénieurs de recherche). La dénomination de « laboratoire », qui désigne un espace configuré autour de la « paillasse »9 et d’autres instrumentations spécifiques nécessaires à la production du travail scientifique, a été importée par mimétisme en SHS. Cependant, certaines disciplines accordent davantage de crédit à l’organisation intégrée du travail que suppose la « recherche en laboratoire » que d’autres.

31En effet, bien qu’Alvin Weinberg (1970) ait observé une corrélation entre la sophistication des équipements et la formalisation des collectifs de travail, les représentants des segments de la discipline de la géographie les plus proches des sciences expérimentales (analyse spatiale, modélisation) ne sont pas les seuls à défendre ce format de production scientifique passant par une présence et une interaction accrues au sein des centres de recherche. Cette position est également défendue par des enseignants-chercheurs qui ne conduisent pas nécessairement un type de recherche requérant une organisation collective autour de projets et d’instruments spécifiques, mais s’accordent à voir dans le développement de ces formes de travail une « évolution des pratiques très positive » (délégué scientifique B, géographie) pour leur discipline.

32En littérature au contraire, les enquêtés nourrissent des représentations de l’organisation scientifique légitime bien plus clivées que celles qui se dégagent des entretiens avec les géographes. Tout d’abord, une partie des littéraires de la discipline rejette frontalement cette la structuration en centres de recherche. En effet, derrière ces réformes formelles et organisationnelles, ce sont aussi indirectement des transformations des modes de production des savoirs qui sont encouragées, en faveur de travaux plus collectifs, avec une latitude plus restreinte du chercheur quant à ses thématiques et approches de prédilection.

33Pour illustrer l’illégitimité des formes de travail imposées par la structuration en équipes, ils ont souvent recours à des références qui fonctionnent comme des arguments d’autorité :

Est-ce qu’on demande à l’Académie française de rendre un projet d’équipe ? Ils ont plein de grands intellectuels […] mais ils ne font pas des ouvrages en commun. (Expert AERES 7, philosophie)

Vous connaissez Fernand Braudel, il a écrit en camp de concentration, il a écrit l’essentiel de son gros livre sur l’histoire de la Méditerranée en camp de prisonniers avec presque rien, et sortant de là il a confirmé en travaillant tout seul, et c’est ça qui compte, plus que beaucoup d’autres trucs qui ont été faits. (Expert MSTP et président de comité AERES 1, littérature)

34La référence au chercheur isolé, qui pense et produit avec peu de moyens matériels, représente ici une façon de conduire des travaux en sciences humaines que ces évaluateurs estiment remise en cause par les réformes contemporaines du secteur académique.

35Pour comprendre cette prise de position, il convient de la resituer dans le contexte des transformations des politiques scientifiques entreprises depuis la fin des années 1980 en France. Un enquêté l’évoque en ces termes :

Moi quand j’ai démarré ma carrière, à l’époque, la notion de recherche organisée en sciences humaines, elle n’existait pas, la question du labo, on ne savait même pas que ça existait, sauf ce qui touchait aux sciences de la vie ou de la Terre, parce que chez eux ça existait, mais en sciences humaines non pas du tout. Il y avait un prof, avec trois étudiants ou quatre, et voilà. Il n’y avait pas d’équipement ou très peu, il n’y en avait pas besoin, donc en fait cela se faisait comme ça. Et puis sous l’influence des sciences dures on a vu apparaître le concept d’équipe. (Délégué scientifique 7, sciences sociales)

36Ces propos rejoignent les conclusions de Dominique Vinck (2007) ou de Derek de Solla Price (1963) qui ont l’un et l’autre retracé la longue mutation de l’organisation scientifique. Initialement configurée autour de « chefs charismatiques » revendiquant leur autonomie, la production scientifique devient progressivement au xxe siècle une entreprise collective, principalement conduite dans le cadre de réseaux structurés de recherche. Pour les historiens des sciences, l’émergence de la Big Science, fonctionnant sur le mode du projet collectif, organisée autour de gros équipements et dans de grands laboratoires, est l’une des conséquences de la Seconde Guerre mondiale, notamment dans le cas des sciences physiques (Dahan et Pestre, 2004). En littérature, la structuration en laboratoires de recherche est relativement récente, lorsqu’on la compare à d’autres disciplines qui se sont organisées en France plus précocement en collectifs institutionnels, ou quand on la confronte à la structuration de la recherche dans d’autres pays, tels que les États-Unis, où sont financés des individus ou des projets de recherche plutôt que des « laboratoires ». Cette structuration n’est pas le produit de regroupements spontanés. Comme le rappellent plusieurs enquêtés, les politiques ministérielles successives ont fortement contribué à organiser le potentiel de recherche en institutionnalisant la notion d’équipe de recherche :

C’est un mouvement qui n’est pas nouveau […], on a déjà trente ans d’expérience, à partir du moment où, sous le ministère de Savary, la gauche a voulu structurer la recherche collective, qui était dans beaucoup de secteurs jusqu’alors une recherche très atomisée et très individuelle. Notamment en SHS, ce n’est pas vrai pour d’autres domaines, mais il y a eu un effort de structuration en SHS. (Coordinateur F, sciences humaines)

37Or, en littérature, ce principe d’organisation collective de la recherche académique n’apparaît pas à tous les enquêtés comme bénéfique ou légitime au regard des pratiques de recherche existantes :

Il y avait cette dimension de logique individualiste de la recherche, c’est dire que chacun suivait sa spécialisation, sa spécialité, et d’autre part le sentiment qu’il n’y avait pas non plus d’urgence particulière à se réunir. (Expert 6, MSTP, littérature)

38Prendre en considération le degré de légitimité acquise par des transformations organisationnelles dans un domaine de recherche donné est nécessaire pour comprendre dans quelle mesure les injonctions, discrètes ou explicites, contenues dans les standards de l’AERES rencontrent ou réforment les normes professionnelles des membres d’une communauté donnée. La légitimité du travail collectif et de la structuration en laboratoires de recherche est contestée par une partie des universitaires en lettres, bien plus qu’en géographie. Comment comprendre alors que ce critère soit valorisé dans les pratiques de jugement des membres de ces deux disciplines ? C’est, d’une part, parce que le critère considéré rejoint l’axiologie réformatrice des membres de l’AERES qui organisent les visites et d’une partie des présidents de comité de visite ; et d’autre part, parce que le dispositif de l’AERES est relativement contraignant quant à l’appréciation de ce critère et à même de museler d’autres formes de jugement.

L’AERES, vecteur de transformations organisationnelles du travail académique

39Dans cette agence, l’ensemble des délégués de la discipline de la littérature entre 2007 et 2012 s’accorde sur la nécessité d’accompagner la structuration des laboratoires de recherche. Lorsqu’ils sont interviewés sur ce qui constitue à leurs yeux une bonne équipe de recherche, ils mettent l’accent sur la dimension organisationnelle du centre tout autant que sur la qualité de la production scientifique. Pour ces acteurs, les critères de l’AERES constituent une opportunité pour promouvoir des bonnes pratiques de travail alors même que celles-ci ne font pas nécessairement consensus dans leur discipline. Si une partie des membres de la profession s’approprient certains critères, ce n’est pas parce qu’ils sont consensuels ou inscrits dans leur discipline, mais parce qu’ils rejoignent leur axiologie réformatrice.

40Cette position est relayée par une partie des membres de la discipline, notamment par plusieurs présidents de comité de visite régulièrement sollicités pour évaluer les laboratoires de recherche. Ceux-ci se saisissent des injonctions de l’agence pour délégitimer des pratiques existantes dans leur propre milieu professionnel. Certains enquêtés revendiquent explicitement les effets escomptés de ces standards sur l’organisation du travail académique en sciences humaines :

L’AERES permet d’assurer un suivi assez rigoureux des équipes de recherche dans les universités françaises pour éviter peut-être certains abus qu’il y avait autrefois. D’équipes qui n’étaient qu’une couverture… (Expert AERES 8, littérature)

Le but, c’est que les labos fonctionnent le mieux et surtout de manière collective, que ce soit pas du tout une addition d’individualités, parce que c’est quand même un défaut majeur des labos en France. (Délégué scientifique 23, sciences humaines)

41La question des bienfaits du collectif sur l’individu est souvent un impensé dans les entretiens. Ils sont parfois tenus pour acquis par des représentants des sciences exactes qui sont familiers de ce modèle d’organisation de la science, mais aussi par des représentants des sciences humaines qui y voient un moyen de contrer des dysfonctionnements qu’ils ont pu observer au fil de leur trajectoire professionnelle. Ainsi, si ce n’est pour améliorer directement le contenu des travaux, ces efforts de mise en organisation permettraient, selon les enquêtés, de lutter contre des pratiques peu collégiales ou opaques des prises de décisions budgétaires et scientifiques, ainsi que des tendances à l’isolement des chercheurs, qui à terme peuvent nuire à leur carrière et à la qualité globale de la recherche.

42Ces standards organisationnels n’entrent donc pas nécessairement en discontinuité avec les représentations des évaluateurs quant aux pratiques et aux modes de structuration de la recherche qu’ils souhaitent encourager dans leur discipline. Mais si la définition du « bon » fonctionnement des centres de recherche que délivrent les critères de l’AERES rejoint les projets réformateurs d’une frange de la profession, elle est à même de discréditer les modèles de production des savoirs que revendiquent d’autres membres de la profession, plus particulièrement en littérature.

  • 10 AN, versement 20080487/1, chemise blanche « Contrats quadriennaux 1997-2001. Province ».

43En effet, même si le nombre et l’intitulé de ces critères ont varié depuis la création de l’AERES, ses membres définissent des catégories qui sont porteuses de théories implicites, au même titre que d’autres instruments. Ce faisant, celles-ci stabilisent les normes à l’aune desquelles sera appréciée la qualité des laboratoires. Si la structuration des laboratoires de recherche est le résultat de politiques antérieures à l’AERES, c’est bien dans cette institution que des critères relatifs au fonctionnement collectif du centre sont formalisés à l’échelle nationale. La prise en compte de ce critère est ancienne dans les sections du Comité national du CNRS, qui évaluait à la fois les laboratoires et les individus. Mais ce critère n’existait pas dans les fiches d’expertise de la Mission scientifique du ministère, qui évaluait la quasi-totalité des équipes en littérature – discipline dans laquelle le poids du CNRS est très faible. Pour prendre la mesure du tournant axiologique opéré par les évaluations de l’AERES, présentons une fiche d’expertise ministérielle anonymisée, pour le contrat 2000-200310 :

Illustration 2. Fiche d’expertise ministérielle dans les années 2000

Illustration 2. Fiche d’expertise ministérielle dans les années 2000
  • 11 Pour une présentation détaillée de ce critère d’évaluation, voir notamment l’annexe 6, « Le référe (...)

44Jusqu’à la création de l’AERES, les critères essentiels d’évaluation au ministère concernaient la qualité de la recherche et de l’encadrement doctoral. La « gouvernance » de l’unité de recherche ou la « vie de laboratoire », pour reprendre des catégories formulées par l’AERES, ne figuraient pas au titre des critères de jugement énoncés par la Mission scientifique. Ainsi, l’accent mis sur le fonctionnement collectif de la recherche n’était pas institué au même titre qu’il l’a été dès la mise en place de l’AERES11, et c’est, pour les équipes d’accueil, la premerie fois que ce critère d’évaluation devient discriminant dans l’appréciation dont elles font l’objet. Au point que, selon certains enquêtés, la mise sur agenda par l’AERES de l’impératif de structurer les recherches au sein de collectifs intégrés est à même de museler des manières concurrentes de reconnaître la qualité d’un centre de recherche et la valeur des travaux qui s’y développent :

Il est impossible de donner leur chance à des recherches intéressantes et individuelles par exemple, ou menées par une toute petite équipe très innovante, etc. Ça vous ne pouvez pas, c'est absolument nié par les critères mêmes qu’on se voit imposer. (Expert MSTP et président de comité AERES 1, littérature)

45Ainsi, au-delà des discours, les critères de l’AERES sont porteurs d’effets sur la hiérarchisation des laboratoires de recherche performants. L’attention à la collégialité de l’unité (« bonne gouvernance »), à son insertion dans un tissu académique, à la mise en place de travaux communs, est valorisée dans la notation globale des unités de recherche. Comme le soulignent plusieurs enquêtés, l’obtention d’une « mauvaise » note globale reflète surtout une mauvaise appréciation de la vie de laboratoire :

La note [globale] C, c’est rarement vraiment que ce soit de la recherche pourrie, que ce soit le fait de gens qui soient pas compétents, non c’est plus des problèmes organisationnels. (Délégué scientifique 24, sciences sociales)

46Plus encore, ces critères sont susceptibles de destituer certains centres de recherche dans l’échelle du prestige académique telle que la dépeignent les enquêtés. Dans notre échantillon des rapports AERES en lettres, trois laboratoires qui ont fait l’objet d’une note globale ont obtenu un B. Voici la répartition des notes obtenues pour chaque critère d’appréciation :

Tableau 5. Équipes classées « B » en littérature : notes par critères et notes globales

Critères Note globale
« Production scientifique » « Rayonnement et attractivité » « Gouvernance, vie du laboratoire » « Stratégie et projet du laboratoire »
A+ A+ B B B
A B B B B
A+ B B B B

47Ces équipes de recherche appartenaient à des institutions réputées en sciences humaines, à savoir l’École normale supérieure de Paris, celle de Lyon, et l’université Paris 4. La note globale B apparaît comme un stigmate, soulignant publiquement que la qualité des travaux individuels des membres de l’unité de recherche, pourtant reconnue et sanctionnée ici par deux A+ et un A, n’est pas suffisante pour que l’équipe se voit consacrée par l’AERES.

48Plusieurs délégués souscrivent à la mise à l’agenda d’un impératif que l’AERES est en mesure de relayer, à savoir celui de construire des équipes qui fonctionnent comme de véritables laboratoires de recherche et non comme des agrégats d’individualités, comme en témoigne cet extrait :

Qu’est-ce qu’une bonne unité… alors au moment où on va rencontrer les unités parisiennes, surtout Paris centre, pour qui une bonne unité c’est uniquement le regroupement sous un même chapeau de brillants normaliens qui ont une très grosse production. Concrètement ça n’est qu’un élément partiel de l’ensemble, ce qui est important et je m’en rends compte avec le temps, c’est la capacité d’intégration de cette unité, c’est-à-dire sa vie collective, sa capacité à produire des programmes impliquant un certain nombre d’entre eux, dans lesquels les doctorants peuvent être installés. (Délégué scientifique 10, sciences humaines)

49S’il ne revient pas à l’AERES de prendre les décisions concernant la création, le financement ou la dissolution des laboratoires, les évaluations publiques diligentées par ses membres incitent à la réforme, en dépit des critiques que celles-ci peuvent susciter dans la communauté académique, en mettant en relief des lacunes du dispositif français en matière de structuration collective de la recherche. C'est par ailleurs le sens que plusieurs membres de l’AERES attribuent à la visite des centres de recherche sur site. Cette pratique, qui n’existait pas à la Mission scientifique, acquiert à leurs yeux et à ceux de plusieurs évaluateurs interviewés une double fonction. Elle a, d’une part, une fonction de vérification de la vie collégiale de l’équipe :

Enquêtrice : Qu’observez-vous, pendant la visite, que vous n’observez pas à l’écrit [c’est-à-dire dans le dossier d’auto-évaluation] ?

Délégué scientifique 2, sciences humaines : On voit… une anecdote : une visite pendant laquelle nous étions dans une salle où le directeur d’unité était à une petite table devant. Derrière lui, il y avait une rangée avec les professeurs. Derrière, il y avait une rangée avec les maîtres de conférences, derrière il y avait une rangée avec les autres enseignants-chercheurs, chercheurs, etc. et derrière il y avait les doctorants. Eh bien qu’est-ce que j’ai vu que je n’ai pas vu dans le dossier, c’est que la vie collégiale de l’unité n’était peut-être pas vraiment assurée ! Qu’elle avait un fonctionnement très hiérarchique […]. Autre exemple concret. On a assisté à un véritable pugilat entre les membres de l’équipe. Le jour même de la visite, ils s’entre-déchiraient […]. Quand la directrice a exposé son programme, elle s’est fait siffler. Ambiance ! Ça donne des idées sur le fonctionnement de l’unité. Et effectivement au fur et à mesure on a vu que c’était géré de façon absolument extravagante […]. Ensuite, c’est traduit en langage très civilisé, très courtois : « le comité constate que l’harmonie collective ne règne pas », mais la visite de l’AERES a eu une grande utilité parce que ça a fait le ménage.

50Lorsqu’ils analysent ce que la visite sur place apporte à la lecture du bilan et du projet de l’équipe, ils mettent généralement l’accent sur l’observation presque visuelle des interactions entre les membres du laboratoire, sur ce qu’ils nomment l’« atmosphère » du centre de recherche, ou encore sur les conditions matérielles dans lesquelles les chercheurs travaillent. D’autre part, ils estiment souvent que la visite constitue un rendez-vous institutionnel favorisant la production d’une réflexion collective des membres du centre sur les orientations de celui-ci, ainsi qu’une occasion d’échanges en son sein :

Il y avait des équipes pour lesquelles la visite par l’AERES était la seule occasion de faire en sorte que les collègues se réunissent et se rencontrent. (Délégué scientifique 2, sciences humaines, huis clos final, comité de visite AERES, 2014, carnet d’observations)

Quelques fois les laboratoires étaient extrêmement dispersés, c’était juste collé, et la visite obligeait d’une certaine manière à avoir une réunion d’ensemble. […] Donc cette formule obligeait à essayer de fabriquer quelque chose qui ressemble à un projet commun. (Expert MSTP et président de comité AERES 5, littérature)

51Autrement dit, le dispositif de la visite, les critères énoncés et valorisés à l’AERES ont des effets structurants sur la définition de ce qu’est un bon laboratoire de recherche en termes organisationnels. Cette définition rencontre et conforte l’axiologie d’une partie de la profession qui encourage une réforme tant sur un plan cognitif – faire prendre conscience à leurs collègues du bien-fondé de la structuration de la recherche en laboratoires – que sur un plan plus concret – stigmatiser les unités qui ne souscrivent pas à ces normes de fonctionnement que prescrit l’AERES.

52Les instruments de cette agence ont ainsi des effets performatifs sur les institutions académiques. Dans la mesure où les directeurs et les membres des laboratoires qui ne mettent pas en œuvre un fonctionnement collectif et collégial de leur centre se voient sanctionnés publiquement, les instruments de l’AERES, en tant qu’ils sont mobilisés dans les pratiques de jugement des évaluateurs, participent de la mise en organisation des académiques et de leurs modes de travail. En effet, l’impératif n’est pas seulement pour les chercheurs de travailler en commun, mais de rendre visible cette collectivité au sein même des laboratoires, en affichant des règles d’organisation : ainsi en est-il de l’encouragement des laboratoires à formaliser les règles de la vie collective, en rédigeant règlement intérieur et chartes vis-à-vis des doctorants. Ces effets ne sont pas spécifiques à la conduite de l’évaluation en France : en Grande-Bretagne, le RAE contribue aussi à faire des départements scientifiques des espaces de coordination du travail académique (Camerati, 2014). Dans le cas étudié ici, l’évaluation relaie efficacement les politiques publiques aboutissant à la construction des institutions académiques en organisations (Brunsson et Sahlin-Andersson, 2000 ; Musselin et Paradeise, 2009 ; Krücken et Meier, 2006). L’AERES institutionnalise en quelque sorte les laboratoires, appelés à devenir les espaces pertinents de travail académique, quand ils étaient, pour les membres de certaines disciplines, des coquilles vides faiblement structurées et peu structurantes sur leurs pratiques scientifiques.

53Les instruments de l’AERES pèsent donc sur la définition organisationnelle des espaces de travail académique. Cependant, l’enquête montre qu’ils ont une incidence limitée sur ce que les enquêtés considèrent comme leur cœur de métier, ou sur l’appréciation du contenu de leur activité, à savoir la production de travaux scientifiques.

Évaluer la qualité scientifique. Entre rejet et appropriation des standards

54Si les géographes et les littéraires convergent dans leur appréciation du fonctionnement « idéal » des laboratoires, du moins selon les rapports d’évaluation, ils emploient en revanche des critères très différenciés pour juger la qualité du travail de recherche de leurs collègues. On peut supposer que l’appréciation de la qualité scientifique constitue la part la moins standardisée du travail des évaluateurs, ou que les critères concernant la détection de la qualité scientifique ont une emprise différenciée sur leurs pratiques de jugement.

55En effet, l’activité de jugement à l’AERES n’est pas réductible à un travail de remplissage d’indicateurs. Au contraire, les évaluateurs expriment leur scepticisme, tant dans leurs discours que dans leurs pratiques d’évaluation, quant à la pertinence des outils de mesure de la productivité des laboratoires pour étayer leur appréciation de la qualité académique. Enfin, l’évitement ou l’appropriation des standards peuvent être analysés comme des manières distinctes pour les évaluateurs de mettre en œuvre leur jugement professionnel et de positionner leur discipline sur l’échelle du prestige scientifique telle qu’ils se la représentent.

Des outils de mesure qui ne supplantent pas l’activité de jugement

  • 12 D’autres indicateurs sont prévus par l’AERES, tel que le facteur d’impact des revues dans lesquell (...)
  • 13 Les figures et les tableaux ont été construits à partir d’informations contenues dans les rapports (...)

56Le seul indicateur réellement formalisé concernant la production scientifique est celui du « taux de publiants » des laboratoires. Ce taux, qui doit obligatoirement figurer12 dans tous les rapports de l’AERES, est calculé par les évaluateurs. Dans quelle mesure les évaluateurs indexent-ils leur appréciation de la qualité académique sur le dénombrement des publications prévu par l’AERES ? Pour répondre à cette question, j’ai observé la relation entre les taux de publiants recensés dans l’échantillon de rapports d’évaluation en littérature et en géographie, et les notes que ces équipes ont obtenues au critère « production scientifique », cette note pouvant être considérée comme un rendu synthétique de l’avis des experts sur la qualité, à proprement parler, du travail des chercheurs évalués collectivement. Voici un graphique13 synthétisant la distribution des notes en fonction des taux de publiants :

Graphique 3. Distribution des notes obtenues en fonction des taux de publiants

Graphique 3. Distribution des notes obtenues en fonction des taux de publiants

Exemple de lecture : Trois des laboratoires qui ont obtenu A+ au critère « production académique » ont un taux de publiants compris entre 45 et 79 %.

57En observant ce graphique, il apparaît que la relation entre les taux de publiants et la note obtenue est relativement ténue. Certes, aucune équipe dont le taux de publiants est supérieur à 90 % n’a obtenu un B, dans l’échantillon. Pour autant, un taux de publiants inférieur à 80 % n’est pas discriminant pour l’obtention d’un A+ (y compris pour une équipe dont le taux était de 54 %). Par ailleurs, un taux de 100 % de publiants ne donne pas automatiquement droit à un A+ : quatre des laboratoires ayant obtenu un A ont un taux de publiants de 100 %. Ainsi, l’appréciation de ce qui fonde la qualité des travaux d’une équipe n’est pas automatiquement adossée sur le remplissage de cet indicateur et lui est irréductible. Dans les deux disciplines étudiées, le jugement sur la qualité du travail académique conduit par l’équipe n’apparaît pas comme la traduction mécanique d’un seuil quantifié fixé en amont, dont s’empareraient les évaluateurs pour justifier leur jugement. Le fait que les évalués soient quantitativement « publiants » n’est pas considéré comme une preuve de la qualité des travaux qu’ils produisent, ni réciproquement. Comme le formulent explicitement plusieurs membres de l’AERES :

Si vous comptez le nombre […] et [si] vous dites : « c’est bon, parce qu’il y a tant d’articles, tant de machins », en fait, c’est une équipe qui est active, ça on ne peut pas le nier, mais ça ne veut pas dire que c’est une bonne équipe. Une équipe qui est active n’est pas nécessairement une très bonne équipe. (Délégué scientifique 7, sciences sociales)

58Il arrive que la détermination de la quantité et celle de la qualité se recoupent, mais leurs appréciations font l’objet d’opérations de jugement disjointes. Cet échange avec un interviewé illustre l’usage plastique qui peut être fait du comptage dans l’activité évaluative :

Enquêtrice : pour évaluer, vous aviez des seuils implicites, « avec tant de publications on met un A », par exemple ? 

Président de comité AERES 3, littérature : Non. Bien sûr l’activité compte. […] Mais il peut y avoir l’inverse, il peut y avoir la situation où vous voyez qu’ils publient énormément mais de façon désordonnée, hâtive, et vous pouvez leur dire : « calmez-vous, publiez un peu moins et réfléchissez plus ». […] C’est sûr que la quantité joue un peu parce que si je dis : « je vais écrire un article génial dans toute ma vie, mais un seul article », même s’il est génial on pourra vous dire : « tu n’as pas beaucoup bossé ». Mais ce qui compte, c’est quand même qu’il soit génial ou pas.

59Dans une agence qui rend publique l’évaluation de toutes les unités de recherche françaises, remplir des indicateurs est considéré par ses responsables comme un gage d’équité dans le traitement des laboratoires de recherche, comme je l’ai souligné précédemment. Plus généralement, la production de repères quantifiés permet d’assurer la confiance des usagers dans les décisions, en vertu de l’objectivité qu’ils leur confèrent, notamment dans un contexte de mise en doute de la légitimité des experts (Porter, 1996). Wendy Espeland et Mitchell Stevens (2008) rappellent également que le type d’objectivité qui sous-tend les nombres s’oppose à un autre fondé sur l’usage de la discrétion et des jugements « à dire d’expert ». Les indicateurs peuvent ainsi faire office de garde-fou contre l’arbitraire des jugements idiosyncrasiques, et remplacer une évaluation qualitative en fournissant des repères stabilisés qui peuvent être échangés dans l’argumentation sur la qualité académique. Pourtant, on n’observe pas de mise en automaticité du jugement ; les évaluateurs qui travaillent à l’AERES déconstruisent l’équivalence entre quantité et qualité scientifiques, et insistent sur le désajustement entre la recension numérique des productions d’une part, et l’appréciation de leur valeur d’autre part :

Quand vous avez des érudits qui travaillent à d’énormes corpus, et qu’ils font état de leur avancement et que les experts disent : « c’est essentiel ces gens-là, ce sont un des fleurons de la recherche française sur le sujet », il n’est pas question de leur opposer un quelconque seuil de pourcentage, enfin ça n’aurait pas de sens. (Délégué coordinateur B, AERES)

  • 14 Ce résultat n’est pas distinctif des sciences humaines et sociales. Stephen Cole et Jonathan R. Co (...)

60Dans les domaines de recherche étudiés, la définition de la qualité académique n’est donc pas dissoute dans des formes de quantification ni saisie par des standards entièrement exogènes aux disciplines des juges14. Si les critères et indicateurs de l’AERES ont bien des effets sur la critériologie mobilisée par les évaluateurs, leur pratique du jugement ne se rapproche pas d’une activité de comptage automatique dans laquelle les qualités seraient mesurées à l’aune de quantités. Plus encore, ils adoptent souvent une attitude de défiance envers les outils de mesure qui leur sont prodigués à l’AERES, en soulignant le caractère très incomplet de la certitude qu’ils sont supposés leur fournir dans la conduite du jugement :

Les indicateurs, ça permet une sorte de pré-cadrage, on voit tout de suite quand même dans quelle catégorie on joue, si on prend une image sportive, ça ce sont les indicateurs qui le donnent, mais ça ne suffit pas. […] Je ne pense pas que ce soit automatisable, […] car je crois qu’on risque de passer à côté du vrai diagnostic […] et de notre mission d’évaluateur. (Délégué scientifique 14, sciences sociales)

61Alors que les dispositifs qui équipent les activités sociales agissent parfois comme les « déclencheurs automatiques » (automatic triggers : Weaver, 1989) des décisions, dans le cas étudié, les évaluateurs peuvent mettre à distance ces outils d’objectivation du jugement pour fonder en connaissance de cause leur évaluation, plutôt que l’adosser à une administration de la preuve chiffrée. L’incertitude quant à la qualité de la production académique n’est donc pas réglée par la mise en œuvre de dispositifs standardisés, susceptibles de fournir des repères communs aux participants à l’action ou à l’échange comme dans certains marchés (Dubuisson-Quellier et Neuville, 2003). Presque à l’inverse, comme dans le cas des experts d’art qui ne peuvent discerner le « faux » du « vrai » objet d’art en prenant exclusivement appui sur un appareil de normes et de repères objectivables (Bessy et Chateauraynaud, 1995), l’appui sur des ressources codifiées peut compromettre le travail de discernement que les évaluateurs placent au cœur de la définition de leur activité, comme le remarque un enquêté :

Au bout de trois ans, moi j’ai bien vu que les dossiers [d’autoévaluation des laboratoires] […] étaient tous formatés. Les gens savaient faire : il fallait tant de sucre, tant de farine, tant de lait, tant d’œufs, un petit peu de vanille et on vous fait un gâteau. Et vous n’y voyez que du feu. Mais pour savoir si on nous mène en bateau, ou si c’est bien, alors pour cela je suis désolé, il n’y a pas de critères objectifs. (Délégué scientifique 25, sciences humaines)

62Cet extrait met en évidence la réflexivité des enquêtés sur le caractère pernicieux des outils de repérage que l’AERES met à leur disposition : lorsque leurs collègues s’en emparent, ces outils perdent leur caractère discriminant, ce qui justifie, aux yeux des enquêtés, qu’ils s’en distancient dans le processus évaluatif et s’appuient sur d’autres ressources pour construire leur jugement. Ainsi, alors même que le contexte spécifique de l’évaluation pourrait supposer la mise en œuvre mécanique d’outils de mesure – forte contrainte de justification due à la publication des rapports d’évaluation, prolifération d’outils de mesure indirecte de la qualité académique –, on observe une dichotomie entre, d’une part, les tentatives de rationalisation et d’objectivation du jugement à l’AERES, et, d’autre part, les ressources effectives que les évaluateurs peuvent mobiliser pour fonder leur jugement.

63Les universitaires, comme d’autres groupes professionnels, détiennent des compétences et des savoirs complexes qui ne se laissent pas facilement enfermer dans des indicateurs formels (Freidson, 1984b ; Mintzberg, 1982). Ici, ce que les enquêtés présentent comme le cœur de leur métier, la production académique, résiste le plus à une mise aux normes et à des formes de standardisation. Pour les membres des deux disciplines étudiées, l’appréciation de la solidité, de l’originalité, de la qualité des recherches déborde largement l’analyse quantitative des publications. Cela ne signifie pas pour autant qu’ils ne font aucun usage des standards et de l’axiologie inscrite dans les documents de l’AERES. Ces usages varient, au contraire, selon les disciplines. Analysons d’abord comment les littéraires justifient l’emploi d’une critériologie autre que celle de l’AERES dans leurs pratiques d’évaluation de la qualité scientifique.

« La qualité académique, ça saute aux yeux ». Stratégies de confinement professionnel du jugement

64Comment les évaluateurs s’expriment-ils, dans les rapports d’évaluation, au sujet de la production scientifique de leurs collègues ? Le tableau ci-dessous offre une vision synthétique de l’usage des catégories de jugement des évaluateurs en littérature pour apprécier la qualité du travail scientifique fourni par les équipes évaluées. Pour chacune d’entre elles, j’ai indiqué son nombre total d’occurrences dans l’échantillon de rapports en lettres et en géographie, ainsi que la proportion de ces occurrences en littérature.

Tableau 6. Critériologie propre aux évaluateurs en littérature

Catégories majoritairement présentes dans les rapports en littérature
Points forts
Présence de supports de diffusions de l’unité (revues ou collections de l’unité) 6 occurrences, dont 100 % en littérature
Points à améliorer et recommandations
Améliorer la politique éditoriale de l’unité (mettre en place un comité de rédaction, un comité scientifique, en partie externes à l’établissement) 5 occurrences, dont 80 % en littérature Publier hors des revues/collections de l’université/unité 8 occurrences, dont 75 % en littérature

65Si l’on cherche à caractériser le type d’incitations contenues dans les rapports, on observe qu’elles mettent en œuvre une définition procédurale de la qualité académique identique à celle qui a été étudiée dans le chapitre précédent. Les recommandations ne concernent pas la définition du contenu de la recherche à proprement parler mais celle des canaux légitimes de production académique. Ce résultat prolonge ainsi notre analyse selon laquelle l’AERES n’est pas le lieu central où se décrète ce qui fonde la qualité d’une production académique, au sens substantiel.

66Il contraste avec certaines études menées en Grande-Bretagne, qui montraient, dans le cas de l’économie, que l’instance d’évaluation de la recherche nationale avait renforcé des effets de domination scientifique existant dans le champ, en excluant du spectre des publications « qui comptent » celles qui ne sont pas parues dans des revues dites orthodoxes (Lee, 2007). Ce faisant, l’instance d’évaluation pèse non seulement sur les lieux et les pratiques de publication des chercheurs, mais elle redéfinit également les approches théoriques et méthodologiques légitimes de la recherche, ici en économie. À l’AERES à l’inverse, les recommandations qu’elle rend publiques ne délivrent pas une vision univoque du type d’approche ou de méthode d’analyse légitime en recherche.

67Les évaluateurs peuvent cependant se saisir de leurs positions de juge pour promouvoir des réformes indirectes sur la production académique. C’est ainsi que l’on peut comprendre l’usage de la catégorie qui préconise de doter les maisons d’éditions ou les revues des équipes de recherche de procédures d’évaluation et de sélection plus systématiques des travaux qu’elles reçoivent. Cette recommandation se situe au niveau de la méta-évaluation : elle ne vise pas à orienter directement le comportement des chercheurs eux-mêmes, mais concerne les modalités mêmes de fonctionnement et de validation scientifique qui ont cours dans les revues et les collections académiques où sont entérinés les résultats des travaux de recherche.

68La deuxième recommandation propre au domaine de la littérature (elle apparaît trois fois plus que dans les rapports en géographie) est celle de publier hors des revues de l’université ou du laboratoire. Les évaluateurs qui formulent cette recommandation reprennent ainsi le soupçon que font peser une partie des dirigeants de l’AERES sur la pratique d’« autopublication », via les canaux de diffusion « maison » ou « locaux », pour reprendre leur terminologie. Selon leurs discours, ce type de production ne serait pas soumis à une évaluation suffisante pour en assurer la validité scientifique.

69Il convient de remarquer que ces recommandations sont loin d’être omniprésentes dans les rapports de l’AERES en littérature. En effet, la mention, positive ou négative, de critères concernant la production académique n’est pas centrale dans les rubriques considérées. Près de 40 % des rapports en littérature n’évoquent aucun « point fort » concernant la production scientifique de l’unité de recherche, et ce taux atteint 60 %, soit plus de la moitié des rapports d’évaluation de l’échantillon en littérature, concernant les « points à améliorer et les recommandations ». Ainsi, les appréciations relatives à la qualité scientifique et aux moyens de l’améliorer sont paradoxalement discrètes au sein d’une agence nationale d’évaluation de la recherche, dans le domaine de la littérature.

70Notons enfin que le stigmate porté sur les pratiques d’autopublication se trouve en opposition avec la mention de l’existence d’une revue propre à l’équipe de recherche comme « point fort ». Cette incohérence entre, d’une part, la valorisation de la présence de revues animées par les membres du laboratoire et, d’autre part, l’incitation à publier ailleurs que dans ces revues témoigne de l’oscillation entre le respect de la structuration existante du domaine académique et des incitations à une réforme des pratiques et des lieux de diffusion du savoir. Le bien-fondé de cette injonction n’est pas consensuel parmi les évaluateurs. Certains d’entre eux lui opposent des arguments sur la façon dont la production du savoir est organisée dans leur discipline, afin d’ôter ainsi toute validité à une norme formelle de jugement sur la qualité académique :

Il y a une sorte de zèle de certains de nos collègues qui disent : « On remarque que la plupart de vos colloques ou ouvrages collectifs vous les publiez aux presses de [votre université]. Pourquoi ? » Alors là je n’ai pas compris tout de suite […] Quel était le sens véritable, […] c’était l’idée que c’était une solution facile et qu’il aurait été plus difficile de publier ailleurs que dans notre université. Alors si vous connaissez la situation de l’édition en littérature, la remarque est absurde. Et la dame qui l’a faite a toutes les données pour savoir qu’elle est absurde, […] en tant que spécialiste de littérature, elle avait toutes les compétences pour dire si c'était bon ou mauvais. (Président de comité de visite AERES 3, littérature)

71Peu d’enquêtés en littérature adhèrent à la croyance selon laquelle il est possible de trouver des éléments d’objectivation de la qualité académique. La plupart d’entre eux font part, en entretien, de leurs doutes quant à la légitimité d’outils formels permettant d’entériner la valeur d’une publication en littérature. La faiblesse du consensus sur le type de repères pertinents pour décréter la valeur des publications permet de comprendre que l’échelle de valeurs prescrite par l’AERES soit relativement, voire totalement contournée dans les rapports d’évaluation en littérature.

  • 15 Proposition pour l’interprétation de l’échelle de notation multicritères, Rapport d’activité AERES (...)
  • 16 Les actes de colloques ne figuraient ainsi pas dans la liste, bien qu’ils constituent une importan (...)

72En effet, alors que l’AERES préconise explicitement, quel que soit le domaine disciplinaire, que pour obtenir un A+ dans le critère « production académique », « la production de cette unité [soit] au meilleur niveau international », la note A sanctionnant une production « excellente dans le paysage national, […] bien visible au niveau international »15, ces deux notes ont été mises dans les rapports de littérature sans référence explicite au niveau international de la production académique. De même, tandis que le document intitulé Critères d’identification des chercheurs et enseignants-chercheurs « publiants », publié et actualisé depuis 2007, place au premier chef des publications qui comptent les articles dans des revues internationales à comité de lecture, bien distinctes des autres types de production16, l’étude des critères employés ou qui brillent au contraire par leur absence montre que les évaluateurs peuvent révoquer les principes de classement officialisés par l’agence, lorsqu’ils estiment devoir mobiliser d’autres ressources de jugement pour exercer en connaissance de cause leur jugement.

73S’ils ne font qu’un faible usage des critères de l’AERES, comment les évaluateurs du domaine fondent-ils leur jugement sur la qualité scientifique ? L’observation d’un comité de visite en littérature est particulièrement éclairante pour saisir le jugement en action. J’ai été surprise de constater que, lors du premier huis clos entre les évaluateurs, aucune mention n’a été faite de la production scientifique de l’équipe expertisée, celle-ci n’a pas suscité de commentaires énoncés dans le cours de leur échange. Lors du second huis clos, les discussions sur le remplissage du critère « production académique » ont été relativement brèves (une petite dizaine de minutes) pendant l’heure et demie consacrée à produire la trame du rapport. Voici l’échange relatif à ce sujet :

Président : Alors, « Appréciation sur la production et la qualité scientifique ». Je trouve que c’est particulièrement remarquable.

Expert A et expert B (à l’unisson) : Oui !

Expert A : J’avais déjà mis un A+.

Expert B : Oui moi aussi.

Délégué : Bon, c’est l’assentiment général. […] Si vous avez le A+ en tête, maintenant, vous le justifiez, parce que A+ signifie que c’est bien mais qu’il y a quelque chose en plus…

Expert A : … il y a quelques pointures.

Président : Eh bien voilà, ce sont des pointures !

Délégué : Alors les supports de publication, ils animent une revue… […] Il faudra insister sur les points saillants, c’est-à-dire les domaines où ils sont particulièrement visibles. On souligne les éléments. Vous avez noté quoi ?

Président : J’ai noté ça en style télégraphique : la présence de grosses pointures, l’attirance réelle au niveau des doctorants…

Délégué : Oui.

Président : Des domaines d’excellence, à savoir [domaines X et Y].

Délégué : Et le volume.

Président : Un volume de production, adossé sur des stat’ précises que nous avons.

Délégué : Et une revue.

Président : Oui une revue.

[L’expert A, puis l’expert B, ajoutent chacun un autre « domaine d’excellence » à la liste.]

Délégué : Bon, ils publient pas mal, hein.

Président : Nous sommes d’accord. On passe au point 2.

(Huis clos final, comité de visite AERES, 2014, carnet d’observations)

74S’il ne vise pas à représenter l’ensemble des discussions possibles sur la production académique à l’AERES, cet échange met en évidence les opérations successives et, en quelque sorte, parallèles, qui aboutissent à la mise en forme du jugement dans cette instance. Le niveau de qualité de la production scientifique de l’équipe a d’abord fait l’objet d’un consensus spontané entre les trois évaluateurs, sans nécessiter l’appui sur des repères partagés qu’ils échangeraient verbalement. D’une certaine manière, lorsqu’il s’agit de juger la qualité scientifique, « la crème monte naturellement à la surface » (Lamont, 2009). C’est seulement dans un deuxième temps qu’ils sont amenés à légitimer leur jugement, de sorte à le rendre conforme aux impératifs de l’AERES tels que se les représente le délégué de l’agence présent lors de l’échange – objectiver le jugement en trouvant des arguments susceptibles d’être rendus publics, tels que le « volume de publications », qui intervient très brièvement à la fin de l’échange. On note ainsi le caractère auxiliaire d’éléments d’objectivation du jugement dans la construction de l’évaluation. Ce n’est pas en employant des standards échangeables qu’ils produisent leur expertise. Ceux-ci interviennent après coup, et constituent, plutôt que de réels équipements du jugement, des éléments permettant sa justification publique a posteriori. Certes, ces données ne permettent pas de savoir quel usage est fait de ces instruments lorsque les membres des comités ne s’accordent pas sur le niveau des publications de l’équipe évaluée, cependant, selon les entretiens, il apparaît que cette configuration est très rare : une large majorité des évaluateurs estime que la qualité scientifique fait l’objet d’un consensus évident et quasi immédiat.

75Revenons sur le premier moment de l’expression du jugement. L’accord semble s’être produit de façon immédiate, dans les deux sens de la promptitude et de l’absence de médiation argumentative pour étayer le jugement. En effet, celui-ci fait d’abord l’objet d’une très faible objectivation de la part des évaluateurs. Interviewés individuellement à la suite de la visite, ils considèrent que la facilité de l’accord provient du fait, comme le résume l’un d’entre eux, que « la qualité académique, ça saute aux yeux » (président de comité 8, littérature). La majorité des enquêtés du domaine de la littérature se rejoignent sur le fait que la détermination du niveau de la qualité relève d’une forme d’évidence, de transparence immédiate à l’œil de l’expert.

  • 17 Fait remarquable, même lorsque les comités sont pluridisciplinaires, les cultures disciplinaires p (...)

76Le fait que les juges appartiennent à la même discipline, à la différence des panels pluridisciplinaires étudiés par Michèle Lamont (2009)17, est un facteur pouvant favoriser cet accord immédiat : partageant certaines représentations sur ce qui fonde la qualité d’un travail scientifique, leur accord ne passe pas nécessairement par la verbalisation et l’échange argumentatif en vue de convaincre les autres participants du bien-fondé des normes de jugement qu’ils mobilisent. Dans notre cas, la qualité du travail de l’équipe existe en quelque sorte dans l’œil des évaluateurs, antérieurement à la situation de jugement à l’AERES. En effet, lorsqu’ils sont interrogés sur la façon dont ils construisent leur appréciation de la valeur du travail académique de leurs collègues, ils sont unanimes à invoquer leur connaissance professionnelle et/ou personnelle de leurs productions :

[Comment on fait pour évaluer], ça va être d’abord l’expérience qu’on a chacun de la qualité du travail, indépendamment des critères que l’AERES élabore, on a intuitivement déjà, ça peut être de l’ordre du préjugé, mais on a intuitivement une connaissance empirique. (Délégué scientifique 2, littérature)

Il y a des formes de consensus qui existent, c'est-à-dire : « on le sait, ça se dit, on sait que… ». Le bouche-à-oreille marche vite, […] et si vous voulez, moi je sais regarder une bibliographie, je vois bien si quelqu’un a publié entièrement dans des trucs du genre de publications de vulgarisation uniquement et pas de publications de recherche. Et puis… on le sait ! (Expert MSTP et président de comité de visite AERES 1, littérature)

77Presque systématiquement lorsqu’ils sont interviewés sur les repères qu’ils utilisent pour fonder leur jugement sur la qualité académique, les évaluateurs emploient des formules telles que « on sait », « on sent », « on voit », qui permettent de montrer que le jugement ne procède pas de l’application d’un protocole. Son exercice semble situé dans un savoir et fondé sur une compétence si incorporés par les évaluateurs qu’ils ne peuvent les commenter que sous forme tautologique – on sait, parce que l’on sait. Mais leur difficulté à déconstruire ces opérations de jugement pour les rendre intelligibles à l’enquêteur, la façon dont ils s’expriment sur leur activité d’évaluation, montrent bien qu’ils se la représentent comme la mise en œuvre de leur professionnalisme, de leur expérience du métier.

78Ainsi, le jugement suppose une compétence inscrite dans le corps de l’expert qui procède de l’expérience du métier et repose sur un savoir incorporé difficilement objectivable. C’est ici le caractère privé ou sacré de cette compétence d’expert qui en assure la validité, au risque pour l’expert de paraître arbitraire ou partial. Dans ce modèle d’expertise, l’expert est celui qui sait et qui sent, indépendamment de tout dispositif prévoyant une administration de la preuve vérifiable publiquement. Les évaluateurs en sciences humaines peuvent considérer leur « intime conviction » comme un ressort légitime du jugement. Mais cette propension à sanctuariser l’exercice de leur jugement professionnel peut être placée au service d’une stratégie spécifique leur permettant de discréditer les injonctions qui pèsent sur eux. Le terme de « stratégie » est à comprendre au sens de Michel Crozier et Erhard Friedberg (1977), c’est-à-dire non pas comme projet conscient et défini a priori, mais comme une manière, en l’occurrence, de préserver leurs intérêts dans un contexte où ils pourraient être menacés par l’introduction de critères incompatibles avec leur représentation de l’activité de recherche légitime.

79C’est ainsi que peut se comprendre la tendance des enquêtés à auréoler de mystère les manières pertinentes d’apprécier la production scientifique, à situer leur compétence du côté de l’ésotérique, voire de l’indicible. Le propos n’est certes pas de questionner le caractère ésotérique de leur pratique professionnelle, mais de montrer que ce trait est réinvesti au service d’un argumentaire leur permettant de tenir à distance une grille d’analyse de leur activité académique qu’ils considèrent comme inopérante. L’enjeu est, pour ces enquêtés en littérature, de sanctuariser leur juridiction professionnelle, dans un contexte où leurs pratiques professionnelles pourraient se transformer en remplissage de critères impersonnels, fixés en amont, et peu pertinents quand il s’agit de détecter la valeur du travail scientifique dans leur discipline. Revendiquer leur compétence professionnelle à juger leur permet ici de résister à des formes de contrôle ou d’immixtion exogènes.

80Si les évaluateurs en littérature présentent l’exercice de leur jugement professionnel en rupture avec des formes de jugement étayées par des instruments standardisés, d’autres en revanche s’emparent des standards de l’AERES pour discipliner leur discipline, en les plaçant au service d’une réforme et d’une amélioration des pratiques de recherche dans leur milieu professionnel d’appartenance.

Incorporer des standards d’évaluation

81Contrairement à la littérature, en géographie les évaluateurs font un usage plus systématique des critères de jugement prévus par l’agence. Tout d’abord, la mention de catégories de jugement portant sur la qualité académique à proprement parler est bien plus importante en géographie qu’en littérature. Si la proportion de rapports qui ne mentionnent aucun « point fort » concernant la production scientifique est considérable (environ 50 %), en revanche, seuls 8 % des rapports en géographie ne contiennent aucun « point à améliorer » relatif à la production scientifique. Ce résultat n’est pas imputable à une faible qualité académique des équipes de notre échantillon évaluées en géographie, dans la mesure où près de 70 % d’entre elles ont obtenu un A ou un A+ au critère « production scientifique ». On peut cependant en déduire que les incitations à une réforme des pratiques de publications sont bien plus prégnantes en géographie qu’en littérature. De quelle nature sont ces incitations ? Voici un tableau des critères utilisés dans les rapports, accompagnés de leur nombre total d’occurrences pour les deux disciplines et de leur taux d’apparition dans les rapports en géographie.

Tableau 7. Critériologie propre aux évaluateurs en géographie

Catégories majoritairement présentes dans les rapports en géographie
Points forts
Publications en langues étrangères, y compris en anglais
4 occurrences, dont 100 % en géographie
Publications dans des revues de rang A, nationales et internationales
4 occurrences, dont 100 % en géographie
Points à améliorer et recommandations
Augmenter le nombre des publications internationales de l’unité
16 occurrences, dont 100 % en géographie
Privilégier les publications dans les revues à comité de lecture de rang A
18 occurrences, dont 100 % en géographie
Augmenter le nombre de « publiants »
11 occurrences, dont 80 % en géographie

82Le premier élément notable est que ces catégories apparaissent exclusivement en géographie, à l’exception de la dernière recommandation, qui reste néanmoins très concentrée dans les rapports de cette discipline. Ensuite, l’usage de ces catégories est à la fois massif, en termes de nombre d’occurrences, et convergent : des échelles de valeurs concurrentes ou du moins divergentes quant à la qualité académique peuvent exister dans le domaine disciplinaire, mais elles ne sont pas exprimées dans les rapports d’évaluation en géographie, contrairement aux rapports en littérature.

83En géographie, l’accent est clairement placé sur la nécessité de publier dans des revues internationales, dans des revues à comité de lecture labellisées, en langue étrangère et principalement en anglais – même si les publications dans d’autres langues peuvent également être valorisées –, et d’augmenter le nombre de chercheurs et d’enseignants-chercheurs « publiants ». Ainsi, les évaluateurs formulent des recommandations qui cherchent à modeler ou à orienter le comportement des chercheurs individuels de façon bien plus systématique et directe que ne le laissaient entendre les critères de jugement mobilisés en littérature. Ils s’ajustent ainsi à l’échelle de valeurs dispensée dans les documents de l’AERES, qui fait des publications « locales » des productions moins valorisées, tandis que celles qui paraissent « à l’international » et/ou dans des revues classées sont les plus reconnues. Dans les entretiens, il apparaît parfois qu’encourager des pratiques de publication dans des revues labellisées et non francophones soit un moyen indirect de hausser le niveau global et la reconnaissance des publications.

84La première piste d’explication serait que ces critères promus par l’AERES sont conformes à l’axiologie propre au milieu de la géographie. Autrement dit, si les géographes se saisissent plus volontiers que les littéraires des principes de jugement de l’AERES, ce serait parce que l’échelle de valeurs qui s’incarne dans les instruments de l’agence épouse les pratiques de recherche et les caractéristiques épistémiques propres à leur discipline. Cette hypothèse est partiellement juste, pour certains segments de la discipline. En effet, certains spécialistes d’analyse spatiale et de modélisation qui publient souvent en anglais sont prompts à revendiquer l’importance de l’internationalisation des publications :

J’ai toujours attaché beaucoup d’importance à la qualité de la recherche qui soit en prise sur la recherche internationale […], et donc une unité qui n’aurait publié que dans la petite revue d’histoire locale ou d’archéologie locale, on l’encourageait à étendre son rayon d’action vers des revues nationales ou internationales. (Délégué scientifique B, géographie)

85À l’inverse, d’autres représentants, issus par exemple de la géographie physique, attachée, comme certains courants de la géographie humaine, à l’étude approfondie d’un terrain, considèrent qu’une pratique internationalisée de la production académique est moins évidente :

Évidemment pour un géographe, comme un historien ou autre, les publications de rang A, ça ne disait pas grand-chose. On publie peu à l’international pour des raisons évidentes, non pas qu’on ne se débrouille pas en anglais mais il est parfois difficile de traduire en anglais toute la complexité d’une démonstration d’histoire ou de sociologie ou de géographie humaine. (Délégué scientifique A, géographie)

  • 18 Cette classification s’appuie sur les termes que les présidents utilisent eux-mêmes pour présenter (...)
  • 19 On aurait pu observer la spécialité de chacun des membres des comités, mais dans la mesure où, sel (...)

86Cependant, quel que soit le courant considéré, on remarque que les évaluateurs relaient dans leurs pratiques l’injonction à l’internationalisation des travaux de recherche. En témoigne le graphique suivant, qui présente la répartition de l’utilisation du critère d’internationalisation des publications scientifiques en fonction de la spécialité18 disciplinaire du ou de la président.e de comité19, en géographie :

Graphique 4. La valorisation de l’« international » en géographie

Graphique 4. La valorisation de l’« international » en géographie

87Quel que soit le courant considéré, les évaluateurs relaient dans leurs pratiques l’injonction à l’internationalisation des travaux de recherche. Le seul cas où la mention de l’international est plus discrète, sans être totalement absente, concerne le domaine de l’urbanisme et de l’aménagement. Les évaluateurs peuvent mobiliser une échelle de valeurs qui est en décalage avec celle qui peut s’appliquer au type de travail académique qui a cours dans leur domaine. En effet, le même enquêté qui questionnait la pertinence d’une prime à l’internationalisation de la recherche dans sa discipline précise, dans le même entretien :

un bon laboratoire c’est aussi un laboratoire qui a une ouverture internationale, […] il faut quand même un certain nombre de publications, […] y compris d’ailleurs en anglais, qu’on le veuille ou non, sans cela c’est quand même un peu… Donc je crois que cette ouverture internationale elle est quand même très importante. (Délégué scientifique A, géographie)

88Montrer comment des évaluateurs se saisissent d’une critériologie différente de celle qui serait attendue dans leur domaine nous permet de dépasser une conception hiératique des préférences des évaluateurs, qui seraient mécaniquement adossées aux modèles de production et de validité académiques en vigueur dans leur spécialité. Si les évaluateurs ne mobilisent pas nécessairement les critères de l’AERES parce qu’ils rejoignent le « style épistémologique » de leur discipline (Mallard, Lamont et Guetzkow, 2009), comment comprendre alors l’emprise hétérogène des critères de l’AERES sur les pratiques de jugement des membres de la profession académique ?

Axiologies plurielles. Entre effets de position et rapports de pouvoir

89Trois facteurs éclairent l’appropriation variable des instruments de l’AERES par les scientifiques : la position des disciplines dans le monde académique, mais surtout, la façon dont leurs membres conçoivent les réformes de leurs pratiques scientifiques comme relevant de l’intérêt de leur discipline ou comme une menace pesant sur leurs modes de travail ; et enfin, les ressources institutionnelles dont ils disposent pour faire valoir, le cas échéant, la légitimité de leur dénonciation de ces standards.

  • 20 Pierre Bourdieu prenait pour mesure centrale du prestige alloué aux disciplines celle du taux de n (...)

90Comme certaines études récentes l’ont montré dans le cas des universités, celles qui cherchent à obtenir une meilleure position sur l’échelle du prestige, à acquérir une visibilité et une reconnaissance, s’emparent d’outils de gestion et de classements internationaux tandis que d’autres, plus instituées et qui bénéficient d’une réputation ancienne, peuvent moquer ces principes de classement et refuser de les incorporer dans leurs stratégies d’établissement (Paradeise et Thoenig, 2013). Dans d’autres domaines d’action publique, tels que le secteur médical, plusieurs travaux ont montré que les praticiens qui occupent des fonctions peu prestigieuses dans la division du travail, ou qui n’exercent pas dans des institutions illustres, sont susceptibles de défendre les palmarès hospitaliers et d’endosser des discours managériaux, cette posture leur permettant d’obtenir de nouvelles ressources (Ponet, 2005 ; Benamouzig et Robelet, 2014 ; Belorgey, 2010 ; Bruno et Didier, 2013). Pour appliquer cette grille de lecture, reprenons la hiérarchie des disciplines telle que l’avait formulée Pierre Bourdieu. Pour l’auteur, la géographie et la littérature constituaient les pôles opposés de l’échelle du prestige en SHS, la première étant présentée comme une discipline « dominée »20 (Bourdieu, 1984, p. 145). Bien que son enquête ait été conduite avant le début des années 1970, un faisceau d’indices converge pour montrer que ces deux disciplines n’occupent pas la même position dans le champ académique.

  • 21 Le CNÉ, chargé d’évaluer les universités avant la mise en place de l’AERES, était majoritairement (...)
  • 22 Bulletin du Comité national d’évaluation, no 9, mai 1989, p. 3. En ligne : [https://www.cne-evalua (...)

91Les sources écrites produites par des géographes révèlent que les membres de cette discipline se questionnent régulièrement sur leur identité méthodologique et théorique et sur leur position dans le monde scientifique. Une enquête quantitative et qualitative conduite par le CNÉ21 à la fin des années 1980 sur l’état de la géographie en France laisse notamment transparaître la quête de légitimité constante de la discipline. Le choix de faire porter l’enquête sur cette discipline a d’ailleurs été orienté par « les problèmes spécifiques de la géographie : une discipline fondamentale qui présente des facettes variées, aux frontières de nombreuses disciplines, et qui s’interroge passionnément sur elle-même »22. Les géographes ont été les premiers à souligner les difficultés de leur domaine. Les nombreux témoignages recueillis auprès des directeurs de département de géographie et des professeurs d’université exposent les problèmes institutionnels et épistémologiques de la discipline. Ainsi, plusieurs professeurs de géographie physique accusent un déclin de cette spécialité depuis les années 1960. L’un d’entre eux observe notamment :

  • 23 Termes soulignés dans le texte d’origine.
  • 24 AN, 20080020/255, chemise verte « Archivage : évaluation de la géographie.

un décalage23 croissant, depuis une vingtaine d’années, dans le niveau de la recherche en géographie physique en France, par rapport à la Grande-Bretagne, l’Allemagne, la Belgique, les Pays-Bas, l’URSS […]. Cela ne signifie pas que la recherche physio-géographique française n’ait pas de points forts et des chercheurs efficaces, mais elle n’arrive pas à suivre le rythme de croissance de ses voisins. Jusque vers 1960, elle était relativement forte et jouait un rôle de leader au plan national […]. Des domaines entiers de la géographie physique sont progressivement pris en charge par d’autres disciplines plus « scientifiques », bénéficiant d’une meilleure crédibilité auprès des instances nationales. (Professeur des universités, géographie physique, 1988)24

  • 25 Il s’agit d’une institution centrale de la recherche scientifique dans la discipline. Elle représe (...)

92La critique ne porte pas sur la qualité des recherches produites en géographie, mais l’image d’un domaine de recherche menacé, situé à la charnière d’autres sciences et parfois placé à leurs marges, se dégage des propos de ces représentants. Ainsi, selon le président du Comité national français de géographie (CNFG)25, alors qu’il occupait cette fonction à la fin des années 1980, les résultats de l’enquête menée en 1989 confirment que « l’image de la géographie n’est pas bonne et [que] la dévalorisation de la spécialité est, surtout après 1945, réelle » (Dalmasso, 1991, p. 79). Cela contraste assez fortement avec la littérature : comme dans d’autres disciplines, les pratiques et les méthodes de recherche ont évolué et été questionnées au sein de la communauté littéraire au cours du xxe siècle ; cependant, comme le souligne Jason Duell (2000), les littéraires bénéficient d’une forte reconnaissance en France comparativement aux États-Unis, où, selon l’auteur, leur autorité et leur influence ne sont pas si manifestes. Notre enquête ne nous permet pas de constater dans cette discipline en France les signes d’une crise de légitimité, d’identité et de périmètre semblable à celle que décrivent les enseignants-chercheurs en géographie.

93Étant donné leur position, les géographes disposeraient de moins de ressources que les membres d’autres domaines pour résister à des pressions normatives visant à standardiser le processus d’allocation de la valeur académique. Toutefois, la position occupée par les spécialités ou par les disciplines dans leur environnement n’est pas un facteur automatique d’adhésion ou de rejet des standards. Par exemple, en économie, les lois de la reconnaissance scientifique sont fortement standardisées, alors qu’il s’agit d’une discipline « dominante » au sein des SHS (Fourcade, Ollion et Algan, 2015). Il convient plutôt de faire l’hypothèse que la façon dont les membres des disciplines conçoivent l’intérêt de leur discipline et le bien-fondé des transformations potentielles de leurs pratiques de travail – induites par les standards de l’AERES – explique qu’ils tendent ou non à y adosser leur échelle de valeurs.

94En effet, leur usage des instruments de l’AERES peut rejoindre leurs convictions et leurs conceptions de ce que faire de la recherche signifie dans leurs disciplines, ainsi que les réformes qu’ils promeuvent. Ainsi, le développement de méthodes proches des sciences expérimentales dans certains courants de la géographie semble favoriser l’appropriation d’injonctions inscrites dans les instruments de l’AERES, qui leur apparaissent moins étrangers qu’aux littéraires : ceux-ci continuent de les discréditer en leur opposant le type de pratiques de recherche qui ont cours dans leur discipline. Les géographes ne subissent alors pas de façon passive une mise aux normes de leurs pratiques. En s’appropriant des standards valables à l’extérieur de leur discipline ou dominants dans un courant de la discipline, notamment chez les géographes pratiquant l’analyse spatiale, ils accompagnent (consciemment ou non) les mutations en cours de leur discipline et la repositionnent dans le champ académique, en promouvant son internationalisation, par exemple, quel que soit le courant de recherche considéré. Symétriquement, le contournement de ces instruments, en littérature, peut être interprété comme le signe qu’ils y voient, plutôt qu’une opportunité pour encourager des transformations de leurs modes de publication scientifique, une menace pesant sur les pratiques de travail académique en vigueur dans leur domaine.

95L’appropriation des standards dépend alors en partie des modalités de production de la connaissance qui paraissent légitimes aux membres des différentes disciplines. Mais les pratiques différenciées de jugement doivent également être réinscrites dans le panorama plus large des rapports de pouvoir entre les institutions du gouvernement scientifique. Les évaluateurs en littérature mobilisent leurs principes de hiérarchisation indigènes, indexés sur leur connaissance du métier et de leur discipline. Ils construisent alors leur appartenance disciplinaire comme rempart contre une standardisation du jugement. Or s’ils y parviennent, c’est en partie parce que des représentants de la discipline ont réussi, en amont, à faire échouer l’intrusion d’un système de classification des productions scientifiques, comme un chapitre précédent l’a montré. Ces enquêtés peuvent d’autant plus révoquer un système objectivé, qui assoit entre autres l’évaluation de la production scientifique sur les listes de revues labellisées, qu’il est conçu par de nombreux littéraires comme en rupture avec le système de production du savoir qui caractérise leur domaine, et qu’une partie de leurs représentants ont travaillé à faire reconnaître publiquement la dichotomie entre les standards de l’AERES et leurs pratiques de travail.

*

96Étudier les pratiques concrètes de jugement académique dans un cadre où elles sont fortement contraintes par des dispositifs permet de réinterroger l’hypothèse selon laquelle les instruments gestionnaires supplanteraient les pratiques et les savoir-faire professionnels. L’analyse montre que l’évaluation de la recherche à l’AERES n’est ni seulement le produit de l’intime conviction des académiques, de leurs représentations idiosyncrasiques et disciplinaires, ni à l’inverse un exercice d’application mécanique de critères et d’indicateurs, construits hors de leurs disciplines. Ce chapitre a montré qu’à certaines conditions, les universitaires adoptent des logiques de standardisation, ou au contraire, les contournent dans leurs pratiques évaluatives.

97En effet, les évaluateurs en SHS mobilisent un ensemble de ressources hétérogènes pour construire leur jugement, et font valoir leurs normes disciplinaires dans un cadre d’évaluation particulièrement contraint. L’évaluation à l’AERES n’est pas réductible à l’une des deux modalités de jugement – évaluation par les pairs, évaluation standardisée – parfois présentées comme antagonistes. L'enquête a permis de déconstruire une vision trop unifiée des pratiques et des représentations académiques, en montrant que les conceptions des modes de travail permettant de produire une recherche de qualité pouvaient être clivées au sein d’un même domaine scientifique. Se donne alors à voir la diversité des principes de hiérarchisation dont usent les représentants de la profession quand ils apprécient la valeur des travaux de leurs pairs.

98Au sein même des sciences humaines et sociales, l’appropriation de standards conçus à l’AERES permet à une partie des évaluateurs de repositionner leur discipline dans le champ académique, tandis que d’autres préservent leur autonomie en contournant ces critères normalisés dans leurs pratiques de jugement. La situation d’évaluation contraste ici avec l’expertise d’art. Alors que les experts d’art s’efforcent de rendre légitime leur jugement et de l’objectiver, en l’absence de normes standardisées leur permettant de l’étayer (Heinich, 1997), à l’AERES au contraire, une partie des évaluateurs travaille à mettre à distance les standards qui leur sont prodigués pour revendiquer leur autonomie professionnelle à juger des travaux de leurs collègues.

99En éclairant comment les chercheurs tendent à discréditer les standards de l’AERES ou à y adosser leur échelle de valeurs, ce chapitre ouvrait une réflexion sur la façon dont ces universitaires définissent ou redéfinissent la légitimité de leurs pratiques professionnelles, dans un contexte de normalisation des règles de la consécration scientifique. L’axiologie que revendiquent les évaluateurs, leur représentation de ce qui compte en recherche, dépend aussi de leurs représentations des évolutions organisationnelles et méthodologiques légitimes dans leurs disciplines. Dans chaque domaine, des scientifiques se saisissent et relaient des injonctions venues d’autres franges de la profession, telles que des modèles d’organisation de la recherche hérités des sciences expérimentales, pour réformer et restructurer leur discipline. Ainsi, les critères de l’AERES, tels qu’ils sont mobilisés par les évaluateurs, entérinent moins la domination de normes exogènes à la profession qu’ils n’arbitrent entre des conceptions concurrentes de ce qui fonde la qualité d’un laboratoire de recherche au sein d’un même domaine scientifique.

Notes

1 Ce chapitre prolonge les résultats d’un article publié dans la revue Sociologie (Gozlan, 2016). Il se centre uniquement sur l’évaluation des unités de recherche.

2 Cette observation ethnographique permet d’étudier le processus concret de production de l’évaluation, mais son caractère isolé ne permet pas de la considérer comme représentative. Elle est mobilisée à titre illustratif pour compléter le faisceau de données analysées dans le chapitre.

3 Notons ici que les conditions de l’autonomie des sciences humaines évoluent dans le temps et sont, comme dans d’autres domaines scientifiques (Lamy et Shinn, 2006), de plus en plus débattues (Gozlan, 2015).

4 Envoyés par les souverains pour contrôler les gouvernants locaux, ils sont l’incarnation du pouvoir central à l’époque carolingienne.

5 Ce terme est emprunté à la fiction. Il fait référence à une pièce comique de l’écrivain russe Nicolas Gogol, mettant en scène un inspecteur missionné par le gouvernement russe auprès d’un bourg de province.

6 Dans la mythologie grecque, Procuste était un brigand qui torturait ses invités en les attachant à un lit. Il amputait leurs membres s’ils dépassaient du lit, ou les allongeait jusqu’à ce qu’ils atteignent la taille du cadre. Le sens figuré de l’expression désigne une tentative d’uniformiser les individus sur un même modèle.

7 C’est le cas dans les sections du CoNRS, dont les membres décident au début de chaque mandat des critères qu’ils estiment pertinents pour procéder à l’évaluation des équipes et des chercheurs qui relèvent de leur section.

8 Les recommandations à ce sujet ne sont pas hégémoniques : un laboratoire issu de la fusion de plusieurs équipes peut souffrir, aux yeux des évaluateurs, d’un manque de cohésion thématique plus grand qu’une équipe restreinte en nombre de permanents mais positionnée sur un domaine de spécialité où elle est incontournable dans sa discipline. Les évaluateurs choisissent en fonction des caractéristiques de l’équipe s’ils argumenteront en faveur de l’importance numérique ou du renforcement de la spécialisation de l’équipe.

9 C’est ainsi que les chercheurs de certaines disciplines des sciences expérimentales désignent leur plan de travail, dont l’équipement varie selon les types de manipulations (« manip ») qu’ils pratiquent. En sciences humaines, l’équivalent serait la table de bureau et l’ordinateur – lorsque les moyens en locaux le permettent.

10 AN, versement 20080487/1, chemise blanche « Contrats quadriennaux 1997-2001. Province ».

11 Pour une présentation détaillée de ce critère d’évaluation, voir notamment l’annexe 6, « Le référentiel de l’AERES : “Organisation et vie de l’entité de recherche” ».

12 D’autres indicateurs sont prévus par l’AERES, tel que le facteur d’impact des revues dans lesquelles publient les membres du laboratoire, par exemple, mais ils ne sont pas renseignés dans toutes les disciplines, contrairement au « taux de publiants ».

13 Les figures et les tableaux ont été construits à partir d’informations contenues dans les rapports AERES, qui sont des documents publics.

14 Ce résultat n’est pas distinctif des sciences humaines et sociales. Stephen Cole et Jonathan R. Cole (1967) avaient montré dans le domaine de la physique que le volume des publications d’un scientifique n’était pas corrélé avec le prestige et la reconnaissance que lui confèrent ses pairs. Plus précisément, ils montraient, à l’époque de leur enquête, que le nombre de publications est considéré comme un argument pour promouvoir des physiciens dans les départements les moins renommés, tandis que le système de récompense en vigueur dans les départements les plus côtés et prestigieux valorise plutôt la qualité du travail.

15 Proposition pour l’interprétation de l’échelle de notation multicritères, Rapport d’activité AERES 2009, publié en octobre 2010, p. 97.

16 Les actes de colloques ne figuraient ainsi pas dans la liste, bien qu’ils constituent une importante part de la publication académique dans plusieurs disciplines des SHS.

17 Fait remarquable, même lorsque les comités sont pluridisciplinaires, les cultures disciplinaires priment dans le jugement : l’auteure et ses collègues montrent notamment que les évaluateurs tendent à pondérer leur expertise en fonction des normes et des conventions des disciplines auxquelles se rattachent les projets qui leur sont soumis, afin de produire un jugement équitable (Mallard, Lamont et Guetzkow, 2009).

18 Cette classification s’appuie sur les termes que les présidents utilisent eux-mêmes pour présenter leurs recherches, dans leurs curricula. Ces dénominations sont certes réductrices, mais servent ici d’indices approximatifs de la diversité des courants et des approches de la discipline.

19 On aurait pu observer la spécialité de chacun des membres des comités, mais dans la mesure où, selon les textes de l’AERES, c’est au président qu’incombe la responsabilité de rédiger le rapport, ou a minima d’organiser son écriture collective, sa critériologie est la plus susceptible d’être mise en avant dans les rapports.

20 Pierre Bourdieu prenait pour mesure centrale du prestige alloué aux disciplines celle du taux de normaliens parmi les professeurs des universités. L’on peut également situer les disciplines en fonction de l’ancienneté de leur institutionnalisation à l’Université. La géographie apparaît ainsi comme une discipline académique relativement jeune (fin du xixe siècle). Des statistiques sur le recrutement social spécifique à ces deux disciplines seraient intéressantes à comparer, mais les indicateurs disponibles sont généralement agrégés pour l’ensemble des sciences humaines et sociales.

21 Le CNÉ, chargé d’évaluer les universités avant la mise en place de l’AERES, était majoritairement composé de membres de la profession académique. Ceux-ci lançaient ponctuellement des groupes de réflexion sur divers objets, dont l’enquête citée constitue un exemple.

22 Bulletin du Comité national d’évaluation, no 9, mai 1989, p. 3. En ligne : [https://www.cne-evaluation.fr/WCNE_pdf/Bulletin09.pdf].

23 Termes soulignés dans le texte d’origine.

24 AN, 20080020/255, chemise verte « Archivage : évaluation de la géographie.

25 Il s’agit d’une institution centrale de la recherche scientifique dans la discipline. Elle représente la communauté des géographes français auprès de l’instance internationale de la discipline.

Table des illustrations

Titre Illustration 2. Fiche d’expertise ministérielle dans les années 2000
URL http://books.openedition.org/enseditions/docannexe/image/17660/img-1.jpg
Fichier image/jpeg, 500k
Titre Graphique 3. Distribution des notes obtenues en fonction des taux de publiants
Légende Exemple de lecture : Trois des laboratoires qui ont obtenu A+ au critère « production académique » ont un taux de publiants compris entre 45 et 79 %.
URL http://books.openedition.org/enseditions/docannexe/image/17660/img-2.jpg
Fichier image/jpeg, 79k
Titre Graphique 4. La valorisation de l’« international » en géographie
URL http://books.openedition.org/enseditions/docannexe/image/17660/img-3.jpg
Fichier image/jpeg, 119k

Le texte et les autres éléments (illustrations, fichiers annexes importés) sont sous Licence OpenEdition Books, sauf mention contraire.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search