Version classiqueVersion mobile

L’édition en sciences humaines et sociales

 | 
Étienne Anheim
, 
Livia Foraison

Publications et évaluation scientifique

L’évaluation des publications scientifiques à l’Agence nationale de la recherche

Lionel Obadia

Texte intégral

  • 1 Laillier et Topalov, 2017.

1Dans ce dispositif à la fois très spécifique et de plus en plus répandu qu’est l’évaluation standardisée de la science, l’Agence nationale de la recherche occupe une place importante et le traitement qui y est réservé aux publications scientifiques mérite un éclairage circonstancié. L’ANR, dont la réputation a souvent suscité la défiance quant à sa mission (de sélection) et à sa manière d’opérer, a été créée en 20051. Sa fondation s’inscrit dans un vaste mouvement d’institutionnalisation du financement de la recherche scientifique sur projet, qui s’est d’ailleurs traduit, quelques années auparavant et dans d’autres pays (Pays-Bas, Grande-Bretagne, Allemagne…), par la mise sur pied d’opérateurs nationaux similaires, dont la mission est de mettre en œuvre des dispositifs de sélection et de suivi de projets sur une base d’excellence scientifique. L’ANR gère, à la fin des années 2010, un flux annuel d’environ 7 000 à 9 000 projets déposés, dont un millier est déclaré inéligible. Parmi les dossiers éligibles, seul un autre millier est financé.

2Par son statut et sa fonction, l’ANR représente une caisse de résonance (et souvent d’enregistrement et d’application) de politiques scientifiques inspirées ou prescrites par des instances plus importantes, au niveau non seulement national mais également international. Dans ce contexte, et selon une règle de compétition qui est désormais la norme à quasiment tous les étages du financement de la recherche (publique), les productions scientifiques font l’objet d’une attention particulière d’un bout à l’autre de la chaîne d’évaluation, de la sélection au « bilan/impact », en passant par le suivi scientifique du projet financé. Les publications sont davantage considérées comme des « livrables » que comme des « œuvres » dans ce dispositif : elles sont en effet perçues comme des produits de la recherche dont la livraison est attendue et évaluée. Ces publications permettent également de mesurer, entre autres facteurs néanmoins, et sur des paramètres tout aussi qualitatifs que quantitatifs, la richesse intellectuelle d’une recherche, la capacité d’un chercheur à réaliser le projet proposé et à en diffuser le résultat, ainsi que, de plus en plus, les « impacts » de cette connaissance.

Quelques éléments de contexte

  • 2 Barats, Bouchard et Haakenstad (eds), 2018, p. 11.
  • 3 Gilles, 2016, p. 133 et 147.
  • 4 Karpik, 2012.
  • 5 Berry, 2009.
  • 6 Barats, Bouchard et Haakenstad (eds), 2018 ; Bureau, 2010.

3C’est un fait désormais bien établi qu’en lieu et place de la science s’est imposée une « culture » ou un « nouvel esprit »2 de l’évaluation dont le monde de la recherche et de l’enseignement supérieur ne cesse de se faire l'écho (via les classements, les comparaisons d’établissements ou d’équipes de recherche, les labels d’excellence, etc.). Cette situation s’exprime à travers une terminologie de la performance qui s’apparente à une incantation quasi-religieuse à s’y engouffrer, assortie d’une « magie des chiffres3 ». Les milieux universitaires n’ont pas manqué de critiquer cette sorte de détermination numérique qui conscrit les produits de la recherche, elle-même fer de lance d’une soumission de la science à des impératifs économiques, afin d’accroître l’efficacité de la recherche sur fonds publics4. Si ces mesures visent à stimuler la créativité scientifique en formulant des prescriptions et en exigeant une rentabilité, elles risquent toutefois de scléroser la recherche en la cadrant d’une façon excessive5. Il n’y a rien de très nouveau sur le principe, néanmoins : l’évaluation était déjà bien installée à maints endroits des sociétés modernes. Les dispositifs d’évaluation furent d’abord appliqués, à des fins de pilotage, au monde du travail puis à l’action publique, avant de s’étendre à la recherche scientifique pour les mêmes raisons, sans pour autant que soit levé le doute sur l’efficacité et la neutralité des instruments et des modalités de l’évaluation6.

  • 7 Gori et Del Volgo, 2009.
  • 8 Charle, 2008 ; Mérindol, 2008.

4En arrière-plan, évidemment, se donnent à voir les grandes lignes de force qui composent le monde des sciences, aux échelles nationale et mondiale, et l’extension toujours plus rapide d’un marché concurrentiel de la connaissance savante qui a accompagné la mise en œuvre de cette « fièvre de l’évaluation » et des métriques au cœur des débats actuels. Les critiques les plus virulents voient dans le facteur d’impact (impact factor) et dans la quantification tous azimuts de la production scientifique un dispositif (au sens foucaldien du terme) qui illustre l’émergence d’un nouveau modèle de chercheur, aligné sur un idéal néolibéral d’entrepreneur individuel dans un marché ouvert de la connaissance, une normalisation aliénante symptôme d’une société rationalisant à outrance la complexité du travail de la recherche7. Pourtant, même si l’organisation de la recherche en sciences humaines et sociales depuis un demi-siècle mérite bien un bilan critique, les acteurs (individuels et/ou collectifs) qui ont participé à l’installation des règles et des modalités d’évaluation dans le monde universitaire français ne sont pas toujours, tant s’en faut, de fervents défenseurs de l’idéologie néolibérale8.

  • 9 Gingras, 2015, p. 73.
  • 10 Gori et Del Volgo, 2009, p. 18.
  • 11 Gaudin, 2008.

5Dans tous les cas, bien des voix se sont élevées pour dénoncer certaines dérives de l’évaluation de la recherche, cette « corruption intellectuelle9 », qui détournerait l’évaluation au profit d’un classement et qui soumettrait les sciences à l’idéologie de l’expertise et de la gouvernance, dans un processus de « servitude volontaire10 ». Si cette salve de critiques est recevable sur le plan éthique (et même parfois formel), l’évaluation de la recherche mérite tout de même qu’on se penche un peu plus près sur son fonctionnement et sur ses effets concrets11.

Bibliométrie et métriques en pratique

6L’ANR est, par définition, au cœur des dispositifs d’évaluation par son rôle de financement sur projet, reposant sur une évaluation par les pairs (plusieurs milliers à distance et plusieurs centaines in situ chaque année). Le principe premier d’une expertise par des enseignants-chercheurs est le suivant : ils sont mobilisés en fonction de leurs compétences, du domaine et des objectifs des projets. Ces derniers sont avant tout des propositions de recherche qui prennent la forme d’un ou deux documents (un format qui varie selon le type d’appel à projets), qui sont rédigés en anglais ou en français (à la convenance des déposants) et qui contiennent les principes et les modalités de la recherche proposée. L’évaluation du projet repose sur un ensemble de critères fixes, relatifs à l’originalité, à la faisabilité, aux besoins financiers, à la correspondance du projet avec les lignes de la programmation nationale, etc. Un intérêt particulier est porté au chercheur ou à la chercheuse responsable du projet, dont la bibliographie doit mettre en valeur le potentiel scientifique. Selon les domaines toutefois, celle-ci peut être plutôt évaluée sur le fond ou sur le nombre, sur la renommée des supports, précalculée par des index, ou sur l’originalité du contenu.

  • 12 Le h-index est une mesure développée par Jorge Hirsch en 2005, qui permet de quantifier la product (...)

7Dans le mouvement de discussion autour du recours massif à la quantification pour l’évaluation des SHS, les critiques visant les métriques portaient tout autant sur leur instrumentalité (elles sont difficiles à calculer de manière objective) que sur les effets pervers de leur usage (avec l’instrumentalisation du facteur d’impact dans l’avancement des carrières, l’instauration de primes aux chercheurs affichant les plus forts taux de citation, le recrutement sur la base du h-index individuel, les stratégies d’inter-citation, etc.)12. Pour autant, les grandes instances d’évaluation, comme le HCÉRES, ou de mesure de la recherche, tel l’Observatoire des sciences et des techniques, ne les ont pas abandonnées. À l’ANR, la bibliométrie est particulièrement prise en compte pour la sélection des projets et, depuis 2017, dans le cadre des « mesures d’impact », au fil également des mutations du paysage de l’édition scientifique avec lesquelles elle doit composer.

  • 13 Landes, 2014, p. 71.
  • 14 Voir sfdora.org/read/fr (consulté en juin 2020).

8Organe au cœur de l’écosystème national et européen, voire mondial, de l’évaluation de la recherche, l’ANR est directement et rapidement tributaire des orientations de la politique scientifique nationale (comme la loi pour une République numérique de 2016) ou de celle émanant de la Commission européenne (en faveur par exemple du mouvement de l’open science, l’open data, l’open access et l’open edition). Ces orientations ont des répercussions sur l’édition scientifique et sur ses modèles économiques, en particulier les revues de SHS qui ne peuvent échapper aux transformations de la production et de la diffusion de la recherche, sous l’impulsion de politiques qui promeuvent une plus grande accessibilité de la science (et, partant, une plus grande efficacité du financement) et des « bénéfices sociaux » plus directs13. En matière de publication, les SHS ont toutefois réussi, jusqu’ici, à faire valoir une singularité qui les préserve (assez partiellement toutefois) des règles comme l’immédiateté de la publication, qui s’appliquent aux STM dans la récente et rapide mise en œuvre politique de l’open science. Elles peuvent aussi se réjouir d’un tournant qualitatif et de la relativisation du « tout métrique » depuis la « Déclaration de San Francisco sur l’évaluation de la recherche » en 2012, qui est désormais adoptée dans de très nombreux pays, dont la France et en particulier à l’ANR14.

Le traitement des « livrables »

9À l’ANR, l’évaluation des publications se fait en trois phases dans le processus d’accompagnement des projets : en amont, au cours de la recherche et en aval du financement. En amont, à travers l’examen détaillé du curriculum vitae, elle se focalise sur la capacité du chercheur ou de la chercheuse (individuellement ou en groupe) à réaliser une recherche satisfaisant aux critères de l’excellence telle qu’elle est définie par les instances publiques et administratives d’évaluation. Les produits diffusés sur des supports écrits, audio ou vidéo sont appréciés par les experts. Au cours de la recherche, les publications sont considérées comme l’expression de la capacité d’un collectif de chercheurs (dans le cas d’un projet de recherche collaborative ou PRC) ou d’un chercheur (dans le cas d’un financement « Jeune chercheur » ou JC) à produire des « livrables ». Tous les « livrables » ne sont pas de même nature : certains sont des rapports d’avancement, d’autres des articles de revues à comité de lecture. Ils ne sont pas traités de la même manière s’il s’agit d’un prérequis au lancement d’une recherche, du signe de son avancement ou de son aboutissement.

10En aval, les connaissances produites et diffusées (ou susceptibles de l’être) à l’achèvement du calendrier de réalisation des projets de recherche sont également expertisées à travers un bilan et valorisées grâce à des dispositifs toujours plus variés et sophistiqués (conférences in vivo, en ligne, textes, hypertextes, vidéos, films, pièces de théâtre, réseaux sociaux…). Le bilan est non seulement l’occasion d’un examen rétrospectif et qualitatif de chaque proposition, mais il s’inscrit aussi dans une activité plus large d’évaluation globale des projets et d’analyse d’impact qui mobilisent de nouveau des outils quantitatifs, en sus de l’examen de la qualité des « livrables ». À cette étape débute l’activité de bilan « ex-post » de l’ANR, qui remet les « livrables » dans un dispositif d’évaluation statistique, en particulier, depuis 2017, avec l’étude des retombées du financement de la recherche sur projet.

  • 15 Van Leeuwen, 2013.
  • 16 Kosmopoulos et Pumain, 2008.

11Pour évaluer cet impact, outre l’analyse de la base de données de l’ensemble des projets financés (plus de 20 000, depuis la fondation de l’Agence), l’ANR a mis notamment en œuvre un dispositif de recensement, dans les grandes bases documentaires (Web of Science, Scopus) avec l’aide de l’instrument InCites, des mentions de l’Agence contenues dans les formules de remerciement officielles, qui sont contractuellement attendues lorsqu’un projet est financé. Une difficulté perdure néanmoins : la problématique visibilité des SHS dans les bases de données utilisées pour les études d’impact15. De 2005 à 2019, plus de 121 000 références à l’ANR ont été mentionnées dans le WOS, qui représentent environ 10 % des productions françaises sur cette base. Le dispositif avance rapidement, sous l’impulsion de cadres et d’instances politiques nationales et internationales qui installent (ou « imposent ») ces nouvelles normes, notamment en matière d’open access et de mesures d’impact, deux dispositifs qui, dans leurs domaines respectifs, ne sont actuellement pas encore assez aboutis pour participer pleinement au rayonnement des SHS16.

  • 17 Bomsel, 2014.
  • 18 Charton, 2014 ; Jaffrin et Parisot, 2014 ; Dillaerts, 2014.

12En conclusion, les publications (audiovisuelles, textuelles ou hypertextuelles) sont au cœur du dispositif de financement de la recherche à l’ANR, de la sélection au bilan, en passant par le suivi des projets. L’institution est régulièrement questionnée sur son rôle dans les transformations rapides du paysage de la recherche qui affectent l’édition scientifique, sur la façon dont elle évalue les répercussions de l’open access sur des revues et des monographies dont le modèle économique a été mis à mal, en particulier dans le domaine des SHS17. Celles-ci défendent avec une véhémence souvent compréhensible leur singularité dans le secteur de l’édition scientifique et sont prudentes, voire dubitatives par rapport à une mutation globale de l’économie de la connaissance, aux injonctions à l’ouverture interdisciplinaires et à l’économie ouverte des données18. Organisme d’État au service des communautés de chercheurs, à leur écoute mais tributaire des politiques scientifiques aux échelles nationale et internationale, l’ANR s’est jusqu’ici efforcée, autant que son périmètre d’action le lui permettait, d’œuvrer en faveur d’une expertise rigoureuse des publications scientifiques et de leur valorisation dans un contexte de compétition internationale et d’ouverture rapide de l’économie de la connaissance. La reconnaissance du champ scientifique et éditorial des SHS reste toutefois un défi épineux à relever, tant les enjeux relatifs à ce domaine sont singuliers.

Notes

1 Laillier et Topalov, 2017.

2 Barats, Bouchard et Haakenstad (eds), 2018, p. 11.

3 Gilles, 2016, p. 133 et 147.

4 Karpik, 2012.

5 Berry, 2009.

6 Barats, Bouchard et Haakenstad (eds), 2018 ; Bureau, 2010.

7 Gori et Del Volgo, 2009.

8 Charle, 2008 ; Mérindol, 2008.

9 Gingras, 2015, p. 73.

10 Gori et Del Volgo, 2009, p. 18.

11 Gaudin, 2008.

12 Le h-index est une mesure développée par Jorge Hirsch en 2005, qui permet de quantifier la productivité scientifique et l’impact d’un chercheur en fonction du niveau de citation de ses publications. Sur cet indicateur et les critiques qu’on peut lui apporter, voir Filliatreau, 2008 ; Longo, 2009.

13 Landes, 2014, p. 71.

14 Voir sfdora.org/read/fr (consulté en juin 2020).

15 Van Leeuwen, 2013.

16 Kosmopoulos et Pumain, 2008.

17 Bomsel, 2014.

18 Charton, 2014 ; Jaffrin et Parisot, 2014 ; Dillaerts, 2014.

© Éditions de l’École des hautes études en sciences sociales, 2020

Conditions d’utilisation : http://www.openedition.org/6540

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search