La chaîne de l’évaluation des produits de la recherche
p. 137-147
Remerciements
Je remercie Emmanuelle Morlock pour sa relecture et ses suggestions.
Texte intégral
1La « fièvre de l’évaluation » qui touche les institutions de recherche et d’enseignement en sciences humaines et sociales depuis une vingtaine d’années a eu des conséquences importantes sur les processus, les indicateurs et les acteurs de l’évaluation bibliométrique1. Celle-ci n’est plus l’apanage des décideurs en stratégie scientifique (qu’il s’agisse de chercheurs ou d’administrateurs en position de pilotage) qui définissent et orientent les politiques de recherche. Tous les acteurs des sciences humaines et sociales sont, à un moment ou à un autre, impliqués dans l’évaluation bibliométrique. Cette pratique ancienne, qui constitue l’un des fondements de la validation scientifique, peut être définie comme cette « entreprise délicate, qui consiste à essayer de décrire, par des mesures indirectes, la production de connaissances et ses caractéristiques2 ». Pourtant, les perceptions de l’évaluation bibliométrique ne sont pas nécessairement identiques chez un chercheur (auteur de publications), un reviewer (expert d’un comité de lecture), un éditeur scientifique (responsable d’une revue ou d’un service éditorial), un évaluateur (membre d’une section du Conseil national des universités et de comités du HCÉRES) ou une personne chargée du pilotage d’une unité de recherche, alors que tous remplissent des fonctions complémentaires dans la chaîne de l’évaluation bibliométrique3. Il paraît donc indispensable de réfléchir à l’articulation entre l’écriture scientifique, l’expertise, l’édition, la définition des indicateurs et les usages de l’évaluation bibliométrique, en insistant sur l’importance de la collaboration entre tous les acteurs qui contribuent aux processus de l’évaluation scientifique en amont et en aval de la publication, ainsi que sur la nécessité d’un usage cohérent et ouvert de l’évaluation scientifique dont les conséquences sont de plus en plus importantes sur le financement de la recherche et sur la place des sciences humaines et sociales dans le paysage scientifique français.
2Le contexte historique dans lequel nous évoluons se traduit par une évolution sans précédent de la production, de la valorisation et de la communication scientifiques. L’enthousiasme suscité par les capacités infinies du numérique, par l’arrivée de nouveaux acteurs et par la mobilité accrue des chercheurs s’accompagne à juste titre, chez ces derniers, du désir de conserver la maîtrise des contenus scientifiques et de veiller à la légitimité des évaluateurs et à la publicité des critères. Cette préoccupation n’est pas seulement la réponse, d’une part, à l’industrialisation et à la marchandisation croissantes du monde académique et, d’autre part, à l’avènement sur internet du capitalisme cognitif et de la révolution informationnelle qui imposent des contraintes de rentabilité, de temporalité et d’expression parfois incompatibles avec les méthodes et le temps long de la recherche en sciences humaines et sociales4. Elle est avant tout un impératif scientifique lié aux conditions de financement des projets, à la formation à la recherche, à l’apprentissage des nouvelles technologies et à la perception des SHS par le grand public et par les autres acteurs de la recherche, qui imposent de nouvelles techniques d’exploration et des objectifs de diffusion inédits. Ces évolutions affectent à leur tour les pratiques scientifiques, notamment dans le sens d’une pluridisciplinarité et d’une interdisciplinarité croissantes qui sont désormais perçues comme l’une des conditions de la spécialisation disciplinaire. Pour répondre à ces nouveaux défis, il faut approfondir la réflexion sur les moyens de concilier les processus d’évaluation bibliométrique avec les pratiques scientifiques et éditoriales spécifiques des SHS. Il convient d’abord de ne pas réduire les produits de la recherche aux publications (monographies, articles de revue, éditions de sources, etc.). En effet, les résultats des sciences humaines et sociales prennent la forme d’une multitude de « produits » de la recherche (ouvrage, chapitre, article, catalogue, compte rendu, rapport, etc.) et des formes d’écriture (singulières, collectives, etc.).
La diversité des produits de la recherche
3Les réflexions collectives ont permis de dépasser la confrontation stérile entre ceux qui considéraient l’évaluation bibliométrique en sciences humaines et sociales uniquement comme un problème et ceux qui y voyaient la condition de la logique d’excellence. Ce débat est derrière nous depuis une dizaine d’années environ, comme le montre, du moins en France, l’abandon du classement ou de la cotation des revues en SHS, « à l’exception des listes Économie, Gestion, et sciences du sport STAPS qui ont maintenu jusqu’en 2016 des catégorisations propres pour distinguer la qualité des revues5 ». Aux faiblesses de ce dispositif maintes fois étudiées s’ajoute le fait que le code de la Recherche, qui regroupe l’ensemble des dispositifs législatifs français sur le secteur, ne prévoit ni d’attribuer une note à des périodiques, ni d’évaluer sur cette base les communautés de chercheurs qui y publient leurs travaux puisque seuls les personnels, les équipes, les programmes et les résultats peuvent être évalués (art. L114-3)6. Toutefois, le cas de la France est spécifique puisque ces classements existent toujours dans certains pays européens, par exemple en Italie avec celui établi par l’Agenzia nazionale di valutazione del sistema universitario e della ricerca, et à l’échelle européenne, avec l’index européen de référence pour les revues en sciences humaines et sociales (ERIH PLUS)7.
4Autre évolution notable, la plupart des acteurs des SHS s’accordent aujourd’hui à reconnaître les dangers d’une évaluation bibliométrique qui n’aurait pas conscience de ses limites : plusieurs études ont montré les discordances entre la classification des revues d’excellence et les facteurs d’impact par les citations, et chaque chercheur, dans de nombreuses disciplines, peut constater la grande variabilité de son indice bibliométrique (son h-index) dans les bases de données8. Cette fluctuation est due à une multitude de facteurs, comme la présence d’homonymes, les affiliations multiples d’un même auteur, les autocitations, la prise en compte ou non de types de productions différentes, la publication dans d’autres langues que l’anglais ou encore le genre de la revue puisque celles qui publient des articles de synthèse sont les plus citées. Tout le monde reconnaît donc aujourd’hui que la bibliométrie met en œuvre des techniques réductionnistes et qu’il faut se livrer à un nettoyage important avant d’utiliser les bases de données pour une évaluation9. Cette prise de conscience a encouragé des évolutions positives, comme la prise en compte de la diversité des produits de la recherche par les instances d’évaluation en SHS qui reconnaissent que le livre n’est pas l’unique alternative aux périodiques : depuis 2014, l’AERES puis le HCÉRES prennent en considération l’ensemble des produits de la recherche et des faits observables, comme les rapports de fouilles, les rapports scientifiques et techniques, les atlas, les catalogues d’exposition, les corpus, les glossaires, les éditions critiques10…
5Cette évolution permet de valoriser des pans entiers de la production scientifique, comme les archives archéologiques (l’analyse des unités stratigraphiques, la description du mobilier, les carnets de fouilles, etc.). Actuellement, des entreprises de dématérialisation de ces données sont destinées à favoriser leur exploitation scientifique et leur diffusion en open access. Citons les exemples des projets SalamiNe (archives primaires de la fouille de Salamine de Chypre, 1964-1974) et E-stampages (collections d’estampages grecs de l’École française d’Athènes et du laboratoire HiSoMA) qui ont débouché sur l’ouverture de portails11. Les archives produites au cours de la fouille de Kition-Pervolia (2012-2014), presque toutes nativement numériques, sont également mises à disposition en accès libre et consultables de manière indépendante, à la fois sur le portail et à partir de la publication papier Kition-Bamboula VII parue en 2018 (par l’intermédiaire de QR Codes) et dans l’ouvrage numérique diffusé en 2019 sur OpenEdition (par l’intermédiaire de liens)12. Ces projets de valorisation et de mise à disposition de sources en libre accès sont au cœur de projets éditoriaux et scientifiques puisqu’ils permettent de développer des bonnes pratiques dans le domaine de l’enregistrement de terrain. Il s’agit d’un nouveau type de production soumis aux différentes étapes de l’évaluation éditoriale et non de mise à disposition d’archives brutes. Bien que les bases de données bibliométriques ne puissent pas prendre en compte ces produits de la recherche, ils sont aujourd’hui évalués par le HCÉRES dans son « annexe 4 », même s’ils ne peuvent pas être cités dans la liste des 20 % de produits les plus significatifs des laboratoires13. La prise en considération de la diversité des produits de la recherche est perçue favorablement par les scientifiques qui, par conséquent, leur accordent une plus grande attention. L’évolution des pratiques de l’évaluation bibliométrique exerce ainsi une réelle influence sur les méthodes scientifiques en sciences humaines et sociales.
Ce que l’évaluation fait à la recherche en SHS
6La bibliométrie, sous toutes ses formes, n’a donné lieu à aucune motion de la CP-CNU, l’assemblée des bureaux de section du CNU. Les réactions sont plus contrastées dans les différentes sections de l’institution. Dans la plupart d’entre elles, l’évaluation des enseignants-chercheurs ne prend plus en compte les classements des revues établies. Les travaux sont examinés suivant les catégories proposées par le HCÉRES : ouvrages scientifiques ; directions d’ouvrages et de revues ; articles ; congrès ; publications de vulgarisation ; productions artistiques théorisées ; outils de recherche ; autres productions ; thèses de doctorat. Parmi les tendances actuelles repérables chez les candidats à la qualification aux fonctions de maître de conférences ou de professeur des universités, il faut signaler une publication massive dans les actes de colloques et les mélanges. Cette évolution est doublement problématique, d’une part, parce qu’elle multiplie les publications d’articles dans des ouvrages collectifs parfois dépourvus de comités de lecture et, d’autre part, parce qu’elle prive les revues d’articles de qualité. La question des actes est d’autant plus épineuse qu’elle se heurte à la logique sociale du fonctionnement et du financement de la recherche qui favorise l’organisation de colloques. Si les critères de la qualification encouragent la publication d’articles dans des revues internationales ou nationales avec comité de lecture répertoriées (ACL), la notion même d’ACL tend à devenir très floue puisque les dossiers transmis au CNU étiquettent ainsi des articles qui ne relèvent pas toujours de cette catégorie. Enfin, bien que les sections du CNU soient a priori très rétives à l’évaluation quantitative, il faut reconnaître que leurs membres en viennent souvent (faute de temps et même de support technique) à compter purement et simplement le nombre de publications. La pratique de l’évaluation n’exclut donc pas totalement la bibliométrie sauvage qui représente la solution de facilité et qui conduit à compter les articles en mettant sur le même plan, en raison de la fatigue et de présentations biaisées, des ACL et des articles publiés sur des supports qui échappent à toute forme d’évaluation.
7L’une des réponses à ce problème consiste à mettre à disposition des contenus et à rendre visibles les informations, par exemple dans le pavé citationnel de l’archive ouverte française HAL, en ajoutant les documents et les métadonnées correspondants. De fait, les chercheurs et enseignants-chercheurs sont de plus en plus incités à utiliser HAL pour constituer les bibliographies de leurs projets de recherche (par exemple pour les projets financés par l’Agence nationale de la recherche) ou de leurs rapports d’activité (pour le Ribac du CNRS ou l’annexe « produits de la recherche » des dossiers d’autoévaluation du HCÉRES) mais aussi pour déposer les contenus de leurs publications sur la plateforme, où les laboratoires peuvent constituer des « collections » qui regroupent les travaux de leurs membres14. À titre d’exemple, la collection HAL de l’unité mixte de recherche HiSoMA comptait en juin 2019 un total de 1 574 dépôts dont 262 comportaient le texte intégral (en PDF) correspondant à 16 % de l’ensemble. Au terme du quinquennal 2021-2025, l’objectif global est d’atteindre 75 % de texte intégral pour les articles et les communications et 20 % à 30 % pour les ouvrages.
8Cette politique incitative se heurte néanmoins à plusieurs difficultés. Tout d’abord, il ne faut pas oublier que les archives ouvertes reposent sur le principe de la liberté académique, de l’autodéclaration et du contrôle du chercheur sur sa production, le dépôt étant conçu à l’origine comme une initiative libre15 ; ensuite, les chercheurs ne voient pas toujours l’utilité de déposer sur HAL des publications qui sont déjà accessibles sur Persée, OpenEdition, Revues.org, etc. Par ailleurs, certains types de publications essentiels en SHS (par exemple le compte-rendu d’ouvrage ou la note de lecture, la notice d’encyclopédie ou de dictionnaire, la traduction ou encore le billet de blog) ne peuvent pas être représentés dans HAL d’une manière exploitable. Actuellement, ils sont relégués dans la catégorie anonyme et fourre-tout « autres publications ». Le détail des métadonnées ne pouvant pas être saisi de manière structurée, l’information est inutilisable pour la recherche ou la constitution de bibliographies, c’est pourquoi ces types de documents sont parfois travestis en article de revue pour obtenir un format de citation qui fasse apparaître les informations nécessaires. Pour développer le rôle et l’utilisation de HAL-SHS, il est donc indispensable que cette archive ouverte puisse rendre visibles ces informations dans son pavé citationnel, et ce dès le premier niveau de catégorisation.
9Cette évolution doit accompagner l’incitation croissante à l’accès ouvert aux publications et aux données de la recherche ainsi qu’à la fouille de textes et de données (text and data mining), à la faveur de la loi pour une République numérique (2016) qui contribue ainsi à faire évoluer les méthodes, l’écriture et l’organisation de l’exposé scientifique. Les publications en open access constituent désormais des supports essentiels à la diffusion des résultats de la recherche et une réponse à la serial pricing crisis (la crise du prix des périodiques) déplorée depuis une vingtaine d’années16. Un gros travail reste néanmoins à faire pour convaincre les partenaires récalcitrants, notamment les éditeurs commerciaux, ainsi que pour former, d’une part, les lecteurs aux outils bibliométriques d’extraction des données et, d’autre part, les auteurs, les comités éditoriaux et les responsables scientifiques des revues aux formats et aux normes de l’édition scientifique en accès ouvert17. La création des « pépinières de revues scientifiques » va dans ce sens : leur portail permet aux revues de disposer d’une diffusion numérique et d’un accompagnement de proximité pour favoriser la maîtrise de nouvelles exigences éditoriales18. Cette initiative favorise également la mise à disposition et l’exploitation ouvertes des données et constitue à cet égard une avancée considérable, à condition toutefois de s’inscrire dans la politique scientifique globale des laboratoires pour ne pas se développer au détriment d’autres instruments essentiels de la recherche ou de la formation à celle-ci19. Une enquête récente de l’Association des directeurs et personnels de direction des bibliothèques universitaires et de la documentation révèle par exemple que l’augmentation des dépenses en ressources électroniques pour les laboratoires (450 % entre 2002 et 2014) s’est accompagnée d’un « appauvrissement des fonds documentaires à destination principalement des étudiants » et d’une chute du budget pour la publication des monographies (25 % entre 2011 et 2014)20.
10Pour conclure ce rapide tour d’horizon, il faudrait s’interroger sur la place de l’Université dans ces débats, c’est-à-dire sur les moyens investis et sur la façon dont les tutelles se chargent ou se déchargent de la fonction évaluative. En effet, les instances universitaires (non pas les enseignants-chercheurs mais plutôt les conseils centraux comme les commissions de recherche des universités) semblent beaucoup moins investies sur cette question que le CNRS. Ce constat est d’autant plus surprenant que l’université a été touchée de plein fouet par la « fièvre de l’évaluation » et que la bibliométrie est devenue un champ de recherche et d’enseignement très éclairant sur le cadre juridique, technique, économique et social de l’évaluation et de la communication scientifiques21. Il nous semble également important d’attirer l’attention sur la diversité et la complémentarité des modes d’évaluation scientifique avant et après la publication : aux côtés du reviewer, de l’éditeur scientifique et de l’évaluateur, il faut reconnaître le rôle majeur des lecteurs, des citeurs et des commentateurs dans le processus de validation et de certification22. La collaboration entre ces différents acteurs est la condition de toute évaluation scientifique ouverte au sein d’une véritable communauté de partage. Elle permet d’assurer la transparence, la légitimité et l’utilité de la procédure d’évaluation, c’est-à-dire de produire des indicateurs bibliométriques utiles à l’analyse stratégique, de caractériser la diversité des productions scientifiques, d’inventer d’autres formes de lecture et d’évaluation, et de définir de nouvelles pratiques de visibilité et de reconnaissance dans le respect des exigences disciplinaires. Cette chaîne de validation, qui a fait ses preuves depuis longtemps, est la seule procédure capable de rassurer les chercheurs sur les usages de l’évaluation bibliométrique et de renforcer la place des sciences humaines et sociales dans le paysage scientifique national et international.
Notes de bas de page
1 L'expression « fièvre de l’évaluation » est tirée du no spécial « La fièvre de l’évaluation », Revue d’histoire moderne & contemporaine, vol. 55, no 4 bis, 2008.
2 Filliatreau, 2008, p 66.
3 Il ne faut pas non plus minimiser le rôle du bibliothécaire dans la chaîne d’évaluation. Étant donné que la bibliométrie a d’abord été utilisée comme un instrument de gestion des collections (face à la prolifération des titres et à l’augmentation du prix des abonnements), les personnels de l’infodoc-ist (information documentaire scientifique et technique) peuvent aussi développer des services de conseil et d’aide à la décision. En effet, il est important d’améliorer les perceptions et de fournir des outils concrets de positionnement qui, sans remettre en cause la neutralité des bibliothécaires, favorisent la mise en place de systèmes de contrôle de la validité de certaines utilisations de la bibliométrie.
4 Monnier et Vercellone, 2014.
5 Pontille et Torny, 2018, p. 15, n. 11.
6 Sur la faiblesse du dispositif, voir Brown, 2003 ; Pontille et Torny, 2010a et 2010b ; Bouyssou et Marchant, 2011.
7 Voir corist-shs.cnrs.fr/ErihPlus_2014 (consulté en juin 2020).
8 Par exemple Chatelain et Ralf, 2012. Le h-index, défini par le physicien Jorge Hirsch en 2005, est un indice destiné à quantifier la productivité scientifique et l’impact d’un chercheur en fonction du nombre de citations de ses publications.
9 Gingras, 2008 ; Adler, Ewing et Taylor, 2009.
10 En novembre 2019, le CNRS a contribué à élargir la typologie en incitant les comités d’évaluation à respecter ce principe : « Tous les types de production doivent pouvoir être des éléments de l’évaluation : en particulier, dans tous les cas où cela a un sens, les données sous-tendant la publication ainsi que le code source nécessaire à la production des résultats doivent pouvoir être fournis. Les “préprints” et autres documents de travail sont des productions acceptables pour l’évaluation. Il en va de même pour les “data papers” (articles de données). », Centre national de la recherche, 2019c, p. 12.
11 Voir chypre.mom.fr et www.e-stampages.eu (consultés en juin 2020) ; Fourrier et Desfarges, 2016.
12 Cannavò, Fourrier et Rabot, 2018.
13 HCÉRES, 2019b.
14 Voir à nouveau Centre national de la recherche, 2019, p. 12 : « Toutes les productions citées dans les dossiers d’évaluation doivent être accessibles dans HAL ou éventuellement dans une autre archive ouverte : il s’agit bien des productions elles-mêmes et non de leurs références. Il est normalement inutile de les fournir dans le dossier : le lien actif vers l’archive doit suffire. »
15 L’obligation croissante du dépôt dans HAL ou l’alimentation automatique de HAL par des éditeurs en open access font évoluer cette pratique.
16 L’expression serial pricing crisis désigne l’augmentation vertigineuse des prix des abonnements des périodiques par certains éditeurs qui profitent de leur situation de monopole dans le processus de diffusion de l’information scientifique. Sur ce problème, voir notamment Saunders, 1998 et Guédon, 2001.
17 Bordignon, 2018.
18 Citons l’exemple de la pépinière mise en œuvre par l’université Lyon-3 en 2016, qui est devenue une pépinière officielle d’OpenEdition en 2018 et un membre fondateur du réseau Repères.
19 L’open access n’est pas la seule garantie de la qualité scientifique. Les plateformes textuelles et les outils payants des éditeurs commerciaux peuvent aussi être très utiles aux scientifiques. Toutefois, dans ce cas, il faut rester vigilant car l’ambition des plateformes privées est de créer des rentes en proposant ce qu’on appelle des « usages captifs », notamment dans l’utilisation des DTM (data and text mining). Pour éviter ce risque, le développement des publications en open access au sein des laboratoires doit permettre aux chercheurs de garder la maîtrise des contenus et l’accessibilité des données de la recherche.
20 Association des directeurs et personnels de direction des bibliothèques universitaires et de la documentation, 2014.
21 Mérindol, 2008.
22 Torny, 2016.
Auteur
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Qu’est-ce qu’un philosophe français ?
La vie sociale des concepts (1880-1980)
Jean-Louis Fabiani
2010
La subjectivité journalistique
Onze leçons sur le rôle de l’individualité dans la production de l’information
Cyril Lemieux (dir.)
2010
La tentation du corps
Corporéité et sciences sociales
Dominique Memmi, Dominique Guillo et Olivier Martin (dir.)
2009
Faire des sciences sociales. Comparer
Olivier Remaud, Jean-Frédéric Schaub et Isabelle Thireau (dir.)
2012
Devenir chercheur
Écrire une thèse en sciences sociales
Moritz Hunsmann et Sébastien Kapp (dir.)
2013