Des dérives de la bibliométrie à l’économie de l’attention
p. 127-135
Texte intégral
1Les relations entre l’évaluation scientifique, la bibliométrie et l’édition dépendent d’un grand nombre d’évolutions difficiles à démêler, notamment de la menace perçue – mais aussi réelle – qui pèse sur le domaine des sciences humaines et sociales, des transformations des modes de communication en général et scientifique en particulier, des mutations des systèmes d’enseignement supérieur et de recherche dans le monde. Par ailleurs, nos disciplines ont souvent quelques difficultés à s’imposer l’exigence de réflexivité qu’elles réclament pour les autres. Aussi avons-nous du mal à objectiver nos usages en matière d’évaluation et d’édition ou, plutôt, à tenir compte dans notre pratique des travaux qui nous objectivent. Cette tendance se traduit par l’absence de données claires sur le nombre de revues en sciences humaines et sociales ou de publications réellement produites, voire par l’absence de prise en compte de ces informations quand elles existent1.
Les formes de l’évaluation scientifique
2Rappelons, pour commencer, quelques évidences. Tenir un discours général sur l’évaluation est difficile parce qu’au-delà d’une définition toujours problématique – la caractérisant, par exemple, comme un processus de construction d’un jugement sur la valeur d’une production scientifique –, elle se joue dans des situations multiples et variables. On ne procède pas de la même manière lorsque l’on évalue un chercheur – pour un recrutement ou une promotion –, une unité de recherche, un manuscrit ou un projet. La démarche diffère aussi en fonction de la finalité. Par exemple, juger un ouvrage dans un compte-rendu ou dans le cadre de l’attribution d’un prix relève de logiques et de pratiques diverses. Le statut des évaluateurs peut également entrer en jeu : l’évaluation d’un projet par les pairs d’une même discipline ou par ceux d’autres domaines diffère nécessairement. Enfin, il n’est pas impossible que la variation soit aussi temporelle. Quiconque a assisté à un comité de sélection a pu constater la tentation qui consiste à changer les règles en cours de jeu.
3Même si les situations fluctuent fortement, les évaluations peuvent s’influencer les unes les autres et produire des effets cumulatifs. Le classement des revues en économie et en gestion par la section 37 du Comité national de la recherche scientifique, dont les prémisses remontent à 2001, est utilisé lors de l’évaluation des chercheurs et a des répercussions sur les choix de projets de recherche, voire sur la rémunération2. En 2012, l’ESC Toulouse, aujourd’hui Toulouse Business School, versait à ses membres une prime variant de 2 972 € à 11 890 € pour chaque article publié selon ce classement3. Dans ce cas, il existe un alignement entre l’évaluation des revues par une section du CNRS et celle des chercheurs par des écoles de commerce qui développent leurs activités de recherche. Malgré leur variété, les situations d’évaluation ne sont donc jamais indépendantes les unes des autres et elles participent d’une économie de la science où, bien souvent, l’on ne prête qu’aux riches.
4Le cas de la gestion est intéressant parce qu’il permet d’appréhender les effets secondaires de l’évaluation au sein d’établissements ou de communautés où celle-ci est fortement normée. Les juristes qui enseignent dans des écoles de commerce ont parfois du mal à faire valoir la logique d’évaluation de leur propre discipline. Cette difficulté liée à l’interdisciplinarité ne doit pas être considérée comme un problème accessoire. Non seulement les politiques de recherche incitent les chercheurs à adopter des approches interdisciplinaires, voire intersectorielles, mais encore le problème de cohérence des différents horizons d’attente disciplinaires se pose dans les établissements pluridisciplinaires qui se développent en France, dans le cadre de la reconfiguration de la carte de l’enseignement supérieur et de la recherche. Les instances d’évaluation qui sont, de fait, pluridisciplinaires sont confrontées à la nécessité de construire des cadres d’évaluation communs, ce qui n’est pas toujours simple.
Des temporalités multiples
5La prise en compte des temporalités multiples pose également question : les parties prenantes de l’évaluation ont parfois du mal à considérer sa longue durée. Dans un ouvrage récent, l’historien des sciences Alex Csiszar rappelle ainsi que le Catalogue of Scientific Papers préparé par la Royal Society de Londres dans les années 1860 heurta ceux qui voyaient d’un mauvais œil que fussent exclues certaines revues au nom d’une logique privilégiant les savants de métier aux dépens des savants amateurs4. À la fin du xixe siècle, l’inscription de certaines publications dans les bibliographies qui se développent alors est aussi un moyen de définir les limites de la communauté scientifique. Pour le dire autrement, la question du « périmètre de scientificité » n’est pas une chose nouvelle. L’intérêt de prendre en compte cette longue durée est d’éviter de considérer chaque crise comme une apocalypse indépassable.
6La dernière crise que la communauté française des sciences humaines et sociales a vécue sur le terrain de l’évaluation des publications date d’une dizaine d’années, lorsque l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES, aujourd’hui HCÉRES) décida de publier un classement des revues du secteur. S’il n’est pas nécessaire de revenir longuement sur un moment qui a été abondamment documenté, on peut toutefois en souligner quelques caractéristiques saillantes5. Premièrement, l’initiative de l’AERES reposait sur un travail antérieur mené par différentes instances comme l’European Science Foundation ou certaines sections du CONRS. Les listes de l’AERES reposaient donc sur des classements préexistants qui servaient d’outils de décision dans le cadre de politiques de soutien aux revues dans le domaine des sciences humaines et sociales. Deuxièmement, ces politiques s’avéraient couplées à une volonté de rationalisation d’une offre de revues jugée pléthorique. Plusieurs rapports présentaient celles-ci comme « d’obscurs objets de plaisir » ou comme le « cadeau » qu’une communauté complaisante pouvait se faire à elle-même6. Sans doute les auteurs de ces audacieuses métaphores n’avaient-ils pas conscience de toute la lourdeur que représente l’animation d’une revue. Ils posaient cependant le problème de la définition de ce que devait être une revue scientifique du point de vue des communautés concernées ou des organismes de financement.
7Troisièmement, les listes de l’AERES furent publiées dans un contexte de réformes structurelles de l’enseignement supérieur et de la recherche, toujours en cours. Il était alors difficile de ne pas anticiper la possibilité d’un alignement des dispositifs : le classement des revues aurait pu peser sur l’évaluation des enseignants-chercheurs, voire sur leur exclusion des communautés de recherche, à un moment où se discutaient âprement les évolutions du statut des universitaires. Même sans vouloir prêter des arrière-pensées aux dirigeants de l’AERES, il était impossible d’ignorer cet arrière-plan politique et les menaces qui pouvaient surgir. Quatrièmement, les classements produits par l’AERES devaient permettre de contourner le manque d’outils bibliométriques si caractéristique du domaine et de prendre en compte ses spécificités : l’importance de la recherche individuelle par rapport à la recherche collective, la singularité de celle-ci – dont témoigne le nombre d’ouvrages dits « collectifs » –, le poids du livre comme mode privilégié de communication, le primat des langues nationales par rapport à l’usage globalisé – et bien souvent appauvri – de l’anglais. Ces particularités n’ont pas aidé à intégrer les publications françaises en sciences humaines et sociales aux grandes bases de données bibliométriques existantes, d’autant que ces dernières accordent relativement peu de place à d’autres langues que l’anglais. Par ailleurs, les pratiques de citation et de lecture sont probablement différentes d’un secteur disciplinaire à l’autre. Toutes ces spécificités ayant conduit à une sous-représentation bibliométrique des SHS françaises, le classement des revues rendait possible une hiérarchisation entre les publications et, indirectement, entre leurs auteurs, à défaut de pouvoir tracer les articles et leurs citations.
8L’initiative de l’AERES échoua car les listes proposées étaient souvent faites de bric et de broc. Les collègues n’eurent pas grand mal à souligner les incohérences de ces classements qui étaient fondés sur un quantitativisme parfois naïf. Lorsque certaines unités de recherche se virent demander de faire remonter l’état des publications de leurs membres, assorti de statistiques tirées de Google Scholar, la contestation fut vive. Le compromis adopté par l’AERES fut de renoncer à un classement ordinal des revues pour lui préférer la simple définition d’un périmètre dit de « scientificité » permettant l’identification des revues considérées comme scientifiques dans chacune des disciplines concernées. Il était difficile de mettre en cause une telle approche, sauf à prendre le risque d’une remise en cause de la scientificité – au moins sur le plan institutionnel – des sciences humaines et sociales. L’échec de l’AERES ne fut donc pas complet, et ce d’autant moins qu’il existe toujours des listes discriminantes dans certaines disciplines. Cette situation est confortée par des changements de pratiques ultérieurs à la crise. L’étude des remontées du rapport Ribac au début des années 2010, malheureusement indisponible pour les années récentes, met en évidence une baisse des chapitres d’ouvrage au profit des articles7. En outre, dans certaines disciplines, les curriculum vitae peuvent comporter fréquemment des indications du classement des revues dans lesquelles l’auteur a publié. Le problème des temporalités revient donc : même si l’incendie semble éteint en surface, des braises sont toujours là pour le relancer.
Un foisonnement nécessaire
9Si le rapport de force et les priorités de l’agenda politique ont permis l’émergence du compromis évoqué, il n’est pas sûr que tous les arguments de la controverse aient été épuisés. Ainsi en va-t-il de la critique du foisonnement des revues sur lequel il n’est pas inutile de revenir en ayant à l’esprit quelques ordres de grandeur8. Le nombre d’enseignants-chercheurs dans le domaine des lettres, des sciences humaines, du droit, de l’économie et de la gestion représente environ 22 000 personnes. Celui des chercheurs des mêmes domaines dans des organismes de recherche s’élève à 2 000. Les doctorants inscrits dans des formations en sciences humaines et sociales avoisinent les 20 000 étudiants, tandis que le nombre de doctorats soutenus chaque année dans le même domaine tourne autour de 2 000. La communauté des chercheurs repose donc sur un noyau d’environ 25 000 personnes, qui double si l’on en a une vision plus extensive (ce qui se justifie étant donné l’importance des doctorants et des post-doctorants dans la vie de la recherche et dans la publication).
10En ce qui concerne les revues du domaine, l’estimation quantitative est elle aussi variable. Selon le Comité de suivi de l’édition scientifique qui s’appuie sur un rapport de 2020, on compterait plus de 1600 revues françaises de sciences humaine et sociales9. Il faut toutefois noter qu’en 2018-2019, le CNRS aidait 157 revues10. Par ailleurs, selon les données issues du rapport Ribac en 2011, sur les 1 762 chercheurs relevant de l’Institut national des sciences humaines et sociales, 1 400 avaient publié un article ou un chapitre de livre et 1 059 au moins un article11. Ces 2 220 articles émanaient de 1 328 revues dont la moitié n’était pas référencée dans les listes de l’AERES. En 2015-2016, les chercheurs et ingénieurs de l’INSHS avaient publié environ 2 350 articles12. Les 167 revues étudiées par le Comité de suivi de l'édition scientifique publient quant à elles 40 articles par an en moyenne.
11Tous ces chiffres permettent d’aboutir à une conclusion assez simple : dans un système où un chercheur publie en moyenne entre 1 et 1,4 article par an, le foisonnement des revues n’est pas un « obscur objet de plaisir » mais une réponse au publish or perish (publier ou mourir). Sachant que les 157 revues aidées financièrement par le CNRS ne pourraient pas prendre en charge la publication de tous les articles de la communauté, le foisonnement des revues n’est-il pas le prix à payer pour la taille de ce milieu ainsi que pour le caractère individualiste de l’auctorialité en sciences humaines et sociales et pour l’usage préférentiel du français ? On ne peut demander aux chercheurs de publier et ne pas leur donner les moyens de le faire.
Le cheval de Troie numérique
12Cette contradiction sous-jacente a sans doute permis de mettre un terme à l’accès de quantophrénie qui s’était manifesté à la fin des années 2000. Par ailleurs, les institutions d’évaluation adhèrent désormais à des principes qui mettent en valeur une approche plus qualitative et plus respectueuse des diversités disciplinaires, des principes contenus dans la « Déclaration de San Francisco » (2012) ou dans le « Manifeste de Leyde » (2015)13. On peut néanmoins se demander si les dérives de la bibliométrie ne risquent pas de prendre une forme plus insidieuse avec l’évolution de l’édition numérique et celle des réseaux sociaux. La diffusion d’informations directement disponibles sur internet est probablement en train de changer les pratiques de l’évaluation. Il n’est pas rare de voir des expertes ou des experts compléter la lecture des dossiers qui leur sont soumis par une enquête via des moteurs de recherche tels Isidore ou Google Scholar.
13Plus généralement, il est tout à fait frappant de remarquer que les différentes plateformes d’accès aux publications scientifiques en ligne – qu’il s’agisse d’archives ouvertes ou non – permettent une comptabilisation, voire une traçabilité des consultations ou des téléchargements. Il est également probable que des informations relatives au temps passé sur une page puissent être fournies. De ce fait, la citation, de plus en plus facilement repérable grâce à l’édition numérique, n’est plus le seul indicateur d’usage des publications. Cette situation explique le développement des métriques alternatives (altmetrics), qu’il s’agisse du signalement des articles via les réseaux sociaux ou de leur recommandation. Si la différence est grande entre la citation d’un article de revue scientifique dans un autre périodique et un simple retweet, il est fort probable cependant que toutes ces nouvelles métadonnées disponibles redéfiniront à terme les formes de l’évaluation de la publication, en risquant d’accroître la confusion entre la valeur scientifique et la notoriété médiatique.
14La notoriété participe d’une économie de l’attention savante que l’essor de la communication numérique reconfigure selon deux axes. Tout d’abord, l’extension de l’accès à des productions scientifiques jusque-là difficilement accessibles crée une situation de surabondance qui rend nécessaire un signalement des ressources pertinentes. Si des outils de veille y contribuent, ils ne sont pas toujours suffisants et nécessitent l’existence d’autres dispositifs capables de distinguer la valeur de ces productions en fonction de la réputation numérique de leurs auteurs. Or la visibilité de ces derniers sur les moteurs de recherche dépend d’un référencement construit selon une logique dont ils ne sont généralement pas maîtres. Ensuite, l’apparition de nouveaux médias numériques augmente la visibilité des chercheurs qui n’est pas nécessairement fondée sur des critères scientifiques. Si le jeu entre la sphère savante et la sphère médiatique et culturelle n’est pas nouveau et s’il participe de l’évaluation des différentes facettes de la production d’un auteur, le développement de nouveaux supports comme les podcasts, les vidéos sur YouTube, voire les fils sur Twitter contribue à redistribuer les rôles entre les auteurs et les éditeurs, entre l’évaluation savante et le jugement d’opinion. La présence dans les médias ne se fait pas forcément aux dépens de la qualité scientifique, tant s’en faut, mais elle pose néanmoins le problème de son effet sur les communautés savantes et sur la manière dont se construit le jugement entre pairs. À cet égard, la crainte des vertiges de l’évaluation quantitative peut sembler insuffisante, voire dérisoire, au regard des évolutions qui se dessinent.
Notes de bas de page
1 Dans son rapport d’étape de février 2019, le Comité de suivi de l’édition scientifique affirme ainsi : « Aucun travail statistique suivi n’a été réalisé permettant d’apprécier année après année l’évolution de ce secteur particulier de l’édition [des revues scientifiques] sur le moyen et long terme. », Comité de suivi de l’édition scientifique, 2019, p. 9.
2 Pontille et Torny, 2010a.
3 Blanchard, 2014.
4 Csiszar, 2018.
5 Galvez-Behar, 2011 ; Pontille et Torny, 2012.
6 Barluet, 2006, p. 8 ; Hombert, 2004, p. 1.
7 Dassa, 2012 et 2014, respectivement p. 3 et 3.
8 Ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation, 2018.
9 Idate Digiworld, 2020 p. 11.
10 Centre national de la recherche scientifique, 2018.
11 Dassa, 2013, p. 3.
12 Centre national de la recherche scientifique, 2017, p. 74 et 85. L’INSHS comptait 1 657 chercheurs et 520 ingénieurs et techniciens en 2017.
13 En décembre 2012, à l’occasion du congrès annuel de l’American Society for Cell Biology à San Francisco, plusieurs responsables et éditeurs de revues savantes définissent une série de recommandations remettant en cause l’usage du facteur d’impact dans l’évaluation : « Déclaration de San Francisco sur l’évaluation de la recherche », 2012. Dans la foulée de la conférence internationale sur les indicateurs de la science et de la technologie tenue à Leyde en septembre 2014, plusieurs spécialistes de scientométrie et de science politique publient un manifeste soulignant les limites de la bibliométrie en matière d’évaluation : Hicks et al., 2015.
Auteur
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Qu’est-ce qu’un philosophe français ?
La vie sociale des concepts (1880-1980)
Jean-Louis Fabiani
2010
La subjectivité journalistique
Onze leçons sur le rôle de l’individualité dans la production de l’information
Cyril Lemieux (dir.)
2010
La tentation du corps
Corporéité et sciences sociales
Dominique Memmi, Dominique Guillo et Olivier Martin (dir.)
2009
Faire des sciences sociales. Comparer
Olivier Remaud, Jean-Frédéric Schaub et Isabelle Thireau (dir.)
2012
Devenir chercheur
Écrire une thèse en sciences sociales
Moritz Hunsmann et Sébastien Kapp (dir.)
2013