Version classiqueVersion mobile

L’édition en sciences humaines et sociales

 | 
Étienne Anheim
, 
Livia Foraison

Publications et évaluation scientifique

Visibilité et évaluation des revues scientifiques

Françoise Gouzi

Texte intégral

1Cet article a pour ambition de proposer une approche multicritère et explicitement qualitative pour l’évaluation de la qualité scientifique des revues. Le système d’évaluation des articles scientifiques repose depuis des décennies sur la contribution scientifique et le support de publication, donc sur la revue dans laquelle ils sont publiés et donc de la revue dans laquelle il est publié. Si la citation (notamment en sciences des techniques et médicales) constitue également un indicateur bibliométrique central de l’évaluation a posteriori des articles scientifiques, aujourd’hui, le lecteur, qu’il fasse partie de la communauté des pairs ou qu’il soit un simple citoyen, prend de plus en plus part à l’évaluation des textes scientifiques par l’intermédiaire de nouvelles fonctionnalités techniques de commentaires associées à certaines plateformes de publication ou de diffusion.

Une alternative à la bibliométrie

2Il est intéressant de se pencher sur les systèmes d’information de revues scientifiques latino-américains qui sont précurseurs dans la mise en place de standards internationaux de qualité éditoriale crée comme une alternative au modèle anglophone dominant qui met, lui, l’accent sur le facteur d’impact des revues. SciELO par exemple, mis en place au Brésil en 1997 et décliné dans seize pays d’Amérique latine principalement, s’est développé dans l’idée d’accroître l’accès et la visibilité des revues de ces pays via les bases commerciales bibliométriques internationales (Web of Science, Scopus) afin de répondre aux injonctions des financeurs, en réussissant à négocier un « SciELO citation index », sous-index dans le WOS – ce qui révèle d’ailleurs une certaine ambiguïté du système1. Dans le même genre, les plateformes de revues Redalyc et Latindex (Mexique) servent depuis vingt ans les politiques scientifiques nationales des pays d’Amérique latine, d’Amérique centrale, d’Espagne et du Portugal, sur la base d’une liste de critères de qualité éditoriale2. Le Conseil supérieur de la recherche scientifique ou CSIC, l’équivalent espagnol du CNRS, utilise la plateforme mexicaine comme système de référence pour la qualification de ses revues scientifiques nationales. Celle-ci comprend 26 000 revues dans l’index principal (Directorio), 8 000 revues en ligne, 80 revues dans le répertoire « qualifiant » (Catálogo 2.0) et 8 000 revues dans le Catálogo 1.0. La plateforme renvoie vers un million d’articles en texte intégral et couvre vingt-deux pays et trois zones géographiques (Asie, Europe, Amérique du Nord). On peut enfin citer le DOAJ, mis en place dans les années 2000 par l’université de Lund en Suède, dont le système de référencement est construit autour de plus de cinquante critères de qualité éditoriale (proches de ceux de Latindex) auxquels les revues doivent se conformer pour y être indexées3. Le DOAJ contient 13 000 revues, renvoie vers quatre millions d’articles et couvre 130 pays.

  • 4 Voir https://doaj.org/bestpractice (consulté en juin 2020).
  • 5 Sur la « Budapest Open Access Initiative », voir Chan et al., 2002. Sur les autres temps forts à l (...)
  • 6 Sur l’utilisation du XML, Extensible Markup Language, dans l’édition scientifique, voir www.unicae (...)

3Ces deux derniers systèmes (Latindex et DOAJ) ont rejeté dès le départ le principe de classement ou d’évaluation des revues et ont préféré la notion d’analyse de la qualité éditoriale. Leur réussite repose sur une grille de critères transparents et stables dans le temps, qui ont su tenir compte des évolutions du numérique (attribution d’identifiants pérennes et uniques pour les articles, numérisation de l’antériorité des numéros d’une revue, technologie des plateformes d’édition, etc.). L’un comme l’autre ont ainsi augmenté ces dernières années leur critère de conformité pour les revues : Catálogo 2.0 en 2017 pour Latindex et le tampon vert, une sorte de label (DOAJ seal), en 2014 pour le DOAJ. Les spécificités de ces dispositifs sont la transparence, des principes de bonnes pratiques de publication4, le libre accès aux publications, leur caractère évolutif et collaboratif et le fait d’être largement approuvé et admis par les communautés scientifiques. Tous soutiennent l’open access, sont signataires de la « Budapest Open Access Initiative », de la « Déclaration de Berlin », de l’« Appel de Jussieu » et, pour certains, de la « Déclaration de San Francisco sur l’évaluation de la recherche »5 (Redalyc par exemple). En ce sens, ils s’opposent à la logique d’une évaluation purement bibliométrique. On peut remarquer également leur indépendance économique ; ce sont en général des infrastructures publiques (Universidad Nacional Autónoma de México pour Latindex) ou des associations internationales qui peuvent parfois dépendre de donations et du soutien des éditeurs (DOAJ). Toutes ces plateformes indexent des revues scientifiques universitaires évaluées par des pairs (avec comité de lecture). Elles ont su s’adapter aux évolutions rapides du web, en s’appuyant sur des standards structurés (comme le XML, un métalangage, ou le JATS, un format permettant de décrire la littérature scientifique en ligne, etc.) et sur des protocoles informatiques permettant de faciliter l’échange automatisé de contenus complexes entre des systèmes d’informations hétérogènes (le protocole OAI-PMH par exemple)6. Enfin, elles proposent une liste de critères de qualité éditoriale qui sont facilement vérifiables à la fois par les auteurs et les instances d’évaluation de la recherche.

Les différents critères de qualité éditoriale

  • 7 Voir doaj.org/application/new (consulté en juin 2020).
  • 8 le DOI, digital object identifier, est un mécanisme d’identification pérenne et unique de ressource (...)

4Les critères de qualité éditoriale des plateformes Latindex (38 éléments) et du DOAJ7 (55 éléments) peuvent être regroupés en cinq catégories auxquelles les revues doivent être conformes pour y être indexées. La première concerne les caractéristiques élémentaires, c’est-à-dire les informations relatives aux responsables éditoriaux, aux instructions aux auteurs, au titre de la revue, à l’ISSN imprimé et électronique, aux coordonnées de la rédaction, à la périodicité, à l’affiliation des auteurs et de l’équipe éditoriale, à l’accès aux anciens numéros, à la politique d’archivage numérique, etc. La deuxième a trait aux éléments de gestion éditoriale, c’est-à-dire les modes d’évaluation des articles, l’ouverture du comité éditorial, la présence d’auteurs extérieurs à l’entité éditrice, le respect de la périodicité, des règles éthiques (ensemble de valeurs et de règles qui garantissent l’honnêteté et la rigueur de la recherche), la détection du plagiat. La troisième concerne les éléments relatifs au contenu : les résumés et les mots-clefs dans la langue originale et dans une seconde langue, l’utilisation d’identifiants du type DOI pour les articles8, les formats des fichiers, les métadonnées structurées, etc. Les caractéristiques juridiques sont également primordiales et constituent le quatrième groupe de critères. Il s’agit là de fournir des précisions sur l’utilisation de licences libres (comme les licences Creative Commons), d’afficher la politique éditoriale et de fournir un modèle de contrat pour les auteurs, etc. Il faut enfin fournir des informations relatives à la visibilité de la revue (le référencement dans les systèmes d’information, le moissonnage par les moteurs de recherche, les services à valeur ajoutée, etc.).

5Latindex se base sur le site web de la publication et sur le numéro le plus récent de la revue qui doit avoir au moins deux ans d’ancienneté. Pour intégrer le Catálogo, il faut respecter obligatoirement et a minima sept critères : la présence de responsables éditoriaux, la régularité de la périodicité, l’identification des auteurs, l’existence d’une entité éditrice, des instructions pour les auteurs, un système d’évaluation, un ISSN, et au moins vingt-trois autres critères pour atteindre un minimum de trente, soit un taux de conformité proche de 80 %9. Le référencement d’une revue dans des systèmes d’information en fait partie et la plupart des équipes éditoriales y sont attachées car il détermine la visibilité de la revue sur le plan international. Il convient cependant de bien appréhender la typologie de ces systèmes et de connaître les spécificités de chacun. Il existe des bases de données commerciales à vocation bibliométrique comme Scopus ou Web of Science, d’autres bibliographiques et thématiques telles que MLA et PsycInfo, des catalogues de bibliothèques ou assimilés (Sudoc, WorldCat, British Library, etc.), des outils de découverte (index rassemblant des données qui proviennent de sources diverses : catalogue local, bases de données, archives ouvertes, bases de connaissance, etc., afin de permettre d’interroger en une fois un large éventail de ressources) et des moissonneurs (ISIDORE, OAlster, Google Scholar, etc.), ainsi que des classements institutionnels (des listes de revues classées par discipline, élaborées par l’AERES ou ERIH PLUS, et assez opaques quand elles sont encore mises à jour) et des systèmes nationaux ou internationaux compatibles avec l’open access (DOAJ, Latindex, Mir@bel, etc.).

Une forte incitation des tutelles

6Ces dispositifs sont aujourd’hui très utilisés en France, notamment dans le secteur des sciences humaines et sociales. OpenEdition, le portail de revues en sciences humaines et sociales, labellisé « infrastructure nationale de recherche » depuis 2016, s’appuie sur le DOAJ pour la qualification des revues d’OpenEdition Journals : 181 revues sur 515 y sont indexées10. Pour accompagner les revues dans cette démarche et leur permettre d’intégrer d’autres systèmes d’information, la plateforme française fait des recommandations aux porteurs de revues en leur conseillant de fournir des résumés plus longs et multilingues, des mots-clefs et des titres dans la langue originale et une seconde langue (l’anglais ou l’espagnol). Elle met également l’accent sur la nécessité d’un comité de rédaction international, d’une charte éditoriale qui détaille la procédure d’évaluation des articles, de consignes aux auteurs et sur la régularité de parution.

7De son côté, l’INSHS du CNRS, dans le cadre de sa politique de soutien aux revues, conditionne un soutien financier au respect de certaines bonnes pratiques éditoriales inspirées de Latindex, notamment la rigueur et la transparence des procédures d’évaluation, la qualité de la présentation et des contenus des revues, ainsi que celle de la diffusion numérique et, enfin, le caractère international de la publication : « Les revues n’ayant pas de diffusion numérique pour les années les plus récentes et les revues ayant une diffusion numérique entièrement payante ne peuvent être éligibles à l’aide de l’INSHS. […] La mise en place de la chaîne éditoriale XML-TEI, développée par le pôle Document numérique de la MRSH de Caen, avec l’appui du CNRS, est fortement soutenue et recommandée par l’INSHS pour l’ensemble des supports11. » Malgré une forte incitation institutionnelle à la mise en œuvre de ces dispositifs, en 2015, une enquête, menée par le Groupe Revues de l’université de Toulouse-Jean-Jaurès auprès de trente-deux revues éditées par les laboratoires ou par les Presses universitaires du Midi pour analyser leur conformité aux critères Latindex, a révélé un certain nombre de difficultés concernant les critères de gestion éditoriale (peu d’ouverture et de transparence) et de référencement (faible présence dans les systèmes d’information thématiques et en particulier dans les systèmes open access). Il est donc apparu clairement qu’il fallait former et informer davantage sur cette question du référencement dans les systèmes d’information12.

  • 13 Comité pour la science ouverte, 2019 ; HCÉRES, 2018a et 2018b.

8Les institutions en charge de l’évaluation de la recherche comme l’ANR et le HCÉRES, également signataires de la « Déclaration de San Francisco », ainsi que le Comité pour la science ouverte, qui a proposé une liste de critères d’exemplarité conditionnant le financement par le Fonds national pour la science ouverte, doivent être moteurs dans la mise en œuvre des nouvelles modalités d’évaluation des revues s’appuyant sur ces bonnes pratiques13. Ces initiatives peuvent de fait constituer une approche complémentaire de l’évaluation scientifique actuelle (principalement fondée sur une approche bibliométrique ou classificatoire), sans pour autant faire l’impasse sur l’évaluation des contenus.

9Parallèlement, les écoles doctorales et le réseau des URFIST peuvent agir au sein même des établissements et offrir des formations sur ces sujets aux jeunes chercheurs, aux enseignants-chercheurs et au personnel d’appui à la recherche (édition et documentation) qui sont amenés à contribuer à la production et à la diffusion de contenus scientifiques. Enfin, les réseaux professionnels autour de l’édition comme Médici (réseau interdisciplinaire et interorganismes des métiers de l’édition scientifique publique14) ou Repères (réseau national de pépinières de revues) sont également d’excellents moyens de faire évoluer les pratiques sur le terrain par la diffusion d’outils et de méthodes à l’intérieur des différentes communautés disciplinaires. Leur force tient également à leur capacité à faire dialoguer les acteurs mobilisés autour de l’édition : les enseignants-chercheurs responsables de revues, les éditeurs et les presses universitaires en particulier, les professionnels de l’édition et de la documentation, les plateformes de revues, les directions d’établissements ou de laboratoires, les instances d’évaluation, les juristes, etc.

Notes

1 Voir www.scielo.org, clarivate.com/webofsciencegroup/solutions/web-of-science et www.scopus.com/home.uri (consultés en juin 2020).

2 Voir www.redalyc.org/home.oa  et www.latindex.org (consultés en juin 2020).

3 Voir https://doaj.org (consulté en juin 2020).

4 Voir https://doaj.org/bestpractice (consulté en juin 2020).

5 Sur la « Budapest Open Access Initiative », voir Chan et al., 2002. Sur les autres temps forts à l’étranger du mouvement en faveur de l’open access, voir « Déclaration de Berlin sur le libre accès à la connaissance en sciences exactes, sciences de la vie, sciences humaines et sociales », 2003 ; « Déclaration de San Francisco sur l’évaluation de la recherche », 2012 ; Hicks et al., 2015 ; en France, voir Bauin et al., 2017.

6 Sur l’utilisation du XML, Extensible Markup Language, dans l’édition scientifique, voir www.unicaen.fr/recherche/mrsh/document_numerique/projets/metopes (consulté en juin 2020) ; sur le JATS, Journal Article Tag Suite, voir https://jats.nlm.nih.gov (consulté en juin 2020) ; sur le protocole OAI-PMH : Open Archives Initiative Protocol for Metadata Harvesting, voir www.hindawi.com/open-archives-initiative/?utm_source=google&utm_medium=cpc&utm_campaign (consulté en juin 2020).

7 Voir doaj.org/application/new (consulté en juin 2020).

8 le DOI, digital object identifier, est un mécanisme d’identification pérenne et unique de ressources en ligne.

9 Voir www.latindex.org/latindex/meto2 (consulté en juin 2020).

10 Voir www.openedition.org/6438 (consulté en juin 2020).

11 Voir www.inshs.cnrs.fr/fr/soutien-aux-revues et www.unicaen.fr/recherche/mrsh/document_numerique/projets/chaine_editoriale (consultés en juin 2020).

12 Voir www.univ-tlse2.fr/revues (consulté en juin 2020) ; Gouzi, 2016. Les résultats de l’enquête sont disponibles sur infogram.com/resultats_enquete_latindex_revues_ut2 (consulté en juin 2020).

13 Comité pour la science ouverte, 2019 ; HCÉRES, 2018a et 2018b.

14 Sur le réseau Médici, voir http://medici.in2p3.fr (consulté en juin 2020) et Barthonnat, dans le présent ouvrage ; sur le réseau Repères, voir Contat, 2019.

© Éditions de l’École des hautes études en sciences sociales, 2020

Conditions d’utilisation : http://www.openedition.org/6540

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search