Version classiqueVersion mobile

Big data et traçabilité numérique

 | 
Pierre-Michel Menger
, 
Simon Paye

II. Big data et configurations sociales en mouvement

Infrastructures de données bibliométriques et marché de l’évaluation scientifique

David Pontille et Didier Torny

Texte intégral

1Les infrastructures qui soutiennent l’évaluation quantitative des productions scientifiques génèrent un volume de données en forte augmentation depuis les années 2000. Cette masse d’informations n’est pas uniquement due à l’entrée en scène de différents producteurs de données et l’avènement de l’Internet à haut débit. Elle se caractérise aussi par une accessibilité grandissante qui accentue considérablement les formes de calculabilité : des données de diverses natures sont sujettes à de nombreux calculs secondaires, et associées à des formes de visualisation inédites. Alors que, jusque dans les années 1980, elles étaient réservées à de petits cercles de spécialistes ayant négocié l’accès à des données propriétaires, les analyses bibliométriques sont aujourd’hui disponibles et parfois gratuites pour des chercheurs ordinaires.

  • 1 Ce chapitre est une version remaniée de Pontille et Torny (2013).

2Pour autant, ces infrastructures demeurent difficilement saisissables si on les réduit à un épiphénomène des « big data ». Non seulement ce terme masque la concurrence particulièrement vive qui oppose actuellement différentes conceptions de l’excellence scientifique et du cercle des pairs, mais il amalgame également une multiplicité d’éléments qui sont agencés dans les technologies de calcul en plein essor depuis le milieu des années 1950. Faire un pas de côté vis-à-vis d’une telle approche englobante permet de saisir comment les opérations de dénombrement, d’indexation et de classement reposent sur un fin « travail d’infrastructure » (Bowker et Star, 1999) où innovations techniques, appariements industriels et décisions politiques sont intimement mêlées. Cette posture ouvre sur la grande hétérogénéité des infrastructures informationnelles dédiées à l’évaluation quantitative des productions scientifiques. Partant, nous prendrons soin ici de distinguer trois principaux composants1.

3Tout d’abord, les algorithmes sont des formules mathématiques, développées à partir des années 1940, sous la forme de simples dénombrements, de ratios entre deux quantités ou, parfois, de calculs algébriques plus élaborés. Ensuite, les jeux de données constituent des sources organisées de documents (bases de résumés, d’articles, de revues, d’ouvrages, d’auteurs, etc.) mis en séries et classés selon différents critères. Ils peuvent être construits expressément, à titre individuel ou collectif, pour les besoins d’une recherche, mais ils font aussi l’objet d’investissements lourds de la part d’organismes publics ou d’entreprises privées. Enfin, les outils bibliométriques associent de manière pérenne certains algorithmes à des jeux de données spécifiques. Ils reposent sur des combinaisons plus ou moins complexes entre formules et données, et leur degré d’ouverture est variable (accès aux résultats, aux données du calcul, protection intellectuelle des outils).

4Une telle distinction nous permettra de repérer différentes configurations qui sont définies par des agencements bien particuliers entre jeux de données, algorithmes et outils bibliométriques. Cette approche en termes de configurations s’avère pertinente pour caractériser l’évolution contemporaine des pratiques d’évaluation quantitative des productions scientifiques, et notamment l’émergence de technologies de calcul qui élargissent l’analyse auparavant limitée aux citations dans les articles de revues vers des mesures d’audience et d’attention.

5Nous commencerons par rappeler les principales conditions d’émergence, déjà largement documentées, d’une première configuration au milieu des années 1960, caractérisée par la position monopolistique d’un unique producteur de jeux de données, l’Institute for Scientific Information (ISI), proposant une palette d’outils bibliométriques. Nous examinerons ensuite une deuxième configuration qui se dessine au milieu des années 2000 avec la multiplication des acteurs proposant des technologies de calcul et renouvelant l’offre bibliométrique. Nous identifierons enfin des outils de mesure alternatifs qui jettent potentiellement les bases d’une troisième configuration, ouvrant considérablement l’horizon des formes d’évaluation des productions scientifiques.

1. L’Institute for Scientific Information : au centre de l’analyse des citations

6En 2009, le rédacteur en chef du Journal of Sleep Research commençait ainsi un éditorial, intitulé « The race for the impact factor », où il décrivait l’attente générée par la parution annuelle du Journal of Citation Reports (JCR) qui compile le facteur d’impact des revues :

  • 2 Sauf mention contraire, les citations sont traduites en français par les auteurs du chapitre [NdE]

Tous les ans, au mois de juin, les rédacteurs en chef et les éditeurs deviennent nerveux et agités, et même peut-être insomniaques, en attendant impatiemment le facteur d’impact de leur revue (IF) de l’année courante, calculé par Thomson Reuters (auparavant Thomson Scientific). Ces dernières années, l’IF a acquis une influence mythique sur le prestige des revues et des articles qu’elles publient, ce qui a conduit à une « course pour le facteur d’impact ». Les rédacteurs en chef ont essayé d’augmenter l’IF de leur revue autant qu’il est possible, et les auteurs ont essayé de publier leurs manuscrits dans des revues avec le plus haut IF possible2.(Lavie, 2009, p. 283)

  • 3 https://web.archive.org/web/20140917021216/http://thomsonreuters.com/journal-citation-reports/ (to (...)

7Dans l’ensemble des sciences biomédicales et dans une partie des sciences physiques et des sciences sociales, les commentaires sur les résultats du JCR sont devenus monnaie courante. Aujourd’hui vendu comme « un moyen systématique et objectif d’évaluer, de manière critique, les meilleures revues mondiales, à l’aide d’informations quantitatives, statistiques, fondées sur des données de citation3 », le JCR est pourtant le fruit d’une trajectoire faite d’incertitudes et d’infléchissements inattendus. Conçu dans une tradition des sciences de la documentation, il était initialement destiné aux bibliothécaires des universités américaines afin qu’ils disposent d’un moyen objectif de gestion des collections de périodiques et de sélection des revues à acheter et à conserver. Outil bibliométrique servant à repérer l’information pertinente dans la masse des publications disponibles, le JCR est rapidement devenu un instrument de recherches bibliométriques, ainsi qu’un ingrédient clé de certaines politiques d’évaluation des universités et des chercheurs. Trois usages très différents qui, contrairement aux récits dominants sur le sujet, étaient d’emblée considérés par son fondateur Eugene Garfield :

En poursuivant leur analyse, les bibliothécaires et chercheurs en information scientifique peuvent constituer des volumes d’articles fréquemment demandés. Cela semblerait stupide d’envoyer des volumes de revues qui ne seraient empruntés que pour un petit nombre d’articles […] Parallèlement, la même information pourrait être prudemment utilisée à des fins de sélection et d’évaluation (par exemple par les comités Nobel). J’ajouterais, cependant, que de nombreuses personnes sont intéressées par les index de citation, qui, évidemment, faciliteront l’évaluation d’articles clés. En effet, si j’en avais le temps, je démontrerais comment on peut utiliser les réseaux de citations afin de produire des études historiques et sociologiques extrêmement intéressantes. (Garfield et Sher, 1963, p. 200-201)

8Afin que de tels usages puissent se développer, d’autres éléments devaient être stabilisés avant même la première publication du JCR en 1975. Loin d’être un document isolé, le JCR fait en effet partie d’une ligne de produits développés par l’ISI. Parmi ceux-ci, des jeux de données ont rapidement acquis de l’importance, à l’instar des Current Contents qui consistaient en une édition papier hebdomadaire des sommaires de plusieurs centaines de revues quelques semaines avant leur parution. Et c’est en partie à l’aide des profits dégagés par cette publication payante que Garfield a pu financer, non sans difficultés, la production d’autres outils devenus célèbres : le Journal Impact Factor (JIF) et le Science Citation Index (SCI).

1.1. Des jeux de données multidisciplinaires

9Comme l’ont montré Archambault et Larivière (2009), le JIF, stabilisé en tant qu’algorithme en 1963, articule plusieurs techniques bibliométriques : le nombre total de citations élaboré par Gross et Gross (1927) afin de mesurer l’influence d’une revue au sein d’un domaine et de repérer ainsi un petit nombre de « revues centrales » dans la littérature scientifique (Bradford, 1934) ; l’usage d’un ratio, proposé par Raisig (1960), pour éliminer l’effet de structure engendré par le nombre total de citations d’une revue, fortement corrélé au nombre total d’articles qu’elle publie ; la période de référence de deux ans, définie par Martyn et Gilchrist (1968), pour calculer les citations reçues par une revue durant l’année suivante. L’agencement de ces caractéristiques donne au JIF son caractère novateur. Si la quantité de citations marque l’influence, c’est bien celle de la revue en tant qu’unité et non comme somme d’articles. Dans la perspective du JIF, la revue est l’entité dont on mesure l’impact, quels que soient les écarts entre les différents articles qui y sont publiés.

10De son côté, le jeu de données rassemblant les revues sélectionnées devait être élaboré de toutes pièces. Wouters (1999) a bien montré que l’ambition première de Garfield était de réaliser un index de citations sur le modèle du Shepard’s Citator, une base de données couvrant l’ensemble des décisions judiciaires américaines et permettant de savoir si une jurisprudence est encore valable. Le SCI n’a cependant vu le jour qu’avec l’appui motivé de plusieurs personnes-relais, notamment les généticiens Gordon Allen et Joshua Lederberg, auprès d’institutions scientifiques majeures telles que les National Institutes of Health et la National Science Foundation. Ces divers soutiens ont permis à Garfield de placer son projet au centre d’intenses débats sur la politique de la recherche et sur l’information scientifique au début des années 1960 aux États-Unis.

11Le SCI est paru en 1964 dans une version minimale, son élaboration nécessitant un travail manuel fastidieux d’examen des revues et d’enregistrement des citations. Sa grande originalité à l’époque résulte de cette construction systématique : couvrir un vaste ensemble de domaines scientifiques. En renonçant aux découpages disciplinaires, ce jeu de données permettait de signaler des références pertinentes en circulant dans des domaines parfois inattendus. Imaginé comme un outil sophistiqué d’exploration de la littérature scientifique, le SCI rencontrait également les préoccupations d’une « science de la science » prônée par de Solla Price (1963), qui trouvait ainsi des prolongements aussi bien en sociologie des sciences qu’en scientométrie.

12Dans une logique d’extension, suscitée par cet intérêt, l’ISI créait en 1972 un nouveau jeu de données, le Social Sciences Citation Index (SSCI). La liste des revues de sciences sociales incluses résulte d’une sélection à partir de trois sources : celles fortement citées dans le SCI, celles distinguées par la littérature en sciences de l’information et celles désignées par des chercheurs directement sollicités. Poursuivant son processus d’extension, l’ISI rendait public un autre jeu de données en 1978, Arts & Humanities Citation Index, qui a nécessité une adaptation de la nature des citations retenues aux spécificités de ces domaines. Ces différents jeux de données couvraient ainsi l’ensemble des disciplines à partir d’une sélection raisonnée, à l’aide du JIF, de revues supposément centrales à la suite du processus d’étalonnage. Autrement dit, l’élaboration de jeux de données multidisciplinaires n’était en aucun cas voué à accueillir l’ensemble des revues disponibles.

1.2. Le succès du Journal of Citation Reports

13L’apparition du JCR en 1975 a marqué un tournant. Cet outil bibliométrique regroupe, sur les jeux de données produits par l’ISI, les résultats de plusieurs algorithmes (nombre total de citations, JIF et « immediacy index »). Avec sa parution annuelle, il délivre ainsi des mesures régulières portant directement sur les revues.

14Cette nouvelle offre a donné lieu à des usages imprévus de la part de différents acteurs. Tout d’abord, les revues spécialisées dans les articles de synthèse (review articles), qui jusque-là étaient peu considérées, s’en sont emparées et ont publié des éditoriaux d’autosatisfaction pour souligner leur grande influence :

Une analyse récente […] de 50 revues de botanique a révélé que, pour le nombre d’articles cités, l’Annual Review of Phytopathology […] se classait seconde […], en dépit […] d’un taux d’autocitation extrêmement bas. Cela en dit beaucoup sur l’importance et le rôle des articles de synthèse. (Annual Review of Phytopathology, 1975)

15Ensuite, des chercheurs ont utilisé les résultats du JCR pour dessiner de nouvelles hiérarchies internes à leur discipline. Par rapport à des classements construits, au début des années 1970, sur les jugements agrégés des pairs (Pontille et Torny, 2010), ceux élaborés à partir du JIF recueillaient de nombreux soutiens, notamment pour dénoncer l’injustice de tel ou tel processus de recrutement (Fabbri, 1987 ; Aiuti et al., 1991). D’autres chercheurs faisaient un pas supplémentaire en modifiant leurs pratiques de publication et de citation afin d’être bien positionnés dans les hiérarchies inédites favorisées par cet outil bibliométrique.

16Enfin, cette nouvelle centralité du JCR est devenue visible à travers les critiques récurrentes concernant son pouvoir, dont une première version élaborée apparaît en 1993 sous la plume d’un éditeur de Science prenant l’exemple d’un directeur de laboratoire québécois qui « répartissait les ressources et promotions dans son laboratoire sur la base d’un système de notes dans lequel […] le nombre de citations pesait pour 40 % » (Taubes 1993, p. 885). Par la suite, des critiques ont pointé les lacunes engendrées par le centrage anglo-saxon des jeux de données (Hicks, 1999), ainsi que les limites découlant de leur fabrication et de leur privatisation (Weingart, 2005 ; Rossner et al., 2007).

  • 4 Ce succès a fait de l’ISI une entreprise rentable qui a été rachetée par le groupe Thomson Scienti (...)

17Le JCR s’installait progressivement au sein du monde académique. Ce mouvement s’est accéléré avec la mise en ligne des services proposés par l’ISI, notamment l’élaboration du Web of Science (WoS), un dispositif permettant d’interroger le JCR à partir de n’importe quelle bibliothèque universitaire possédant un abonnement. Au début des années 2000, l’ISI était donc en situation de quasi-monopole pour la production de jeux de données à destination d’outils bibliométriques4. Parmi la large gamme des produits proposés par l’ISI-WoS, ce sont les multiples usages du JCR, et de son algorithme JIF, qui ont favorisé leur quasi-exclusivité comme mesure de la qualité scientifique des revues et, par dérivation, des institutions et des chercheurs. Dans une telle configuration, l’évaluation des productions scientifiques se concentre presque exclusivement sur les articles publiés dans des revues centrales, c’est-à-dire celles indexées par l’ISI ayant un grand facteur d’impact. Elle dessine une autre économie du crédit scientifique dans laquelle la publication n’est plus uniquement destinée à produire des connaissances valides, mais à acquérir un important capital de citations. Et une telle perspective s’accompagne d’une conception particulière du cercle des pairs à même de juger de la qualité des travaux : relayant la définition confinée de l’expertise au cœur du processus d’évaluation dans les revues scientifiques, elle considère que les lecteurs sont nécessairement des auteurs citant d’autres textes (articles ou ouvrages) dans leurs propres articles.

18Toutefois, la position dominante de l’ISI-WoS a rapidement évolué au cours des années 2000 avec l’émergence d’autres producteurs de jeux de données, la percée d’algorithmes inédits et la diffusion d’outils bibliométriques alternatifs. Cette multiplication des entités se positionnant sur le marché de l’évaluation scientifique a déclenché le passage d’un monde monopolistique à une situation diversifiée. En d’autres termes, elle a engendré une toute nouvelle configuration.

2. La multiplication des producteurs de jeux de données

19Le monopole acquis par l’ISI était le résultat d’un lent travail d’accumulation monétaire, logistique et commerciale. Pendant de nombreuses années, Garfield a continuellement fait la promotion de ses outils auprès de financeurs, de bibliothécaires, d’universités et de revues. Simultanément, Garfield (1979) appelait régulièrement à l’utilisation de tout jeu de données à des fins de production de connaissances. D’autres entrepreneurs ont tenté de faire exister leurs propres technologies de calcul, à l’instar de Francis Narin (Narin, 1976) qui a fondé Computer Horizons Inc. en 1968, afin de produire une bibliométrie explicitement évaluative, en partie financée par la National Science Foundation. C’est toutefois au début des années 2000 que deux véritables concurrents à l’ISI ont émergé : l’éditeur scientifique néerlandais Elsevier, et le géant du Web américain Google.

2.1. Scopus

20Fondée en 1880 à Rotterdam, Elsevier est une maison d’édition scientifique qui a acquis à la fin du xxe siècle, par le biais de rachats successifs, une position importante dans le domaine biomédical. En 2001, l’entreprise a créé Scirus, un moteur de recherche spécialisé dans les contenus scientifiques qui permettait, via un accès web, de faire des requêtes en texte intégral sur les articles publiés par Elsevier et par d’autres éditeurs commerciaux. Tout chercheur pouvait donc utiliser Scirus à des fins d’exploration bibliographique, sans abonnement payant. La devise de ce moteur de recherche, « for scientific information only », « seulement pour l’information scientifique », réincarnait l’objectif initial de l’ISI, mais dans une acception différente. Pour Garfield, la construction de jeux de données inédits était au service d’un fin repérage de l’information pertinente à partir d’un étalonnage de quelques revues. Avec Scirus, il suffisait de sélectionner, parmi les jeux de données existants, ceux contenant des informations scientifiques pour les agréger. Dans cette perspective, les sites web étaient traités comme des données et Scirus assurait éliminer ceux dont les contenus n’étaient pas scientifiques.

21Elsevier a ensuite lancé Scopus en novembre 2004, un service payant intégrant les fonctions de Scirus et donnant également accès au texte intégral ainsi qu’aux articles citants et cités. Ce nouveau produit avait une ambition généraliste. À ce titre, il constituait la première véritable concurrence pour l’ISI-WoS : Elsevier et divers commentateurs soulignèrent les points communs et les différences entre les deux jeux de données, par exemple l’indexation de l’ensemble des auteurs d’un même article et non du premier uniquement, ou la présence plus importante de productions dans d’autres langues que l’anglais.

22Ce modèle semi-ouvert se fonde sur des échanges continus avec les utilisateurs, et perdure dans les développements successifs de Scopus, avec l’ajout, par les utilisateurs, de liens hypertextes vers le texte intégral de leurs publications. Ce sont également les utilisateurs qui peuvent suggérer, via une page web spécifique, des titres à inclure dans Scopus. Ces derniers sont sélectionnés par un comité, composé de vingt scientifiques et de dix bibliothécaires, sur la base de conditions d’inclusion comprenant l’existence de résumés en anglais, l’évaluation par les pairs et la parution régulière5.

23L’ISI, puis Thomson Reuters, ont régulièrement indiqué fonctionner selon une logique de quota, et ne retenir que 8 à 12 % des demandes d’inclusion sur la base du double argument de l’excellence de leur contenu et de la réduction de la masse d’informations autour de quelques revues centrales. À l’inverse, Elsevier focalise l’attention sur le très grand nombre des revues sélectionnées par son comité, présentant Scopus comme un dispositif ayant vocation d’exhaustivité. Loin de refuser des revues au contenu « exotique » comme l’ISI a pu le faire dans les années 1980 (Moravcsik, 1985), Elsevier ne cesse de mettre en avant l’extension de ses jeux de données vers des domaines peu couverts jusqu’alors (les sciences humaines et sociales, des supports dans d’autres langues que l’anglais, les brevets). L’enjeu n’est pas simplement cognitif, mais aussi commercial puisque Elsevier démarche les universités et les pouvoirs publics en affirmant que Scopus offre une meilleure couverture de l’activité scientifique et de son rayonnement et, par là même, permet une meilleure évaluation de cette activité.

2.2. Google Scholar

24En novembre 2004, l’entreprise Google a également mis en place un jeu de données associé à un moteur de recherche spécialisé, Google Scholar. Comme Scirus, il est accessible via un site internet et permet de faire des requêtes sur les auteurs, les titres, les résumés. Une différence concerne cependant le critère « for scientific information only » qui n’est pas explicitement repris. Google Scholar ne sépare pas a priori les sites « académiques » des autres, mais opère une sélection à partir des motifs lexicaux de références bibliographiques :

Google Scholar trie les articles de la même manière que les chercheurs, en tenant compte de l’intégralité du texte de l’article, de l’auteur, de la publication dans laquelle l’article est paru et du nombre de fois où celui-ci est cité dans d’autres ouvrages universitaires6.

25Cette extension est confirmée dans les développements ultérieurs : le contenu des ouvrages numérisés dans Google Books était accessible dans le jeu de données Scholar fin 2004, et Google a entrepris un travail de numérisation de fonds de revues scientifiques en 2007, en complément d’accords avec des éditeurs scientifiques commerciaux. Google a également proposé sur son site des procédures permettant aux bibliothécaires et aux dépôts d’archives d’inclure leurs fonds dans les données Scholar. Dans la droite ligne du modèle économique de Google, combinant gratuité des usages et vente d’espaces publicitaires plus ou moins personnalisés, tout texte numérisé est potentiellement indexé dans le jeu de données Scholar. Les utilisateurs ont alors accès à des productions en texte intégral, archivées sur des sites personnels ou dans des dépôts institutionnels, quels que soient leur format informatique, leur langue ou leur genre (rapport, acte de colloque, chapitre d’ouvrage, tribune dans la presse...), que leur contenu soit ou non réservé à des abonnés. Enfin, le jeu de données Scholar est indexé de telle sorte qu’il permet le suivi des productions citantes et citées (Giles, 2005), ce qui en fait un autre concurrent à l’ISI-WoS, même en l’absence de commercialisation directe d’un « produit » Google Scholar.

26Cet espace concurrentiel est très visible dans les travaux de bibliométrie et de scientométrie : à partir de 2005, des articles ont mis en scène les trois jeux de données, avec différents objectifs. Certains cherchent à vérifier leur « qualité », leur couverture et leur périmètre respectifs (Gardner et Eng, 2005 ; Burnham, 2006). D’autres opèrent une comparaison directe entre les trois jeux de données, sur une discipline ou un domaine de recherche, pour en souligner la cohérence ou les écarts générés en termes bibliométriques (Meho et Yang, 2006). Cette comparaison peut déboucher sur la construction de jeux de données combinés, ou sur leur hiérarchisation en fonction des usages (Falagas et al., 2008 ; Bar-Ilan, 2010).

27La production de jeux de données à destination des chercheurs s’est fortement diversifiée ces dix dernières années, Elsevier et Google n’étant que les deux acteurs les plus visibles et pérennes. Nous aurions pu aussi évoquer le cas de Microsoft, le producteur américain de logiciels, qui a proposé avec Live Search Academic un service proche de ceux de Google Scholar entre 2006 et 2008. Cette pluralité, inséparable du développement de l’Internet à haut débit, a trois caractéristiques : l’extension de la liste des productions scientifiques visibles, l’accessibilité accrue des produits de la recherche, et le détachement grandissant entre lieu de publication et contenu, via notamment des formes de citation tracking.

28Or l’accès à ces jeux de données a également eu un effet en retour sur les algorithmes, qui peuvent être dorénavant aisément testés ou mis en œuvre à une large échelle. Parmi toutes ces propositions, un petit nombre connaît un succès important du fait de leur association à divers jeux de données et, finalement, de leur incorporation dans des outils bibliométriques standardisés. À ce titre, le succès fulgurant du h-index (l’« indice-h »), proposé par le physicien Hirsch (2005) pour subsumer la valeur d’un auteur sous un nombre entier, est exemplaire. Il a été inclus dans un outil bibliométrique dès octobre 2006, à l’aide d’un petit programme (Publish or Perish, PoP) élaboré par Harzing, une professeure de management, rendant son calcul opérationnel sur le jeu de données Goolgle Scholar.

29Symétriquement, la lente trajectoire de l’Influence Weight, un algorithme développé par le bibliomètre Narin qui tient compte du prestige du lieu de citation et renforce ainsi l’importance des revues, est tout aussi parlante. Contrairement au JIF, cet algorithme est fondé sur un modèle récursif de l’influence où toutes les citations ne se valent pas. Longtemps ignoré en scientométrie, du fait de la puissance de calcul limitée des ordinateurs, l’Influence Weight a été redécouvert en webométrie lors du développement du PageRank, l’algorithme de classement de Google (Page et al., 1999 ; Cardon, 2013). C’est seulement après de nombreux débats en scientométrie (Bollen et al., 2006) que cet algorithme a été inclus dans deux outils bibliométriques stabilisés, à la fois dans le SCImago Journal Ranking élaboré à partir de 2007 sur le jeu de données Scopus, et dans l’ISI-WoS, sous le nom d’Eigenfactor proposé par l’ISI-WoS à partir de 2010.

2.3. Une deuxième configuration

30L’entrée en scène de jeux de données inédits, associée à l’apparition régulière d’algorithmes, renseignent sur les principales caractéristiques d’une deuxième configuration des infrastructures informationnelles dédiées à l’évaluation des productions scientifiques.

31Cette configuration est tout d’abord marquée par une multiplication des acteurs en présence. Depuis les années 1970, l’ISI présentait une offre diversifiée sous couvert d’un unique référent. Dorénavant, plusieurs entreprises élaborent des jeux de données plus ou moins ouverts et accessibles, et divers acteurs produisent régulièrement des algorithmes ou des outils bibliométriques. À l’inverse de la position monopolistique tenue par l’ISI-WoS jusqu’au milieu des années 2000, le monde de la bibliométrie est désormais peuplé par des producteurs de jeux de données en concurrence et un oligopole d’algorithmes « stars » traversant l’ensemble des milieux scientifiques.

32Cette deuxième configuration est ensuite caractérisée par un découplage notoire des technologies de calcul, qui prolifèrent sans être nécessairement encapsulées les unes dans les autres. Des producteurs de jeux de données se spécialisent exclusivement dans cette activité, à l’instar de Scopus qui rend visible, sur son site, la contribution indépendante de SCImago, en tant que concepteur de l’algorithme et producteur des résultats. Symétriquement, des chercheurs peuvent développer des outils bibliométriques sans produire d’algorithmes ni confectionner de jeux de données, comme le PoP développé par Harzing. Plus radicalement, un même algorithme donne des résultats différents selon le jeu de données sur lequel il est calculé : pour un unique JIF par revue, on a désormais plusieurs influence weights et différents h-index (Bar-Ilan, 2007). Ces transformations sont d’autant plus visibles que la majorité de ces nouvelles données bibliométriques sont publiques et reproductibles.

33Enfin, cette deuxième configuration amorce une diversification du marché de l’évaluation quantitative des productions scientifiques. Avec l’arrivée de nouveaux producteurs de jeux de données et l’élaboration d’algorithmes inédits, les outils bibliométriques élargissent la gamme des entités visées : non seulement la définition de ce qui constitue une revue prestigieuse s’est transformée avec la redécouverte de l’influence weight, mais les revues ne constituent plus le seul et unique étalon de mesure. Des algorithmes portent aussi sur les auteurs ou les working papers. Pour autant, un usage bien particulier domine largement dans cette deuxième configuration : on scrute uniquement les citations que reçoivent des publications dans d’autres travaux scientifiques (revues, ouvrages, rapports, etc.). Autrement dit, le périmètre des pairs se limite aux auteurs de textes de ce type.

34L’émergence récente d’outils alternatifs préfigure néanmoins une troisième configuration, marquée par une ouverture encore plus grande vis-à-vis des entités visées, des mesures mobilisées, et des types de participants pris en compte. Elle inaugure non seulement des formes inédites d’estimation des productions scientifiques, mais elle redéfinit simultanément le cercle des pairs jugés pertinents.

3. Infrastructures et métriques alternatives : prémices d’une troisième configuration

35À partir des années 1990, le développement des archives ouvertes comme jeux de données et lieu d’implémentation des algorithmes a ouvert l’horizon des innovations bibliométriques. Leur généralisation dans les années 2000 a favorisé une diversification encore plus grande des technologies de calcul. En effet, plutôt que de simplement concurrencer le modèle de l’ISI-WoS comme producteur de données ou promoteur de nouveaux algorithmes de citation, plusieurs acteurs ont opéré deux transformations majeures : d’une part, la production et le stockage décentralisé de jeux de données ; d’autre part, l’adoption de mesures alternatives portant exclusivement sur les articles.

3.1. RePEc

36La force de l’ISI-WoS était de proposer des jeux de données multidisciplinaires. Parallèlement, il existait des initiatives de partage de références, de bases de résumés, voire de textes complets selon une logique disciplinaire. Outre le cas d’arXiv, archive ouverte développée en 1991 à Los Alamos pour le dépôt de manuscrits non publiés (preprints), initialement en physique des hautes énergies (Gunnarsdóttir, 2005), on peut donner l’exemple moins connu des Chemical Abstract Services fondés par l’American Chemical Society en 1907, dont la collection de résumés est passée de 12 000 à 6 000 000 en un siècle, et dont les services n’ont cessé de se diversifier par l’inclusion d’une nomenclature des substances, des articles complets et de leurs citations, et d’une base de données de brevets (Baker et al., 1980). En sciences humaines et sociales, PsycINFO, créé par l’American Psychological Association, a inclus en 2001 des outils portant sur les citations. Dans cette veine, le projet Research Papers in Economics (RePEc), initié en 1996, est marqué par une particularité : c’est le premier à adopter une architecture décentralisée et mondiale consacrée initialement aux working papers.

  • 7 Elsevier est aujourd’hui le premier contributeur à RePEc.

37Conçu par un groupe d’économistes britanniques, RePEc s’est appuyé sur une première infrastructure de working papers, WoPEc, fondée en 1993 avant l’apparition du World Wide Web. Avec l’avènement de ce dernier, le projet a articulé deux éléments distincts. D’un côté, chaque institution, chaque laboratoire pouvait développer son propre serveur et rendre disponibles les textes stockés. De l’autre, les productions archivées n’étaient pas directement accessibles, mais interrogeables via des applications dédiées : outre WoPEc développé en Grande-Bretagne, citons IDEAS au Canada, RuPEc en Russie, pouvant accéder à l’ensemble des serveurs configurés pour RePEc. Le jeu de données lui-même contenait uniquement des working papers, avant de s’ouvrir progressivement aux articles publiés, à la suite de partenariats avec les principaux éditeurs scientifiques commerciaux7. Au 1er septembre 2014, le jeu de données comprenait plus de 592 000 working papers et plus de 1 016 000 articles publiés, ainsi que 18 000 ouvrages référencés, 90 % du matériel étant téléchargeable (gratuitement ou avec un abonnement chez les éditeurs concernés).

38L’infrastructure informationnelle associe donc une décentralisation de la production et un stockage des données initiales (articles, références, résumés...), articulé à la construction d’un jeu de données unifié sur lequel de nombreux services sont bâtis (Karlsson et Krichel, 1999). Parmi ceux-ci, plusieurs sont des outils bibliométriques. Le projet LogEC, hébergé par la Stockholm School of Economics, enregistrait des statistiques d’usages d’IDEAS et proposait dès 2001 un classement des téléchargements (top download) ou un classement des vues de résumé (top abstract views) des textes inclus dans RePEc. Il mettait donc en œuvre des algorithmes issus des webometrics, dénombrant simplement l’accès à des pages web ou à des fichiers. Pour l’une des premières fois, la mesure de l’usage ne se faisait donc pas en analysant des productions scientifiques citantes, mais en comptant des visionneurs de résumés et des téléchargeurs de working papers.

39Simultanément, un registre des pages personnelles, articulant les coordonnées d’économistes aux lieux de stockage de leurs working papers, a été développé. En 2003, il a pris un sens différent : identifier les auteurs des documents de RePEc afin de leur fournir des statistiques mensuelles sur les pages vues et les téléchargements. Enfin, en 2004, à partir d’algorithmes développés par des informaticiens sur l’archive ouverte CiteSeer, les promoteurs de RePEc ont construit une mesure des intercitations sur l’ensemble du jeu de données. Cela permet d’appliquer des algorithmes déjà largement partagés comme le JIF ou l’influence weight pour les revues, pour les collections d’ouvrages ou pour les collections de working papers. Les calculs s’effectuaient évidemment sur la base des références des documents inclus dans RePEc. On peut aussi obtenir le classement par auteurs (top authors) en appliquant 35 algorithmes distincts sur le jeu de données, allant du nombre de pages publiées (qui tient compte du nombre de coauteurs) au nombre total de citations, en passant par le h-index, le top download ou le top abstract views8. De même, des agrégations sur les plus de 13 000 institutions répertoriées sont disponibles. L’ensemble des divers classements est mis à jour et archivé une fois par mois.

40Les outils bibliométriques de RePEc articulent donc un jeu de données très ouvert à une multiplicité d’algorithmes. Ces derniers peuvent provenir des institutions pionnières dans les deux configurations décrites précédemment ou être relativement spécifiques, comme le nombre d’auteurs RePEc citant un économiste donné. L’infrastructure RePEc ne hiérarchise cependant pas les critères les uns par rapport aux autres. Au contraire, sa présentation et son ergonomie assument un pluralisme des outils, chacun étant disponible au même titre que les autres. Au traitement indifférencié des mesures correspond une absence de présélection des données : à la manière de Google Scholar, tout document déposé sur un serveur alimente le jeu de données, même s’il n’est jamais publié dans une revue ou téléchargé par les utilisateurs de RePEc. De plus, IDEAS ou RuPEc étant totalement libres d’accès, les visionneurs ou téléchargeurs, tout en étant décomptés, peuvent être des usagers non académiques.

3.2. Métriques alternatives (Altmetrics)

41Outre les mesures de l’influence et du prestige, celles de l’attention ont pris de l’importance avec les réseaux sociaux tels Twitter et FaceBook. Au-delà des pages web professionnelles et des blogs, des réseaux sociaux spécifiquement dédiés aux chercheurs sont désormais disponibles (Academia.edu, ResarchGate.net, Mendeley.com, Peerevaluation.org). Ils permettent eux aussi d’effectuer divers comptages et d’en afficher les résultats : nombre de vues, de likes, de téléchargements, de followers, d’« amis académiques »… Ces possibilités inédites ont donné lieu à une prolifération des mesures de la production scientifique (Van Noorden, 2010), et, comme pour d’autres environnements en ligne (Napster, TripAdvisor, Amazon…), transforment les traces d’usages en éléments calculables. Elles ont ainsi ouvert la voie à une conception de l’évaluation qui s’oppose à la sélection de quelques outils supposés robustes et pertinents, au profit de l’agrégation d’une pluralité toujours plus importante d’indices. Une partie des promoteurs de cette conception se sont retrouvés dans le manifeste Altmetrics écrit en 2011, valorisant une gamme de mesures allant bien au-delà du seul JIF9.

  • 10 Cette revue est devenue la plus prolifique du monde avec 23 406 articles publiés en 2012, et 31 50 (...)

42La création de PLoS One en 2006 est exemplaire de ce mouvement10. Publiée par l’organisation à but non lucratif Public Library of Science (PLoS), qui promeut la diffusion gratuite des productions scientifiques, cette revue à vocation généraliste est l’expression d’un nouveau genre. D’un côté, les articles sont publiés au fil de l’eau et accessibles sans abonnement pour les lecteurs, leur coût étant payés par les auteurs ; de l’autre, tous les articles considérés comme « techniquement justes » sont publiés. L’évaluation par les pairs est donc réduite ici à un contrôle de qualité, tandis que l’importance, la portée et l’originalité d’un article sont évaluées par ses usages ultérieurs. Pour ses promoteurs, PLoS One n’a donc pas à être jugée comme une entité unifiée, à la manière d’une revue classique, mais comme un dispositif facilitant la diffusion d’articles qui doivent être jugés individuellement.

43Pour rendre opérationnelle cette conception, depuis mars 2009, chaque article est accompagné sur sa page web d’une palette d’indices, intitulée article level metrics (ALM), mise à jour en temps réel. Parmi les ALM, figurent le nombre de vues de la version HTML, le nombre de téléchargements du fichier PDF, le nombre de citations dans Scopus, CrossRef, WoS, PubMed Central, Google Scholar, et le nombre d’occurrences sur CiteUlike, FaceBook, Mendeley, Twitter et Wikipedia. Les lecteurs peuvent également noter de une à cinq étoiles la pertinence d’un article, sa fiabilité et son style. Rendues possibles par l’électronisation du support, toutes ces mesures sont considérées comme de bien meilleurs indicateurs de l’impact d’un article que les outils portant sur les revues.

Dans un monde d’articles, les comptages de citations étaient la manière la plus simple de quantifier l’effet d’un article. Tracer les usages d’un article – et qui l’utilisait – était simplement impossible. Il était difficile de mesurer la rapidité avec laquelle une nouvelle théorie ou un nouveau concept prenait à l’intérieur d’une communauté scientifique. Les article-level metrics ouvrent la voie à des mesures portant à la fois sur l’effet immédiat et sur la socialisation d’un article. Ce sont des composantes essentielles de l’impact, qui n’avaient pas été prises en compte auparavant11.

44D’abord mises en œuvre sur les revues du groupe PLoS, les ALM ont été depuis adoptés par d’autres éditeurs, dont une vingtaine de revues du Nature Publishing Group et certaines du BMJ Publishing Group Ltd, ainsi que par le jeu de données Scopus de l’éditeur Elsevier. Ce passage de la quantification d’un seul usage (la citation d’une revue dans d’autres par exemple) à celle d’une multitude pose la question de leur commensurabilité et de leur hiérarchisation. Ces différentes données, à la fois publiques et disponibles sous la forme d’un fichier XML téléchargeable, permettent le traitement des ALM sous un double rapport. Agrégées, elles sont destinées à apprécier l’impact total (total impact) de chaque article, considéré comme la véritable mesure de sa valeur. Assemblées et retraitées, ces données produisent également des mesures d’évaluation ajustées aux objectifs de différents utilisateurs (chercheurs, institutions de recherche, agences de financements…).

45Les limites traditionnelles de mesures de l’usage par d’autres productions sont ici largement franchies : tout lecteur ou « citeur » via des réseaux sociaux, même non académique, est pris en compte. Le cercle des pairs est donc à la fois composé de producteurs/citeurs classiques décomptés dans de multiples jeux de données (ISI-WoS, Scopus, Google Scholar…), de bloggeurs ou de journalistes relayant des informations (via Twitter, Facebook…), de simples lecteurs d’articles pas nécessairement professionnels du monde scientifique, et de téléchargeurs ou stockeurs de données. Autrement dit, la communauté pertinente s’étend bien au-delà des auteurs d’articles publiés dans des revues centrales ou influentes.

46L’évaluation des productions ne se fonde donc plus sur un processus de certification préalable et sur le rang d’une revue. Elle résulte ici de l’agrégation de multiples jeux de données délivrant aussi bien des mesures d’impact (citations) que d’attention et d’audience (usages). La valeur d’un article est ainsi placée dans les mains d’une variété de lecteurs. Dans ce monde dominé par ce que les acteurs nomment le post-publication peer review, une autre économie du crédit scientifique, fondée sur la distribution de l’expertise entre divers publics, est également à l’œuvre : l’autopromotion est une pratique attendue, et il devient légitime de promouvoir ses propres travaux sur des blogs scientifiques et des réseaux sociaux. Cette naissance du « publiant marketeur » installe une vision politique de la science et de l’évaluation bien différente de celle instituée dans les deux précédentes configurations.

47Cette troisième configuration émergente se caractérise donc par une multitude de jeux de données ouverts qui renvoient à des conceptions d’usagers fortement contrastées, non hiérarchisées entre elles. Du point de vue des algorithmes, une double tendance se dégage : d’une part, le recyclage et le raffinement des outils déjà présents dans les deux premières configurations et, d’autre part, le comptage brut qui est incorporé dans de nouveaux outils bibliométriques (nombre de tweets par exemple). Parmi ces derniers, le « top download », déclinable sur toute entité (auteurs, revues, institutions…) et sur tout jeu de données électroniques incluant des documents, est sans doute le plus partagé par les acteurs centraux de cette troisième configuration, mais également par d’autres plus traditionnels, à l’image du classement des 25 articles les plus « chauds » (top 25 hottest articles) présenté par Elsevier pour chaque domaine. Cette configuration est marquée par une triple rupture : l’étalon de mesure historique que sont les revues est concurrencé par un déplacement des mesures vers les articles, l’importance des usages se substitue à celle accordée aux productions, et le cercle des pairs s’élargit à d’autres catégories d’acteurs.

Conclusion

48Trois configurations se dégagent de l’exploration des infrastructures proposée ici. Leur émergence successive dessine une tendance à la diversification des acteurs qui investissent le marché de l’évaluation scientifique, la prolifération des technologies de calcul, et l’élargissement de la gamme des entités prises en compte. L’apparition séquentielle de chaque configuration n’engendre cependant pas la disparition de la précédente. Au contraire, ces trois configurations coexistent : non seulement les jeux de données, les algorithmes et les outils bibliométriques sont simultanément disponibles, mais les mêmes entités sont actuellement prises en compte par différentes métriques. L’offre des technologies de calcul est aujourd’hui multiple et protéiforme, au point que des faussaires investissent ce marché florissant et cherchent à vendre une variété d’indices12.

49Dans une telle situation, les conventions permettant de s’accorder sur la qualité des entités évaluées (articles, revues, institutions, chercheurs…) sont loin d’être partagées. Par exemple, les promoteurs de la Declaration on Research Assessment critiquent les outils bibliométriques fondés sur les citations de revues, comme le JIF, au nom d’autres mesures valorisant l’attention et l’audience13, centrales dans la troisième configuration. Ils insistent également sur la nécessité d’utiliser des jeux de données bibliométriques publics, afin que les mesures qui en sont tirées puissent être vérifiées par tout un chacun. Et, de leur côté, les scientomètres sont tiraillés entre les limites inhérentes aux outils de la première configuration qu’ils connaissent bien et l’explosion des jeux de données des deuxième et troisième configurations qu’ils jugent à la fois bénéfiques et difficilement contrôlables (Cronin et Sugimoto, 2014).

50Depuis le milieu des années 1950, les infrastructures de données et les mesures de citation avaient contribué à organiser une économie de la rareté de l’espace des publications scientifiques. Le prestige et la qualité des revues étaient étalonnés à partir de celles dont le JIF est maximal. Cette organisation de l’évaluation se fonde sur une stricte séparation entre l’épreuve de certification pour publier dans telle revue et la mesure de la diffusion à travers les indices de citation. Tandis que le jugement des pairs se focalise sur le manuscrit lors de la première étape, il concerne la revue dans son ensemble au cours de l’enregistrement des citations. La diversification du marché de l’évaluation des productions scientifiques, associée au déplacement récent vers les métriques attachées aux articles, change radicalement la donne. Tenir compte de ces mutations, c’est non seulement prendre acte des transformations de la valeur des revues, mais aussi de celles du processus d’évaluation par les pairs lui-même (Pontille et Torny, 2015), dans lequel les traces fortement contrastées des usagers sont promues en instance de validation et de diffusion des productions scientifiques

Bibliographie

Aiuti F., Baroni C., Cao A. et Fantoni A. (1991), « Academic promotion in Italy », The Lancet, vol. 338, no 8778, p. 1337.

Annual Review of Phytopathology (1975), « Preface », vol. 13, no 1.

Archambault É. et Larivière V. (2009), « History of the journal impact factor: Contingencies and consequences », Scientometrics, vol. 79, no 3, p. 635-649.

Baker D.B., Horiszny J.W. et Metanomski W.V. (1980), « History of abstracting at Chemical Abstracts Service », Journal of Chemical Information and Computer Sciences, vol. 20, no 4, p. 193-201.

Bar-Ilan J. (2007), « Which h-index? — A comparison of WoS, Scopus and Google Scholar », Scientometrics, vol. 74, no 2, p. 257-271.

Bar-Ilan J. (2010), « Citations to the “Introduction to informetrics” indexed by WOS, Scopus and Google Scholar », Scientometrics, vol. 82, no 3, p. 495-506.

Bollen J., Rodriquez M.A. et Van de Sompel H. (2006), « Journal status », Scientometrics, vol. 69, no 3, p. 669-687.

Bowker G.C. et Star S.L. (1999), Sorting things out. Classification and its consequences, Cambridge (Mass.), MIT Press.

Bradford S.C. (1934), « Sources of Information on Specific Subjects », Engineering: An Illustrated Weekly Journal, vol. 137, no 3550, p. 85-86.

Burnham J.F. (2006), « Scopus database: a review », Biomedical Digital Libraries, vol. 3, no 1, p. 1-8.

Cardon D. (2013), « Dans l’esprit du PageRank. Une enquête sur l’algorithme de Google », Réseaux, no 177, p. 63-95 (en ligne : https://www.cairn.info/revue-reseaux-2013-1-page-63.htm).

Cronin B. et Sugimoto C.R. (dir.) (2014), Beyond bibliometrics: Harnessing multidimensional indicators at scholarly impact, Cambridge (Mass.), MIT Press.

Fabbri L.M. (1987), « Rank injustice and academic promotion », The Lancet, vol. 330, no 8563, p. 860.

Falagas M.E., Pitsouni E.I., Malietzis G.A. et Pappas G. (2008), « Comparison of PubMed, Scopus, Web of Science, and Google Scholar: strengths and weaknesses », FASEB journal, vol. 22, no 2, p. 338-342.

Gardner S. et Eng S. (2005), « Gaga over Google? Scholar in the Social Sciences », Library Hi Tech News, vol. 22, no 8, p. 42-45.

Garfield E. et Sher I.H. (1963), « New factors in the evaluation of scientific literature through citation indexing », American Documentation, vol. 14, no 3, p. 195-201.

Garfield E. (1979), « Is citation analysis a legitimate evaluation tool? », Scientometrics, vol. 1, no 4, p. 359-375.

Giles J. (2005), « Science in the web age: start your engines », Nature, vol. 438, no 7068, p. 554-555.

Gross P.L.K. et Gross E.M. (1927), « College libraries and chemical education », Science, vol. 66, no 1713, p. 385-389.

Gunnarsdóttir K. (2005), « Scientific journal publications: on the role of electronic preprint exchange in the distribution of scientific literature », Social Studies of Science, vol. 35, no 4, p. 549-579.

Hicks D. (1999), « The difficulty of achieving full coverage of international social science literature and the bibliometric consequences », Scientometrics, vol. 44, no 2, p. 193-215.

Hirsch J.E. (2005), « An index to quantify an individual’s scientific research output », Proceedings of the National Academy of Sciences, vol. 102, no 46, p. 16569-16572.

Karlsson S. et Krichel T. (1999), « RePEc and S-WoPEc: Internet access to electronic preprints in economics », Electronic publishing’ 99, Ronneby.

Lavie P. (2009), « The race for the impact factor », Journal of Sleep Research, vol. 18, no 3, p. 283-284.

Martyn J. et Gilchrist A. (1968), An Evaluation of British Scientific Journals, Aslib.

Meho L.I. et Yang K. (2006), « A new era in citation and bibliometric analyses: Web of Science, Scopus, and Google Scholar », http://arxiv.org/pdf/cs/0612132v1.pdf.

Moravcsik M.J. (1985), Strengthening the coverage of the third world science, National Science Foundation.

Narin F. (1976), Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity, Cherry Hill, New-Jersey, Computer Horizons.

Page L., Brin S., Motwani R et Winograd T. (1999), « The Pagerank citation ranking: bringing order to the web », Technical Report, Stanford InfoLab, p. 1-17.

Pontille D. et Torny D. (2010), « The controversial policies of journal ratings: Evaluating social sciences and humanities », Research evaluation, vol. 19, no 5, p. 347-360.

Pontille D. et Torny D. (2013), « La manufacture de l’évaluation scientifique : algorithmes, jeux de données, outils bibliométriques », Réseaux, no 177, p. 25-61 (en ligne : https://www.cairn.info/revue-reseaux-2013-1-page-23.htm).

Pontille D. et Torny D. (2015), « From manuscript evaluation to article valuation: The changing technologies of Journal Peer Review », Human Studies, vol. 38, no 1, p. 57-79.

Raisig L.M. (1960), « Mathematical evaluation of the scientific serial », Science, vol. 131, no 3411, p. 1417-1419.

Rossner M., Hill E. et Van Epps H. (2007), « Show me the data », Journal of Cell Biology, vol. 179, no 6, 1091-1092.

Solla Price D.J. (de) (1963), Little Science, Big Science, New York, Columbia University Press.

Taubes G. (1993), « Measure for measure in science », Science, vol. 260, no 5110, p. 884-886.

Van Noorden  R. (2010), « Metrics: a profusion of measures », Nature, vol. 465, no 7300, p. 864-866.

Weingart P. (2005), « Impact of bibliometrics upon the science system: Inadvertent consequences? », Scientometrics, vol. 62, no 1, p. 117-131.

Wouters P. (1999), The Citation Culture, Ph.D. thesis, Amsterdam, Université d’Amsterdam (en ligne : http://dare.uva.nl/search?identifier=b101b769-100f-43e5-b8d2-cac6c11e5bbf).

Notes

1 Ce chapitre est une version remaniée de Pontille et Torny (2013).

2 Sauf mention contraire, les citations sont traduites en français par les auteurs du chapitre [NdE].

3 https://web.archive.org/web/20140917021216/http://thomsonreuters.com/journal-citation-reports/ (tous les liens cités dans ce chapitre ont été consultés le 17 septembre 2014).

4 Ce succès a fait de l’ISI une entreprise rentable qui a été rachetée par le groupe Thomson Scientific & Healthcare en 1992.

5 http://www.elsevier.com/online-tools/scopus/content-overview#content-policy-and-selection.

6 http://scholar.google.fr/intl/fr/scholar/about.html.

7 Elsevier est aujourd’hui le premier contributeur à RePEc.

8 Voir par exemple : https://ideas.repec.org/top/.

9 http://altmetrics.org/manifesto/.

10 Cette revue est devenue la plus prolifique du monde avec 23 406 articles publiés en 2012, et 31 500 en 2013.

11 http://www.sparc.arl.org/initiatives/article-level-metrics.

12 Voir par exemple : scholarlyoa.com/2014/02/13/more-questionable-scholarly-metrics-are-emerging.

13 http://am.ascb.org/dora/.

Auteurs

Sociologue et directeur de recherche au CNRS, membre du Centre de sociologie de l’innovation (Mines ParisTech, PSL Research University, CSI-i3 UMR CNRS 9217)
Directeur de recherche au CNRS et membre du Centre de sociologie de l’innovation (Mines ParisTech, PSL Research University, CSI-i3 UMR CNRS 9217)

Le texte et les autres éléments (illustrations, fichiers annexes importés) sont sous Licence OpenEdition Books, sauf mention contraire.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search