• Contenu principal
  • Menu
OpenEdition Books
  • Accueil
  • Catalogue de 16051 livres
  • Éditeurs
  • Auteurs
  • Facebook
  • X
  • Partager
    • Facebook

    • X

    • Accueil
    • Catalogue de 16051 livres
    • Éditeurs
    • Auteurs
  • Ressources numériques en sciences humaines et sociales

    • OpenEdition
  • Nos plateformes

    • OpenEdition Books
    • OpenEdition Journals
    • Hypothèses
    • Calenda
  • Bibliothèques

    • OpenEdition Freemium
  • Suivez-nous

  • Lettre d’information
OpenEdition Search

Redirection vers OpenEdition Search.

À quel endroit ?
  • Éditions de l’École des hautes études en...
  • ›
  • Cas de figure
  • ›
  • L’édition en sciences humaines et social...
  • ›
  • Publications et évaluation scientifique
  • ›
  • L’évaluation des publications scientifiq...
  • Éditions de l’École des hautes études en...
  • Éditions de l’École des hautes études en sciences sociales
    Éditions de l’École des hautes études en sciences sociales
    Informations sur la couverture
    Table des matières
    Liens vers le livre
    Informations sur la couverture
    Table des matières
    Formats de lecture

    Plan

    Plan détaillé Texte intégral Quelques éléments de contexte Bibliométrie et métriques en pratique Le traitement des « livrables » Notes de bas de page Auteur

    L’édition en sciences humaines et sociales

    Ce livre est recensé par

    Précédent Suivant
    Table des matières

    L’évaluation des publications scientifiques à l’Agence nationale de la recherche

    Lionel Obadia

    p. 149-156

    Texte intégral Quelques éléments de contexte Bibliométrie et métriques en pratique Le traitement des « livrables » Notes de bas de page Auteur

    Texte intégral

    1Dans ce dispositif à la fois très spécifique et de plus en plus répandu qu’est l’évaluation standardisée de la science, l’Agence nationale de la recherche occupe une place importante et le traitement qui y est réservé aux publications scientifiques mérite un éclairage circonstancié. L’ANR, dont la réputation a souvent suscité la défiance quant à sa mission (de sélection) et à sa manière d’opérer, a été créée en 20051. Sa fondation s’inscrit dans un vaste mouvement d’institutionnalisation du financement de la recherche scientifique sur projet, qui s’est d’ailleurs traduit, quelques années auparavant et dans d’autres pays (Pays-Bas, Grande-Bretagne, Allemagne…), par la mise sur pied d’opérateurs nationaux similaires, dont la mission est de mettre en œuvre des dispositifs de sélection et de suivi de projets sur une base d’excellence scientifique. L’ANR gère, à la fin des années 2010, un flux annuel d’environ 7 000 à 9 000 projets déposés, dont un millier est déclaré inéligible. Parmi les dossiers éligibles, seul un autre millier est financé.

    2Par son statut et sa fonction, l’ANR représente une caisse de résonance (et souvent d’enregistrement et d’application) de politiques scientifiques inspirées ou prescrites par des instances plus importantes, au niveau non seulement national mais également international. Dans ce contexte, et selon une règle de compétition qui est désormais la norme à quasiment tous les étages du financement de la recherche (publique), les productions scientifiques font l’objet d’une attention particulière d’un bout à l’autre de la chaîne d’évaluation, de la sélection au « bilan/impact », en passant par le suivi scientifique du projet financé. Les publications sont davantage considérées comme des « livrables » que comme des « œuvres » dans ce dispositif : elles sont en effet perçues comme des produits de la recherche dont la livraison est attendue et évaluée. Ces publications permettent également de mesurer, entre autres facteurs néanmoins, et sur des paramètres tout aussi qualitatifs que quantitatifs, la richesse intellectuelle d’une recherche, la capacité d’un chercheur à réaliser le projet proposé et à en diffuser le résultat, ainsi que, de plus en plus, les « impacts » de cette connaissance.

    Quelques éléments de contexte

    3C’est un fait désormais bien établi qu’en lieu et place de la science s’est imposée une « culture » ou un « nouvel esprit »2 de l’évaluation dont le monde de la recherche et de l’enseignement supérieur ne cesse de se faire l'écho (via les classements, les comparaisons d’établissements ou d’équipes de recherche, les labels d’excellence, etc.). Cette situation s’exprime à travers une terminologie de la performance qui s’apparente à une incantation quasi-religieuse à s’y engouffrer, assortie d’une « magie des chiffres3 ». Les milieux universitaires n’ont pas manqué de critiquer cette sorte de détermination numérique qui conscrit les produits de la recherche, elle-même fer de lance d’une soumission de la science à des impératifs économiques, afin d’accroître l’efficacité de la recherche sur fonds publics4. Si ces mesures visent à stimuler la créativité scientifique en formulant des prescriptions et en exigeant une rentabilité, elles risquent toutefois de scléroser la recherche en la cadrant d’une façon excessive5. Il n’y a rien de très nouveau sur le principe, néanmoins : l’évaluation était déjà bien installée à maints endroits des sociétés modernes. Les dispositifs d’évaluation furent d’abord appliqués, à des fins de pilotage, au monde du travail puis à l’action publique, avant de s’étendre à la recherche scientifique pour les mêmes raisons, sans pour autant que soit levé le doute sur l’efficacité et la neutralité des instruments et des modalités de l’évaluation6.

    4En arrière-plan, évidemment, se donnent à voir les grandes lignes de force qui composent le monde des sciences, aux échelles nationale et mondiale, et l’extension toujours plus rapide d’un marché concurrentiel de la connaissance savante qui a accompagné la mise en œuvre de cette « fièvre de l’évaluation » et des métriques au cœur des débats actuels. Les critiques les plus virulents voient dans le facteur d’impact (impact factor) et dans la quantification tous azimuts de la production scientifique un dispositif (au sens foucaldien du terme) qui illustre l’émergence d’un nouveau modèle de chercheur, aligné sur un idéal néolibéral d’entrepreneur individuel dans un marché ouvert de la connaissance, une normalisation aliénante symptôme d’une société rationalisant à outrance la complexité du travail de la recherche7. Pourtant, même si l’organisation de la recherche en sciences humaines et sociales depuis un demi-siècle mérite bien un bilan critique, les acteurs (individuels et/ou collectifs) qui ont participé à l’installation des règles et des modalités d’évaluation dans le monde universitaire français ne sont pas toujours, tant s’en faut, de fervents défenseurs de l’idéologie néolibérale8.

    5Dans tous les cas, bien des voix se sont élevées pour dénoncer certaines dérives de l’évaluation de la recherche, cette « corruption intellectuelle9 », qui détournerait l’évaluation au profit d’un classement et qui soumettrait les sciences à l’idéologie de l’expertise et de la gouvernance, dans un processus de « servitude volontaire10 ». Si cette salve de critiques est recevable sur le plan éthique (et même parfois formel), l’évaluation de la recherche mérite tout de même qu’on se penche un peu plus près sur son fonctionnement et sur ses effets concrets11.

    Bibliométrie et métriques en pratique

    6L’ANR est, par définition, au cœur des dispositifs d’évaluation par son rôle de financement sur projet, reposant sur une évaluation par les pairs (plusieurs milliers à distance et plusieurs centaines in situ chaque année). Le principe premier d’une expertise par des enseignants-chercheurs est le suivant : ils sont mobilisés en fonction de leurs compétences, du domaine et des objectifs des projets. Ces derniers sont avant tout des propositions de recherche qui prennent la forme d’un ou deux documents (un format qui varie selon le type d’appel à projets), qui sont rédigés en anglais ou en français (à la convenance des déposants) et qui contiennent les principes et les modalités de la recherche proposée. L’évaluation du projet repose sur un ensemble de critères fixes, relatifs à l’originalité, à la faisabilité, aux besoins financiers, à la correspondance du projet avec les lignes de la programmation nationale, etc. Un intérêt particulier est porté au chercheur ou à la chercheuse responsable du projet, dont la bibliographie doit mettre en valeur le potentiel scientifique. Selon les domaines toutefois, celle-ci peut être plutôt évaluée sur le fond ou sur le nombre, sur la renommée des supports, précalculée par des index, ou sur l’originalité du contenu.

    7Dans le mouvement de discussion autour du recours massif à la quantification pour l’évaluation des SHS, les critiques visant les métriques portaient tout autant sur leur instrumentalité (elles sont difficiles à calculer de manière objective) que sur les effets pervers de leur usage (avec l’instrumentalisation du facteur d’impact dans l’avancement des carrières, l’instauration de primes aux chercheurs affichant les plus forts taux de citation, le recrutement sur la base du h-index individuel, les stratégies d’inter-citation, etc.)12. Pour autant, les grandes instances d’évaluation, comme le HCÉRES, ou de mesure de la recherche, tel l’Observatoire des sciences et des techniques, ne les ont pas abandonnées. À l’ANR, la bibliométrie est particulièrement prise en compte pour la sélection des projets et, depuis 2017, dans le cadre des « mesures d’impact », au fil également des mutations du paysage de l’édition scientifique avec lesquelles elle doit composer.

    8Organe au cœur de l’écosystème national et européen, voire mondial, de l’évaluation de la recherche, l’ANR est directement et rapidement tributaire des orientations de la politique scientifique nationale (comme la loi pour une République numérique de 2016) ou de celle émanant de la Commission européenne (en faveur par exemple du mouvement de l’open science, l’open data, l’open access et l’open edition). Ces orientations ont des répercussions sur l’édition scientifique et sur ses modèles économiques, en particulier les revues de SHS qui ne peuvent échapper aux transformations de la production et de la diffusion de la recherche, sous l’impulsion de politiques qui promeuvent une plus grande accessibilité de la science (et, partant, une plus grande efficacité du financement) et des « bénéfices sociaux » plus directs13. En matière de publication, les SHS ont toutefois réussi, jusqu’ici, à faire valoir une singularité qui les préserve (assez partiellement toutefois) des règles comme l’immédiateté de la publication, qui s’appliquent aux STM dans la récente et rapide mise en œuvre politique de l’open science. Elles peuvent aussi se réjouir d’un tournant qualitatif et de la relativisation du « tout métrique » depuis la « Déclaration de San Francisco sur l’évaluation de la recherche » en 2012, qui est désormais adoptée dans de très nombreux pays, dont la France et en particulier à l’ANR14.

    Le traitement des « livrables »

    9À l’ANR, l’évaluation des publications se fait en trois phases dans le processus d’accompagnement des projets : en amont, au cours de la recherche et en aval du financement. En amont, à travers l’examen détaillé du curriculum vitae, elle se focalise sur la capacité du chercheur ou de la chercheuse (individuellement ou en groupe) à réaliser une recherche satisfaisant aux critères de l’excellence telle qu’elle est définie par les instances publiques et administratives d’évaluation. Les produits diffusés sur des supports écrits, audio ou vidéo sont appréciés par les experts. Au cours de la recherche, les publications sont considérées comme l’expression de la capacité d’un collectif de chercheurs (dans le cas d’un projet de recherche collaborative ou PRC) ou d’un chercheur (dans le cas d’un financement « Jeune chercheur » ou JC) à produire des « livrables ». Tous les « livrables » ne sont pas de même nature : certains sont des rapports d’avancement, d’autres des articles de revues à comité de lecture. Ils ne sont pas traités de la même manière s’il s’agit d’un prérequis au lancement d’une recherche, du signe de son avancement ou de son aboutissement.

    10En aval, les connaissances produites et diffusées (ou susceptibles de l’être) à l’achèvement du calendrier de réalisation des projets de recherche sont également expertisées à travers un bilan et valorisées grâce à des dispositifs toujours plus variés et sophistiqués (conférences in vivo, en ligne, textes, hypertextes, vidéos, films, pièces de théâtre, réseaux sociaux…). Le bilan est non seulement l’occasion d’un examen rétrospectif et qualitatif de chaque proposition, mais il s’inscrit aussi dans une activité plus large d’évaluation globale des projets et d’analyse d’impact qui mobilisent de nouveau des outils quantitatifs, en sus de l’examen de la qualité des « livrables ». À cette étape débute l’activité de bilan « ex-post » de l’ANR, qui remet les « livrables » dans un dispositif d’évaluation statistique, en particulier, depuis 2017, avec l’étude des retombées du financement de la recherche sur projet.

    11Pour évaluer cet impact, outre l’analyse de la base de données de l’ensemble des projets financés (plus de 20 000, depuis la fondation de l’Agence), l’ANR a mis notamment en œuvre un dispositif de recensement, dans les grandes bases documentaires (Web of Science, Scopus) avec l’aide de l’instrument InCites, des mentions de l’Agence contenues dans les formules de remerciement officielles, qui sont contractuellement attendues lorsqu’un projet est financé. Une difficulté perdure néanmoins : la problématique visibilité des SHS dans les bases de données utilisées pour les études d’impact15. De 2005 à 2019, plus de 121 000 références à l’ANR ont été mentionnées dans le WOS, qui représentent environ 10 % des productions françaises sur cette base. Le dispositif avance rapidement, sous l’impulsion de cadres et d’instances politiques nationales et internationales qui installent (ou « imposent ») ces nouvelles normes, notamment en matière d’open access et de mesures d’impact, deux dispositifs qui, dans leurs domaines respectifs, ne sont actuellement pas encore assez aboutis pour participer pleinement au rayonnement des SHS16.

    12En conclusion, les publications (audiovisuelles, textuelles ou hypertextuelles) sont au cœur du dispositif de financement de la recherche à l’ANR, de la sélection au bilan, en passant par le suivi des projets. L’institution est régulièrement questionnée sur son rôle dans les transformations rapides du paysage de la recherche qui affectent l’édition scientifique, sur la façon dont elle évalue les répercussions de l’open access sur des revues et des monographies dont le modèle économique a été mis à mal, en particulier dans le domaine des SHS17. Celles-ci défendent avec une véhémence souvent compréhensible leur singularité dans le secteur de l’édition scientifique et sont prudentes, voire dubitatives par rapport à une mutation globale de l’économie de la connaissance, aux injonctions à l’ouverture interdisciplinaires et à l’économie ouverte des données18. Organisme d’État au service des communautés de chercheurs, à leur écoute mais tributaire des politiques scientifiques aux échelles nationale et internationale, l’ANR s’est jusqu’ici efforcée, autant que son périmètre d’action le lui permettait, d’œuvrer en faveur d’une expertise rigoureuse des publications scientifiques et de leur valorisation dans un contexte de compétition internationale et d’ouverture rapide de l’économie de la connaissance. La reconnaissance du champ scientifique et éditorial des SHS reste toutefois un défi épineux à relever, tant les enjeux relatifs à ce domaine sont singuliers.

    Notes de bas de page

    1 Laillier et Topalov, 2017.

    2 Barats, Bouchard et Haakenstad (eds), 2018, p. 11.

    3 Gilles, 2016, p. 133 et 147.

    4 Karpik, 2012.

    5 Berry, 2009.

    6 Barats, Bouchard et Haakenstad (eds), 2018 ; Bureau, 2010.

    7 Gori et Del Volgo, 2009.

    8 Charle, 2008 ; Mérindol, 2008.

    9 Gingras, 2015, p. 73.

    10 Gori et Del Volgo, 2009, p. 18.

    11 Gaudin, 2008.

    12 Le h-index est une mesure développée par Jorge Hirsch en 2005, qui permet de quantifier la productivité scientifique et l’impact d’un chercheur en fonction du niveau de citation de ses publications. Sur cet indicateur et les critiques qu’on peut lui apporter, voir Filliatreau, 2008 ; Longo, 2009.

    13 Landes, 2014, p. 71.

    14 Voir sfdora.org/read/fr (consulté en juin 2020).

    15 Van Leeuwen, 2013.

    16 Kosmopoulos et Pumain, 2008.

    17 Bomsel, 2014.

    18 Charton, 2014 ; Jaffrin et Parisot, 2014 ; Dillaerts, 2014.

    Auteur

    • Lionel Obadia
    Précédent Suivant
    Table des matières

    Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

    Voir plus de livres
    Faits d’école

    Faits d’école

    François Dubet

    2008

    Qu’est-ce qu’un philosophe français ?

    Qu’est-ce qu’un philosophe français ?

    La vie sociale des concepts (1880-1980)

    Jean-Louis Fabiani

    2010

    La subjectivité journalistique

    La subjectivité journalistique

    Onze leçons sur le rôle de l’individualité dans la production de l’information

    Cyril Lemieux (dir.)

    2010

    Katrina, 2005

    Katrina, 2005

    L’ouragan, l’État et les pauvres aux États-Unis

    Romain Huret

    2010

    La tentation du corps

    La tentation du corps

    Corporéité et sciences sociales

    Dominique Memmi, Dominique Guillo et Olivier Martin (dir.)

    2009

    Sida : la course aux molécules

    Sida : la course aux molécules

    Sébastien Dalgalarrondo

    2004

    De l’artification

    De l’artification

    Enquêtes sur le passage à l’art

    Nathalie Heinich et Roberta Shapiro (dir.)

    2012

    Faire des sciences sociales. Comparer

    Faire des sciences sociales. Comparer

    Olivier Remaud, Jean-Frédéric Schaub et Isabelle Thireau (dir.)

    2012

    Faire des sciences sociales. Généraliser

    Faire des sciences sociales. Généraliser

    Emmanuel Désveaux et Michel de Fornel (dir.)

    2012

    Avant le genre

    Avant le genre

    Triptyque d’anthropologie hardcore

    Emmanuel Désveaux

    2013

    Devenir chercheur

    Devenir chercheur

    Écrire une thèse en sciences sociales

    Moritz Hunsmann et Sébastien Kapp (dir.)

    2013

    Une catastrophe ordinaire

    Une catastrophe ordinaire

    La tempête du 27 décembre 1999

    François Dedieu

    2013

    Voir plus de livres
    1 / 12
    Faits d’école

    Faits d’école

    François Dubet

    2008

    Qu’est-ce qu’un philosophe français ?

    Qu’est-ce qu’un philosophe français ?

    La vie sociale des concepts (1880-1980)

    Jean-Louis Fabiani

    2010

    La subjectivité journalistique

    La subjectivité journalistique

    Onze leçons sur le rôle de l’individualité dans la production de l’information

    Cyril Lemieux (dir.)

    2010

    Katrina, 2005

    Katrina, 2005

    L’ouragan, l’État et les pauvres aux États-Unis

    Romain Huret

    2010

    La tentation du corps

    La tentation du corps

    Corporéité et sciences sociales

    Dominique Memmi, Dominique Guillo et Olivier Martin (dir.)

    2009

    Sida : la course aux molécules

    Sida : la course aux molécules

    Sébastien Dalgalarrondo

    2004

    De l’artification

    De l’artification

    Enquêtes sur le passage à l’art

    Nathalie Heinich et Roberta Shapiro (dir.)

    2012

    Faire des sciences sociales. Comparer

    Faire des sciences sociales. Comparer

    Olivier Remaud, Jean-Frédéric Schaub et Isabelle Thireau (dir.)

    2012

    Faire des sciences sociales. Généraliser

    Faire des sciences sociales. Généraliser

    Emmanuel Désveaux et Michel de Fornel (dir.)

    2012

    Avant le genre

    Avant le genre

    Triptyque d’anthropologie hardcore

    Emmanuel Désveaux

    2013

    Devenir chercheur

    Devenir chercheur

    Écrire une thèse en sciences sociales

    Moritz Hunsmann et Sébastien Kapp (dir.)

    2013

    Une catastrophe ordinaire

    Une catastrophe ordinaire

    La tempête du 27 décembre 1999

    François Dedieu

    2013

    Accès ouvert

    Accès ouvert freemium

    ePub

    PDF

    PDF du chapitre

    Suggérer l’acquisition à votre bibliothèque

    Acheter

    Édition imprimée

    • amazon.fr
    • decitre.fr
    • mollat.com
    • leslibraires.fr
    • lcdpu.fr
    ePub / PDF

    1 Laillier et Topalov, 2017.

    2 Barats, Bouchard et Haakenstad (eds), 2018, p. 11.

    3 Gilles, 2016, p. 133 et 147.

    4 Karpik, 2012.

    5 Berry, 2009.

    6 Barats, Bouchard et Haakenstad (eds), 2018 ; Bureau, 2010.

    7 Gori et Del Volgo, 2009.

    8 Charle, 2008 ; Mérindol, 2008.

    9 Gingras, 2015, p. 73.

    10 Gori et Del Volgo, 2009, p. 18.

    11 Gaudin, 2008.

    12 Le h-index est une mesure développée par Jorge Hirsch en 2005, qui permet de quantifier la productivité scientifique et l’impact d’un chercheur en fonction du niveau de citation de ses publications. Sur cet indicateur et les critiques qu’on peut lui apporter, voir Filliatreau, 2008 ; Longo, 2009.

    13 Landes, 2014, p. 71.

    14 Voir sfdora.org/read/fr (consulté en juin 2020).

    15 Van Leeuwen, 2013.

    16 Kosmopoulos et Pumain, 2008.

    17 Bomsel, 2014.

    18 Charton, 2014 ; Jaffrin et Parisot, 2014 ; Dillaerts, 2014.

    L’édition en sciences humaines et sociales

    X Facebook Email

    L’édition en sciences humaines et sociales

    Ce livre est diffusé en accès ouvert freemium. L’accès à la lecture en ligne est disponible. L’accès aux versions PDF et ePub est réservé aux bibliothèques l’ayant acquis. Vous pouvez vous connecter à votre bibliothèque à l’adresse suivante : https://freemium.openedition.org/oebooks

    Suggérer l’acquisition à votre bibliothèque Acheter ce livre aux formats PDF et ePub

    Si vous avez des questions, vous pouvez nous écrire à access[at]openedition.org

    L’édition en sciences humaines et sociales

    Vérifiez si votre bibliothèque a déjà acquis ce livre : authentifiez-vous à OpenEdition Freemium for Books.

    Vous pouvez suggérer à votre bibliothèque d’acquérir un ou plusieurs livres publiés sur OpenEdition Books. N’hésitez pas à lui indiquer nos coordonnées : access[at]openedition.org

    Vous pouvez également nous indiquer, à l’aide du formulaire suivant, les coordonnées de votre bibliothèque afin que nous la contactions pour lui suggérer l’achat de ce livre. Les champs suivis de (*) sont obligatoires.

    Veuillez, s’il vous plaît, remplir tous les champs.

    La syntaxe de l’email est incorrecte.

    Référence numérique du chapitre

    Format

    Obadia, L. (2020). L’évaluation des publications scientifiques à l’Agence nationale de la recherche. In L’édition en sciences humaines et sociales. Paris: Éditions de l’École des hautes études en sciences sociales. https://doi.org/10.4000/books.editionsehess.28908
    Obadia, Lionel. « L’évaluation des publications scientifiques à l’Agence nationale de la recherche ». In L’édition en sciences humaines et sociales. Paris: Éditions de l’École des hautes études en sciences sociales, 2020. doi:10.4000/books.editionsehess.28908.
    Obadia, Lionel. « L’évaluation des publications scientifiques à l’Agence nationale de la recherche ». L’édition en sciences humaines et sociales, Éditions de l’École des hautes études en sciences sociales, 2020, https://doi.org/10.4000/books.editionsehess.28908.

    Référence numérique du livre

    Format

    Anheim, Étienne, & Foraison, L. (2020). L’édition en sciences humaines et sociales. Paris: Éditions de l’École des hautes études en sciences sociales. https://doi.org/10.4000/books.editionsehess.28728
    Anheim, Étienne, et Livia Foraison. L’édition en sciences humaines et sociales. Paris: Éditions de l’École des hautes études en sciences sociales, 2020. doi:10.4000/books.editionsehess.28728.
    Anheim, Étienne, et Livia Foraison. L’édition en sciences humaines et sociales. Éditions de l’École des hautes études en sciences sociales, 2020, https://doi.org/10.4000/books.editionsehess.28728.
    Compatible avec Zotero Zotero

    1 / 3

    Éditions de l’École des hautes études en sciences sociales

    Éditions de l’École des hautes études en sciences sociales

    • Plan du site
    • Se connecter

    Suivez-nous

    • Flux RSS

    URL : http://editions.ehess.fr

    Email : editions@ehess.fr

    Adresse :

    Éditions de l’EHESS

    105 boulevard Raspail

    75006

    Paris

    France

    OpenEdition
    • Candidater à OpenEdition Books
    • Connaître le programme OpenEdition Freemium
    • Commander des livres
    • S’abonner à la lettre d’OpenEdition
    • CGU d’OpenEdition Books
    • Accessibilité : partiellement conforme
    • Données personnelles
    • Gestion des cookies
    • Système de signalement