Science ouverte et évaluation de la recherche. Tendances et état des lieux en Europe
p. 141-146
Texte intégral
1Je suis très heureuse de participer à la discussion sur l’importance de changer et de réformer l’évaluation de la recherche afin de faire de la science ouverte une réalité. Cependant, permettez-moi de souligner un point dans l’autre sens : la science ouverte est également le principal moteur de cette nouvelle façon d’évaluer les chercheurs, en permettant d’évaluer une recherche plus complète, qui nous pousse vers une meilleure science. C’est le mouvement de la science ouverte qui nous rassemble aujourd’hui, nous devons le reconnaître.
2Je souhaite vous proposer un aperçu de la place actuelle de la science ouverte dans l’évaluation de la recherche institutionnelle, en me concentrant sur les universités européennes. Pour ce faire, je vais vous présenter les résultats du travail que nous avons effectué au sein d’un groupe d’experts sur la science ouverte de l’Association des universités européennes (EUA). Nous suivons les tendances et l’évolution de la science ouverte depuis environ dix ans et notre groupe d’experts a lui-même évolué pour mieux suivre ces différentes tendances. Nous venons de publier notre nouvelle vision et nos nouvelles priorités pour les années à venir, et l’évaluation de la recherche en est un élément clé.
3Nous avons suivi cette évolution à travers différentes enquêtes, en demandant aux universités si elles mettaient en œuvre la science ouverte. Ces enquêtes elles-mêmes ont également évolué avec le temps : nous avons commencé en 2014, en posant simplement des questions sur le libre accès aux publications, puis nous avons intégré les données FAIR, et en 2017, nous avons inclus l’évaluation de la recherche. Je vais m’appuyer ici sur une combinaison des deux derniers rapports et enquêtes de l’EUA1. Il convient de noter que les réponses à ces enquêtes ont été transmises par des dirigeants d’université ou par des unités ou départements en charge de la science ouverte au sein des universités, il ne s’agit donc pas d’une approche bottom-up qui témoignerait de la façon dont les personnels des universités conçoivent les choses, mais du point de vue top-down de ceux qui sont à la tête de ces établissements. L’autre chose que je tiens à souligner est que tous ces résultats et toutes ces enquêtes ont été réalisés juste avant que la Commission européenne n’entame de discussion avec les parties prenantes, il sera donc très intéressant de voir ce qui se passera après le débat que nous menons actuellement.
4Commençons par la science ouverte. La bonne nouvelle est que la science ouverte est de plus en plus présente dans les priorités stratégiques des universités européennes, et qu’une grande majorité d’entre elles se sont même dotées de politiques institutionnelles spécifiques en matière de science ouverte ou sont en train d’en élaborer. Cependant, en entrant dans le détail de l’organisation de ces politiques de science ouverte, on constate d’importantes différences d’un domaine de science ouverte à l’autre. Par exemple, le libre accès aux publications se voit accorder le plus haut niveau d’importance et de mise en œuvre, alors que l’évaluation n’est pas considérée comme importante.
Fig. 11 : Le rôle limité de l’OS dans les approches d’évaluation académique des universités

Source : Association des universités européennes et al., « Open Science in universityapproaches to academic assessment », décembre 2021, https://www.eua.eu/resources/publications/999:open-science-in-university-approaches-to-academic-assessment.html.
5Cela se reflète également dans le rôle limité que présente la science ouverte dans les évaluations académiques menées par les universités. Lorsque nous avons interrogé sur ce sujet, la plupart des répondants ont apporté des éléments de réponse plutôt liés au libre accès aux articles et aux livres. Pire, près de la moitié des répondants n’ont pas du tout intégré les aspects de la science ouverte dans leurs pratiques d’évaluation. Lorsque nous avons posé des questions spécifiques sur l’évaluation des carrières des chercheurs, les réponses obtenues ont montré que la science ouverte et le libre accès forment les aspects les moins importants de ce type d’évaluation, alors que les publications scientifiques et l’obtention de financement occupent respectivement les première et deuxième places du podium.
6Lorsque nous avons demandé quels méthodologies étaient utilisées pour évaluer les carrières des chercheurs, nous avons identifié deux critères les plus habituels: les métriques basées sur le nombre de publications et de citations, et l’évaluation par les pairs. Les principales métriques utilisées sont le facteur d’impact des revues et l’indice h. Elles représentent la réalité des universités européennes à l’heure actuelle, car il y a un décalage entre leur stratégie de science ouverte et l’intégration de la science ouverte dans l’évaluation de la recherche. En outre, la principale difficulté réside dans le fait que les dirigeants et les administrateurs des universités semblent attachés à l’approche de l’évaluation de la recherche basée sur ces paramètres. Si l’on s’attarde sur cette difficulté, on constate que la plupart des problèmes qu’elle entraîne sont d’ordre pratique, car les dirigeants et administrateurs se rendent très bien compte que la réforme de l’évaluation de la recherche est une question complexe, qu’ils n’ont pas la capacité institutionnelle de mener à bien. Ils s’inquiètent également de l’augmentation des coûts. Un autre point très important à souligner est que les universités perçoivent une résistance à la réforme de la part des chercheurs. Or, il est absolument essentiel de faire participer les chercheurs à la conversation. Nous ne pouvons pas nous contenter d’une approche descendante. Nous avons au contraire besoin d’une approche ascendante pour créer et faire avancer toutes les réformes nécessaires.
7Permettez-moi de partager avec vous les difficultés que nous rencontrons, et que je rencontre moi-même en tant que vice-présidente d’une université, quand nous essayons de changer les choses et de trouver un équilibre entre ce qui est souhaitable et ce qui est possible. Ce dilemme est omniprésent. Il est difficile de bien prendre en compte le contexte particulier, l’environnement complexe dans lequel nous nous trouvons, le manque d’incitations, le manque de directives, le manque de politiques différenciées, les disparités entre pays et entre disciplines, ainsi que la question de savoir comment nous, en tant qu’universitaires, allons pouvoir agir sans nuire aux chercheurs, en particulier aux chercheurs en début de carrière. Cependant, lorsque nous posons des questions sur l’avenir, la plupart des répondants affirment que la science ouverte sera de plus en plus présente, y compris dans l’évaluation universitaire.
8De nombreuses organisations travaillent à repenser la manière dont nous pouvons améliorer l’évaluation académique et je vais m’attarder sur certaines d’entre elles. Je vais commencer par le niveau institutionnel, avec trois exemples d’universités qui ont commencé à travailler sur ces questions il y a quelques années. Tout d’abord, l’université de Gand, qui a publié un plan d’action en 20162 pour chercher à mettre en place un système d’évaluation plus complet. Ce plan a permis la refonte et le remaniement du système d’évaluation du personnel académique, désormais davantage considéré comme un processus de développement professionnel et non plus seulement de contrôle et d’évaluation. Il existe un autre très bon exemple à l’université d’Utrecht3, où la faculté de médecine a adopté une stratégie de science ouverte qui intègre un inventaire plus qualitatif et descriptif de ce qui peut être pris en compte pour évaluer chercheurs et unités de recherche.
9Je vais également vous expliquer un peu ce que nous faisons à l’université ouverte de Catalogne avec notre propre plan d’action pour la connaissance ouverte que nous avons approuvé en 20184. Nous avons décidé d’y considérer l’évaluation de la recherche comme un moyen d’avancer vers la science ouverte. Dans un premier temps, nous avons mis en place un groupe de travail pour chercher à savoir si nous serions en mesure de respecter les préconisations de DORA5 en n’utilisant pas le facteur d’impact des journaux pour évaluer les chercheurs et la recherche. Après cela, nous avons signé cette déclaration et commencé à adopter des rapports et des procédures plus narratifs dans nos évaluations, en écartant le facteur d’impact des revues dans notre fonctionnement interne.
10On peut également mentionner de très bonnes initiatives nationales, comme aux Pays-Bas, qui ont imaginé une manière très intéressante de tenir compte de l’asymétrie dans l’évaluation6. En Finlande, il y a quelques années, le réseau Responsible Research a publié une belle série de recommandations soulignant la nécessité de faire évoluer l’évaluation pour prendre en compte de nouvelles manières de produire et de communiquer dans le domaine scientifique7. De même, des universités norvégiennes ont proposé une nouvelle version de la matrice d’évaluation de la carrière scientifique ouverte8. La manière dont elles l’ont fait est très intéressante, car elle tient compte des différentes disciplines et d’une approche ascendante et inclut une boîte à outils avec quelques indicateurs, tant quantitatifs que qualitatifs, ainsi qu’une réflexion à ce sujet.
11Tous ces exemples sont également présents dans le travail effectué par DORA, l’EUA et SPARC Europe9. Ce sont ces initiatives individuelles qui nous ont permis d’être entendus par la Commission européenne, nous permettant ainsi de prendre l’élan nécessaire pour convaincre tous les acteurs que ces changements doivent être mis en place. Il est très important que le nouvel agenda politique de l’Espace européen de la recherche pour les années à venir comporte une action spécifique en vue de la réforme de l’évaluation de la recherche. Le rapport de la Commission10 est également un jalon important. Nous travaillons maintenant tous ensemble à ce processus, avec la Commission comme facilitateur, afin de générer la masse critique dont nous avons besoin.
12Permettez-moi de conclure en disant que le changement est à portée de main. Nous avons la possibilité de lancer de plus en plus d’actions afin de passer à une méthode plus complète, plus transparente et plus équitable d’évaluation de la recherche universitaire, pour une science meilleure, et je pense que l’opportunité est là.
Pour aller plus loin
13« La Commission européenne travaille à la préparation d’un accord global sur la réforme de l’évaluation de la recherche, et a lancé à ce sujet un appel à manifestation d’intérêt auprès des institutions susceptibles de prendre part à cette réflexion. Plus d’une centaine d’entre elles se sont déjà portées volontaires, dans le but de corédiger une liste d’actions spécifiques à mener, et de mesures destinées à soutenir ces actions. »
14« Nous savons ce que nous ne voulons pas, mais nous sommes aussi à peu près conscients que la science ouverte ne sera pas une solution universelle pour tous. Elle doit être adaptée au contexte, au pays, à l’université, aux chercheurs et aux disciplines. À l’UOC, nous avons commencé modestement et nous avançons pas à pas, avec un apprentissage par l’action conjointe entre toutes les universités et toutes les parties prenantes. C’est pourquoi ces recommandations de l’UNESCO sont si importantes, parce que l’échelle mondiale est très, très importante si nous voulons donner un réel élan. Le libre accès aux publications de recherche est plus facile parce que nous discutons du libre accès aux articles depuis de nombreuses années, et nous savons comment les intégrer et comment ouvrir cet accès. Nous devons maintenant apprendre à faire autre chose. »
15« Tout le monde n’est pas conscient des limites des métriques de la recherche telles que lindice h au sein de la communauté universitaire. Nous devrions ouvrir davantage ce débat, sensibiliser et faire participer tout le monde, afin d’en faire connaître tous les inconvénients. »
Notes de bas de page
1 Association des universités européennes et al., « Open Science in university approaches to academic assessment », décembre 2021, https://www.eua.eu/resources/publications/999:open-science-in-university-approaches-to-academic-assessment.html.
2 « Vision Statement for Evaluating Research at Ghent University », 8 novembre 2016, https://www.ugent.be/en/research/research-strategy/evaluation/research-evaluation-principles.pdf.
3 « Recognition and Rewards », Utrecht University, consulté le 16 mars 2022, https://www.uu.nl/en/research/open-science/tracks/recognition-and-rewards.
4 Universitat Oberta de Catalunya, « Open Knowledge Action Plan », mai 2019, https://www.uoc.edu/portal/en/coneixement-obert/pla-accio/index.html.
5 American Society for Cell Biology, « Declaration on Research Assessment (DORA) », DORA, 2012, https://sfdora.org/.
6 VSNU et al., « Room for Everyone’s Talent », novembre 2019, https://www.nwo.nl/en/position-paper-room-everyones-talent.
7 Working group for responsible evaluation of a researcher, « Good Practice in Researcher Evaluation: Recommendation for the Responsible Evaluation of a Researcher in Finland », 2020, https://doi.org/10.23847/isbn.9789525995282.
8 Universities Norway, « NOR-CAM – A toolbox for recognition and rewards in academic careers », 1er juin 2021, https://www.uhr.no/en/front-page-carousel/nor-cam-a-toolbox-for-recognition-and-rewards-in-academic-careers.5780.aspx; original matrix: Working group on rewards under Open Science, « Evaluation of Research Careers fully acknowledging Open Science Practices Rewards, incentives and/or recognition for researchers practicing Open Science », juillet 2017, https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport_final.pdf.
9 Saenen, Bregt, Anna Hatch, Stephen Curry, Vanessa Proudman and Ashley Lakoduk, Reimagining Academic Career Assessment: Stories of innovation and change, Janvier 2021, https://eua.eu/resources/publications/952:reimagining-academic-career-assessment-stories-of-innovation-and-change.html.
10 Commission européenne, Towards a Reform of the Research Assessment System: Scoping Report (LU: Publications Office of the European Union, 2021), https://data.europa.eu/doi/10.2777/707440.
Auteur
-
Pastora Martínez Samper
Universitat Oberta de Catalunya - UOC

Le texte seul est utilisable sous licence Creative Commons - Attribution 4.0 International - CC BY 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Livre blanc — Une Science ouverte dans une République numérique
Direction de l’Information Scientifique et Technique - CNRS
2016
White Paper — Open Science in a Digital Republic
Scientific and Technical Information Department - CNRS
2016
Livre blanc — Une Science ouverte dans une République numérique — Guide stratégique
Études et propositions en vue de l’application de la loi
Direction de l’Information Scientifique et Technique - CNRS
2017
White Paper — Open Science in a Digital Republic — Strategic Guide
Study Review and Proposals for Implementing the Act
Scientific and Technical Information Department - CNRS
2017
Connecting the Knowledge Commons — From Projects to Sustainable Infrastructure
The 22nd International Conference on Electronic Publishing – Revised Selected Papers
Leslie Chan et Pierre Mounier (dir.)
2019
Actes des Journées européennes de la science ouverte
Open Science European Conference – OSEC 2022
Open Science European Conference
2022
Proceedings of the Paris Open Science European Conference
OSEC 2022
Open Science European Conference
2022