Version classiqueVersion mobile
OpenEdition Books

Le climat à découvert

 | 
Catherine Jeandel
, 
Rémy Mosseri

Huitième partie. Questions et enjeux

6. L’évaluation de la recherche

Étienne Bustarret

Texte intégral

1L’évaluation est au cœur de l’actualité scientifique depuis plusieurs années : création d’une agence dédiée (l’AERES*) remettant en cause d’autres méthodes, conflits concernant les modalités d’évaluation des enseignants-chercheurs, déclarations intempestives à un haut niveau politique suggérant que la communauté scientifique se livrerait à des « auto-évaluations » coupables… La médiatisation de certaines controverses, comme celle concernant le climat, invite à rappeler ici la réalité d’une pratique qui, dans les sciences du climat comme dans bien d’autres domaines, constitue une étape cruciale de l’avancée du front des connaissances. Pour simplifier, nous appellerons « chercheurs » celles et ceux qui ont une production scientifique passant par des modes reconnus de validation collective, qu’ils soient dénommés « chercheurs » ou « ingénieurs » dans des organismes de recherche, ou bien « enseignants-chercheurs » à l’université.

Moments et acteurs de l’évaluation

2La recherche est évaluée de multiples façons, au niveau individuel et collectif, a priori et a posteriori. Une même recherche est d’ailleurs évaluée plusieurs fois. Comme ce processus doit être mené par ceux qui peuvent la comprendre, un chercheur, en plus du temps consacré aux recherches elles-mêmes (et à l’enseignement pour nombre d’entre eux), cumule les rôles d’évaluateur et d’évalué, qui sont de plus en plus chronophages. L’évaluation « par les pairs » est en effet la seule qui soit reconnue par la communauté scientifique au plan international, pour juger de la justesse et de la qualité d’une recherche, au regard de critères, génériques ou disciplinaires, partagés par les acteurs. Il s’agit d’une confrontation distincte du débat de pertinence, d’opportunité ou d’impact qui doit être engagé au-delà du monde académique, avec la société dans son ensemble. Ce point est particulièrement sensible dans les domaines comme les sciences du climat, où les acteurs se sont retrouvés en position de « lanceurs d’alerte », amenés à intervenir comme « experts » en dehors du champ académique.

3Du point de vue national, on distinguera deux types de structures menant des évaluations, suivant leur mode de désignation : d’un côté le Conseil National des Universités, le Comité National de la Recherche Scientifique, historiquement rattaché au CNRS*, et les instances équivalentes dans d’autres organismes (INSERM*, IRD* ou INRA* par exemple), qui laissent une large place à des membres élus par la communauté scientifique ; de l’autre, l’évaluation hiérarchique pratiquée par exemple au CEA* ou celle des agences comme l’AERES, l’ANR* ou d’autres structures ad hoc de sélection de programmes, où les nominations dans les comités d’évaluation sont effectuées par le « haut ».

4Un exemple très important d’évaluation d’une recherche a posteriori est celui qui permet de recommander (ou non) la publication d’un article scientifique. Dans la pratique, l’éditeur choisit un ou plusieurs rapporteurs (en anglais « referees »), qui sont des spécialistes bénévoles anonymes. Ceux-ci structurent leur analyse en fonction d’une grille proposée par l’éditeur, et émettent des commentaires et recommandations à l’adresse des auteurs (ouvrant la voie à des améliorations) et de l’éditeur lui-même (pour éclairer sa décision). Des allers-retours peuvent s’opérer entre auteurs, rapporteurs et éditeurs avant qu’une décision finale ne soit prise par ces derniers. Autres évaluations a posteriori, celles qui conduisent à attribuer un grade de docteur ou bien encore de promouvoir un chercheur (bien qu’un jugement sur leur programme de recherches à venir soit également porté dans ce cas).

5Dans le dispositif de recherche national et international, cette évaluation sur la base d’un bilan (éventuellement périodique) est de plus en plus souvent complétée et parfois même remplacée par une évaluation a priori de projets d’expériences, de « campagnes sur le terrain », etc. Ce financement sur projet s’applique depuis toujours dans les recherches sur le climat, qui utilisent des équipements onéreux tels que des navires, des avions, ou encore des satellites. Ceux-ci sont mis à disposition des chercheurs sur la base de dossiers argumentés et évalués. Par exemple, décrocher une campagne en mer aujourd’hui requiert de passer sous le crible d’au moins 3 comités d’évaluation a priori. De même, un recrutement résultera généralement d’un examen a priori.

6Bien sûr, cette évaluation a priori prend largement en compte de nombreux éléments rétrospectifs, notamment ceux qui concernent l’originalité et la faisabilité : état de l’art des sujets, curriculum des candidats ou des porteurs de projets, savoir-faire acquis, équipements déjà disponibles, voire projets déjà obtenus. Le poids de la « sécurité » que procurent ces éléments à l’évaluateur peut parfois être un handicap face à l’incertitude présidant à l’évaluation a priori, défavorisant les projets les plus risqués ou originaux qu’elle est censée encourager. Et l’on doit s’interroger sur les travers d’une généralisation excessive de ce mode « projet » aisément pilotable à tout type de recherche, faite au détriment des financements plus pérennes qui permettent le développement de véritables politiques scientifiques menées par les laboratoires. Enfin, il est courant de présenter la « sélectivité » d’une évaluation de projets (mesurée par un rapport faible entre le nombre de demandes acceptées sur le nombre de demandes formulées) comme un gage de qualité. Mais l’on sait bien que ce système devient contre-productif lorsque les ressources déployées à préparer, mais aussi à évaluer les projets, dépassent celles consacrées à faire effectivement avancer lesdits projets ou activités, ou à prendre des initiatives novatrices.

7D’une façon générale, on attend des évaluateurs qu’ils se réfèrent à un standard de pertinence et de rigueur scientifique plus ou moins explicite (affichage des critères) et partagé par une communauté disciplinaire, ce qui peut constituer une difficulté pour l’évaluation des travaux ou projets fortement interdisciplinaires, notamment dans les sciences du climat. À côté d’évaluations (e.g. le grade de docteur) qui se font dans « l’absolu », sans référence à un quota, on demande désormais fréquemment de situer la « valeur » du travail soumis par rapport à celle de travaux contemporains comparables, voire de lui attribuer une ou plusieurs notes. Ces notations, qui gomment ou simplifient à outrance la richesse d’une évaluation, ont de nombreux effets pervers : facilité d’utilisation hors contexte, ou illusion donnée à des non-spécialistes qu’ils sont eux-mêmes en situation d’évaluation rationnelle. On assiste en parallèle à une montée en puissance de critères quantitatifs, dits « scientométriques », qui font également l’objet de nombreuses critiques, en particulier lorsqu’ils invitent à une forme de conformisme pour les satisfaire, au détriment d’idées novatrices.

Quelques principes pour une bonne évaluation

8L’évaluation de la recherche est donc un processus complexe. Quel qu’en soit l’usage (dans le champ académique mais aussi sociétal à travers des activités d’expertise), elle doit répondre à un certain nombre de principes qui sont garants de la confiance qu’on doit pouvoir lui attribuer. (i) L’instance d’évaluation doit être indépendante par rapport aux autorités politiques et aux groupes de pression. (ii) Le mandat du collège d’évaluateurs doit être pluriannuel afin de garantir une mémoire des procédures et des avis et de construire sur plusieurs années une vision globale de l’activité nationale dans un domaine donné. (iii) Le débat doit être collégial, contradictoire et introduit par un ou plusieurs rapporteurs. Il doit toujours être privilégié par rapport à l’utilisation automatique de critères scientométriques. L’avis final est rendu et assumé par l’ensemble du collège. (iv) Dernier principe à respecter : la transparence. Les critères d’évaluation doivent être affichés et la composition des comités d’évaluation connue. Enfin, des déclarations de conflit d’intérêt sont demandées aux évaluateurs pour tous les dossiers qui leur sont soumis et des procédures sont prévues pour gérer de telles situations.

Bibliographie

Références bibliographiques

• C3N - Quelques remarques sur une agence qui fâche : l’AERES, www.c3n-recherche-scientifique.fr,2010.

• CoNRS - Comparaison des pratiques d’évaluation individuelle et collective dans les établissements publics de recherche, SGCN, www.cnrs.fr/comitenational/doc,2008.

• F. LALOË et R. MOSSERI - « L’évaluation bibliométrique des chercheurs : même pas juste… même pas fausse ! », Reflets de la Physique, 2009.

Auteur

Physicien, Directeur de Recherche au CNRS, Président de la Conférence des Présidents du Comité National, Institut Néel, Grenoble.
etienne.bustarret@grenoble.cnrs.fr

© CNRS Éditions, 2011

Conditions d’utilisation : http://www.openedition.org/6540