Version classiqueVersion mobile

Les revues en sciences de l’éducation : mutations et permanences

 | 
Jacques Fijalkow
, 
Richard Étienne

Deuxième partie. Textes transversaux : problèmes communs et mutations à venir

11. Le processus d’évaluation d’écrits scientiifiques à l’œuvre dans quelques revues en sciences de l’éducation : pratiques actuelles et perspectives d’évolution

Jean-Noël Blocher

Texte intégral

1Ce chapitre fait suite au symposium des revues en sciences de l’éducation qui s’est tenu en juin 2014 à Toulouse. Parmi les problématiques abordées par les représentants des revues, celle du processus d’évaluation est apparue comme centrale. Fort de ce constat, nous choisissions de porter notre intérêt sur la manière dont ce processus est à l’œuvre au sein des revues représentées. Dans une seconde partie, nous prendrons appui sur la réflexion menée actuellement au sein de la revue Éducation & Didactique. Ce faisant, nous tenterons d’esquisser les grandes lignes de ce vers quoi pourrait tendre le processus évaluatif dans les revues en sciences de l’homme en prenant appui sur les modèles développés par Pöschl (2012), Kriegeskorte (2012), ou encore Nielsen (2009, 2011). Ces manières de considérer le processus évaluatif, nous le verrons, amènent à reconsidérer le statut même de l’article scientifique et des éléments qui y sont liés, à la fois dans leur mode d’écriture, dans leur mode de diffusion et in fine dans la valorisation à la fois académique et sociale qui peut en être faite.

1 Pratiques actuelles dans l’évaluation des articles soumis aux principales revues en sciences de l’éducation

  • 1 Il s’agit des modèles de fiche d’évaluation utilisés par 6 revues présentes lors du symposium : Édu (...)

2L’analyse des témoignages et des fiches d’évaluation fournies par les différentes revues1 permet de constater des préoccupations récurrentes au sein des comités éditoriaux, notamment pour ce qui concerne l’aide à l’écriture, voire à la réécriture. Cette analyse permet également de pointer un certain nombre de points de divergence, quant à la manière dont est pensé le processus évaluatif des articles au sein des différentes revues.

  • 2 Représentant la revue Le cartable de Clio.

3Parmi les préoccupations et manières de faire faisant consensus, la première dont nous souhaiterions faire état est celle du mode d’évaluation choisi par les revues. En effet, chaque revue représentée au symposium indique faire appel à plus d’un évaluateur (généralement deux) pour mener des évaluations en double aveugle. Pour rappel, cette expression signifie que ni les experts, ni les auteurs ne sont censés savoir qui a écrit l’article et qui l’évalue. L’expression « censés » a ici tout son sens dans la mesure où l’ensemble des représentants des revues indique que cet anonymat est souvent caduc, notamment lorsque l’on s’adresse à des spécialistes du champ capables de reconnaître, à la teneur des propos ou aux travaux cités, qui est l’auteur de tel ou tel texte. Dans certaines disciplines, comme en témoigne Charles Heimberg2 lorsqu’il mentionne le champ de la didactique de l’histoire, il est illusoire, compte tenu du nombre d’experts très restreint, d’imaginer une évaluation garantissant l’anonymat.

4Ce constat pose alors la question de l’endogamie/exogamie des évaluateurs sollicités. Plusieurs revues indiquent solliciter un évaluateur reconnu comme connaisseur du champ disciplinaire dans lequel s’inscrit l’article et un évaluateur non expert du champ afin, notamment, de pallier pour partie la rupture de l’anonymat. Mais cette question ne s’inscrit pas seulement dans ce registre. En effet, le débat lors du symposium a pu se poursuivre en considérant l’exogamie partielle lorsqu’il est fait recours à un évaluateur « hors champ » comme un gage de compréhensibilité et de diffusion potentiellement facilité dans des disciplines connexes. Mais cette question — celle du recours à des évaluateurs provenant de champs disciplinaires connexes — ne se résume pas à la tentative, certes louable, de garantir l’anonymat des parties.

5On ne peut nier, et ce phénomène s’accentue au fil des années si l’on en croit les représentants des revues présents lors du symposium, une forme d’épuisement des pools d’experts. Cet épuisement peut en partie s’expliquer par la multiplication des revues scientifiques (la liste des revues en sciences de l’éducation de l’AERES datée de juin 2014 dénombre quatre-vingts revues de langue française), induisant une multiplication des sollicitations dont font l’objet les experts. Notons en outre (ce point est abordé et développé plus loin dans le texte) que l’expertise scientifique des articles reste une activité peu valorisée académiquement.

6Si l’on entre précisément dans le processus d’évaluation, à travers l’analyse des feuilles d’expertise transmises par les revues, il est intéressant de constater des préoccupations communes. Ainsi, cinq des six revues ayant fourni leur fiche d’expertise proposent une grille d’évaluation dotée de critères. Seule la revue Recherches en Didactiques utilise un formalisme différent, bien que le document soit intitulé « grille de lecture ». Les illustrations ci-dessous sont des extraits des fiches communiquées par les six revues à partir desquelles se base notre analyse :

Illustration no 1

Illustration no 1

Illustration no 2

Illustration no 2

Illustration no 3

Illustration no 3
  • 3 À la différence des quatre autres feuilles d’évaluation, cette trame est optionnelle. L’expert peut (...)

Illustration no 4 3

Illustration no 4 3

Illustration no 5

Illustration no 5

7Comme nous pouvons le constater, les grilles disposent d’un niveau de détail variable. Ainsi, certaines feuilles d’évaluation disposent d’un grand nombre de critères qui permettent de détailler les points positifs comme les manquements de certains articles, tandis que d’autres grilles ne permettent à l’évaluateur que de donner un avis final.

8En sus des grilles d’évaluation, le lecteur-expert est invité à produire des commentaires supplémentaires. La forme de ces commentaires varie en fonction des revues et nous avons pu répertorier :

  • l’édition d’un avis circonstancié et d’un texte annoté en option (pour deux revues),

  • la déclinaison de modifications que l’auteur est invité à entreprendre,

  • un résumé de l’intérêt général de l’article et des commentaires et recommandations associés,

  • des commentaires jugés utiles pour éclairer à la fois le comité éditorial dans sa prise de décision et l’auteur dans la réécriture potentielle en vue de la publication.

9Au-delà de la forme des documents demandés, cette liste fait état de préoccupations différentes. In fine, deux préoccupations ressortent de ces documents, l’une plutôt orientée vers un argumentaire en vue d’aider le comité éditorial à prendre une décision quant à la publication de l’article, l’autre plutôt orientée vers la production de conseils bienveillants à l’égard de l’auteur.

  • 4 Il parait important de noter ici que le qualificatif « total » n’est pas incompatible avec le quali (...)

10Mais, quelle que soit la forme retenue, les discussions lors du symposium ont fait état d’une pratique répandue visant à produire une synthèse à destination des auteurs. Cette rédaction comporte un degré variable de réécriture ou de remaniement des éléments liés à l’évaluation. Quand une revue indique « se contenter » de produire une synthèse indiquant à l’auteur le sort dévolu à son écrit, une autre indique une réécriture totale4 des éléments de l’évaluation. Là encore (sans qu’il y ait toutefois une polarité extrême), deux manières de penser l’acte de synthèse coexistent. L’une visant à justifier une décision par un argumentaire reprenant tout ou partie des commentaires des évaluateurs, l’autre visant à produire des recommandations bienveillantes voire euphémisées pour accompagner la réécriture. En d’autres termes, une logique inscrite en référence à des critères académiques, une autre inscrite dans une recherche d’éthique vis-à-vis des auteurs.

11Nous espérons avoir pu dépeindre les problématiques communes face auxquelles les revues questionnées tentent de répondre en organisant le processus d’évaluation des articles qui leur sont soumis. La seconde partie de ce chapitre s’inscrit dans une recherche prospective, en réponse à certaines problématiques décrites. Il s’agira, dans un premier temps, de revenir sur le processus d’évaluation. Puis nous traiterons de réflexions en cours au sein du comité de rédaction de la revue Éducation & Didactique, réflexions conduisant à la fois à repenser le processus d’évaluation et le statut même de l’écrit scientifique.

2 La gestion du suivi d’un article soumis à la publication

  • 5 Ce schéma a été préalablement soumis aux intervenants présents lors du symposium. Il fait état des (...)

12À sa réception, un article soumis commence une chaîne d’évaluation à la fois rigoureuse et complexe. Un ensemble d’acteurs est alors engagé dans ce processus. Le schéma suivant5 peut être considéré comme la vue synoptique de la vie d’un article.

13Cette vue synoptique représente les différents cas de figure possible lorsqu’un article est soumis. Ainsi, un premier filtre est opéré par un comité de lecture. Ce dernier juge de l’opportunité d’envoyer l’article à des évaluateurs. Parfois, l’article est jugé irrecevable et se voit refusé directement. Les motifs de ce type de refus tiennent en général à un non-respect des standards scientifiques élémentaires en vigueur ou à une inadéquation à la politique éditoriale de la revue.

Figure 1 – Vue synoptique de la « vie d’un article » soumis à la publication.

Figure 1 – Vue synoptique de la « vie d’un article » soumis à la publication.
  • 6 Certaines revues sollicitent deux connaisseurs issus du champ scientifique de l’auteur de l’article (...)

14Si le comité de lecture juge l’article recevable, se déploie alors une chaîne d’évaluation. Deux évaluateurs sont sollicités6. À l’issue de la première phase d’évaluation, autrement intitulée « première lecture », un dossier synthétique est constitué, ce dossier précise si l’article est accepté, refusé ou s’il doit être remanié. Si le dossier d’évaluation aboutit à la nécessité d’une reprise pour être publiable, un cheminement identique au précédent s’initie alors : les évaluateurs initiaux sont contactés pour évaluer ce qui est devenu « l’article soumis en seconde lecture », et à l’issue de cette seconde phase, un nouveau dossier est créé. On retrouve alors les cas de figure précisés lors de la description de la première phase. Une troisième lecture peut éventuellement être envisagée, cette dernière débouchant sur des avis fermes quant à la publication ou le refus de l’article.

15Notons également qu’en cas d’avis divergents, il peut être fait appel à un troisième expert. Ce dernier endosse un rôle de médiateur, rôle dont il est très souvent informé.

3 De l’évaluation en double aveugle à l’évaluation coopérative massive et en ligne

16Nous l’avons constaté, le processus d’évaluation couramment mené dans les revues ayant participé au symposium, se révèle complexe et se heurte aux difficultés préalablement exposées (épuisement des pools d’experts, reconnaissance académique très limitée de l’activité d’évaluation, anonymat illusoire, etc.). Fort de ce constat, le comité de rédaction de la revue Éducation & Didactique mène une réflexion visant à repenser l’évaluation par les pairs d’une part et à concevoir des espaces en ligne où figureraient des articles dits hybrides. Les lignes qui suivent visent à exposer ces perspectives.

17Une étude de 1999 (van Rooyen et al.) portant sur l’effet d’une modalité d’évaluation ouverte (open peer review), c’est-à-dire où auteurs et évaluateurs ont connaissance de l’identité de chacun, a conclu que ce type d’évaluation n’avait pas d’influence sur la qualité générale de l’évaluation, le taux de publication des articles évalués ou bien encore le délai d’évaluation. En revanche, l’effet pervers de cette modalité semblerait être que les évaluateurs ont davantage tendance à refuser d’évaluer les articles.

18Une autre étude (Rowland, 2002) traite de l’opinion des acteurs gravitant autour de l’édition d’un article scientifique au sujet de l’évaluation par les pairs. On peut notamment mentionner le fait qu’en 2002, par le biais d’un questionnaire où figurait une question sur le devenir des modalités d’évaluation dans les cinq prochaines années, les auteurs arrivent aux résultats suivants :

However, when we asked to predict what would be the most common form of quality control in five years’ time, only a bare majority answered « traditional peer review » (with referees’ identities whithheld) ; 27 % said « traditional peer review supplemented by post-publication commentary », and 16 % said that referees would no longer be anonymous.

Et les auteurs poursuivent plus spécifiquement à propos de l’open reviewing comme pouvant mener aux évaluations les moins irrespectueuses ou bien encore comme permettant aux évaluateurs d’obtenir une certaine forme de reconnaissance :

Open peer review may lead to fewer abusive reviews, would give some recognition to referees, and help to prevent stealing of authors’ work.

L’on doit également à Pöschl (2012), une étude fort intéressante où il est fait état de l’évaluation ouverte. Dans cette recherche, Pöschl met en parallèle les notions d’open access et d’open review. La publication de revues en ligne, au-delà du modèle économique qui le justifie, y est également vue comme un pourvoyeur d’échange et de transparence. Ainsi, dans une vision étagée du processus évaluatif, Pölsch argumente en faveur (i) d’un processus d’évaluation par les pairs (ouvert ou en double aveugle), (ii) d’un assortiment de commentaires courts rédigés par la communauté scientifique, (iii) de la publication de l’ensemble des éléments liés à l’évaluation. L’originalité de cette démarche tient au fait que, dès sa soumission, l’article est pré-publié sur un espace de discussion ouvert.

19Kriegeskorte (2012), citant Nielsen (2009, 2011) conclut quant à lui son article sur l’idée de « web collaboration » comme moyen de révolutionner la manière dont la science se crée. La notion de coopération est ici au centre d’une longue étude où Kriegeskorte s’emploie à définir un argumentaire basé sur des considérations tant économiques, scientifiques, techniques, que sociétales.

20Cette perspective plurielle qui consisterait à (i) concevoir les données d’évaluation comme des éléments de nature à enrichir la portée et la pertinence d’un article scientifique, (ii) ouvrir les possibilités d’annotation ou de commentaire des articles par les lecteurs, (iii) conserver des espaces de sédimentation des différentes étapes liés à l’évaluation, nous amène à considérer cette forme particulière de diffusion des savoirs scientifiques comme une instrumentation.

21Imaginons alors l’intérêt d’une telle démarche au sein d’une revue pluridisciplinaire comme Éducation & Didactique. Prenons par exemple le cas d’un article traitant du concept de milieu et de son inscription dans la théorie de l’action conjointe en didactique. Tentons alors d’imaginer la mise à disposition de la version soumise de cet article sur un espace de discussion ouvert, puis, projetons-nous quelques semaines plus tard, au moment où, sur la base du rapport de deux évaluateurs ayant collaboré à la reprise de l’article, ce dernier est publié en étant assorti d’un ensemble d’éléments (du rapport d’évaluation aux commentaires courts des membres de la communauté scientifique, en passant par des questionnements d’étudiants, d’enseignants, etc.). N’aurions-nous pas, ici, une occasion assez unique de dépasser certaines incompréhensions habituelles liés au concept employé, pouvant ainsi susciter de véritables controverses scientifiques ?

22Il s’agit ainsi d’amplifier la discussion scientifique permise par la « simple » publication d’un article. En produisant de nouveaux phénomènes, donnant à voir la dynamique de validation des concepts scientifiques véhiculés à l’intérieur d’un article par la mise à disposition des données d’évaluation et la mise à l’épreuve de ces mêmes concepts par la communauté scientifique élargie, mais aussi par la diffusion de ces mêmes médias auprès d’un public plus large, il nous semble que nous ouvrons une voie potentiellement profitable. Et pour élargir cette voie, pour la rendre praticable, il devient indispensable de penser l’article scientifique comme un objet technique (Simondon, 1958).

4 Les articles « de demain » : la constitution de systèmes hybrides

23Nous entendons, par système hybride, un complexe donnant à voir des données de nature variée. En ce sens, une image annotée par un texte peut être considérée comme un de ces systèmes, dans une vision minimale. Mais si le système évoqué donne à voir, il donne également à comprendre. Ainsi, un système hybride accompli est un système qui met en présence des données de nature variée et qui permet à ces données de dialoguer entre elles, de s’alimenter, de s’annoter réciproquement.

24Lorsqu’il est numérique, ce système se voit augmenter de potentialités hypermédias rendues inenvisageables par le caractère statique d’une version imprimée. Ainsi, il est possible d’imaginer d’inclure des schémas animés, des vidéos constitutives d’un corpus, des attractions de logiciels ou d’applications, voire des bases de données entières qui pourraient être soumises au regard de la communauté scientifique.

25Au-delà de la nature variée des éléments analogiques et digitaux (Sensevy, 2011) qui composent les systèmes, l’espace de publication que nous esquissons est également constitué d’éléments au statut varié (cf. figure 2). Ce faisant les complexes ainsi créés s’inscrivent à la fois dans ce que Descombes (1998) nomme le « pluralisme descriptif » et dans ce que nous nommerons un « pluralisme de valeurs ».

Figure 2 – De nouveaux espaces de publication, de nouvelles perspectives d’instrumentation.

Figure 2 – De nouveaux espaces de publication, de nouvelles perspectives d’instrumentation.

26Ce « pluralisme de valeurs » s’explique par les statuts différents des éléments composant le système que nous avons évoqué dans la partie précédente. Schématiquement, l’on peut alors dire que les données d’évaluation émanant des pairs seraient porteuses de valeurs spécifiques et assureraient la rigueur académique attendu dans les écrits scientifiques. Les commentaires courts de chercheurs d’une communauté scientifique plus large pourraient être porteurs de valeurs démocratiques scientifiques, dans le sens où ces commentaires constituent des lieux transparents de débat et de controverses. Quant aux interpellations par la communauté des praticiens, si tant est que les auteurs aient pu prendre en compte leurs remarques (dans l’article lui-même, ou en réponse aux commentaires), ces données pourraient recouvrir une dimension essentielle liée à la diffusion des connaissances produites par la recherche en éducation.

27Nous serions donc en présence d’un espace numérique, visant une sorte de complétude en ayant recours à des données analogiques et digitales, en faisant dialoguer ces données, et en mettant en jeu des éléments porteurs de valeurs plurielles. Cet espace, évolutif, permettrait une sédimentation des savoirs qu’il contient, de sorte que ces savoirs archivés puissent être convoqués en tout temps, alimenter de nouvelles controverses, et in fine constituer ce que Stiegler (1993) nomme un espace de « rétentions tertiaires ».

28Conçu pour répondre à un problème (à la fois scientifique et sociétal), constitué de parties interdépendantes et organiquement liées, mais également dynamique et évolutif, le système hybride que nous présageons est un dispositif technologique, au sens que Bontems (2008) précise dans son analyse des relations d’échelle chez Simondon. Et de cette caractéristique technologique et prothétique découle une forme d’instrumentation.

Conclusion

29La question de l’évaluation des articles amenés à être publiés doit animer un débat profond au sein des revues et plus généralement au sein de la communauté des sciences de l’éducation. Cette réflexion, dont nous avons esquissé quelques traits, pourrait conduire à revoir l’ensemble du processus de publication des articles. Dans une recherche de transparence, d’espaces de coopération et de suscitation d’un débat social, de nouveaux espaces numériques pourraient être créés.

30Ces espaces, formés de complexes hybrides, véritables modes d’instrumentation des sciences de la culture, pourraient constituer tout autant de lieux de transmission de savoirs. Considérant les knowledge brokers comme « people or organizations that move knowledge around and create connections between researchers and their various audiences » (Meyer, 2010, p. 1) et appliquant cette fonction aux systèmes hybrides de publication d’articles scientifiques, n’est-il pas possible d’imaginer des « virtual knowledge brokers » ? En d’autres termes, lesdits complexes hybrides auraient pour fonction de (i) véhiculer les savoirs scientifiques, (ii) organiser leur dialogue et la forme de ce dialogue, (iii) les traduire en direction de la communauté des praticiens ou de communautés voisines, et pourraient à ce titre être considérés comme des « passeurs numériques virtuels de savoir ».

Bibliographie

Références bibliographiques

Bachelard G. (1931, 1970), « Noumènes et microphysique », Études, p. 11-22.

Bontems V. (2008), « Quelques éléments pour une épistémologie des relations d’échelle chez Gilbert Simondon », Revue Appareil, 2. Consultée le 28 avril 2014.

Descombes V. (1998), « La confusion des langues », Enquête, n° 6, p. 35-54.

Kriegeskorte N. (2012), « Open evaluation : a vision for entirely transparent post-publication peer review and rating for science », Frontiers in Computational Neuroscience, (7).

Meyer M. (2010), « The rise of the knowledge borker », Journal of science communication (32) 1, p. 118-127.

Pöschl U. (2012), « Multi-stage open peer review : scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-régulation », Frontiers in Computational Neuroscience, (6).

Rowland (2002), The Peer Review Process, A Report to the JISC Scholarly Communications Group, Loughborough University.

Sensevy G. (2011), Le sens du savoir. Éléments pour une théorie de l’action conjointe en didactique, Bruxelles, De Boeck.

Simondon G. (1958), Du mode d’existence des objets techniques, Paris, Aubier.

Stiegler B. (1993), « Temps et individuation technique, psychique, et collective dans l’œuvre de Simondon », in Multitudes Web [en ligne : www.multitudes.net/
Temps-et-individuation-technique/, consulté le 06/10/2014].

Van Rooyen S., Godlee F., Evans S., Blcak N et Smith R. (1999), « Effect of open peer review on quality of reviews and on reviewers’recommendations : a randomised trial », BMJ (318).

Notes

1 Il s’agit des modèles de fiche d’évaluation utilisés par 6 revues présentes lors du symposium : Éducation & Didactique ; Éducation et socialisation. Les cahiers du Cerfee ; Les dossiers des sciences de l’éducation ; Les Sciences de l’éducation — Pour l’Ère nouvelle ; Recherches en didactique ; Travail et apprentissages.

2 Représentant la revue Le cartable de Clio.

3 À la différence des quatre autres feuilles d’évaluation, cette trame est optionnelle. L’expert peut donc à loisir utiliser ou non la feuille pour argumenter sa décision.

4 Il parait important de noter ici que le qualificatif « total » n’est pas incompatible avec le qualificatif « fidèle ». Aux dires des représentants des revues présents au symposium, la synthèse inédite s’opère dans un souci d’harmonisation de style et de ton.

5 Ce schéma a été préalablement soumis aux intervenants présents lors du symposium. Il fait état des pratiques couramment repérées dans une majorité des revues questionnées. On peut toutefois noter des différences, notamment lorsque l’on traite de revues proposant des numéros thématiques. Dans ce cas, le cycle de l’article tel qu’il est décrit ici peut se terminer à l’issue de la première lecture. Si l’article est jugé recevable avec modifications, c’est le coordonnateur du numéro (et non les experts) qui prend en charge la lecture de la version reprise.

6 Certaines revues sollicitent deux connaisseurs issus du champ scientifique de l’auteur de l’article, d’autres font appel à un connaisseur issu du champ et à un connaisseur d’un champ connexe.

Table des illustrations

Titre Illustration no 1
URL http://books.openedition.org/pulm/docannexe/image/2851/img-1.jpg
Fichier image/jpeg, 32k
Titre Illustration no 2
URL http://books.openedition.org/pulm/docannexe/image/2851/img-2.jpg
Fichier image/jpeg, 81k
Titre Illustration no 3
URL http://books.openedition.org/pulm/docannexe/image/2851/img-3.jpg
Fichier image/jpeg, 29k
URL http://books.openedition.org/pulm/docannexe/image/2851/img-4.jpg
Fichier image/jpeg, 34k
Titre Illustration no 4 3
URL http://books.openedition.org/pulm/docannexe/image/2851/img-5.jpg
Fichier image/jpeg, 38k
Titre Illustration no 5
URL http://books.openedition.org/pulm/docannexe/image/2851/img-6.jpg
Fichier image/jpeg, 16k
URL http://books.openedition.org/pulm/docannexe/image/2851/img-7.jpg
Fichier image/jpeg, 32k
Titre Figure 1 – Vue synoptique de la « vie d’un article » soumis à la publication.
URL http://books.openedition.org/pulm/docannexe/image/2851/img-8.jpg
Fichier image/jpeg, 30k
Titre Figure 2 – De nouveaux espaces de publication, de nouvelles perspectives d’instrumentation.
URL http://books.openedition.org/pulm/docannexe/image/2851/img-9.jpg
Fichier image/jpeg, 38k

Le texte et les autres éléments (illustrations, fichiers annexes importés) sont sous Licence OpenEdition Books, sauf mention contraire.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search