L’évaluation de la lecture d’un texte littéraire selon le programme PISA : interrogations didactiques
p. 177-195
Texte intégral
1Depuis que le Programme international de suivi des acquis des élèves (PISA1) a mis en œuvre des enquêtes d’évaluation au début des années 2000, une importante littérature théorique lui a été consacrée (voir Rey, 2011) pour en décrire les choix méthodologiques ou les résultats, en tirer des conséquences sur les politiques publiques supposées pertinentes en matière de lecture, réaliser des traitements secondaires des données fournies par le programme afin d’analyser plus finement les réponses aux tests et comprendre les phénomènes à l’œuvre dans leurs erreurs ou leurs réussites.
2Quelques-uns de ces travaux traitent plus spécifiquement de la compréhension de l’écrit et interrogent la conception de la littératie à l’œuvre dans les tests ou leurs présupposés – idéologiques, méthodologiques, théoriques. Parmi ceux-là, rares sont ceux qui adoptent un point de vue didactique et plus rares encore ceux qui interrogent les contenus mêmes des tests : si, dès les premiers résultats du cycle PISA 2000, Dumortier (2002), Robin (2002), Bain (2003) analysaient les épreuves pour soulever les problèmes que pose la construction conceptuelle et méthodologique de ces évaluations au regard des savoirs sur la lecture, notamment ceux que construisaient ou diffusaient les recherches didactiques, peu de travaux ont examiné avec précision les items des tests pour interroger, d’un point de vue didactique, la pertinence des contenus en jeu.
3Or les tests sont finalement le nœud du processus, car c’est sur eux que se fondent tous les résultats et les conséquences qu’on veut en tirer. Et suivant ce que suggérait Dabène (1994), dans un contexte de développement des évaluations institutionnelles nationales ou internationales de la lecture, nous pensons qu’il revient à la didactique d’exercer une certaine vigilance à l’égard des méthodes et des contenus en jeu dans une enquête qui prétend évaluer les compétences de jeunes de 15 ans2 dans le domaine de la « compréhension de l’écrit3 ». Nous nous proposons de contribuer à cette entreprise par un angle particulier, en questionnant, dans une perspective didactique critique, la conception du texte littéraire et son traitement dans ce domaine que cherche à évaluer le PISA4.
4On pourra juger l’angle bien fermé : c’est que notre choix de mettre à l’épreuve un outil d’évaluation nous oblige à une analyse de détail, en vertu du principe selon lequel une analyse didactique, si elle veut montrer comment se construisent des contenus (ici la conception de la littérature, la compréhension d’un texte littéraire, son évaluation), se doit de les décrire dans leur fonctionnement précis et leur articulation fine dans les discours, et non en s’en tenant à des considérations trop générales. C’est pour pouvoir analyser le détail des objets que nous choisissons de recentrer l’analyse sur un aspect de la compréhension de l’écrit, concernant un texte littéraire5 , en réduisant encore notre approche par la sélection d’une seule unité, tirée du PISA 2009, « Macondo », dont on trouvera reproduits le texte et les questions disponibles en annexe6.
5Cette unité, que nous avons choisie pour sa représentativité7, est construite à partir d’un extrait de Cent ans de solitude de Gabriel García Márquez, dont elle porte le nom du village imaginaire, Macondo, théâtre des évènements du roman. Elle fait apparaitre de façon exemplaire que l’approche qu’a le PISA du texte littéraire et de sa compréhension comme l’évaluation de cette dernière ne résistent pas à un examen approfondi fondé sur les savoirs construits en didactique de la lecture ou de la lecture littéraire depuis des décennies.
6Certes, le PISA ne se présente pas comme relevant d’un cadre didactique, mais il nous semble intéressant de faire apparaitre non seulement les écarts entre les recherches sur la lecture ou son évaluation et les pratiques d’évaluation standardisées8, mais surtout les éclairages qu’apportent sur l’enquête du programme les connaissances produites par une approche didactique de la langue et des discours – dont nous présenterons ici un aperçu9. C’est ainsi que la dimension critique de notre étude a comme dessein de contribuer à la réflexion sur une importante démarche d’évaluation internationale, dont les intérêts ont d’ailleurs été assez souvent soulignés (par de nombreux chercheurs) pour qu’il soit nécessaire d’y revenir ici.
7Nous montrerons les limites des modalités d’évaluation de la compréhension d’un texte littéraire par le PISA en insistant particulièrement sur la fragilité, dans le test, de trois principes fondamentaux de construction du programme : celle de l’universalité supposée de la lecture, fragilité que les choix de traduction rendent criante ; celle du réel invoqué par les écrits du PISA, qui se confond avec la fiction dans le discours métatextuel à l’œuvre ; celle de la contextualisation de la situation de lecture, prônée par le PISA pour être aussitôt démentie par la pratique du test.
La fragilité de l’universalité de la lecture d’un texte traduit
8On sait les problèmes posés par la traduction et par ses phénomènes afférents dans la construction des enquêtes internationales et les risques de disparité entre les pays qu’ils peuvent engendrer10. C’est à ce titre que le PISA met en œuvre un ensemble de démarches pour s’assurer d’une comparabilité du matériel de test par-delà les différences linguistiques, voire pour viser une équivalence sémantique aussi grande que possible (OECD, 2002, pp. 57-7011).
9Or les choix de traduction de l’extrait de Cent ans de solitude proposé aux élèves francophones nous paraissent problématiques au regard de l’approche promue par le PISA lui-même. Cette traduction est en effet réalisée à partir de la version de Claude et Carmen Durand12, qui peut sembler tout à fait probante dans le contexte ordinaire de réception de l’œuvre, mais qui pose un certain nombre de problèmes pour un test de compréhension : dans un extrait aussi court (une quinzaine de lignes), sur lequel sont reportés autant d’espoir de validité d’une comparaison internationale, les moindres variations sont problématiques. C’est ainsi que, dans le texte de l’épreuve, sont conservés certains choix de traduction dont la dimension un peu précieuse ne semble pas correspondre à l’original en espagnol13, et qui peuvent conduire à un net éloignement des versions des deux langues sur une échelle de lisibilité, si l’on prend en compte les propriétés de chaque langue14. De même, l’opportunité du choix de conserver « Don » ou « centavos », en vertu de l’usage bien connu de ne pas traduire, dans un texte littéraire, ce qui est d’ordre économique ou titulaire, peut être discutée quand on veut évaluer, au niveau mondial, la compréhension d’un texte fictif15.
10Plus problématiques sont les choix qui peuvent rejaillir sur la compréhension du texte en lien avec les questions posées. C’est le cas, par exemple, de ce passage :
[…] porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente.
11Voici, ci-dessous (à gauche), la traduction de Claude et Carmen Durand empruntée par le PISA et, en regard, celle que nous proposons, à partir de celle-ci, mais plus proche du texte original (nous soulignons en gras les différences16) :
[…] à cause d’un personnage mort et enterré dans un certain film, sur le malheur duquel on versa des larmes amères, et qui reparut bien vivant et transformé en Arabe dans le film suivant. | […] parce qu’un personnage, mort et enterré dans un film, et sur le malheur duquel on versa des larmes amères, reparut bien vivant et transformé en Arabe dans le film suivant. |
12Il n’y a rien à y redire à la traduction du PISA dans une lecture cursive. Mais qu’on regarde la première question : « Dans les films, quel est l’élément qui a mis en colère les gens de Macondo ? » L’élément en question n’est pas un personnage mort qui reparait (réponse qu’induit la traduction proposée), mais le fait qu’un personnage mort reparaisse (réponse qu’aurait induite une traduction plus conforme au texte espagnol). Une telle différence n’est pas anodine quand les consignes de correction n’accordent aucun crédit à la réponse suivante : « Ils sont fâchés parce qu’on leur montre une personne morte et enterrée », réponse certes incomplète par rapport à la logique de l’extrait, mais précisément induite sans doute par la traduction. Celle-ci rend la causalité en français différente de celle du texte espagnol, alors qu’une traduction plus adaptée aurait pu la rendre similaire : que cela engendre des difficultés de compréhension différentes selon les pays est facile à supposer, mais cela interroge surtout la robustesse des épreuves et de leur modalité de construction17.
13Plus largement, ces choix de traduction mettent en lumière toute la fragilité de la supposée universalité de la lecture, fondement de l’universalité de son évaluation, quand elle est confrontée aux langues nationales, qui ne sont somme toute qu’un des éléments de la dimension toujours située de la lecture. Anne-Marie Chartier (2007, p. 276) signale bien que c’est à la question de la langue que se heurte cette intention. Constatant que, pour le PISA, il existe « un savoir lire universel, indépendant des lieux et des temps, des contenus et des systèmes d’évaluation, qui peut et doit se mesurer partout sur la planète » (ibid.), elle voit dans « l’hypothèse (ou le préjugé) de tous les statisticiens qui dressent l’atlas de l’alphabétisation mondiale » la même illusion (en synchronie) que celle qui consiste à tracer des courbes du savoir lire selon les époques sans tenir compte des fonctions sociales de la lecture, évoluant avec le temps – et différant selon l’espace (ibid., p. 277).
14Bien sûr, la sophistication psychométrique du PISA permet de supposer que les biais de traduction induits par ce choix ont été jugés négligeables au regard des résultats ; certes, mais la satisfaction des standards statistiques ne dit rien des informations qu’apportent l’évaluation et la comparaison, quand l’objet même qui est évalué dépend de l’instrument d’évaluation18…
La fragilité du « réel » selon le pisa : fonctionnement du discours métatextuel, entre réel et fiction
15« Macondo » présente les difficultés classiques de l’extrait, du « morceau choisi », modalité très scolaire de la lecture des textes19, privilégiée par le PISA (Bain, 2003, p. 64), qui semble peu congruente avec la visée du programme d’évaluer des compétences que pourraient mettre en œuvre les jeunes élèves testés dans des situations authentiques auxquelles, hors de l’école, ils pourraient être confrontés (Bart & Daunay, 2016a). De fait, le « morceau choisi » est un outil de disciplinarisation du texte littéraire et des exercices afférents (cf. Daunay, 2007, p. 143 sq.), dont l’apprêt a des effets très directs sur sa lecture – et l’évaluation de cette dernière. Par exemple, on sait que la manière de concevoir l’extrait et son paratexte (notamment les informations sur le contexte) a des conséquences immédiates pour le sens même du texte ; on peut le mesurer ici par cette phrase de l’extrait : « Beaucoup estimèrent qu’ils avaient été victimes d’une nouvelle et spectaculaire affaire de gitans ». Cette phrase n’a pas le même sens dans le roman et dans le morceau choisi : dans le roman (elle se situe un peu après son milieu), elle renvoie aux « gitans » qui apparaissent dès la première page et sont décrits comme pourvoyeurs de diverses inventions nouvelles. Mais dans l’extrait, cette précision n’étant pas donnée au lecteur, les « gitans » ne peuvent renvoyer qu’à un prétendu « réel », c’est-à-dire au discours idéologique qui construit la catégorie « gitans » susceptibles de tromper des « victimes » par une « affaire ». Rien dans la conception du test ne semble donc prévu pour éviter aux élèves de réaliser un contresens dans l’interprétation de ce texte – contresens moralement troublant, en outre20.
16On voit là une confusion entre le réel et la fiction, construite par le test, du fait de la sélection et de l’apprêt du « morceau choisi ». Ceux-ci ont également des effets directs sur l’organisation du discours métatextuel qui est, dans les tests du PISA, organisé selon les canons des questions de compréhension, ce qui n’est pas sans incidence sur ce que l’on peut en tirer comme information sur la compréhension effective des lecteurs. Sans revenir sur ce que la didactique a identifié depuis longtemps comme des problèmes inhérents à ces questions dans l’évaluation d’une compréhension, nous nous arrêterons sur une seule des conséquences de cette forme de métatexte : le fait de prendre comme objet de son discours un aspect qui appartient à la fiction, comme s’il relevait du monde du commentateur. « Les films » deviennent ainsi réels et susceptibles d’une question, mais aussi la « colère » des « gens de Macondo », leurs choix, leur « jugement », leur « attitude ». Ce phénomène, que Daunay (2002, pp. 151-167) a décrit sous le terme de détextualité, est certes banal et relève du genre discursif du commentaire, qui nécessite cette sorte de métalepse, ce saut d’une instance de discours (la fiction) à une autre (le commentaire21).
17Il est cependant étrange de voir l’absence de précaution prise ici en la matière : alors que c’est notamment la confusion entre fiction et réalité que l’évaluation veut identifier pour mesurer la compréhension des élèves (cf. les consignes de correction : OCDE, 2012, p. 167), les questions posées actualisent cette confusion22. Cela est particulièrement net dans la dernière question : « Êtes-vous d’accord avec le jugement final des gens de Macondo à propos de l’intérêt du cinéma ? Expliquez votre réponse en comparant votre attitude et la leur à l’égard des films. » Les élèves sont ainsi invités à comparer deux attitudes, l’une réelle, l’autre fictive, qui sont mises par la question sur le même plan ; ainsi, pour évaluer la compréhension d’un texte qui thématise la distinction entre réel et fictif, la question construit une confusion entre réel et fictif. La pertinence d’une telle question peut sembler d’autant plus évidente aux concepteurs du test qu’ils peuvent écrire ceci (dans la présentation du test, OCDE, 2012) :
Le passage en question traite de la réaction que suscite la découverte du cinéma chez les habitants. Tandis que le cadre historique et géographique de ce passage est exotique pour la plupart des élèves, la situation – aller au cinéma – est au contraire courante pour les jeunes de 15 ans ; quant aux réactions des personnages, elles sont à la fois intrigantes et familières sur le plan humain. (p. 47)
18Paraphrasons le contenu de cette citation afin de mieux souligner le phénomène de détextualité à l’œuvre : les habitants de Macondo ont des réactions qui sont intrigantes et familières sur le plan humain, ils vivent dans un cadre qui est exotique pour les jeunes de 15 ans testés, mais ils vont au cinéma, ce qui est une situation […] courante pour les jeunes de 15 ans23. Aller au cinéma à Macondo, dans le contexte fictif construit par l’auteur, peut être ramené à une pratique culturelle réelle des jeunes d’aujourd’hui, qui légitime la question posée et la mise en relation des réactions des deux populations.
19Pourtant, dans les consignes de correction de la première question (« Dans les films, quel est l’élément qui a mis en colère les gens de Macondo ? »), il est dit (ibid., p. 168) que « le texte établit une distance (compréhensive) entre le lecteur et les habitants de Macondo » – notons au passage que c’est le seul endroit du cadre d’évaluation du PISA qui suggère à minima le caractère somptueusement ironique de la fantaisie baroque que représente cet extrait, comme tout le roman de García Márquez24 ! Et la distance que construit le récit devient objet d’évaluation : « Afin d’obtenir un crédit complet pour cet item, il est nécessaire de se distancer du texte ». Mais se distancer du texte consiste à « reconnaitre la difficulté qu’éprouvent ces simples villageois à appréhender la différence entre fiction et réalité. Pour la plupart des lecteurs actuels, cette difficulté semble étrange et contraire aux attentes » (ibid.).
20Nous lisons bien : il serait possible de reconnaitre des « simples villageois25 » dans ce texte de García Márquez ; il serait même possible de leur attribuer une « difficulté » à appréhender la différence entre fiction et réalité, difficulté qui « semble étrange » aux lecteurs actuels… Quand le PISA veut identifier la capacité des élèves à distinguer le réel de la fiction, cela conduit à un discours qui donne selon nous à voir, outre une vision idéologique du social, une confusion de fait entre réel et fictif.
21À aucun moment, le discours du programme ne semble envisager que les « simples villageois » qu’il voit là auraient pu ne pas être dupes des projections qu’ils subissent26. Or la prise en compte d’un second degré dans la lecture de ce texte lui donnerait un tout autre sens et rendrait sans doute mieux compte de sa complexité et de la mise en abyme qu’il réalise27 . Mais en fait, le second degré semble un problème pour le PISA, qui a besoin, autant que du réel, d’une littéralité de bon aloi28 : ce que dit le texte n’a qu’un sens, et est susceptible d’être ramené au « réel », fût-ce au prix d’une « étrangeté », au détriment en tout cas du jeu textuel lui-même et de sa compréhension.
22Citons Bautier et Rayou (2013) et leur implacable constat :
Leur réalité et leurs valeurs sont LA réalité et LES valeurs que tout le monde ne peut que partager indépendamment des temps et des espaces. Il ne peut donc y avoir d’interprétation du texte. Le fictionnel est vrai ou faux lui aussi ; ce que disent les spectateurs de Macondo est donc « faux ». (p. 41)
23Mais parlent-ils bien des concepteurs du PISA ? Non, ils évoquent en fait certaines difficultés d’élèves qui « convoquent et érigent en norme le seul registre symbolique ». Curieuse identification de problèmes d’élèves établie sur des évaluations qui contiennent – et, sans doute, induisent – ces mêmes problèmes… Ne serait-il pas souhaitable qu’un peu de l’extrême sophistication mise par le PISA à la réalisation du dispositif psychométrique soit reporté sur la conception des tests et singulièrement des questions censées fonder l’évaluation de la compréhension des sujets ?
La fragilité de la contextualisation de la situation de lecture
24Selon le cadre d’évaluation du PISA 2009 (OCDE, 2012), l’extrait « Macondo », comme c’est le cas plus généralement des « textes littéraires » (p. 26), « est classé dans la catégorie des situations personnelles, car il a été écrit pour éveiller l’intérêt du lecteur et lui procurer du plaisir » (p. 47). Outre qu’il faut, pour adhérer à cette idée, faire l’impasse sur quelques décennies de réflexion des théories de la littérature et des approches didactiques sur les intentions de l’auteur, la question se pose de savoir ce que veut dire une telle « situation », dans un test de nature scolaire. Pour le PISA, ce n’est pas un problème (OCDE, 2011, p. 47) :
Les textes littéraires par exemple sont souvent lus en classe, mais ils sont généralement écrits dans le but d’être lus par plaisir et intérêt personnel, et pas à des fins éducatives. C’est pourquoi ils sont classés dans la catégorie de la lecture à usage privé.
25Rappelons que le PISA est un programme qui se donne pour objet d’évaluer la compréhension de l’écrit entendue comme capacité de jeunes de 15 ans « de comprendre, d’utiliser et d’analyser des textes écrits, afin de pouvoir réaliser des objectifs personnels, développer des connaissances et des capacités et prendre une part active dans la société » (OCDE, 1999, p. 15) ; rappelons aussi que ce programme affiche comme spécificité de « tenter de simuler des situations authentiques de lecture » (ibid., p. 34) et avance que, « puisque les adultes qui lisent des textes le font toujours dans une situation particulière, il est important d’identifier une série de situations à partir desquelles on peut échantillonner du matériel destiné à l’évaluation en lecture » (ibid., p. 26) : dans un programme qui affiche de tels principes, il peut sembler doublement paradoxal que ce soit l’intention de l’auteur et non le projet du lecteur ou l’effet de sa lecture, la situation de production et non celle de réception qui soient prises en compte29…
26Ce choix ne résulte pourtant pas d’un paradoxe mais est au fondement même de la logique du PISA, car c’est ce qui permet de rendre légitimes les conséquences tirées de la classification des situations de lecture. En effet, le cadre d’évaluation du PISA identifie comme une des dimensions30 qui permettent de mieux décrire le domaine de la compréhension de l’écrit, « la situation ou le contexte dans lesquels les connaissances et les compétences sont appliquées ou exploitées » (OCDE, 1999, p. 14). Cette dimension se fonde sur « l’utilisation pour laquelle le texte a été conçu – à savoir le contexte ou la situation dans lesquels il doit être utilisé » (ibid., p. 15). Ce raisonnement, qui ramène le travail d’identification des situations de lecture à une catégorisation de supposés usages prédéterminés d’écrits, explique que l’idée même de contexte ou de situation effective de lecture – pourtant centrale dans l’appréhension d’une compétence, fondement de la littératie que vise à évaluer le PISA – soit évacuée, y compris celle qui est mise en place par la situation d’évaluation, qui devient du même coup transparente.
27Cette transparence est rendue possible par le fait de ne pas prendre en charge l’épaisseur des activités langagières que représentent aussi bien la lecture située (Bain, 2003) que l’écriture qu’elle engendre (Tauveron, 2005) ; or ces activités langagières ne peuvent se penser qu’en interaction, si l’on n’oublie pas que les seules traces de la réception d’un texte sont celles de la production et de la réception d’un nouveau texte (oral ou écrit) et que cette dialectique est précisément ce qui empêche, sur le plan théorique et pratique, au-delà même de « la part d’éléments inévaluables » de toute lecture, particulièrement littéraire (Dufays, Gemenne & Ledur, 1996/2005, p. 323), de supposer qu’une évaluation de la lecture peut se concevoir simplement par des réponses à des questions – les deux suscitant elles-mêmes des interprétations (cf. Dufays, 2007).
28Évacuant le problème de la situation de lecture, le choix ainsi fait par le PISA ignore aussi la question du possible lien entre la lecture effectuée en classe dans une situation de test avec la réalité – et la diversité – des expériences de lecture des sujets de 15 ans concernés31. Et cela permet encore de neutraliser la question du plaisir ou de l’intérêt de la lecture sur laquelle est construite par le PISA la catégorie des textes littéraires : si « Macondo » est classé parmi les « situations personnelles, car il a été écrit pour éveiller l’intérêt du lecteur et lui procurer du plaisir » (OCDE, 2012, p. 16632 ), c’est le texte (et l’auteur) qui le détermine ; en dépit d’une situation annoncée comme « personnelle », aucune question ne concerne le rapport que les élèves ont pu établir à la découverte de l’extrait ni, plus classiquement, l’humour ou le style enjoué, qui ne sont sans doute pas les moindres ressorts du plaisir que peut éprouver un lecteur de ce texte.
29Apparait là toute l’économie d’une approche de la contextualisation qui, étant construite à partir des situations et des expériences présumées par les auteurs du test comme prédéterminées par l’auteur et imposées au lecteur, permet d’affirmer tranquillement que les compétences en compréhension de l’écrit de sujets sont évaluées dans des contextes divers, indépendamment de l’expérience effective de lecture testée.
Conclusion
30Observant les « effets sociaux importants, à l’intérieur même de l’école », d’outils de mesure de la lecture qui permettent des comparaisons nationales et internationales, notamment « par le rôle de révélateur qu’ils ont joué et par l’influence qu’ils peuvent avoir sur les représentations de la lecture et des difficultés », Nonnon (2007, p. 12) rappelait les réserves méthodologiques déjà faites sur les « protocoles de mesure, des comparaisons et des interprétations qui en sont issues » et concluait : « Ces enquêtes doivent donc être questionnées, dans leurs présupposés, leur adaptation aux faibles lecteurs, l’interprétation des résultats ». C’est une nécessité au moins pour éviter tout « optimisme docimologique » (Bain, 1993, p. 9) et les effets de croyance induits par la constante réitération des mêmes intuitions33.
31C’était le sens de notre analyse : montrer que les approches didactiques de la lecture et des modalités d’évaluation de la compréhension d’un texte littéraire sont une base solide pour mettre en discussion le soubassement théorique du PISA et son ambition de produire des indications consistantes sur les compétences des jeunes du monde entier, voire de piloter les politiques éducatives jusque dans les pratiques de classe. La triple critique des conceptions qu’a le programme de l’universalité, du réel et du contexte se ramène finalement à une interrogation sur la pertinence de l’approche de la littéracie qui y est proposée, pourtant mise en cause dès l’origine du projet par les plus grands spécialistes de la question34.
32Il n’en reste pas moins que, malgré ses fragilités, cette « machine à illusions », à laquelle peut ressembler le PISA, comme le cinéma à Macondo, ne manque pas d’efficacité. C’est peut-être que celle-ci repose sur un ressort diffus mais puissant : celui qui tend à reporter sur les sujets testés les résultats dus aux insuffisances théoriques ou méthodologiques des évaluations, position dont la critique est une préoccupation constitutive de la didactique du français35.
Bibliographie
Des DOI sont automatiquement ajoutés aux références bibliographiques par Bilbo, l’outil d’annotation bibliographique d’OpenEdition. Ces références bibliographiques peuvent être téléchargées dans les formats APA, Chicago et MLA.
Format
- APA
- Chicago
- MLA
Références bibliographiques
AEBY DAGHÉ, S. (2010). L’enseignement de la lecture à Genève : quel objet enseigné ? Quel objet évalué ? Revue suisse des sciences de l’éducation, 32 (3), 467-487.
10.3917/ela.166.0215 :AHR, S. & BUTLEN, M. (2012). Savoir lire/aimer lire : un couple en évolution ou en voie de séparation ? Études de linguistique appliquée, 166, 215-235
BAIN, D. (1993). Repérer les lecteurs précaires au cycle d’orientation : quelles évaluations de quelles lectures ? La Lettre de la DFLM, 12, 9-11.
BAIN, D. (2003). PISA et la lecture : un point de vue de didacticien. Revue suisse des sciences de l’éducation, 25 (1), 59-78.
BART, D. (2014). La littéracie dans PISA : entre essentialisation du réel et mobilisation diffuse de contenus disciplinaires. Spirale, 53, 111- 120.
BART D. (2015). Le discours de la recherche dans le PISA : un mode d’exposition pour un effet d’imposition ? Revue française de pédagogie, 191, 89-100.
BART, D. & DAUNAY, B. (2015). L’évaluation du plaisir selon le PISA. Recherches, 63, 147-161.
BART, D. & DAUNAY B. (2016a). Une évaluation standard de la compréhension de l’écrit à l’échelle mondiale ? Les problèmes posés par une conception « universaliste » du réel dans le programme PISA. Éducation comparée, 14, 31-51.
BART, D. & DAUNAY B. (2016b). Les Blagues à PISA. Vulaines-sur-Seine : Éditions du Croquant.
BAUTIER, É., CRINON, J., RAYOU, P. & ROCHEX, J.-Y. (2006). Performances en littéracie, modes de faire et univers mobilisés par les élèves : analyses secondaires de l’enquête PISA 2000. Revue française de Pédagogie, 157, 85-101.
BAUTIER, É. & RAYOU, P. (2013). La littératie scolaire : exigences et malentendus. Les registres de travail des élèves. Éducation et didactique, 7 (2), 29-46.
BONNET, G. (2004). Vers une méthodologie alternative pour l’évaluation de la lecture dans les enquêtes internationales. Éducation et formations, 70, 109-121.
BOYER, J.-Y. (1994). Pour une problématique de l’évaluation du savoir-lire. In J.-Y. Boyer, J.-P. Dionne & P. Raymond (Éd.), Évaluer le savoir-lire (pp. 11-23). Montréal : Les Éditions logiques.
10.14375/NP.9782725633848 :CHARTIER, A.-M. (2007). L’école et la lecture obligatoire. Paris : Retz.
DABÈNE, M. (1994). L’évaluation de la lecture : approches didactiques et enjeux sociaux. Lidil, 10, 7-12.
DAUNAY, B. (2002). La Paraphrase dans l’enseignement du français. Neuchâtel : Peter Lang.
10.4000/rfp.1175 :DAUNAY, B. (2007). État des recherches en didactique de la littérature. Revue française de pédagogie, 159, 139-189.
DUFAYS, J.-L. (Ed.) (2007). Enseigner et apprendre la littérature aujourd’hui, pour quoi faire ? Sens, utilité, évaluation. Louvain : Presses Universitaires de Louvain.
10.3917/dbu.dufay.2005.01 :DUFAYS, J.-L., GEMENNE, L. & LEDUR, D. (Éd.) (1996/2005). Pour une lecture littéraire. Histoire, théories, pistes pour la classe. Bruxelles : De Boeck.
10.3406/airdf.2002.1517 :DUMORTIER, J.-L. (2002) Une enquête en suspicion légitime. La Lettre de l’AiRDF, 30, 17-23.
GIASSON, J. (1990). La compréhension en lecture. Québec : Gaëtan Morin.
GOLDSTEIN, H. (2008). Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d’informations fiables ? Revue française de pédagogie, 164, 69-76.
GOODY, J. (2001). Competencies and Education : Contextual Diversity. In D.S. Rychen & L.S. Salganik (eds.), Defining and selecting key competencies (pp. 175-189). Berne : Hogrefe & Huber.
GUERIN-PACE, F. & BLUM, A. (1999). L’illusion comparative. Les logiques d’élaboration et d’utilisation d’une enquête internationale sur l’illettrisme. Population, 54 (2), 271-302.
GUINEY, M. (2014). L’innovation pédagogique par le bas ? PISA et la profanation de l’école-sanctuaire par la mondialisation dans l’enseignement littéraire. Revue de métaphysique et de morale, 83, 365-379.
HALTE, J.-F. (1992/1993). La didactique du français. Paris : PUF.
LAFONTAINE, D. (2002). Des pratiques aux performances : la littératie chez les jeunes de 15 ans en communauté française de Belgique. La Lettre de l’AiRDF, 30, 3-16.
LÓPEZ, A. J. (2001). Posts and Pasts : A Theory of Postcolonialism. Albany : SUNY Press.
10.3406/reper.2007.2745 :NONNON, É. (2007). L’école et ses « mauvais lecteurs ». Repères, 35, 5-30.
10.1787/9789264273122-fr :OCDE (1999). Mesurer les compétences et connaissances des élèves : un nouveau cadre d’évaluation. Paris : OCDE.
OCDE (2011). Résultats du PISA 2009 : Savoirs et savoir-faire des élèves. Volume I. Paris : PISA, éditions OCDE.
10.1787/19963785 :OCDE (2012). Le cadre d’évaluation de PISA 2009. Paris : OCDE.
OECD (2002). PISA 2000 Technical Report, edited by Ray Adams and Margaret Wu. Paris : OECD publishing.
OECD (2009). PISA 2009 Assessment Framework. Key competencies in reading, mathematics and science. Paris : OECD Publishing.
PRIVAT, J.-M. (1995/2005). Socio-logiques des didactiques de la lecture. In J.-L. Chiss, J. David & Y. Reuter (Ed.), Didactique du français. Fondements d’une discipline (pp. 119-134). Bruxelles : De Boeck.
PUCHHAMMER, M. (2007). Language-Based Item Analysis. Problems in Intercultural Comparisons. In S. T. Hopmann, G. Brinek, M. Retzl (Ed.), PISA zufolge PISA – PISA According to PISA (pp. 127- 137), Berlin – Wien : Lit Verlag, .
10.3406/reper.2005.2664 :REMOND, M. (2005). Regards croisés sur les évaluations institutionnelles. Repères, 31, 113-140.
10.4000/rfp.433 :REMOND, M. (2006). Éclairages des évaluations internationales PIRLS et PISA sur les élèves français. Revue française de pédagogie, 157, 71-
10.3406/airdf.1993.1098 :REUTER, Y. (1993). Des évaluations en lecture et de leurs usages. La Lettre de la DFLM, 12, 26-28.
REY, O. (2011). PISA : ce que l’on en sait et ce que l’on en fait. Dossier d’actualité Veille et Analyses, 66.
ROBIN, I. (2002). L’enquête PISA sur les compétences en lecture des élèves de 15 ans : trois biais culturels en question. VEI Enjeux, 129, 65-91.
SJØBERG, S. (2012). PISA : politique, problèmes fondamentaux et résultats paradoxaux. Recherches en éducation, 14, 65-81.
SOUSSI, A., BROI, A.-M. & WIRTHNER, M. (2007). Des difficultés de lecture des élèves : ce qu’en disent des chercheurs et des enseignants. Repères, 35, 31-51.
10.3406/reper.2005.2663 :TAUVERON, C. (2005). Que veut dire évaluer la lecture littéraire ? Cas d’élèves en difficulté de lecture. Repères, 31, 73-112.
VRIGNAUD, P. (2008). La mesure de la littératie dans PISA : la méthodologie est la réponse, mais quelle était la question ? Éducation et formations, 78, 69-84.
10.4000/ries.3264 :WEISS, J. (1996). Évaluer plutôt que noter. Revue internationale d’éducation de Sèvres, 11, 22-34.
Annexe
Annexe : unité « Macondo » (d’après OCDE, 2012, pp. 166-17136)
Macondo
Éblouis par tant d’inventions, et si merveilleuses, les gens de Macondo ne savaient par où commencer à s’étonner. Ils passaient des nuits blanches à contempler les pâles ampoules alimentées par le groupe électrogène qu’avait rapporté Aureliano le Triste lors du second voyage du train, et à l’obsédant teufteuf37 duquel on ne s’habitua qu’à la longue, péniblement. Ils furent indignés par les vivantes images que le riche commerçant Don Bruno Crespi projetait dans le théâtre aux guichets en gueules de lion, à cause d’un personnage mort et enterré dans un certain film38 , sur le malheur duquel on versa des larmes amères, et qui reparut bien vivant et transformé en Arabe39 dans le film suivant. Le public, qui payait deux centavos pour partager les mésaventures des personnages, ne put supporter cette inqualifiable moquerie et brisa tous les sièges. Le maire, cédant aux instances de Don Bruno Crespi, dut faire une proclamation publique pour expliquer que le cinéma n’était qu’une machine à illusions, laquelle ne méritait pas ces débordements passionnels du public. À la suite de cette décevante explication, beaucoup estimèrent qu’ils avaient été victimes d’une nouvelle et spectaculaire affaire de gitans, si bien qu’ils choisirent de ne plus se rendre au cinéma, considérant qu’ils avaient assez de leurs propres peines pour aller encore pleurer sur les malheurs d’êtres imaginaires.
Le texte de la page ci-contre est extrait d’un roman. Dans cette partie du récit, on vient d’introduire le chemin de fer et l’électricité dans la petite ville imaginaire de Macondo, et d’ouvrir le premier cinéma.
Référez-vous à ce texte afin de répondre aux questions suivantes.
Question 1
Dans les films, quel est l’élément qui a mis en colère les gens de Macondo ?
……………………………………………………………………………………………
Question 3
À la fin du passage, pourquoi les gens de Macondo ont-ils choisi de ne plus se rendre au cinéma ?
A. Ils voulaient s’amuser et se distraire, mais ils ont trouvé que les films étaient réalistes et déprimants.
B. Ils n’avaient pas les moyens de payer le prix des billets.
C. Ils préféraient garder leurs émotions pour des occasions de la vie réelle.
D. Ils cherchaient à s’impliquer émotionnellement, mais ils ont trouvé les films ennuyeux, peu convaincants et de mauvaise qualité.
Question 4
Qui sont les « êtres imaginaires » dont on parle à la dernière ligne du texte ?
A. Des fantômes.
B. Des inventions de champ de foire.
C. Des personnages des films.
D. Des acteurs.
Question 5
Êtes-vous d’accord avec le jugement final des gens de Macondo à propos de l’intérêt du cinéma ? Expliquez votre réponse en comparant votre attitude et la leur à l’égard des films.
Notes de bas de page
1 Traduction française approximative (pour garder l’acronyme) de Programme for International Student Assessment. L’acronyme est presque devenu un nom propre dans l’usage : on parle ainsi couramment de Pisa. Nous rétablissons, pour notre part, l’article défini (le PISA), puisque, si l’on déploie l’acronyme, le premier mot est bien un nom commun : le programme. Cet usage est en outre conforme aux premiers textes du PISA.
2 Les tests du PISA sont soumis à des élèves de 15 ans, non à des élèves appartenant à tel ou tel niveau de formation, puisque les tests ne veulent pas viser directement la maitrise de savoirs disciplinaires communs aux programmes scolaires des entités participantes. Pour une présentation des spécificités du PISA par rapport à d’autres enquêtes internationales, cf. Rémond (2006).
3 C’est dans ce contexte et avec cet enjeu de vigilance qu’ont été élaborés les deux dossiers successifs intitulés « L’évaluation de la lecture » de la Lettre de la DFLM n° 12 (1993) et n° 14 (1994).
4 Pour un exposé des contenus évalués dans le domaine « compréhension de l’écrit » du PISA, voir Lafontaine (2002).
5 Pour un précédent questionnement du traitement de la littérature dans le PISA, cf. Bart & Daunay (2015 et 2016a) ; pour un traitement critique de même nature, c’est-à-dire fondé sur l’analyse fine des tests, en culture mathématique, cf. Bart (2014) ; en culture scientifique, cf. Sjøberg (2012) ; pour une approche globale de la question, cf. Bart & Daunay (2016b).
6 Cette unité, qui avait été donnée lors du premier cycle du PISA (en 2000), fait partie des quelques exercices du PISA rendus publics partiellement ou en totalité, dans les commentaires concernant le cycle de 2009. L’extrait, les questions et les consignes de correction sont consultables dans OCDE (2012, pp. 166-171), téléchargeable à l’adresse : http://www.oecd.org/pisa/pisaproducts/49539189.pdf.
7 Cette représentativité tient au fait que, même si cette unité a évidemment des spécificités, qu’on verra, presque toutes les remarques que nous ferons à son sujet pourraient cependant être faites à propos d’autres unités : on pourra s’en convaincre à leur simple lecture (pour une étude d’autres unités, faite dans une optique différente mais proche, cf. Bart & Daunay, 2015 et 2016a).
8 Écart que pointait Boyer en 1994 (ainsi que d’autres contributeurs de l’ouvrage). À propos des relations entre le PISA et la recherche, cf. Bart (2015).
9 Conformément aux principes de la collection « Recherches en didactique du français » de l’AiRDF, où prend place cet ouvrage.
10 Sur la question de la traduction et de sa fiabilité dans l’approche même de la compréhension dans des évaluations internationales, cf. Guérin-Pace et Blum (1999), Bonnet (2004), Goldstein (2008), Puchhammer (2007), Rémond (2005, p. 120 sq.), Robin (2002), Sjøberg (2012, p. 72 sq.)…
11 Le rapport technique du premier cycle du PISA stipule ainsi (OECD, 2002, p. 59) : « One would wish for as purely a semantic equivalence as possible (since the principle is to measure access that students from different countries would have to a same meaning, through written material presented in different languages). » Sur les principes de traduction du PISA, on pourra se reporter aussi au texte fondateur, qui les détaille et les exemplifie, sous la signature d’Aletta Grisay, pour montrer qu’ils sont destinés à limiter au mieux les biais linguistiques et culturels : les illustrations proposées dans ce texte interrogent clairement les choix faits pour « Macondo » (OECD, 2002, pp. 57-70).
12 Seule traduction publiée en français aux éditions du Seuil, un an après la parution de l’œuvre originale en Argentine (1967). Notons que nous n’avons pas trouvé, dans les documents publics du PISA, une seule référence à cette traduction.
13 Merci à Laure Grandperrin pour son aide dans l’analyse du texte espagnol et de sa traduction.
14 Quelques exemples significatifs : « à l’obsédant teuf-teuf duquel » vs « a cuyo obsesionante tuntún » ; « les vivantes images » vs « las imágenes vivas » ; « dans un certain film » vs « en una película » ; « le cinéma n’était qu’une machine à illusions, laquelle ne méritait pas » vs « el cine era una máquina de ilusión que no merecía » ; « cédant aux instances de Don Bruno Crespi » vs « a instancias de don Bruno Crespi ». On peut se demander si ne se manifeste pas là cette traduction « trop libre ou trop littéraire » (« too free or too literary ») qu’il faut éviter selon les principes de traduction du PISA (OECD, 2002, p. 59).
15 Ce choix est d’autant plus curieux qu’il conduit, dans d’autres versions, à s’écarter du texte choisi comme base de la traduction du PISA ; c’est le cas, par exemple, de la version anglophone de l’unité, qui reprend quasiment à l’identique la traduction de Gregory Rabassa de 1970, à part trois modifications, dont celles-ci : le test du PISA ajoute « Don » à la version de Rabassa (qui désignait le personnage simplement par son nom) et remplace « cents » par « centavos ».
16 Signalons que nous nous fondons ici sur la version donnée à la p. 166 du cadre d’évaluation (OCDE, 2012), qui diffère légèrement de la version donnée à la p. 47 du même document (on trouvera les modifications signalées en note dans l’annexe).
17 Il faut préciser que quelques modifications sont faites à la traduction de Claude et Carmen Durand pour l’épreuve. Ces dernières semblent destinées à simplifier le texte et à le rendre plus proche du texte espagnol en accord avec les principes de traduction du PISA : cela rend d’autant plus curieux la décision de conserver certains des choix problématiques que nous pointons ici. Les contraintes de temps rencontrées par les traducteurs français (OECD, 2002, pp. 57-70) lors du PISA 2000 où cette épreuve a été présentée pour la première fois sont peut-être à l’origine de ces problèmes de traduction.
18 Pour reprendre le titre de Vrignaud (2008) : « La mesure de la littératie dans PISA : la méthodologie est la réponse, mais quelle était la question ? ». On pourrait dire des tests du PISA ce que Weiss (1996, p. 33) disait de la notation : celle-ci, « que l’on sait imparfaite et trompeuse, tente toutefois d’approcher la précision et l’objectivité par une “calculation” complexe et un lourd travail de la part de l’enseignant ». Interrogeant les divergences de résultats dans diverses enquêtes sur la lecture, Reuter (1993, p. 27) notait qu’« il serait vain de rêver d’obtenir de meilleurs résultats par une sophistication méthodologique accrue (qui demande aussi à être interrogée : toute méthode construit le réel) ».
19 Comme on le verra, les tests du PISA évoquent « la configuration ancienne » (de l’enseignement comme de sa théorie) décrite par Halté (1992).
20 De fait, le test prévoit bien cette interprétation puisque, à la première question du test (« Dans les films, quel est l’élément qui a mis en colère les gens de Macondo ? »), un crédit partiel est accordé si cette phrase est donnée en réponse.
21 Cette conformité du PISA à la pratique scolaire du commentaire est sans doute ce qui permet à Guiney (2014, p. 376), inquiet devant la possible « profanation » de l’enseignement littéraire par le traitement de la littérature par le PISA, de se rassurer en constatant, après analyse de l’unité Macondo : « En examinant les questions posées sur les textes littéraires, dont celles-ci, il devient difficile de considérer l’irruption de l’OCDE en pédagogie littéraire simplement comme une profanation, car les questions elles-mêmes sont éminemment littéraires : elles obligent non pas à retirer du texte des données ou des instructions, mais bel et bien de l’expliquer. »…
22 Cela tient au fait que, s’agissant des textes littéraires comme des autres, « l’enquête donne de facto un statut très secondaire aux caractéristiques proprement discursives et textuelles » (Bain, 2003, p. 64).
23 En fait, une consultation des statistiques disponibles en ligne concernant la fréquentation des salles de cinéma dans les pays concernés par le PISA rend impossible l’identification à une situation courante d’une pratique aussi contrastée selon les pays ; le texte anglais, tout aussi interrogeant, est peut-être moins optimiste que la version française : « going to the movies is within the experience of 15-years-olds » (OECD, 2009, p. 174).
24 Tout à son souci du « réel », le PISA semble en oublier que ce qui caractérise le réalisme de ce roman est précisément, comme l’ont avancé nombre de critiques, qu’il est magique : le traitement de la compréhension de cet extrait ne peut pas ne pas en tenir compte, sauf à évaluer comme des signes de compréhension ce qui serait en fait un contresens.
25 « unsophisticated villagers » dans la version anglaise (OECD, 2009, 176).
26 Interprétation proche de celle de López (2001, p. 159), qui cite ce passage de Cent ans de solitude.
27 La mise en abyme est du reste encore redoublée par le test lui-même, puisqu’il demande aux élèves de tenir un discours sur des personnages fictifs tenant un discours sur des personnages fictifs – ce qui n’est pas le moindre ressort de la détextualité décrite plus haut…
28 Cf. Bain (2003) ; Rémond (2005) ; Robin (2002).
29 Rappelons que, dans le modèle qu’établissait Giasson en 1990, la compréhension résulterait de l’interaction de trois variables : le lecteur, le texte, le contexte, entendu comme « toutes les conditions dans lesquelles se trouve le lecteur […] lorsqu’il entre en contact avec un texte » (p. 22).
30 Outre le « contenu ou la structure des connaissances » et les « processus » à « mettre en œuvre ».
31 Notons au passage que la construction par le PISA des situations de lecture se fait en négligeant la diversité des pratiques de lecture, selon un processus de déni assez classique quand il s’agit de lecture scolaire (cf. Privat, 1995/2005).
32 Sur cette question du « plaisir » dans le PISA, cf. Ahr et Butlen (2012) ; Bart et Daunay (2015).
33 Le lien étroit entre la conception des enquêtes du PISA et les pratiques d’évaluation de l’enseignement ou de la recherche explique que de nombreuses enquêtes secondaires disent parvenir à des résultats convergents avec ceux du PISA même quand elles interrogent, relativisent ou nuancent les affirmations du PISA : cf., par exemple, Bautier, Crinon, Rayou, Rochex (2006) ; Bautier, Rayou (2013) ; Soussi, Broi et Wirthner (2007).
34 On peut renvoyer ici au projet DeSeCo (« Definition and Selection of Competencies : Theorical and Conceptual Fondation »), mis en place par l’Office fédéral de la statistique (Suisse), sous les auspices de l’OCDE : on trouve trace des discussions générées par ce projet dans un ouvrage dont la contribution la plus marquante est à nos yeux celle de Jack Goody (2001), qui met en cause à peu près tous les principes qui président aux tests du PISA.
35 Cette préoccupation est précisément réactivée par le PISA, comme en témoigne récemment Aeby Daghé (2010, p. 482) qui, face à « l’écart entre les objets enseignés et évalués », invite à s’intéresser aux premiers et aux « difficultés aussi bien théoriques et pratiques qui résultent de leur mise en œuvre ».
36 Nous reportons en note les variantes du texte à la page 47 du même document (OCDE, 2012). Rappelons que ce texte est extrait de la traduction française par Claude et Carmen Durand de Cent ans de solitude par Gabriel García Márquez, parue aux éditions du Seuil en 1968.
37 OCDE (2012 : 47) : « teuf-teuf ».
38 Ibid. : « dans certain film ».
39 Ibid. : « arabe ».
Auteurs
Université de Lille, Théodile-CIREL (ÉA 4354)
Université de Lille, Théodile-CIREL (ÉA 4354)
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
L’évaluation en classe de français, outil didactique et politique
Erick Falardeau, Joaquim Dolz, Jean-Louis Dumortier et al. (dir.)
2016
L’oral aujourd’hui : perspectives didactiques
Jean-François de Pietro, Carole Fisher et Roxane Gagnon (dir.)
2017
Contextes institutionnels, réformes et recherches en didactique du français
Sandrine Aeby Daghé et Marie-Cécile Guernier (dir.)
2018
Approches didactiques de la littérature
Nathalie Denizot, Jean-Louis Dufays et Brigitte Louichon (dir.)
2019