Version classiqueVersion mobile

Les enquêtes PISA dans les systèmes scolaires valaisan et genevois

 | 
Sonia Revaz

Chapitre 3. Le programme PISA

Texte intégral

1Le programme PISA a été créé par l’OCDE, dont la mission est de « promouvoir les politiques qui amélioreront le bien-être économique et social partout dans le monde » (OCDE, 2014). Afin d’accomplir sa tâche dans le secteur de l’éducation, l’organisation – créée en 1961 – récolte et analyse régulièrement des informations provenant des systèmes éducatifs d’un grand nombre de pays. L’organisation affirme que ces données, mises à disposition des pays, permettent non seulement de repérer certains problèmes mais également de déterminer quelles sont les politiques bénéfiques au développement social, économique et environnemental des pays, ainsi qu’aux membres de la société. Le slogan de l’organisation, « des politiques meilleures pour une vie meilleure », reflète son ambition.

2Les enquêtes PISA sont nées du projet international INES (Indicateurs des systèmes d’enseignement), créé par l’OCDE à la fin des années 1980, dont le but était d’enquêter sur les modèles d’enseignement des pays membres de l’organisation à l’aide d’indicateurs, puis de renseigner ces pays sur l’efficacité de leurs systèmes éducatifs en les comparant les uns aux autres. Le projet a été créé par le Centre pour la recherche et l’innovation dans l’enseignement (Centre for Educationnal Research and Innovation, CERI) et cherche à permettre aux gouvernements membres de repérer, d’une part, les points forts de leurs systèmes d’enseignement, d’autre part, les faiblesses à améliorer. Les résultats de ces enquêtes sont ensuite publiés dans Regards sur l’éducation : les indicateurs de l’OCDE afin que les pays disposent de ces informations et interviennent pour introduire d’éventuels changements politiques conformément à leurs résultats respectifs.

3Le programme PISA s’inscrit dans la continuité du projet INES car il s’intéresse de manière plus approfondie à une facette spécifique des systèmes éducatifs : les compétences des élèves à la fin de leur scolarité obligatoire. De ce fait, le programme ne s’intéresse pas à l’aspect pédagogique de l’enseignement mais plutôt aux produits des systèmes d’enseignements, à savoir les acquis des élèves. Toutefois, « l’enquête PISA n’a pas pour objectif l’évaluation des performances de chaque élève, mais plutôt la comparaison de systèmes éducatifs » (Moreau, Nidegger & Soussi, 2006, p. 46).

4Les enquêtes PISA sont réalisées sur des cycles de trois ans, où chaque année l’enquête privilégie l’une des trois disciplines, alors que les deux autres sont évaluées de manière secondaire. La première enquête – réalisée en 2000 – avait pour objet principal les compétences en lecture, la deuxième portait sur les mathématiques et la troisième sur les sciences. En 2009, le cycle a recommencé avec une étude portant à nouveau sur la lecture. La réalisation périodique de l’enquête permet une évaluation de l’évolution des systèmes éducatifs dans les différents pays.

5Pour ce qui est du reste, le programme comporte trois éléments centraux. Alors qu’INES compare les systèmes d’enseignement à partir d’indicateurs sur leurs forces et faiblesses, PISA les compare sur la base des résultats des élèves à des tests standardisés de mathématiques, de lecture et de sciences. Ces tests représentent le premier élément du programme PISA. Ils sont créés indépendamment des curriculums nationaux et des établissements scolaires et sont élaborés par les équipes PISA. Le deuxième élément de l’enquête, aussi indispensable que le premier, consiste en un questionnaire distribué aux élèves qui passent les tests. D’après l’OCDE, ce document a pour but de récolter diverses informations sur des variables telles que le statut socio­économique de la famille, l’environnement familial, la langue parlée à la maison, la perception de l’école, la motivation, etc. La mise en lien de ces deux premiers documents permet d’observer l’influence de ces variables contextuelles et environnementales sur les performances des élèves (OCDE, 2000). Il s’agit donc de produire des « connaissances sur les mécanismes qui expliquent les variations des performances des élèves en fonction de certains facteurs » (Felouzis & Hanhart, 2011, p. 12). Afin de tirer des conclusions sur l’influence d’autres éléments tels que la structure ou le fonctionnement des établissements scolaires, des questionnaires sont également distribués à la direction de chaque école. Ce dernier document a pour but de déterminer en quoi l’organisation du cursus scolaire ou les ressources matérielles et personnelles à disposition ont un impact sur les résultats des élèves. En définitive, à travers l’analyse des informations récoltées par ces trois documents, les enquêtes PISA cherchent à déterminer les facteurs qui influent sur les compétences des élèves.

6Les enquêtes sont réalisées à partir d’échantillons représentatifs de la population d’élèves d’un pays ; ils sont déterminés au hasard : « la population de référence de l’enquête PISA internationale se compose des élèves de 15 ans encore en formation, soit qu’ils n’ont pas terminé leur scolarité obligatoire, soit qu’ils soient en formation postobligatoire (au degré secondaire II, professionnel ou non) » (Direction nationale du programme PISA.ch, 2008, p. 14). Le programme a préféré l’âge comme critère de comparaison plutôt que le degré scolaire car il existe trop de diversité quant à la durée de la scolarité obligatoire des différents pays pour que tous les élèves puissent être comparés entre eux : « aucune année scolaire n’est comparable au plan international » (p. 14). Les tests et les questionnaires sont donc distribués à quelques 5 000 élèves de 15 ans dans chaque pays, ce qui représente près de 150 établissements scolaires (Dumay & Dupriez, 2009). En outre, afin d’éviter certains biais dans les résultats, PISA a exclu certains élèves de l’enquête ; il s’agit des élèves souffrant d’un handicap ou d’un retard mental et des élèves qui n’ont pas suivi au moins une année d’école dans la langue du test.

7Depuis sa création, PISA gagne en popularité d’année en année. Le programme a atteint un public très large, au-delà de la communauté enseignante et scientifique, ce qui a ouvert les portes du débat sur l’éducation à l’ensemble des membres de nos sociétés. Cette popularité ne garantit cependant pas l’unanimité.

Qu’évaluent les enquêtes PISA ?

8Les rapports PISA de 2000 à 2009 soutiennent que le programme évalue les compétences des élèves en mathématiques, en sciences et en compréhension de l’écrit. Le terme « compétences » est très important dès lors que l’on s’intéresse à PISA. Sans revenir sur le débat abordé précédemment, l’enquête ne s’intéresse pas aux connaissances scolaires à proprement parler mais plutôt à la capacité des élèves à utiliser l’ensemble des savoirs et des savoir-faire acquis à l’école dans diverses situations complexes de la vie quotidienne :

L’idée sous-jacente est ici que le but de l’éducation contemporaine n’est pas d’aboutir à une connaissance encyclopédique qui serait une somme de savoirs accumulés, mais de faire acquérir aux élèves les outils intellectuels qui leur permettront de répondre aux sollicitations complexes de la vie moderne. (Felouzis & Charmillot, 2012, p. 20)

  • 3 Pour un aperçu d’exercices PISA soumis aux élèves, voir « PISA : exemples d’unités de tests de PISA (...)

9Afin de mesurer la maîtrise de telles aptitudes, les enquêtes PISA ne tiennent pas compte des programmes scolaires en vigueur dans les pays. Les problèmes auxquels les élèves sont confrontés dans les tests ne correspondent pas à ceux qu’ils ont l’habitude de rencontrer dans leur cursus scolaire ; les compétences évaluées sont plutôt celles que les élèves utiliseraient dans leur vie quotidienne, au niveau personnel, social et professionnel. Si nous nous référons à l’article de Moreau, Nidegger et Soussi (2006), PISA évalue donc plutôt la capacité des élèves à déterminer, dans un contexte donné, à quelle connaissance ou compétence faire appel pour résoudre un problème. Ce qui importe relève davantage de la « mobilisation » des savoirs et savoir-faire (Moreau, Nidegger & Soussi, 2006).3

10L’accent étant situé sur les processus cognitifs, chaque discipline est évaluée sous trois axes : « le contenu des connaissances ; les processus qu’il faut savoir mettre en œuvre et qui exigent certaines aptitudes cognitives ; la situation ou le contexte dans lesquels les connaissances et les compétences sont appliquées » (Nidegger, 2001, p. 18).

Littératie

11L’importance que PISA accorde aux compétences et aux capacités de raisonnement permet de comprendre les raisons pour lesquelles les enquêtes ont choisi d’évaluer la littératie. Ce concept traduit la volonté d’évaluer, au-delà des aptitudes de décodage et de déchiffrage du code de l’écrit, « la capacité de comprendre, d’utiliser et d’analyser des textes écrits, afin de pouvoir réaliser ses objectifs, développer ses connaissances et son potentiel et jouer un rôle actif dans la société » (OCDE, 2000, p. 20). L’aspect réflexif est donc particulièrement mis en avant ; l’école doit non seulement permettre aux élèves de lire et d’écrire mais également et surtout de comprendre et d’interpréter de manière critique des textes écrits auxquels ils pourraient être confrontés dans diverses situations scolaires ou non. Par ailleurs, la maîtrise de la littératie est considérée comme primordiale dans les enquêtes PISA car elle conditionne la réussite de toutes les disciplines scolaires.

Variables structurelles et contextuelles

12PISA s’attelle à mettre en lien les acquis des élèves dans trois disciplines avec, d’une part, des facteurs liés aux systèmes éducatifs et, d’autre part, des caractéristiques individuelles. L’objectif est d’identifier les variables susceptibles d’influencer les compétences. Cette mise en relation a pour but de repérer de manière plus globale les éléments qui ont un impact sur les systèmes éducatifs. Afin de réaliser cet objectif, PISA étend son analyse à une multitude de variables. Pour ce qui est des caractéristiques des élèves, les enquêtes prennent en compte le genre, l’âge, le milieu social, la langue parlée à la maison et la nationalité des élèves. Quant aux facteurs liés aux systèmes éducatifs, il s’agit principalement de la structure organisationnelle des établissements scolaires, autrement dit des types de regroupement d’élèves en filières, par niveau ou en classes hétérogènes.

13L’étude des facteurs susceptibles d’influencer les compétences des élèves n’est pas exclusive à PISA. Petrucci (2010), entre autres, s’est intéressé à l’impact de variables telles que la langue maternelle ou la catégorie socioprofessionnelle sur les compétences en lecture des élèves du cycle d’orientation de Genève. Selon l’auteur, la catégorie socioprofessionnelle peut être déterminée en fonction de l’activité professionnelle des parents. En fonction du métier de ces derniers, Petrucci situe les élèves dans les catégories suivantes : favorisée, moyenne, défavorisée. Dans PISA, la catégorie socioprofessionnelle dépend – en plus du métier des parents – de différents facteurs tels que les ressources culturelles, la possession de matériel d’apprentissage, la fréquentation des bibliothèques, les activités de loisirs, la relation avec les parents. Ces informations permettent d’établir un profil des élèves évalués puis de déterminer quels facteurs ont une influence sur leurs résultats. Nous verrons dans les analyses des résultats PISA que certaines de ces variables peuvent exercer une influence très importante sur les performances scolaires des élèves.

Méthodologie des enquêtes PISA

14Les enquêtes PISA n’auraient pas autant de succès si elles ne respectaient pas une certaine rigueur méthodologique (Felouzis & Hanhart, 2011). PISA est parvenu depuis sa création à atteindre un public très large ; les lecteurs peu avertis en recherche en éducation connaissent le programme grâce à la couverture médiatique dont il dispose. Il est en revanche plus complexe, pour une enquête internationale, de convaincre les chercheurs et les acteurs impliqués dans l’éducation en raison de leurs connaissances et expériences dans le domaine. Toutefois, les travaux scientifiques en éducation admettent généralement que le programme PISA repose sur une méthodologie rigoureuse.

15L’objectif fondamental de l’OCDE étant relativement ambitieux, les enquêtes sur lesquelles reposent les recommandations de l’organisation en matière de politiques se doivent de respecter des principes stricts et des fonctionnements précis. La fiabilité des résultats de ces enquêtes est indispensable, d’autant plus qu’ils représentent les arguments d’éventuelles prises de décisions politiques. Nous sommes donc face à une « normalisation des procédures » (Felouzis & Charmillot, 2012, p. 13) :

Pour garantir la comparabilité des résultats sur une si vaste échelle, il faut imposer des standards et des contrôles à chaque étape de la réalisation de l’enquête, de la conception et de la réalisation des tests aux conditions de passation et de codage des résultats. (p. 13)

16En ce qui concerne la conception des tests, trois instituts (un en Australie, un aux États-Unis et un aux Pays-Bas) ont été chargés de la collecte d’idées concernant les moyens d’évaluer les élèves (Moreau, Nidegger & Soussi, 2006). Dans chaque pays, des spécialistes ont été spécialement formés pour la création d’items destinés aux enquêtes PISA. Pour que les tests fassent appel à une multitude de savoirs et de savoir-faire, il était nécessaire de créer un grand nombre d’exercices dont les consignes, les types de réponses et les compétences mobilisées devaient varier pour permettre d’évaluer la diversité des compétences visées par PISA. Les exercices ont ensuite été répartis dans une dizaine de carnets de façon à ce que tous les élèves n’aient pas les mêmes exercices. Les responsables de la création des tests ont cependant veillé à ce que les élèves soient confrontés à des exercices de difficulté comparable. Les conditions de passation et les items des tests ont ensuite été contrôlés et approuvés par les pays qui prenaient part à l’enquête. Cette manière de faire permettait d’impliquer l’ensemble des états participants et de créer des tests sur des fondements qui avaient fait l’objet d’un accord international. Deux modèles de tests ont été conçus, l’un en anglais et l’autre en français, puis envoyés dans les différents pays afin que ceux-ci procèdent à leur propre traduction, sous la responsabilité de traducteurs formés pour les enquêtes PISA (Moreau, Nidegger & Soussi, 2006). Le contenu des items est donc le même pour tous les pays ; cette caractéristique est indispensable pour permettre une comparaison à l’échelle internationale.

17Pour ce qui est des conditions de passation, les personnes responsables de faire passer les épreuves aux élèves ne doivent pas enseigner dans les établissements choisis et doivent être, comme les créateurs des items, spécialement formés pour leur tâche. Les élèves ont deux heures à disposition pour compléter ces tests écrits, dont le résultat n’a aucune incidence sur leur cursus scolaire.

18Enfin, les corrections et le codage des résultats des épreuves sont basés sur des manuels de correction standardisés pour chaque pays et sont réalisés par des membres du personnel formés pour cette responsabilité (Felouzis & Charmillot, 2012). Ces derniers proposent différentes manières d’appréhender les résultats des élèves. Tout d’abord, le score moyen des élèves reflète le nombre de réponses correctes au test (Moreau, Nidegger & Soussi, 2006). Ensuite, il existe une échelle de compétences de plusieurs niveaux permettant de situer la réussite des élèves aux différents exercices. Puis, afin de traduire les réponses des élèves en points, PISA utilise ce que Felouzis et Charmillot (2012) appellent « la théorie de la réponse à l’item » qui « interprète les résultats des tests en situant les individus par rapport à des tâches et non plus en relation avec les performances des autres individus » (p. 29). Le pourcentage de réponses correctes est insuffisant pour évaluer la maîtrise des compétences des élèves car les tests PISA comportent des exercices de difficultés variables. De ce fait, PISA mesure les acquis des élèves en calculant leur probabilité de répondre correctement à des exercices de difficulté variable : « c’est sur la base de ces probabilités de réussite à une série d’items que peut être évalué le niveau de compétence d’un élève » (p. 32). Lorsque ces différentes analyses des résultats sont simultanément prises en compte, elles permettent une appréhension complète des compétences des élèves.

19En définitive, PISA s’appuie sur des faits étudiés et sur des résultats sous forme de statistiques pour évaluer les compétences des élèves et pour faire ressortir de la comparaison d’éventuels points communs entre les pays et leurs systèmes éducatifs. Felouzis et Charmillot (2012) caractérisent les enquêtes PISA d’« universalistes » (p. 18) pour cette raison : elles ne cherchent pas à repérer les différences qui existent entre les systèmes mais à les comparer selon différents critères en partant de leurs points communs.

PISA : outil d’information ou outil politique ?

20L’OCDE soutient que l’objectif des enquêtes PISA est d’informer. Nous avons tenté d’analyser, à partir du référentiel proposé par Duru-Bellat et Mingat (1993), à quel type d’évaluation correspondent les enquêtes PISA afin de déterminer si leur travail se limite effectivement à informer.

Transparence des enquêtes PISA : débat public et réflexion

21La publication et la transparence des résultats des enquêtes telles que PISA reflètent, selon De Landsheere (1994), une obligation qui relève directement de la structure politique des pays : la démocratie. L’ouverture du débat sur les enquêtes PISA permet en effet aux membres de la société non seulement de s’informer sur les systèmes éducatifs et de procéder à une réflexion les concernant mais également de faire un choix quant au système qui leur convient le mieux. Selon Felouzis et Hanhart (2011), cette transparence permet aux états de montrer à la société un souci de qualité pour l’éducation ainsi qu’une certaine implication dans l’amélioration des systèmes éducatifs.

22En dépit du fait que les évaluations telles que PISA répondent à une obligation démocratique, elles représentent également une richesse non négligeable pour la recherche en éducation car leur méthodologie rigoureuse et leurs résultats permettent aux chercheurs d’entreprendre des analyses secondaires sur des bases solides (De Landsheere, 1994). De nombreux travaux scientifiques vont dans le même sens. Olsen et Lie (2006) affirment que, même si l’objectif fondamental des enquêtes à large échelle n’est pas le même que celui de la recherche en éducation, les données qu’elles publient peuvent permettre aux chercheurs de mener des études complémentaires qui pourront répondre à des questions de recherche qui nécessitent une récolte de données importante et peut-être trop coûteuse : « dans ce type de recherche, l’objectif est généralement d’aller au-delà des données et d’entreprendre une description et des analyses plus riches et approfondies des problèmes soulevés par les conclusions de ces études internationales » (p. 18). En définitive, la transparence de PISA ajoute à cette enquête internationale une fonction d’outil pour la recherche en éducation.

23Selon Mons (2009), l’évaluation standardisée a acquis une diversité de fonctions dont, notamment, celles d’information et de régulation. Mons affirme que les enquêtes internationales telles que PISA permettent dans un premier temps de disposer d’informations descriptives très riches au niveau national qui permettent une prise de conscience de l’état des systèmes éducatifs. L’auteure ajoute ensuite que l’analyse de ces dernières est utile pour les politiques éducatives car elle induit chez les acteurs politiques une réflexion sur les moyens d’améliorer les systèmes en question : « car au-delà de l’outil pédagogique de mesure des acquis des élèves, l’évaluation standardisée a acquis un nouveau statut politique qui fait d’elle un instrument central dans la régulation des systèmes éducatifs » (p. 102).

Finalité instrumentale des enquêtes PISA

24Les enquêtes internationales telles que PISA ne poursuivent plus le même objectif qu’à leur création où il était question d’acquérir des connaissances sur les systèmes éducatifs des différents pays (Olsen & Lie, 2006). Cette finalité a évolué : il s’agit aujourd’hui d’améliorer les résultats des systèmes éducatifs :

Ces études ont d’abord été conçues comme une méthode ou comme un projet précis pour conduire des recherches en éducation selon une perspective comparatiste internationale. Nous appellerons cette idée de départ « Objectif I : objectif de recherche ». L’intérêt des décideurs politiques a progressivement déplacé le débat sur une observation des résultats des systèmes éducatifs et une étude des facteurs possibles agissant sur ces résultats. Cette logique d’étude comparative sera appelée « Objectif II ; objectif de politique d’efficacité ». (p. 12)

25La mise en place de politiques susceptibles d’améliorer l’efficacité des systèmes éducatifs ne relève cependant pas de ces enquêtes. La mission de PISA consiste à mettre à disposition des données sur les systèmes éducatifs des pays afin d’orienter les politiques en vue d’une amélioration : « l’évaluation devient alors un moyen, elle n’est pas une fin en soi » (Ridde & Dagenais, 2012, p. 22) et sert, comme l’affirment Felouzis et Hanhart (2011), à repenser les politiques éducatives et à orienter les actions publiques. L’OCDE ne peut donc prendre de décision concernant les politiques des pays évalués mais elle cherche malgré tout à les influencer par la transmission d’informations.

Forces et faiblesses des enquêtes PISA

26Quels sont les autres éléments positifs des enquêtes PISA relevés dans la littérature ? Qu’en est-il en revanche des critiques habituellement adressées au programme de l’OCDE ? Nous tenterons, dans cette présentation contrastée des éloges et des critiques de PISA, de déterminer les raisons pour lesquelles il existe autant de divergences d’opinion à leur sujet chez les auteurs qui nous ont intéressés.

Forces

27Dumay et Dupriez (2009) affirment que l’on observe, à l’échelle internationale, un réel souci de qualité et d’efficacité des systèmes éducatifs grâce, notamment, au mouvement de concurrence engendré par les enquêtes PISA. Celles-ci ont participé de manière non négligeable à la transmission et au développement d’une volonté d’amélioration de l’éducation dans les pays évalués. Le premier aspect positif des enquêtes PISA relève par conséquent plutôt de son rôle dans l’évolution de la place de l’éducation dans la société, bien que cette évolution ne soit pas uniquement due au programme de l’OCDE.

28D’après Felouzis et Charmillot (2012), la transparence des enquêtes PISA est une richesse car elle permet de s’informer sur les systèmes éducatifs. Cette transparence doit permettre aux membres de la société concernés par l’éducation de connaître les systèmes éducatifs dans lesquels ils souhaitent s’inscrire : « les parents, les élèves et les responsables de l’éducation, comme le public en général, ont le droit de savoir si les écoles transmettent véritablement les connaissances et les aptitudes que la société moderne réclame » (Conférence des directeurs cantonaux de l’instruction publique, 2002, p. 4). Par ailleurs, la transparence de PISA à travers la publication de nombreux documents – les processus d’élaboration des tests, la méthodologie de correction, les résultats détaillés, etc. – engendre des critiques qui peuvent, à leur tour, donner lieu à des améliorations de l’enquête. Réaliser une évaluation tous les trois ans permet donc de tirer des leçons et de proposer des versions améliorées pour les enquêtes suivantes.

29Ridde et Dagenais (2012) affirment que la régularité et la continuité des enquêtes PISA sont des points forts qui peuvent permettre, sur le long terme, la compréhension de phénomènes éducatifs et de leur évolution. À ce propos, Felouzis et Charmillot (2012) énumèrent certaines conclusions auxquelles les données récoltées par PISA ont mené. Les rapports PISA aboutissent notamment au constat que le redoublement est une pratique qui ne contribuerait pas aux objectifs d’efficacité et d’équité des systèmes scolaires. Les données récoltées par l’enquête permettraient également d’affirmer que les établissements qui séparent très tôt les élèves dans différentes filières ne sont pas plus efficaces et renforcent les inégalités entre élèves.

30Les enquêtes PISA reposent sur une méthodologie rigoureuse et produisent des résultats scientifiques fiables. En effet, tous les acteurs qui jouent un rôle dans les évaluations ont été formés spécialement pour leur tâche. Des concepteurs des questions aux responsables de la passation des tests en passant par les experts chargés de traduire et de contrôler les items, tous ont suivi une formation spécifique afin que l’enquête réponde aux attentes de l’OCDE.

31Par ailleurs, à travers les questionnaires distribués aux élèves, les enquêtes PISA recueillent des informations sur leur motivation et sur leur rapport à l’école et aux apprentissages. Ces indications sont tout à fait pertinentes pour les acteurs éducatifs tels que les enseignants qui peuvent en tirer des enseignements sur certaines tendances manifestées par les élèves dans les contextes d’apprentissage.

32En plus des informations qu’apportent les enquêtes PISA aux systèmes éducatifs et à leurs acteurs, elles représentent une grande richesse pour la recherche en éducation. Olsen et Lie (2006) regrettent que les données produites par ce type d’enquêtes ne soient pas davantage utilisées par les chercheurs en éducation. Ils expliquent ce manque d’intérêt par le fait que les chercheurs sont nombreux à préférer réaliser leurs enquêtes à partir de données qu’ils ont eux‑mêmes récoltées.

33Enfin, il est important de remarquer que l’enquête PISA procède à une comparaison à une échelle qui n’avait jamais été atteinte auparavant (Felouzis & Charmillot, 2012). En effet, « en dépassant le niveau établissement et le niveau national, [l’enquête] embrasse des configurations scolaires multiples et permet la comparaison des choix politiques en éducation et l’évaluation de leurs conséquences » (Mons, 2008, p. 8). De plus, la taille des échantillons testés dans chaque pays et la quantité d’items sont tels que les résultats « reflètent forcément, en grande partie, la réalité » (Nidegger, 2001, p. 26). La participation de la Suisse aux enquêtes PISA est un exemple d’autant plus intéressant car le pays est évalué à deux échelles : nationale et internationale. La comparaison des régions linguistiques et des cantons produit des informations très utiles pour rendre compte de l’état de l’éducation du pays et pour tirer des conclusions sur d’éventuels dispositifs d’amélioration des systèmes scolaires cantonaux.

Limites et critiques

34L’ampleur du programme PISA et son utilisation dans autant de pays ne sont cependant pas vues d’un bon œil de manière unanime. La première incrimination souvent adressée au programme PISA relève de la nature de l’organisation qui l’a créé. En effet, nombreux sont les auteurs qui rapportent des critiques au sujet du manque de pertinence pour une instance économique de procéder à une évaluation des systèmes éducatifs. Ce qui ne plaît pas relève du fait d’attribuer une valeur instrumentale aussi importante à l’éducation, qui serait considérée comme une entreprise de production de biens mesurables ignorant la nature et la complexité de la relation éducative.

35Cette limite des enquêtes PISA nous permet de comprendre le deuxième reproche régulièrement fait à leur encontre. De nombreux auteurs s’interrogent : pourquoi mettre l’accent sur des compétences qui ne sont pas directement liées aux programmes scolaires si le but de PISA est d’évaluer les systèmes éducatifs ? Diverses critiques repérées par Felouzis et Charmillot (2012) estiment que, pour évaluer l’efficacité ou la qualité d’une école, il faut évaluer ce qui s’apprend directement à l’école. Les documents officiels PISA revendiquent leur choix et l’expliquent en faisant référence, de manière indirecte, à la théorie du capital humain (voir p. 30) : d’après l’OCDE, ce sont les compétences cognitives et logiques qui exercent un poids sur la progression sociale, économique ou encore technologique d’un pays.

36Ce débat peut s’expliquer par le manque de consensus au niveau de la finalité de l’éducation : « s’agit-il de faire acquérir un ensemble de savoirs disciplinaires aux élèves, ou plutôt de leur donner les outils intellectuels qui leur permettront de vivre et de s’adapter à la société moderne ? » (Felouzis & Charmillot, 2012, p. 57). Les objectifs de l’éducation reflétés par les enquêtes PISA peuvent paraître utilitaristes, ils correspondraient par conséquent mieux à la deuxième proposition. Ce débat n’a toujours pas abouti à un consensus, il en va certainement de même pour PISA.

37Le rapport du Consortium romand sur la première enquête (Nidegger, 2001) soulève également le fait que les élèves qui passent les tests PISA ne s’impliquent pas toujours pleinement dans la réalisation des exercices. Le fait que les élèves ne connaîtront pas leurs résultats et que ceux-ci ne seront pas pris en compte dans leur moyenne scolaire annuelle serait un frein à leur engagement. Ce manque d’implication peut biaiser les résultats des enquêtes car les élèves ne répondent peut être pas de la même façon qu’ils le feraient pour un test noté ; ils ne montrent par conséquent pas forcément leurs réelles compétences. La comparaison des résultats entre pays et entre cantons peut se retrouver faussée.

38Dumay et Dupriez (2009) dénoncent le fait que PISA, en ignorant les spécificités culturelles des pays, tente de comparer des systèmes qui en réalité ne sont pas comparables, non seulement de par la diversité de leurs programmes mais également de par leurs caractéristiques culturelles. Les enquêtes PISA s’inscrivent en effet dans une perspective universelle des systèmes d’enseignement qui est souvent réprouvée : « la discussion porte à la fois sur le présupposé de l’existence et du caractère universel, ou du moins indépendant des contextes culturels et linguistiques, de l’objet que l’on cherche à mesurer » (Bautier, Crinon, Rayou & Rochex, 2006, p. 86). Felouzis et Charmillot (2012) affirment à ce sujet que la traduction des tests de base – délivrés en anglais et en français – dans les autres langues peut biaiser la capacité des élèves à réaliser les exercices car les items peuvent porter sur des éléments culturels et des termes peu fréquents dans certains pays. D’autres auteurs ajoutent qu’en plus des spécificités linguistiques, le contexte a également une influence sur les « modes de faire » (Bautier et al., 2006, p. 86) des élèves. Les techniques utilisées pour résoudre des problèmes seraient effectivement particulières à chaque pays. Cette remarque incite les auteurs à émettre une critique au niveau de la méthodologie utilisée par PISA pour évaluer la probabilité des élèves de répondre correctement à un item. Comme expliqué précédemment, les responsables de la correction des tests PISA se basent sur les réponses des élèves à certains items pour déduire la probabilité qu’ils ont de répondre correctement à d’autres items. Selon Bautier et al. (2006), on ne peut pas tirer ce genre de conclusion car les élèves utilisent différents outils et méthodes pour répondre aux questions, bien que celles-ci correspondent à un niveau de complexité équivalent.

39D’après Felouzis et Charmillot (2012), la publication des résultats des enquêtes PISA dans les médias constitue également un reproche que certains chercheurs adressent au programme de l’OCDE. La présentation des moyennes des pays ou des cantons sous forme de classement et les résultats statistiques simplifiés véhiculent une image compétitive et limitée de PISA. L’ouverture du débat sur l’éducation au grand public, précédemment considérée comme un aspect positif de PISA, est dans ce cas critiquée car les informations publiées seraient trop simplifiées et ne permettraient pas une réelle prise de conscience de l’état des systèmes éducatifs.

40Une autre critique couramment adressée aux enquêtes PISA dénonce la difficulté – voire l’impossibilité – d’expliquer un phénomène social par un facteur en particulier. Les résultats des élèves varient-ils à cause de la structure de l’établissement dans lequel ils étudient, des pratiques pédagogiques utilisées en classe ou de leurs caractéristiques personnelles ? Les individus sont, par nature, uniques et les situations dans lesquelles ils se retrouvent, singulières ; il est donc impossible de tirer des conclusions générales sur les éléments qui affectent ou non les acquis des élèves (Dumay & Dupriez, 2009). Il semble toutefois surprenant qu’une enquête de renommée internationale basée sur une méthodologie si rigoureuse émette des conclusions réductrices. PISA ne prétend effectivement pas expliquer les compétences des élèves par une variable unique. Le rapport du Consortium romand sur la première enquête affirme à ce sujet : « Il est admis que la variable explicative en question, même si elle est statistiquement significative, n’est pas la seule explication possible. D’autres variables peuvent intervenir en même temps » (Nidegger, 2001, p. 27). Les documents PISA nationaux et internationaux n’aspirent pas à expliquer un phénomène social par un facteur en particulier mais plutôt à déterminer quels facteurs ont une influence sur les performances des élèves.

41Certains auteurs ajoutent qu’il existe une quantité trop importante de variables qui influencent les résultats des élèves que nous ne pouvons pas prendre en compte dans des évaluations telles que PISA. Ces enquêtes retiennent l’âge, le sexe, le statut socioéconomique, l’origine et la langue parlée à la maison. Qu’en est-il des autres éléments – la motivation, l’estime de soi, le bien être, etc. – qui ont un impact sur les performances scolaires des élèves ? Les objectifs fixés par PISA sont standardisés et s’appliquent à tous les élèves d’un même âge ou d’une même année scolaire ; leur évaluation ne tient pas compte du fait que chaque classe, chaque élève et chaque enseignant sont singuliers, tout comme la relation éducative. Faut-il cesser de s’intéresser aux facteurs qui influencent les acquis des élèves sous prétexte qu’ils sont trop nombreux ? Aucune enquête ne pourrait considérer l’ensemble des éléments qui ont un impact sur les performances scolaires des élèves car ils sont illimités. Chaque élève, lorsqu’il réalise un test, se trouve dans une configuration particulière due à une multitude de facteurs que nous ne pouvons pas énumérer. PISA a fait le choix d’en sélectionner cinq mais ne prétend pas pour autant qu’ils soient les seuls à jouer un rôle dans les acquis des élèves.

42L’ensemble de ces critiques dissuaderait les chercheurs à promouvoir l’utilisation des enquêtes PISA comme outil politique pour proposer d’éventuelles réformes éducatives. De nombreux travaux scientifiques affirment que leurs résultats sont insuffisants et qu’il est nécessaire d’approfondir l’enquête par des études nationales ciblées sur les particularités de chaque pays (Felouzis & Charmillot, 2012).

Bilan

43La revue de la littérature rend compte de visions souvent nuancées des enquêtes PISA. En effet, nous observons une tendance à présenter le programme de l’OCDE avec ses forces, ses faiblesses et certaines pistes pour lire correctement ses résultats. Les auteurs qui s’y intéressent sont autant conscients des aspects positifs que des points négatifs, mais choisissent de soutenir – ou non – les enquêtes PISA pour un élément particulier. Ainsi, Mons (2009), malgré diverses critiques exprimées à leur encontre, les défend pour la richesse qu’elles représentent pour la recherche en éducation. Quant à Felouzis et Charmillot (2012), ils terminent leur synthèse des pour et des contre des enquêtes PISA en affirmant que l’on peut se fier à leurs résultats car ils résultent d’une méthodologie très rigoureuse.

44Il est important de noter que de nombreux désaccords se situent non pas directement au niveau des enquêtes PISA mais plutôt au niveau de la définition de l’efficacité éducative et de celle de la finalité de l’éducation. L’absence de consensus autour de ces notions empêche d’aboutir à un accord au sujet du programme de l’OCDE.

45Enfin, les dernières critiques que nous avons présentées concernent davantage l’image de PISA véhiculée par les médias ainsi que la lecture que ces derniers proposent de ses résultats. Les articles affichant les moyennes des pays ou des cantons sous la forme de palmarès présentent effectivement des résultats simplifiés car destinés à un public large et peu averti. Cette simplification peut engendrer une lecture maladroite des conclusions de l’enquête.

L’usage des enquêtes PISA dans la régulation des systèmes éducatifs

46Dans une étude de Bloem (2013), plusieurs experts PISA de la Direction de l’éducation de l’OCDE ont été interrogés sur la question de l’utilisation des résultats du programme. Les discours des experts laissent entendre que les opinions au sujet de PISA et de son rôle dans les politiques éducatives peuvent être très divergentes d’un pays à l’autre. Certains pensent qu’une pure description des résultats n’a pas lieu d’être sans analyse alors que d’autres estiment que ce n’est pas à l’OCDE de s’exprimer sur les politiques éducatives. Qu’en est-il en réalité ? Les états prennent-ils en compte les résultats de PISA et les recommandations qui en découlent dans leurs décisions ?

47« Sans qu’ils puissent faire la décision, il appartient aux spécialistes d’aider à définir les enjeux et d’imaginer des solutions à proposer aux acteurs sociaux » (De Landsheere, 1994, p. 8). Dans son ouvrage paru en 1994 – avant la première enquête PISA –, De Landsheere défend de cette manière le pilotage des systèmes éducatifs basé sur les évaluations. Il affirme que celles-ci mettent à la disposition des acteurs politiques des informations objectives et détaillées que ces derniers ne peuvent ignorer. En effet, PISA fait des propositions à la fin de ses rapports mais celles-ci peuvent être prises en compte ou non par les décideurs politiques ; elles restent des suggestions.

48En se fondant sur différentes analyses des évaluations des systèmes éducatifs, Mons et Crahay (2011) remarquent « une très faibles utilisation de ces données dans la formulation et/ou la régulation des politiques éducatives » (p. 90). Comment expliquer que ces résultats soient si peu utilisés dans la régulation des systèmes éducatifs ? Les enquêtes telles que PISA ne poursuivent pas les mêmes objectifs que les décideurs politiques (Olsen & Lie, 2006). Dans leurs prises de décisions, ceux-ci se retrouvent face à des contraintes de temps et de faisabilité qui impliquent qu’ils voient les choses sous une perspective différente de celle des chercheurs. Olsen et Lie (2006) regrettent cette ignorance de PISA dans les politiques éducatives et ajoutent que ces enquêtes ne devraient pas représenter une fin en soi mais qu’elles devraient être utilisées pour produire des recherches plus approfondies au niveau local afin d’aboutir à des conclusions plus spécifiques concernant le système éducatif d’un pays ou d’une région.

49En définitive, autant les principes de PISA que leur utilisation concrète dans le monde politique sont fortement questionnés dans les pays qui participent aux évaluations. Qu’en est-il de la Suisse et des deux cantons qui nous intéressent ? Les enquêtes PISA y sont-elles reconnues et utilisées ?

Notes

3 Pour un aperçu d’exercices PISA soumis aux élèves, voir « PISA : exemples d’unités de tests de PISA 2000 à PISA 2006 » dans la liste des références bibliographiques, p. 107.

CC-BY-NC-ND-4.0

Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Lire

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search