Chapitre 4. Les enquêtes PISA à Genève et en Valais
p. 69-87
Texte intégral
1Dès la création de l’enquête PISA, la Suisse a fait le choix de soumettre son système éducatif à une évaluation internationale et a accepté d’être comparée aux autres pays participants. L’intérêt est d’avoir à disposition une importante quantité de données sur l’état et la production de l’éducation. Le système éducatif suisse étant décentralisé et très hétérogène, nous ne pouvons pas appréhender le niveau de l’éducation à l’échelle nationale.
2Pour pallier à cette hétérogénéité des systèmes scolaires cantonaux, la Suisse a décidé, dès la première enquête PISA, de soumettre un échantillon supplémentaire d’élèves pour chaque région linguistique : la Suisse romande, la Suisse alémanique et le Tessin. Ainsi, l’Office fédéral de la statistique (OFS) a proposé aux cantons des trois régions de participer à cette analyse approfondie dont le but était de disposer d’informations spécifiques à chaque canton et de les comparer ensuite.
Suréchantillons romands
3En Suisse romande, six cantons ont décidé de participer à la première enquête nationale et d’en assumer les coûts supplémentaires : Genève, Jura, Neuchâtel, Fribourg, Vaud et Valais. En 2003, la partie francophone du canton de Berne a été ajoutée. Parallèlement à l’échantillon d’élèves de 15 ans nécessaire à l’évaluation internationale, ces cantons ont construit chacun un échantillon de près de 900 élèves de 11e année, quel que soit leur âge. Ce chiffre a été augmenté dès la deuxième enquête à 1 500 élèves par canton. À titre comparatif, en 2000, l’échantillon suisse pour l’enquête internationale comptait près de 4 500 élèves de 15 ans alors que l’échantillon romand pour l’enquête nationale supplémentaire comptait plus de 5 000 élèves de 11e année. Ces chiffres montrent clairement que l’échantillon de l’enquête internationale aurait été insuffisant pour en tirer des informations détaillées sur les cantons. Pour constituer l’échantillon, des classes d’élèves en dernière année de scolarité obligatoire ont été sélectionnées de manière aléatoire. Le but de cette étude complémentaire était de faire un état des lieux des capacités des élèves de chaque canton au terme de leur scolarité obligatoire ; le critère de comparaison de l’âge était donc moins pertinent au niveau national :
Cette analyse basée sur les élèves de 9e présente l’avantage de comparer des enfants qui fréquentent le même degré scolaire. Par contre, les élèves n’ont pas le même âge à cause de la différence d’âge d’entrée dans la scolarité ou d’éventuels redoublements ou d’un changement de système scolaire.3 (Nidegger, 2001, p. 34)
4Les cantons ont créé un Consortium responsable de l’organisation de l’enquête et de l’analyse des résultats pour chaque région linguistique. Le Consortium romand, qui regroupe l’Institut de recherche et de documentation pédagogique (IRDP) à Neuchâtel et le Service de la recherche en éducation (SRED) à Genève, est chargé de la participation de la Suisse romande à l’enquête et de son bon fonctionnement. Il joue également le rôle de transmetteur des résultats vers l’ensemble des acteurs éducatifs concernés.
5Les rapports sur lesquels nous nous sommes basés pour analyser les résultats des élèves valaisans et genevois proviennent du Consortium romand. Chacun de ces documents présente de manière successive : ce en quoi consistent les enquêtes PISA ; la méthodologie utilisée ; les résultats au niveau national en distinguant les trois régions linguistiques ; les résultats de la Suisse romande et enfin les résultats de chaque canton, un par un, pour chaque discipline.
6La description et les analyses des résultats des élèves des cantons du Valais et de Genève correspondent aux parties des rapports qui nous ont davantage intéressés dans cette recherche. La suite de notre exposé est donc consacrée à la comparaison, d’une part, des résultats des deux cantons, d’autre part, de leurs réactions face à la réception de ces résultats. Il s’agira de déterminer tout d’abord si les résultats ont été pris en compte par les acteurs éducatifs puis d’observer si ceux-ci estiment que les enquêtes PISA ont joué un rôle dans les mesures introduites dans ces cantons entre 2000 et 2009.
Évolution des résultats régionaux
7Avant de présenter les résultats des cantons du Valais et de Genève, nous avons jugé nécessaire de proposer une image synthétique des résultats de la Suisse dans le contexte international (en nous basant sur l’échantillon d’élèves de 15 ans) et des résultats de la Suisse romande (à partir de l’échantillon des élèves de 11e année) afin de montrer dans quel contexte les deux cantons en question s’inscrivent. Il s’agit d’une présentation non exhaustive des analyses des résultats aux niveaux international et régional qui se focalise sur les moyennes suisses et romandes et leurs comparaisons.
8Les résultats de la Suisse à la première enquête internationale sont relativement satisfaisants. Comme le montre le tableau 1, les moyennes des élèves de 15 ans en lecture et en sciences sont proches de celles de l’OCDE – qui regroupent les moyennes des pays participants membres de l’organisation – mais sont toutefois inférieures à celles-ci. En revanche, la moyenne des élèves suisses en mathématiques se positionne en dessus de celle de l’OCDE avec une différence statistiquement significative. Lors des trois enquêtes suivantes, les moyennes des résultats des élèves suisses de 15 ans ont été supérieures à celles des résultats des pays membres de l’OCDE dans les trois disciplines testées.
Tableau 1. Évolution des moyennes de l’OCDE, de la Suisse et de la Suisse romande dans les trois disciplines
Disciplines | 2000 | 2003 | 2006 | 2009 | |
Moyennes OCDE | Lecture | 500 | 494 | 492 | 493 |
Mathématiques | 500 | 500 | 498 | 497 | |
Sciences | 500 | 500 | 500 | 501 | |
Moyennes Suisse | Lecture | 494 | 499 | 499 | 501 |
Mathématiques | 529 | 527 | 527 | 534 | |
Sciences | 496 | 513 | 512 | 517 | |
Moyennes Suisse romande | Lecture | 504 | 499 | 496 | 506 |
Mathématiques | 535 | 528 | 533 | 530 | |
Sciences | 497 | 509 | 505 | 500 |
Lecture. En gras : disciplines principales.
9Pour ce qui est de la comparaison des résultats des élèves de 11e année des trois régions linguistiques, la première enquête place la Suisse romande en première position dans les trois domaines malgré le fait que les écarts ne soient pas très importants. En revanche, ce sont les élèves alémaniques qui se sont positionnés en première place lors des enquêtes 2003 et 2006 et ce, pour les trois domaines testés. Pour la dernière enquête, ce sont les élèves alémaniques qui ont obtenu les meilleures moyennes en mathématiques et en sciences et les élèves romands en lecture. Nous remarquons par conséquent que lors des quatre enquêtes, le Tessin a obtenu les moins bonnes moyennes du pays. En outre, nous observons une légère amélioration des résultats des élèves suisses dans toutes les disciplines, bien que cette évolution ne soit pas statistiquement significative.
Genève
10« Genève a la particularité de croire qu’il est très particulier ». Voilà une réplique issue du discours de l’enseignant genevois que nous avons interrogé au sujet des caractéristiques du public scolaire du canton. Cette partie de l’ouvrage tente justement de présenter les systèmes scolaires genevois et valaisan entre 2000 et 2009 dans le but de mieux comprendre la lecture de leurs résultats aux enquêtes PISA. Il est indispensable de décrire la structure et le fonctionnement des deux systèmes scolaires afin de situer le contexte dans lequel les résultats s’inscrivent.
11Entre 2000 et 2009, l’enseignement secondaire genevois correspond à un système de type « mixte » car il regroupe deux formes de cycles d’orientation : en fonction de la zone géographique d’habitation, les élèves sont accueillis soit dans des cycles à filières soit dans des cycles à niveaux et options. Dans les premiers, les élèves sont répartis dans des filières thématiques (Latine, Scientifique, Générale, Pratique en 9e et 10e, la filière Moderne est ajoutée en 11e). Dans les cycles du second type, la 9e année regroupe les élèves dans des classes hétérogènes indépendamment de leur niveau puis, en 10e et 11e, ils sont séparés durant les cours de mathématiques et d’allemand selon leurs compétences (Nidegger, 2001). En 2000, le canton compte quatorze établissements à filières et trois établissements à niveaux et options. Au cours des trois ans qui ont séparé les deux premières enquêtes, l’organisation du degré secondaire à Genève a légèrement changé. En effet, les cycles du premier type ont remplacé leurs filières par les regroupements A, B et C. On en compte quinze en 2006 puis dix-sept en 2009 tandis que les cycles à niveaux et options restent au nombre de trois. Durant les deux premières années dans les cycles à regroupements, les élèves sont divisés entre les deux regroupements A et B en fonction de leurs notes en primaire. Puis, en 11e, ils sont séparés selon leur niveau (fort ou normal) en mathématiques et en allemand. Peu d’établissements disposent d’un regroupement C, destiné aux élèves qui n’ont pas obtenu la moyenne dans les trois disciplines. Dans les établissements à niveaux et options, la 9e est hétérogène puis, dès la 10e, les élèves sont divisés en trois niveaux en mathématiques et en allemand. La connaissance des modes de regroupement des élèves est importante dès lors que l’on sait que les filières peuvent exercer une influence relativement importante sur les performances scolaires de ces derniers (Felouzis, Charmillot & Fouquet-Chauprade, 2013).
12Les enquêtes PISA ne se limitent cependant pas à mesurer l’effet des facteurs relatifs aux systèmes scolaires, elles s’intéressent également au poids de certaines caractéristiques individuelles des élèves. Or, le public scolaire genevois se distingue des publics des autres cantons romands (Nidegger, 2001). Le canton compte en effet une part relativement élevée d’élèves d’origine et de langue maternelle étrangère (tableau 2), ainsi que beaucoup d’élèves de niveau socioéconomique élevé (Nidegger, 2001). Quelles sont les conséquences de ces particularités sur les résultats du public scolaire genevois ? La suite de notre travail tentera de répondre à cette question.
Tableau 2. Évolution des moyennes des élèves genevois dans les trois disciplines et évolution des taux d’élèves allophones et non natifs de Suisse
2000 | 2003 | 2006 | 2009 | |
Moyenne lecture | 479 (494) | 484 (499) | 510 (499) | 501 (501) |
Moyenne mathématiques | 508 (529) | 508 (527) | 507 (530) | 512 (534) |
Moyenne sciences | 472 (496) | 488 (513) | 490 (512) | 490 (517) |
Élèves allophones | 29,5 % | 21,6 % | 25 % | 27 % |
Élèves allochtones | 73,5 % | 44,3 % | 45 % | 47 % |
Lecture. Entre parenthèses : les moyennes suisses ; en gras : la discipline principale.
Genève dans les enquêtes PISA
13Les rapports du Consortium romand situent Genève dans les moins bons cantons de la région, et ce pour chaque enquête PISA depuis sa création :
Toutes sections confondues, Genève a les résultats les plus faibles de la Suisse romande. Mais ce canton a également une structure de la population des élèves avec la plus forte proportion de familles dont au moins un des membres n’est pas né en Suisse et où la langue parlée habituellement à la maison n’est pas le français. Ces deux facteurs ont assurément une incidence sur un test portant sur des compétences en langue. (Nidegger, 2001, p. 66)
14Observons de plus près les différences de publics scolaires – et plus particulièrement les deux facteurs que nous avons intégrés au tableau 2 – entre Genève et les autres cantons romands.
15Les chiffres de la quatrième enquête (2009) sont utilisés à titre d’illustration. En 2009, le canton de Genève compte 47 % d’élèves allochtones (Nidegger, 2011). À l’exception du canton de Vaud, tous les autres cantons romands en comptent moins de 25 % ; la relation est par conséquent proche du simple au double. Pour ce qui est des taux d’allophones observés en 2009, ils s’élèvent à 27 % à Genève, à près de 17 % dans les cantons de Vaud et de Berne et à 14 % en Valais. Suite à la publication des résultats de la troisième enquête, Charles Beer – conseiller d’État en charge du Département de l’instruction publique de 2003 à 2009 – s’est exprimé à propos de ces particularités du public scolaire genevois qui prétéritent les résultats du canton. Son discours est paru en décembre 2008 dans La Tribune de Genève (quotidien genevois) :
Dire que Genève est moins bon qu’un autre canton est un non-sens, insiste le conseiller d’État en charge de l’éducation. Le système genevois n’est pas comparable à celui de Fribourg ou du Valais. Nous sommes un canton-ville avec un fort taux d’élèves nés hors de Suisse. Le seul canton à qui nous aurions pu nous comparer est Bâle-Ville, mais ses autorités ont refusé de participer à l’étude. (Dethurens, 2008)
16Parallèlement à ces deux facteurs démographiques, le statut socioéconomique et culturel du public scolaire représente l’une des autres caractéristiques importantes du système scolaire du canton. À travers différentes variables, cet indice a pour but de refléter l’origine sociale des élèves. Il détermine, à partir de réponses à un questionnaire, d’une part le niveau de formation et le statut professionnel des parents, d’autre part la possession de ressources culturelles telles que des livres (Nidegger, 2011). Sur une l’échelle de 0 à 16, Genève atteint en 2009 un indice de statut socioéconomique et culturel de 10 comme les cantons de Neuchâtel, Fribourg et Vaud (Nidegger, 2011). Cela reflète une origine sociale moyenne élevée. À titre comparatif, le Valais obtient un indice de 6 et Berne et Jura respectivement 5 et 2.
Évolution de 2000 à 2009
17Afin de disposer d’informations suffisantes pour tirer des conclusions sur l’évolution des compétences des élèves, les rapports PISA ne comparent de manière approfondie que les enquêtes pour lesquelles la discipline principale est la même. Par exemple, l’évolution de la lecture peut être mesurée par l’écart entre les résultats des enquêtes de 2000 et 2009, celle des mathématiques avec les résultats de 2003 et 2012, etc. La discipline principale de chaque enquête est effectivement évaluée par le biais d’un nombre plus élevé d’items, ce qui rend les résultats plus fiables. Cette recherche porte sur les quatre premières enquêtes ; par conséquent, seule l’évolution des résultats en lecture est vraiment probante. Nous allons cependant observer l’évolution des résultats en mathématiques et en sciences à travers les années, bien que ces disciplines n’aient été évaluées de manière approfondie qu’une seule fois.
18Tout d’abord, que peut-on dire de l’évolution des résultats des élèves genevois en lecture ? Peu après la publication des résultats de l’enquête PISA 2009, soit la deuxième évaluation de la lecture, Le Courrier (quotidien suisse) affichait en titre : « PISA : Genève rattrape son retard en lecture » (Armanios, 2011). Effectivement, depuis la première enquête, les résultats du canton laissent entrevoir une amélioration, passant d’une moyenne de 479 points à 501 neuf ans plus tard. Genève est le seul canton à avoir autant progressé entre les deux enquêtes dédiées aux performances en lecture (Nidegger, 2011). Toutefois, malgré cette progression statistiquement significative, l’analyse des résultats montre que la moyenne du canton reste dans les moins bonnes de Suisse romande. Rappelons que les caractéristiques socio-démographiques du public scolaire genevois n’ont pas considérablement changé depuis 2000 et qu’elles expliquent toujours une part des résultats.
19Pour ce qui est de l’évolution des résultats dans les deux autres disciplines, elle n’est pas significative en mathématiques. En effet, en 2000, les élèves genevois ont obtenu une moyenne cantonale de 508 points. Six ans plus tard, leur moyenne s’élevait à 512 ; l’écart entre les deux moyennes n’est pas statistiquement significatif. En ce qui concerne la comparaison des résultats des élèves du canton de Genève en sciences entre les enquêtes 2000 et 2009, nous observons une légère amélioration qui n’est pas significative. Le rapport de la quatrième enquête souligne toutefois qu’aucun des cantons romands n’a montré d’évolution significative en sciences entre les trois enquêtes précédentes.
Valais
20Au terme de six années d’école primaire, les élèves valaisans entrent au cycle d’orientation pour une durée minimale de deux ans. Entre 2000 et 2009, la structure des deux ans du cycle d’orientation varie entre les communes. Certaines privilégient une structure en filières, où les élèves sont placés en secondaire ou en générale selon les notes obtenues à la fin de l’école primaire. D’autres préfèrent une organisation en niveaux, qui divise les élèves en deux niveaux dans les branches principales (français, mathématiques et allemand) et qui les regroupe pour les autres disciplines. Au terme de ces deux années au cycle d’orientation, les élèves doivent encore poursuivre une année d’école pour compléter leur scolarité obligatoire. En fonction du niveau et des résultats des élèves en deuxième du cycle, deux possibilités s’offrent à eux : une troisième année au cycle d’orientation ou une première année au lycée-collège. La première option correspond généralement aux élèves qui choisissent la voie des études courtes ou de l’apprentissage. Cette troisième année au cycle d’orientation sépare les élèves en niveaux 1 et 2 dans les trois branches principales ; cela correspond à un système dit « intégré ». Quant à la seconde option, elle prépare les élèves qui se destinent aux études gymnasiales. Pour entrer au lycée-collège, un niveau minimal est requis puis tous les élèves sont regroupés dans des classes hétérogènes.
21Du fait que les élèves valaisans de 11e année soient divisés entre deux structures différentes, l’échantillon du Valais pour l’enquête nationale a regroupé des classes des deux types d’établissements. En 2000, « l’échantillon valaisan est constitué de 64 % d’élèves provenant du Cycle d’orientation et 35 % environ du Lycée-Collège » (Nidegger, 2001, p. 83). Dans l’échantillon de 2009, près de neuf élèves testés sur dix étudient dans un cycle d’orientation. L’écart entre les deux taux de participation s’explique simplement par le fait que l’on compte plus de vingt cycles d’orientation en Valais alors que le nombre de lycées-collèges dans le canton s’élève uniquement à trois.
Le Valais dans les enquêtes PISA
22Depuis la publication des résultats de la première enquête PISA, le Valais se situe, avec le canton de Fribourg, chaque année dans les cantons romands qui présentent les moyennes les plus élevées dans les trois disciplines évaluées. De ce fait, à l’inverse de Genève, le Valais est placé sur un piédestal par la presse : « les élèves du Valais et de Fribourg sont les meilleurs Romands » (Armanios, 2011) pouvait-on lire dans Le Courrier du 6 décembre 2011, après la publication des résultats de l’enquête PISA 2009. Dans ce titre provocateur, le terme « meilleurs » fait référence à une caractéristique intrinsèque aux élèves qui ne laisse pas de place à une réflexion contextualisée, indispensable lorsque l’on aborde le thème PISA. Est-ce que les élèves valaisans méritent vraiment ces éloges dont ils font l’objet ?
23Les quatre enquêtes dont il est question dans cet ouvrage montrent que les moyennes valaisannes dans les trois disciplines sont chaque année supérieures aux moyennes de la Suisse romande. Toutefois, comme pour le canton de Genève, une part des résultats s’explique par des particularités du public scolaire du canton. En effet, « par rapport à la moyenne de Suisse romande, le Valais compte une part moins importante d’élèves non natifs de Suisse et d’élèves non francophones » (Nidegger, 2008, p. 103). Or, nous savons que les élèves nés à l’étranger et qui parlent une autre langue que le français à la maison obtiennent généralement des résultats inférieurs aux élèves suisses francophones. Une forte – ou faible – proportion d’élèves appartenant à ces catégories peut donc faire pencher les moyennes cantonales. Certaines caractéristiques individuelles, lorsqu’elles sont importantes au sein d’une même classe – ou d’un même canton – peuvent en effet avoir un impact sur la classe entière – ou sur un canton (Nidegger, 2001).
24En Valais, les enquêtes PISA évaluent l’impact de ces caractéristiques individuelles dans deux structures différentes. Étant donné que les élèves nés à l’étranger et allophones ont généralement des résultats scolaires inférieurs aux élèves suisses et francophones, nous comprenons que les filières aux exigences élevées comptent davantage d’élèves de ces dernières catégories. En effet, tous les rapports affirment que les classes du lycée-collège et celles du cycle d’orientation en filière secondaire ou en niveau I comptent moins d’élèves étrangers ou allophones et obtiennent de meilleures moyennes que les classes du cycle d’orientation en filière générale ou niveau II où le nombre d’élèves appartenant à ces catégories est plus important. Par ailleurs, les rapports du Consortium soulignent le fait que le statut socioéconomique moyen des élèves du lycée-collège est également supérieur à celui des élèves des filières moins exigeantes du cycle d’orientation. Ces tendances dénoncent une certaine sélection des élèves dans le processus de répartition dans les différentes filières que nous pouvons retrouver dans l’ensemble des cantons romands. L’écart de performance entre les élèves appartenant aux différentes catégories tient-il donc vraiment à leurs compétences scolaires ou plutôt à cette sélection, sachant que certaines filières – du fait de leur niveau d’exigence – stimulent davantage les élèves que d’autres ?
Évolution de 2000 à 2009
25Les résultats des quatre premières enquêtes PISA (tableau 3) montrent que le canton du Valais se situe, chaque année, dans les cantons qui présentent les meilleures moyennes. La première place du classement des cantons romands – tant contesté par les chercheurs – est effectivement constamment disputée entre les cantons du Valais et de Fribourg. Le Valais se situe cependant plus souvent à la deuxième place. La proximité des résultats des élèves valaisans et fribourgeois à chaque enquête PISA peut s’expliquer par le fait que « la proportion de garçons (48 % pour les deux cantons), la proportion d’élèves non-francophones (14 % pour le Valais, 13 % pour Fribourg) ainsi que la répartition des niveaux socioéconomiques (NSE14 : 25.2/26.3, NSE2 : 24.4/27.1, NSE3 : 30/26.1, NSE4 : 20.2/20.4) sont très proches » (Nidegger, 2011, p. 107).
Tableau 3. Évolution des moyennes des élèves valaisans dans les trois disciplines et évolution des taux d’élèves allophones et non natifs de Suisse
2000 | 2003 | 2006 | 2009 | |
Moyenne lecture | 518 (494) | 517 (499) | 510 (499) | 522 (501) |
Moyenne mathématiques | 551 (529) | 549 (527) | 546 (530) | 553 (534) |
Moyenne sciences | 521 (496) | 530 (513) | 519 (512) | 525 (517) |
Élèves allophones | 12,3 % | 10 % | 11,9 % | 14 % |
Élèves allochtones | 38,6 % | 19 % | 22,1 % | 24 % |
Lecture. Entre parenthèses : les moyennes suisses ; en gras : la discipline principale.
26En dépit du fait que le Valais ait obtenu, à chaque enquête et pour chaque discipline, une moyenne supérieure à la moyenne romande, les résultats des élèves du canton n’ont pas évolué de manière significative. Entre 2000 et 2009, la moyenne des élèves valaisans en lecture est passée de 518 à 522. En statistiques, cet écart n’est pas significatif. Cette stagnation s’applique également au taux d’élèves dont les performances en lecture se situent en dessous du niveau 2 de compétence, qui délimite le niveau en dessous duquel les élèves sont susceptibles d’avoir des difficultés dans leur parcours scolaire ainsi que dans des épreuves de la vie quotidienne. La proportion d’élèves qui se situent dans cette catégorie n’a pas non plus évolué de manière significative ; elle est passée de 5 % en 2000 à 8 % en 2009. En revanche, le taux d’élèves dont les résultats s’élèvent aux niveaux les plus exigeants de compétences a doublé ; il est passé de 5 % en 2000 à 10 % en 2009.
27Pour ce qui est des deux autres disciplines, l’évolution n’est pas non plus très importante. La moyenne des élèves valaisans en mathématiques est passée de 551 en 2000 à 553 en 2009, ce qui ne montre pas une progression statistiquement significative. À l’échelle régionale, mis à part le canton du Jura, les autres cantons ne sont pas non plus parvenus à améliorer leurs résultats en mathématiques de manière significative. La progression des élèves valaisans en sciences est également faible ; elle a augmenté de quatre points entre 2000 et 2009.
28L’évolution des résultats dans les trois disciplines peut également être observée sous une autre perspective, celle des filières et des niveaux. Les résultats des quatre enquêtes indiquent que les élèves étudiant au lycée-collège obtiennent de meilleures moyennes que leurs camarades inscrits dans les cycles d’orientation, et ce pour chaque discipline. Au plan de l’homogénéité des classes, les résultats ne sont en revanche pas aussi contrastés. Par exemple, en 2000, les résultats en mathématiques sont plus homogènes dans les classes du cycle d’orientation alors que c’est l’inverse en 2003.
Analyse comparée des résultats
29Dans cette partie, les résultats des élèves valaisans et genevois sont analysés en les confrontant aux facteurs précédemment exposés de manière à déterminer si ces derniers influencent ou non les performances scolaires. Il est important de souligner qu’il ne sera pas question d’établir des relations causales entre deux variables. Bloem (2013) aborde le risque de s’exprimer en termes de relations de causes à effets en statistique : « au niveau de la statistique pure, on peut voir des relations entre deux variables sans connaître la cause exacte » (p. 14). Dans les résultats statistiques de PISA, nous pourrions par exemple observer une relation entre le pays de naissance d’un élève et ses performances sans pour autant pouvoir affirmer qu’un élève né à l’étranger a de mauvais résultats à cause de son pays d’origine. Il est important de garder cette clé de lecture à l’esprit lorsque l’on s’intéresse aux résultats PISA car sans cela, on risque de sur-interpréter les résultats et d’en tirer des conclusions erronées.
30Pour commencer, la comparaison des moyennes des deux cantons dans les disciplines principales indique dans trois enquêtes sur quatre une différence d’au moins trente points en faveur du Valais. Par exemple, en 2000, la moyenne des élèves valaisans en lecture dépasse la moyenne des élèves genevois de trente-neuf points. Neuf ans plus tard, l’écart s’est atténué ; on ne compte plus que vingt-et-un points d’écart entre les moyennes des deux cantons :
À l’aune romande, les moyennes de lecture sont en effet franchement médiocres pour Genève et Vaud qui n’obtiennent tous deux que 501 points ; en revanche, les parties francophones des cantons du Valais (522) et de Fribourg (520 points) trônent sur les premières marches du podium helvétique, avec Schaffhouse. (Weiss, 2011)
31Bien que notre travail ne se concentre pas uniquement sur la partie francophone du Valais, cette affirmation tirée d’un article du quotidien suisse Le Temps paru en décembre 2011 résume le palmarès des résultats de l’enquête 2009 de manière très simpliste. Nous comprenons les différentes critiques présentées précédemment concernant la lecture des résultats PISA proposée par les médias ; ceux-ci accordent une importance particulière à la hiérarchisation des cantons et prêtent peu d’attention aux facteurs qui influencent les résultats. Or, nous verrons que lorsque l’on s’arrête sur ces éléments, les conclusions des enquêtes PISA ne sont pas aussi catégoriques au sujet des différences entre les cantons.
32Certains cantons comme Genève affichent une importante proportion d’élèves nés à l’étranger ou ne parlant pas le français à la maison (Nidegger, 2001). À l’inverse, le Valais compte peu d’élèves appartenant à ces catégories. Ces différences au niveau du public scolaire sont sans conteste l’un des facteurs explicatifs de l’écart qui existe entre leurs résultats aux enquêtes PISA. En effet, Nidegger (2001) affirme à propos de l’enquête PISA 2000 que
les différentes comparaisons que nous avons effectuées en tenant compte de la structure de la population scolaire nous montrent que les écarts entre les cantons sont surévalués en raison de ces différences structurelles. […] Il en résulte que la hiérarchie entre les cantons peut être modifiée suivant les catégories d’élèves considérées. (p. 150)
33Quelles spécificités des publics scolaires genevois et valaisan accentuent l’écart entre leurs moyennes ? Nidegger propose au terme de chaque rapport du Consortium romand certaines explications sur les différences intercantonales à partir des variables contextuelles. Pour répondre à la question, il propose des analyses à partir de modèles linéaires hiérarchiques, outil statistique capable de mesurer la relation entre deux variables et de tenir compte du type de variable : variable individuelle ou familiale ; variable sur l’attitude de l’élève face aux apprentissages ; variable de contexte scolaire ou de classe. Notre synthèse des résultats se focalise sur l’influence des variables individuelles ou familiales et de la filière (variable de contexte scolaire) sur les compétences des élèves. Il est important de rappeler que les variables sont souvent interdépendantes : « l’effet d’une variable pourrait n’être en fait que la résultante des effets d’une autre » (Nidegger, 2001, p. 142).
34Les rapports du Consortium romand affirment que les élèves nés à l’étranger réussissent moins bien que les élèves suisses dans toutes les disciplines. En outre, les élèves qui ne parlent pas français à la maison obtiennent en sciences et en lecture des résultats inférieurs à ceux de leurs camarades francophones. En 2000, « on observe une différence moyenne de plus de 50 points entre les élèves se déclarant non-francophones et les autres » (Nidegger, 2001, p. 144). Or, les tableaux 2 et 3 indiquent que le canton de Genève compte à chaque enquête plus d’élèves allophones (> 10 %) et plus d’élèves nés à l’étranger (> 20 %) que le canton du Valais. Les moyennes des élèves genevois dans les trois disciplines sont donc fortement prétéritées par ces deux caractéristiques du public scolaire. Nous souhaitons montrer à travers ces résultats que si le canton du Valais comptait autant d’élèves non natifs de Suisse et non francophones que celui de Genève, ses résultats seraient moins élevés.
35Afin de déterminer si les différences entre les cantons sont dues aux caractéristiques de leurs publics scolaires, les analyses des rapports du Consortium romand ont tenté de mesurer l’écart entre les cantons en neutralisant les différences expliquées par ces caractéristiques : « pour s’affranchir des différences structurelles dans la comparaison des performances des cantons, on cherchera à “contrôler” les variables structurelles » (Nidegger, 2001, p. 148). Bien que les écarts entre les cantons persistent suite au « contrôle » de ces éléments, les auteurs remarquent qu’ils s’affaiblissent. Les différences de performances entre les élèves genevois et leurs camarades valaisans ne seraient donc pas aussi importantes qu’elles ne paraissent. Le podium des cantons romands souvent publié dans la presse n’aurait plus de sens. Il s’agit en réalité d’un nombre important d’élèves appartenant à certaines catégories qui désavantagent leurs performances moyennes. La comparaison de l’impact des différentes variables contextuelles dans les deux cantons nous permet de tirer la conclusion suivante : si le public scolaire valaisan était le même que celui du canton de Genève, l’écart entre les deux ne serait pas le même et ne serait, de surcroît, pas aussi important que ne le prétendent les médias : « les performances moyennes d’une population d’élèves dépendent donc de la distribution de ces différentes variables dans la population » (Nidegger, 2001, p. 147). Par ailleurs, nous avons pu remarquer, suite à ces différentes analyses, que chaque variable contextuelle n’influence pas de la même manière les résultats dans les différentes disciplines. Ainsi, le genre par exemple aurait un impact plus important sur les performances en mathématiques et en lecture qu’en sciences. De plus, l’impact de ces différents facteurs sur les trois disciplines n’est pas le même en Valais et à Genève. La langue parlée à la maison aurait en effet plus d’influence sur les performances des élèves valaisans que sur les résultats de leurs camarades genevois.
Quand on compare l’influence des caractéristiques des élèves et de leur famille sur les performances on doit se rappeler que, dans certains cantons, ces caractéristiques jouent, dans un premier temps, un rôle sur l’orientation des élèves dans une filière plus ou moins exigeante, puis à l’intérieur de chacune des classes sur les acquisitions. (Nidegger, 2005, p. 173)
36D’après les quatre rapports du Consortium romand, la filière dans laquelle un élève est inscrit influencerait ses performances scolaires. Deux élèves de niveau scolaire comparable placés l’un dans une filière à exigences élevées et l’autre dans une filière à exigences plus modestes verraient leurs résultats scolaires se distancier avec le temps. De plus, « rappelons qu’il existe en réalité un lien étroit entre la composition des filières et la structure des populations. Les filières les plus exigeantes accueillent une proportion plus grande d’élèves provenant des milieux les plus favorisés » (Nidegger, 2001, p. 155). L’influence de la filière sur les résultats des élèves serait par conséquent due à certaines caractéristiques du public scolaire de la filière. Ce constat soulève une problématique considérable ; il semblerait que l’écart entre les filières à l’intérieur même des cantons serait plus important que l’écart entre les moyennes des cantons. En effet, « une partie importante de la variation des résultats se trouve à l’intérieur des cantons » (Nidegger, 2005, p. 191). Nous serions donc face à un problème de ségrégation et par conséquent d’absence d’équité dans l’ensemble des cantons romands, dans lesquels les politiques d’orientation prennent en compte non seulement les compétences scolaires des élèves mais également certaines caractéristiques individuelles telles que l’origine ou le niveau socioéconomique de la famille. Cette conclusion nous permet de relativiser l’écart remarqué entre les moyennes des cantons de Genève et du Valais dans les trois disciplines évaluées par PISA.
Notes de bas de page
3 Dans cette citation, la 9e année correspond à la 11e (numérotation Harmos) de la scolarité obligatoire.
4 À partir d’indicateurs contextuels récoltés grâce à un questionnaire distribué aux élèves, PISA définit quatre niveaux socioéconomiques différents : le niveau 1 représente le niveau le moins favorisé et le niveau 4, le plus favorisé. Ici, « NSE1 » signifie qu’il s’agit du premier quartile du statut socioéconomique.

Le texte seul est utilisable sous licence Creative Commons - Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International - CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Des élèves funambules
Être, faire, trouver et rester à sa place en situation d’intégration
Laurent Bovey
2015
Les enquêtes PISA dans les systèmes scolaires valaisan et genevois
Accueil, impact et conséquences
Sonia Revaz
2016
Dites-nous pourquoi « ils » sont en difficulté à l’école
Étude de la représentation de la difficulté scolaire chez les enseignants genevois du primaire
Zakaria Serir
2017
Du genre déviantes
Politiques de placement et prise en charge éducative sexuées de la jeunesse “irrégulière”
Olivia Vernay
2020
Regards croisés sur la réforme du secondaire I à Neuchâtel
Points de vue pédagogiques, points de vue politiques
Kilian Winz-Wirth
2021
Comment susciter la motivation des élèves pour la grammaire ?
Réflexions autour d’une séquence didactique
Sarah Gremion
2021
Rencontrer les parents
Malentendus, tensions et ambivalences entre l’école et les familles
Stefanie Rienzo
2022