Version classiqueVersion mobile
OpenEdition Books

Les politiques d’éducation prioritaire en Europe. Tome II

 | 
Marc Demeuse
, 
Daniel Frandji
, 
David Greger
, 
et al.

Troisième partie. Évaluation

Peut-on vraiment évaluer les politiques d’éducation prioritaire en Europe ?

Marc Demeuse

Texte intégral

Introduction

1Pour répondre à la question introduite par le titre de ce chapitre, il faut envisager à la fois l’angle technique (dispose-t-on des moyens d’évaluer ce type de politiques ?) et l’angle de l’autorité et des usages (s’autorise-t-on à évaluer ce type de politiques ? que fait-on de ces évaluations ?). C’est ce que feront respectivement les auteurs de deux chapitres qui vont suivre. Le premier chapitre proposera de clarifier l’analyse, suggérant un modèle global qui sera appliqué à certaines des PEP qui ont été analysées dans le premier ouvrage. Le second chapitre interrogera les mésusages et les lacunes dans l’évaluation de ces mêmes politiques.

2Dans ce chapitre introductif, nous tenterons de mieux définir ce que recouvre le concept d’évaluation et d’apporter quelques précisions à propos des méthodes d’évaluation dans le contexte des politiques d’éducation prioritaire.

Ce qu’évaluer veut dire

  • 1 Voir par exemple Smith (1997) pour une discussion du terme « modèle », ou de celui de « théorie », (...)

3Il existe plusieurs modèles d’évaluation1 et ce terme recouvre donc plusieurs sens.

« Les politiques publiques sont traditionnellement évaluées selon trois approches temporelles, une approche ex-ante qui dresse le bilan de la situation sectorielle et permet d’identifier le référentiel de la politique à mettre en œuvre en fondant les décisions prises, une approche par le suivi qui permet de cerner les obstacles et/ou facteurs facilitateurs de mise en œuvre des décisions, et enfin une approche ex-post qui a pour objet de mesurer l’efficacité des décisions prises et celle de la conduite des opérations (l’évaluation ex-post pouvant dans certains cas acquérir le statut d’évaluation ex-ante si le politique décide d’agir sans délai sur la base de l’évaluation d’une politique antérieurement conduite). » (Solaux, 1999, p. 182)

4L’approche adoptée dépend, entre autres, de l’objet à évaluer, de l’objectif qui est assigné à cette évaluation, du type d’informations qu’il est possible de recueillir et de l’utilisation qui en sera faite. Ainsi, on mobilisera d’autres démarches lorsqu’il s’agira d’évaluer la pertinence du ciblage d’une politique d’éducation prioritaire (les moyens sont-ils bien accordés aux établissements qui devraient en bénéficier, au regard des objectifs poursuivis ?) ou d’évaluer par exemple l’efficacité d’un programme d’intervention précoce sur la maîtrise de la lecture à l’entrée de l’enseignement obligatoire.

  • 2 Voir par exemple, Nadeau (1988) et le volume 29, n°3 (2006) de la revue Mesure et évaluation en éd (...)

5Le terme « évaluation », auquel les auteurs de cette partie de l’ouvrage se réfèrent, doit être entendu au sens donné par Stufflebeam et ses collègues (1980, cité par Legendre, 2005, p. 630) d’un « processus par lequel on délimite, obtient et fournit des informations utiles permettant de juger des décisions possibles ». Il s’agit en particulier d’évaluations de programme2 dans le cadre de politiques publiques.

  • 3 En matière d’évaluation des politiques éducatives, on ne se dispensera pas trop rapidement de la v (...)
  • 4 « Évaluation conduite par un évaluateur qui provient de l’extérieur de l’organisation où prend pla (...)
  • 5 « Évaluation conduite par un membre de l’organisation où l’étude prend place » (Nadeau, 1988, p. 4 (...)
  • 6 Voir aussi Aubert-Lotarski et ses collègues (2006) à propos de la conduite des audits à visée part (...)

6Ces évaluations peuvent prendre différentes formes et impliquer différents acteurs aussi bien lors de la définition de leur objet et de leurs objectifs, que lors de leur mise en œuvre3. Il peut ainsi s’agir d’évaluations externes4, d’évaluations internes5 et même d’évaluations mixtes négociées6 dans lesquelles, par exemple, des équipes de recherche reçoivent une commande, mais jouissent de la liberté nécessaire pour mener à bien cette mission, compte tenu des règles de l’art. Dans cette dernière configuration, sans doute la plus complexe, il s’agira de bien clarifier le rôle et les responsabilités de chacun. Ainsi, il faudra être très attentif au(x) rôle(s) que le commanditaire pourrait souhaiter consciemment ou non voir jouer par l’équipe de recherche en gardant à l’esprit la distinction essentielle proposée par Nadeau (1988, p. 38) entre évaluation et recherche. Ces deux démarches sont entreprises pour des raisons différentes :

« La curiosité scientifique serait l’élément motivant du chercheur alors que la contribution à la solution d’un problème particulier constituerait la motivation de l’évaluateur. »

  • 7 Nisbet (1997, p. 211-212) précise que la « policy-oriented research » est habituellement définie p (...)

7Pour autant, comme le signale Blais (2006, p. 130), la volonté de reddition de compte ou accountability, très présente notamment à travers l’élaboration d’indicateurs destinés à évaluer l’efficacité de telle ou telle politique, entraîne dans son sillage « la recherche “évaluative” et la pousse à s’éloigner de la simple description et du jugement pour explorer le terrain miné de la recherche des causes de l’efficacité ou de l’inefficacité »7.

8Si les PEP peuvent connaître différents âges, il semble bien que les rôles potentiels des chercheurs et leurs relations avec les commanditaires connaissent aussi des « périodes types » : du rôle d’observateur et d’analyste extérieur à celui de soutien à la mise en œuvre des politiques elles-mêmes à un niveau local ou national (comme, par exemple, en Grèce ou en Belgique) en passant par celui de « conseiller en prospective », chargé d’identifier ce qui est susceptible de marcher ou de soutenir la réflexion politique (Aubert-Lotarski et al., 2007 ; Demeuse, Derobertmasure & Friant, 2010).

9Dans la suite de cette partie, nous ne traiterons que des évaluations dites « formelles », au sens où il s’agit d’une démarche

« systématique qui s’appuie sur des données obtenues méthodiquement à l’aide d’instruments et de grilles qui se focalisent sur des indicateurs d’observation et qui disposent de critères précis d’interprétation » (Legendre, 2005, p. 645).

10Dans ce contexte, les instruments dont il est question dans la définition de Legendre peuvent prendre différentes formes (observations directes en classe, questionnaires, exploitations de documents ou de données recueillies par d’autres) et le traitement des données n’aboutit pas nécessairement à une quantification.

11Il va de soi que la démarche adoptée devra toujours présenter les gages nécessaires pour pouvoir être prise au sérieux et nous présenterons quelques -unes de ces conditions dans la suite de ce texte. Cependant, comme le souligne Dauvisis (2006, p. 58),

« démarche de preuve – ou au moins souvent présentée comme telle –, l’évaluation est en réalité une pratique sociale contextualisée, régie par des normes, des coutumes et des valeurs qui ne s’inscrivent pas toutes dans la logique d’une totale rationalité. Comme toute pratique sociale, elle n’échappe pas à des jeux d’acteurs nombreux, et l’implicite y règne de manière évidente permettant aux différents acteurs de détenir une part de pouvoir à préserver jalousement : toute tentative de clarification est perçue avec un risque de mise en péril d’un équilibre social toujours fragile ».

12Le chapitre de Sylvain Broccolichi abordera en particulier les évaluations des PEP comme pratiques sociales à travers les mésusages des démarches évaluatives et de leurs lacunes.

Attention ! Méthode(s)

  • 8 Voir par exemple l’ouvrage, en langue française, de Nadeau (1988) à propos de l’évolution des modè (...)
  • 9 On peut à la fois souligner l’évolution des techniques statistiques, comme l’introduction des anal (...)

13L’évaluation de programme repose sur une approche méthodique et demande une solide formation. Si les méthodes et les modèles ont évolué8, tout comme les techniques9, on peut identifier plusieurs approches susceptibles de fournir des éléments utiles en matière d’évaluation de programme.

Approches expérimentale, quasi expérimentale et corrélationnelle

  • 10 L’étude de Meuret (1994) constitue un bon exemple de comparaison de deux groupes (élèves en ZEP et (...)

14Ce n’est que grâce à une expérimentation menée avec soin qu’il est possible de s’assurer véritablement de l’efficacité d’un programme, notamment en s’assurant de comparaisons avec des groupes de contrôle et une assignation aléatoire des élèves (qui n’est pas présente dans les études quasi expérimentales10). Une véritable expérimentation contrôlée, telle que décrite par exemple dans le Manuel de psychopédagogie expérimentale de Léon et ses collègues (1977) et appliquée au domaine de l’évaluation de programme ne se rencontre guère dans le monde latin. Cette approche n’est pourtant pas rare, notamment aux États-Unis.

15Il est vrai, dans cet environnement, que les enjeux financiers liés à la démonstration de l’efficacité d’un programme particulier sont importants : les fonds fédéraux attribués au titre du Title I sont en effet majorés lorsque les programmes impliquent des établissements scolaires de manière globale (et non à travers un programme ciblé sur l’une ou l’autre matière) et qu’ils ont montré clairement leur efficacité (Borman et al., 2001).

16Cela amène de nombreux chercheurs à s’efforcer de démontrer l’efficacité des programmes qu’ils développent, comme par exemple dans le cas de Success for All de la Johns Hopkins University. Ainsi, par exemple, Robert Slavin, le promoteur de Success for All (Slavin et al., 1996), rédige-t-il de nombreuses publications à propos des résultats de son programme (principalement en recourant à des modèles quasi expérimentaux avec groupes de contrôle) et va-t-il jusqu’à proposer une analyse comparative d’autres programmes dans un ouvrage au titre évocateur (Show Me the Evidence. Proven and Promising Programs for America’s Schools, Slavin & Fashola, 1998). Il ne s’agit pas d’un cas unique : Wang, Haertel et Walberg (1998), promoteurs d’un autre programme, proposent « un guide comparatif » dans la revue Educational Leardership. Ces textes font l’objet de nombreuses discussions méthodologiques dans les revues scientifiques nord-américaines.

  • 11 Pour une illustration des débats autour du programme Success for All de Robert Slavin, on peut con (...)

17Il n’est pas inintéressant de constater que de l’autre côté de l’Atlantique, si les programmes destinés aux écoles accueillant des élèves « à risque » sont l’objet d’enjeux financiers très importants – ces écoles pouvant adhérer à l’un ou l’autre des programmes –, cela pousse les chercheurs universitaires à développer à la fois des procédures rigoureuses de contrôle de la qualité et de nombreuses publications critiques dans des revues de très haut niveau11. On ne peut malheureusement pas en dire autant dans les pays où les programmes sont développés en dehors de tout support académique, soit que les chercheurs s’impliquent peu, soit qu’ils sont tenus à l’écart par les structures politico-administratives en charge des programmes.

18À côté des études expérimentales et quasi expérimentales,

« les études “ex post”, qui sont menées de manière rétrospective, si elles peuvent l’être avec beaucoup de rigueur, ne permettent pas de manipuler ni de contrôler les différentes variables ou situations. Elles ne présentent donc pas la même puissance que les études expérimentales. Le manque de contrôle et de prise d’informations fiables, plus que l’exception, constitue véritablement la règle dans le domaine des réformes éducatives et curriculaires dans les pays européens de langue française » (Demeuse & Strauven, 2006, p. 164).

  • 12 L’approche corrélationnelle consiste à recueillir des informations relatives à de nombreuses varia (...)

19L’approche corrélationnelle12, si elle est fréquente, ne permet pourtant pas de s’assurer des facteurs qui influencent, au sens causal véritable, les résultats observés. Cela ne la prive cependant pas de tout intérêt comme le reconnaît Crahay (2005, p. 96) dans son plaidoyer pour une complémentarité des méthodes expérimentales et écologiques en éducation : le caractère parfois artificiel de l’expérimentation peut conduire à détruire l’objet que l’on se propose d’observer. C’est notamment ce que pointe Bronfenbrenner (1979, p. 19), comme le rappelle Crahay, lorsqu’il écrit que

« l’essentiel de la psychologie du développement, telle qu’elle existe actuellement, est une science des comportements exceptionnels produits par des enfants placés dans des situations artificielles en présence d’adultes étrangers pendant des périodes de temps les plus brèves possibles ».

20Plus qu’une question de méthode, c’est la nature des liens entre variables qui est problématique : inférer un lien causal alors que seules des corrélations sont calculées, voilà l’erreur. Ce faisant, parler de l’efficacité d’un programme dans une approche corrélationnelle n’est donc pas adéquat. Cela n’empêche pas, comme nous le verrons par la suite, que d’autres aspects intéressants peuvent être étudiés et pour lesquels une approche corrélationnelle n’est pas inadéquate.

Approche comparative

  • 13 « Alors que la controverse fait rage aux États-Unis à propos de la politique d’Affirmative Action, (...)

21L’approche comparative qui a été adoptée par l’équipe EuroPEP permet de mettre en perspective les spécificités et les aspects communs des politiques étudiées qui ne peuvent apparaître qu’en plaçant chaque système en regard des autres, après avoir déterminé une grille commune d’analyse et en tentant d’éviter les pièges signalés par Frandji (2008) dans l’introduction du premier ouvrage publié par cette équipe. Cette approche permet également, pour une part, de dépasser la controverse entre les tenants et les adversaires d’une politique donnée en les amenant sur le terrain des faits et non plus seulement sur celui des idées, comme le suggère Sowell (2004, p. 1) dans un ouvrage qu’il consacre à un sujet proche du nôtre, l’« Affirmative Action Around the World »13.

22Mons (2007a et 2007b), tout en soulignant les apports importants des comparaisons internationales, malgré leurs conclusions encore limitées, précise utilement les améliorations nécessaires dans ce type de démarches comparatives, au-delà de leur composante quantitative :

  • le niveau d’analyse ne doit pas être exclusivement le niveau de l’Étatnation, celui-ci ne correspondant pas, par exemple, au niveau de décision en matière d’éducation dans la plupart des pays connaissant une structure fédérale (Allemagne, Belgique, Suisse, États-Unis d’Amérique, etc.) ;
  • la complexité des politiques éducatives doit davantage être capturée par des indicateurs ad hoc de nature typologique que par une analyse unidimensionnelle ;
  • la création de concepts communs s’impose au-delà des catégorisations nationales (ce qui permet d’éviter sans doute une part de « naturalisation » qui s’imposerait par l’évidence de pratiques trop exclusivement contextualisées) ;
  • le développement d’une approche néo-institutionnelle14, ne se limitant pas à une analyse formelle et exclusivement descriptive, est nécessaire ;
  • les performances des systèmes scolaires doivent être appréciées sous différents angles et pas seulement sous le seul angle de l’efficacité. L’équité, mais aussi la diversité des performances au regard du territoire ou l’importance numérique de certains groupes (par exemple, les plus « forts » ou, au contraire, les plus « faibles ») doivent pouvoir être pris en compte, aussi bien dans le domaine cognitif que non cognitif ;
  • les résultats doivent être interprétés dans une perspective relativiste, privilégiant une forme de « généralisation contextualisée » plutôt que la recherche de règles immuables et indépendantes des conditions nationales et locales15, sans pour autant verser dans l’incomparabilité et le particularisme absolu qui dénieraient à l’approche comparative tout intérêt en dehors de l’établissement de « monographies exotiques » ;
  • le recours à des données factuelles est essentiel. On ne peut pas se limiter à des « avis d’experts indigènes » qui seraient juxtaposés.

23Naturellement, l’approche comparative doit reposer sur des données et les traiter de manière adéquate. On retrouve alors les mêmes problèmes que ceux évoqués précédemment : la nature des liens entre variables et la manière de mettre ces liens en évidence.

Conclusion

24Nous avons tenté, dans ce rapide chapitre introductif à la partie dévolue à l’évaluation des PEP, d’attirer l’attention sur certains problèmes posés précisément par leur évaluation. Nous avons principalement souligné l’importance du choix des méthodes et les limites qu’imposent ces choix, notamment parce que, pour cerner de manière précise des phénomènes complexes, certaines simplifications et hypothèses instrumentales sousjacentes sont nécessaires (Mingat, 1999). Il importe de pouvoir les expliciter, d’en définir les implications. Cette réflexion est d’autant plus utile que les concepts de « bonnes pratiques » et d’« evidence based policy » sont très fréquemment mobilisés dans le contexte européen, en particulier dans le cadre de comparaisons internationales.

25S’il ne fait aucun doute que la politique éducative devrait pouvoir s’appuyer sur la recherche en éducation – comme la médecine peut s’appuyer sur les connaissances en biologie ou physiologie –, il est par contre beaucoup plus délicat d’identifier les connaissances avérées et les conditions dans lesquelles elles peuvent s’appliquer effectivement. Nous l’avons vu, l’expérimentation en éducation est une activité délicate, à la fois parce qu’elle pose des problèmes éthiques, mais aussi parce qu’elle peut parfois détruire l’objet même de l’étude. Il convient donc d’interroger ce qui est appelé « bonnes pratiques » avec beaucoup de rigueur. Souvent, en effet, celles-ci sont davantage le résultat de déclarations que le fruit d’une démarche visant à s’assurer des preuves nécessaires à cette labellisation.

Bibliographie

Références bibliographiques

Aubert-Lotarski A., Lecointe M., Maës B., Rebinguet M. et Saint-Jean M. (2006). Conduire un audit à visée participative. Établissements scolaires, services, associations… Lyon : Chronique sociale et Poitiers : École supérieure de l’Éducation nationale.

Aubert-Lotarski A., Demeuse M., Derobertmasure A., Friant N. (2007). « Conseiller le politique : des évaluations commanditées à la prospective en éducation. L’évolution des relations entre la recherche et le politique en Communauté française de Belgique ». Les Dossiers des Sciences de l’Éducation, n°18, p. 121-130.

Blais J.-G. (2006). « La mesure pour la recherche et/ou le contrôle en éducation. » In G. Figari et L. Mottier Lopez, Recherche sur l’évaluation en éducation. Paris : L’Harmattan (Évaluer), p. 124-131.

Bronfenbrenner U. (1979). The Ecology of Human Development. Experiments by nature and design. Cambridge : Harvard University Press.

Borman G. D., Stringfield S. C., Slavin R. E. (éd.) (2001). Title I. Compensatory Education at the Crossroads. Mahwah (NJ) et Londres : Lawrence Erlbaum Associates.

Bressoux P. (2008). Modélisation statistique appliquée aux sciences sociales. Bruxelles : De Boeck université (Méthodes en sciences humaines).

Crahay M. (2005). « Pourquoi l’expérimentation en éducation ? » In M. Demeuse, A. Baye, M. H. Straeten, J. Nicaise, A. Matoul (éd.), Vers une école juste et efficace. 26 contributions sur les systèmes d’enseignement et de formation. Bruxelles : De Boeck université (Économie, Société, Région), p. 95-114.

Dauvisis M. C. (2006). « L’instrumentation en évaluation ». Mesure et Évaluation en Éducation, vol. 29, n°1, p. 45-66.

Demeuse M. et Denooz R. (2001). « De l’accroissement de l’efficacité des pratiques éducatives : le cas du programme “Success for All” mis en œuvre par Robert Slavin et l’équipe de la Johns Hopkins University ». Cahiers du Service de Pédagogie expérimentaleUniversité de Liège, n°7-8, p. 103-127.

Demeuse M et Strauven C. (avec la collaboration de Roegiers X.) (2006). Développer un curriculum d’enseignement ou de formation. Des options politiques au pilotage. Bruxelles : De Boeck Université.

Demeuse M., Derobertmasure A. et Friant N. (2010). « Differentiated financing of schools in French-speaking Belgium : prospectives for regulating a school quasimarket ». Educational Research and Evaluation : An International Journal on Theory and Practice, vol. 16, n°2, p. 197-216.

Epstein E. (1988). « The problematic meaning of “comparison” in comparative education ». In J. Schriewer et B. Holmes (éd.), Theories and Methods in Comparative Education. Francfort : Verlag Peter Lang.

Figari G. et Tourmen C. (2006). « La référentialisation : une façon de modéliser l’évaluation de programme, entre théorie et pratique. Vers une comparaison des approches au Québec et en France ». Mesure et Evaluation en Education, vol. 29, n°3, p. 2-25.

Frandji D. (2008). « Pour une comparaison des politiques d’éducation prioritaire en Europe ». In M. Demeuse, D. Frandji, D. Greger et J.-Y. Rochex (dir.), Les politiques d’éducation prioritaire en Europe. Conceptions, mises en œuvre, débats. Lyon : INRP, p. 9-34.

Gazibo M. et Jenson J. (2004). La politique comparée. Fondements, enjeux et approches théoriques. Montréal : Les Presses de l’Université de Montréal.

Hall P. A. et Taylor R. (1997). « La science politique et les trois néo-institutionnalismes ». Revue française de science politique, vol. 47, n°3-4, p. 469-496.

Hurteau M., Lachapelle G., Houle S. (2006). « Comprendre les pratiques évaluatives afin de les améliorer : la modélisation du processus spécifique à l’évaluation de programme ». Mesure et évaluation en éducation, vol. 29, n°3, p. 27-44.

Legendre R. (2005). Dictionnaire actuel de l’éducation. Montréal (Québec) : Guérin éditeur.

Léon A., Cambon J., Lumbroso M., Winnykamen F. (1977). Manuel de psychopédagogie expérimentale. Paris : Presses universitaires de France (Pédagogie d’aujourd’hui).

Meuret D. (1994). « L’efficacité de la politique des zones d’éducation prioritaire ». Revue française de pédagogie, n°109, p. 41-64.

Mingat A. (1999). « Évaluation des politiques publiques en éducation : quelques balises pour leur conduite. In G. Solaux (dir.), L’évaluation des politiques d’éducation. Dijon : CRDP de Bourgogne (Documents, actes et rapports pour l’éducation), p. 33-47.

Mons N. (2007a). « L’évaluation des politiques éducatives. Apports, limites et nécessaire renouvellement des enquêtes internationales sur les acquis des élèves ». Revue Internationale de Politique comparée, vol. 14, n°3, p. 409-423.

Mons N. (2007b). Les nouvelles politiques éducatives. La France fait-elle les bons choix ? Paris : Presses universitaires de France (Éducation et société).

Nadeau M.-A. (1988). L’évaluation de programme. Théorie et pratique. Québec : Presses de l’Université Laval.

Nisbet J. (1997). « Policy-oriented Research ». In J. P. Keeves (éd.), Educational Research Methodology, and Measurement : An International Handbook. Cambridge : Pergamon, p. 211-217.

Slavin R. E., Fashola O. S. (1998). Show me The Evidence ! Proven and Promising Programs for America’s Schools. Thousand Oaks (CA) : Corwin Press.

Slavin R. E., Madden N. A., Dolan L. J., Wasik B. A. (1996). Every Child, Every School. Success for All. Thousand Oaks (CA) : Corwin Press.

Smith N. L. (1997). « Evaluation models and approaches ». In J. P. Keeves (éd.), Educational Research Methodology, and Measurement : An International Handbook. Cambridge : Pergamon.

Solaux G. (1999). « Conclusion ». In G. Solaux (dir.), L’évaluation des politiques d’éducation. Dijon : CRDP de Bourgogne (Documents, actes et rapports pour l’éducation).

Sowel T. (2004). Affirmative Action Around the World. An Empirical Study. New Haven et Londres : Yale University Press.

Wang M. C., Haertel G. D., Walberg H. J. (1998). « Models of Reform : A Comparative Guide ». Educational Leadership, vol. 55, n°7, p. 66-71.

Notes

1 Voir par exemple Smith (1997) pour une discussion du terme « modèle », ou de celui de « théorie », dans le contexte de l’évaluation.

2 Voir par exemple, Nadeau (1988) et le volume 29, n°3 (2006) de la revue Mesure et évaluation en éducation publiée par l’Association pour le développement des méthodologies de l’évaluation en éducation (ADMEE), dont notamment les articles de Figari et Tourmen sur la référentialisation, ou de Hurteau et ses collègues. Ces derniers auteurs (p. 30) définissent l’évaluation de programme « comme une activité scientifique visant à établir la valeur ou le mérite d’un programme ou d’un de ses éléments constitutifs (House, 1980), et ce, au moyen de déclarations et de conclusions qui sont précises, justifiables, acceptables, légitimes ; bref, qui sont valides (Fournier & Smith, 1993). » Il importe aussi que « la conclusion de cette démarche soit argumentée par une information dite suffisante pour être acceptée du client de l’évaluation. Les conclusions évaluatives pourront alors servir à la prise de décision concernant la programmation future du programme ».

3 En matière d’évaluation des politiques éducatives, on ne se dispensera pas trop rapidement de la vérification de la mise en œuvre effective d’un programme (contrôle de conformité) de manière à s’assurer que les décisions prises ont bien été appliquées avant de tenter d’en estimer les résultats.

4 « Évaluation conduite par un évaluateur qui provient de l’extérieur de l’organisation où prend place l’étude » (Nadeau, 1988, p. 419).

5 « Évaluation conduite par un membre de l’organisation où l’étude prend place » (Nadeau, 1988, p. 419).

6 Voir aussi Aubert-Lotarski et ses collègues (2006) à propos de la conduite des audits à visée participative.

7 Nisbet (1997, p. 211-212) précise que la « policy-oriented research » est habituellement définie par opposition à la recherche fondamentale et fait l’objet de différentes qualifications : « appliquée » (par opposition à « fondamentale »), « policy-oriented » (par opposition à « curiosity-oriented »), « à fonction instrumentale » (par opposition à « enlightenment function »), « tournée vers la décision ou l’action » (par opposition à « orientée vers la connaissance ou la théorie ») et même « pertinente » (« relevant » en langue anglaise) (par opposition à « académique »). Par delà les appellations plus ou moins flatteuses, ce sont les objectifs, l’autonomie des chercheurs et le caractère commandité ou en réponse à une demande (par opposition à une recherche autonome, y compris dans la définition de ses questions) qui semblent caractériser ce type de recherche, en limitant parfois la portée générale.

8 Voir par exemple l’ouvrage, en langue française, de Nadeau (1988) à propos de l’évolution des modèles et des méthodes, principalement dans le monde anglo-saxon.

9 On peut à la fois souligner l’évolution des techniques statistiques, comme l’introduction des analyses multi-niveaux dans la modélisation statistique (Bressoux, 2008) et le recours aux modèles de mesure, et l’évolution des moyens techniques de recueil de données (par exemple, mise à disposition de larges bases de données, utilisation de la vidéo et du codage des comportements en temps réel).

10 L’étude de Meuret (1994) constitue un bon exemple de comparaison de deux groupes (élèves en ZEP et élèves hors ZEP), sans assignation des élèves de manière aléatoire à chacun des groupes.

11 Pour une illustration des débats autour du programme Success for All de Robert Slavin, on peut consulter l’article de Demeuse & Denooz (2001).

12 L’approche corrélationnelle consiste à recueillir des informations relatives à de nombreuses variables sans que la situation ne puisse être manipulée expérimentalement et, par le calcul d’indices d’association statistique (corrélation), à établir des relations entre ces variables, sans qu’il soit possible de s’assurer de liens causaux entre celles-ci. Les études internationales en matière d’évaluation – PISA en est certainement l’exemple le plus emblématique – fournissent ainsi un grand nombre de données qu’il est possible de mettre en rapport en termes de co-évolution, sans pour autant pouvoir s’assurer que c’est effectivement la fluctuation d’un paramètre qui entraîne l’évolution d’autres variables dans un sens donné, comme seules les études expérimentales randomisées peuvent le permettre. Il peut en effet exister des causes communes à deux ensembles de variables et il est parfois difficile de dégager le sens de la causalité. On peut citer, comme exemple trivial dans le premier cas, la corrélation qui existe, durant la scolarité obligatoire, entre la pointure des chaussures des élèves et leur niveau en mathématique... Ce n’est néanmoins pas parce que les élèves ont de plus grands pieds qu’ils sont plus compétents en mathématique… c’est simplement parce qu’en fonction de l’avancée en âge le pied s’allonge et le niveau scolaire augmente ! (la corrélation disparaîtra d’ailleurs à l’âge adulte). Quant au sens de la liaison, il peut être assez difficile de savoir si c’est parce qu’ils sont plus motivés que les élèves réussissent mieux en classe ou s’ils sont plus motivés à étudier parce qu’ils réussissent mieux en classe… Sans doute s’agit-il d’un processus interactif qu’indique dans ce cas l’indice de corrélation qui unit généralement ces deux variables (motivation et réussite scolaires).

13 « Alors que la controverse fait rage aux États-Unis à propos de la politique d’Affirmative Action, peu d’Américains semblent connaître l’existence ou la pertinence de politiques similaires dans d’autres pays autour du monde. Au contraire, les arguments en faveur ou contre cette politique tendent de part et d’autre à invoquer l’histoire et les traditions qui distinguent les États-Unis. La préférence accordée à certains groupes et les quotas existent dans d’autres pays qui ont connu des histoires et des traditions complètement différentes et, dans certains pays, ces politiques existent depuis bien plus longtemps qu’aux États-Unis. Que pouvons-nous apprendre de ces expériences ? Existe-t-il des similitudes, des raisons communes, des résultats semblables ? Ou bien la situation américaine est-elle unique ? De manière ironique, la revendication ou la croyance en une spécificité nationale est l’une des caractéristiques les mieux partagées par de nombreux états qui pratiquent ce type de préférence ou de quotas, quel qu’en soit le nom. »

14 Comme Gazibo et Jenson (2004, p. 203) le précisent, en reprenant les mots de Hall et Taylor (1997) qui identifient trois écoles de pensée distinctes au sein de cette approche, les perspectives néo-institutionnalistes « cherchent toutes à élucider le rôle joué par les institutions dans la détermination des résultats sociaux et politiques » ; et de poursuivre : « Toutes ces perspectives placent les institutions au centre de l’analyse, en tant que variables dépendantes (phénomène à expliquer), mais surtout en tant que variables indépendantes (facteurs explicatifs). »

15 Reprenant à son compte la conclusion d’Epstein (1988) qui réfute le lien de nécessité entre les positions épistémologiques (particularisme vs positivisme) et les méthodes utilisées (quantitatif vs qualitatif), Mons (2007a, p. 423) prône la complémentarité des méthodes aux différents stades de chaque recherche.

Auteur

Professeur, psychologue et statisticien, directeur de l’Institut d’administration scolaire, université de Mons, Belgique

© ENS Éditions, 2011

Conditions d’utilisation : http://www.openedition.org/6540