1Il existe de nos jours une demande sociale importante pour le renouvellement des pratiques d’évaluation dans divers domaines : éducation et formation, santé et thérapie, travail et gestion des compétences dans les organisations. Ces exigences du terrain obligent à repenser l’articulation entre théories, méthodes, techniques et applications dans les sciences sociales. Pour ce qui est de la psychologie sociale, Beauvois et Ghiglione (1989) constatent un foisonnement et une richesse théorique considérable dans les manuels récents : Doise, Deschamps et Mugny (1978), Leyens (1979), Moscovici (1984) et Fisher (1987). Par contre, ils regrettent l’absence de présentation de techniques innovantes contrairement au manuel plus ancien de Daval (1963) ou au chapitre de Maisonneuve dans le traité de Fraisse et Piaget (1965) dans lesquels diverses techniques étaient présentées comme la grille d’observation des interactions en groupe de Baies, l’interview, l’analyse de contenu ou la sociométrie. Or Baies (1979) a poursuivi, aux Etats Unis, ses recherches en proposant une version plus complexe et informatisée de sa technique d’observation des groupes. La psychologie sociale française se méfierait-elle aujourd’hui de ses applications et de la vulgarisation de ses techniques (Pithon, 1992) ?

2Pour tenter de répondre à ces demandes sociales croissantes nous avons pris le risque, compte tenu de la rapide obsolescence des techniques, de concevoir, de faire développer et d’expérimenter un logiciel d’élaboration et de gestion des pratiques d’évaluation en formation, d’appréciation des compétences du personnel et d’estimation de la qualité des produits industriels. Après avoir présenté les principes théoriques qui nous ont guidés pour proposer un cahier des charges à la société de services informatiques chargée de son développement, nous en évoquerons les principales fonctionnalités. Enfin nous résumerons diverses applications de ce logiciel appelé “Mentor” à travers des études de cas et des expérimentations.

Fondements theoriques de la conception d’un logiciel

3Pour prendre en compte les exigences du terrain, et résoudre la diversité des problèmes rencontrés, nous avons dû intégrer différentes contributions opérationnelles issues de courants théoriques variés et rarement reliés entre eux de façon explicite. Une telle application pratique, par la nécessité de rédiger un cahier des charges cohérent, a joué un rôle fédérateur dépassant de loin les clivages traditionnels entre les disciplines scientifiques. Enfin, les sciences cognitives, comme le rappelle Ghiglione (1990), offrent un cadre conceptuel unificateur pour rendre compte comment le sujet reçoit, traite et gère les informations dans un contexte social donné : “Sans doute l’humain est souvent considéré comme un ordinateur. Mais c’est un ordinateur qui obéit à des logiques diverses, qui est toujours socialisé et qui est toujours créateur de réalité” (p. XIII).

Sciences cognitives, pédagogie par objectifs et évaluation critériée

4Evaluer consiste, entre autres, à vérifier dans quelle mesure des objectifs fixés de façon opérationnelle en amont d’une activité ont été atteints. La pédagogie par objectifs (Mager, 1962 ; Bloom, 1971) propose des classifications ou des taxinomies d’objectifs qu’il est possible de construire selon diverses pocédures notamment selon la technique d’analyse en arbre proposée par Le Xuan (1965) et Strauven (1992).

5L’évaluation critériée insiste sur la nécessité de préciser les degrés de maîtrise des objectifs visés par les apprenants. Bien conçue, elle permet de situer les erreurs des sujets selon une typologie d’erreurs possibles, indispensable à la mise en œuvre de stratégies de remédiation ou de soutien pédagogique (Scallon 1988). En effet, Fassina et Petit (1968) ont décrit les activités de régulation cognitives des critères sur les performances : “la connaissance des critères d’évaluation du travail a une influence sur la performance dans la mesure où elle permet à l’opérateur d’exercer un auto-contrôle de son travail en utilisant comme signal pour guider les opérations ultérieures l’écart entre ce qu’il a déjà obtenu et ce qu’il sait être la norme”.

6Les sciences cognitives s’appuient sur les structures en réseaux pour représenter les connaissances. Plusieurs types de connaissances sont caractérisées, ce qui facilite grandement la construction d’épreuves et d’instruments d’évaluation (Richard, 1990 ; Montmollin de 1984). Les connaissances déclaratives ou les savoirs concernent les représentations des faits, des propriétés des objets et de leurs relations. Statiques, elles correspondent à la connaissance du résultat de l’action. Les connaissances procédurales ou les savoir-faire correspondent aux séquences d’action ou aux suites de règles qu’il est nécessaire de mettre en œuvre pour atteindre un objectif ou divers sous-objectifs fixés au préalable. Elles sont plus dynamiques.

7La construction d’instruments d’évaluation s’appuie nécessairement sur une ou plusieurs représentations d’une certaine expertise pour réaliser la tâche concernée. De plus, dans une optique d’évaluation formative, si l’on veut comprendre comment s’effectue le passage d’un état de connaissances novices à un état de connaissances expertes chez un apprenant, il y a lieu de cerner et de comprendre les types d’erreurs chez un novice et les conditions possibles de leur mise en œuvre.

8L’extraction des connaissances auprès d’experts, mais aussi de novices, à l’aide de techniques d’observations, d’entretiens approfondis, de verbalisations orales ou écrites, est l’une des préoccupations majeures des spécialistes en intelligence artificielle qui développent des programmes simulant des activités humaines plus ou moins complexes : apprentissage, résolution de problèmes, diagnostic médical, aide à la décision, évaluation (Bonnet et Tiberghien 1986).

9Sebillotte (1987) oppose les représentations d’une tâche par des novices à celles d’experts. Les premières sont plus linéaires et analytiques. Elles explicitent les séquences d’action selon leur ordre d’exécution dans le temps. Les secondes sont plus synthétiques et organisées de façon hiérarchique. Elles restituent un schéma composé de buts, de sous-buts, d’actions élémentaires qui peuvent être gérés simultanément. Les pratiques d’évaluation formatives assistées par ce logiciel visent à promouvoir ce type de représentations chez des novices grâce notamment aux propriétés de la taxinomie évolutive, que nous présenterons plus loin.

10Le travail d’analyse des tâches proposé par Sebillotte (1991) s’appuie sur la description des tâches telles qu’elles sont perçues et rationalisées de façon habituelle par les opérateurs. Il en résulte une modélisation extrêmement détaillée des activités et des objectifs poursuivis par les opérateurs.

Sciences cognitives, psychologie sociale et du travail

11L’évaluation est un processus cognitif, un jugement qui s’appuie sur la comparaison entre une norme et si possible un observable. C’est également une activité psychosociale dans la mesure où les normes s’élaborent dans les groupes sociaux et commandent les conduites individuelles (Sherif, 1935), en particulier lorsqu’elles manquent de fondement objectif car elles dépendent alors essentiellement du point de vue des autres (Festinger, 1957). D’ailleurs les cadres, les évaluateurs qui se trouvent dans une position de pouvoir social privilégié font davantage référence dans leurs évaluations aux dimensions personnelles des évalués (norme d’internalité) alors que les exécutants, les évalués invoquent davantage les facteurs externes, environnementaux ou circonstanciels (Beauvois et Le Poultier 1986 ; Pithon, Mougniot et Fray, 1989).

12Aujourd’hui les chercheurs en cognition sociale tentent de cerner quelle est la part attribuée au savoir préalable des sujets, sur des situations ou des personnalités, dans la construction de nouveaux savoirs selon le contexte dans lequel ils sont, les relations qu’ils nouent avec les autres et les catégorisations sociales qu’ils mettent en œuvre. “Le problème est de savoir comment chaque information est évaluée et quelle est la loi d’intégration de ces informations évaluées (s’agit-il d’une simple moyenne ? d’une addition ? etc., l’impression finale résultant bien sûr de cette loi d’intégration” (Beauvois et Deschamps, 1990, p. 5).

13Enfin, si l’on veut réduire ce qui apparaît flou et arbitraire dans l’exercice du pouvoir d’évaluation, il faut intégrer les pratiques d’évaluation dans un dispositif contractuel régulier, c’est-à-dire un dispositif pertinent, explicité et négocié entre les partenaires concernés (Pithon, 1988).

14Ainsi, il nous est apparu opportun de proposer un logiciel d’assistance aux pratiques d’évaluation et d’appréciation qui puisse apporter : a) une aide opérationnelle à la décision, au jugement et à la comparaison, b) une aide à la confrontation socio-cognitive entre plusieurs évaluateurs et c) une aide à la gestion d’un grand nombre de contrats d’évaluation. Nous examinerons brièvement chacune de ces contributions possibles.

15Pour ce qui est de l’aide à la décision, au jugement et à la comparaison, décrivons l’activité cognitive essentielle de l’évaluateur. Selon Scallon (op. cit.), l’évaluateur, expert ou novice, doit prendre des décisions en comparant un “référent” (nonnes, standards, etc.) à un “référé” (produit, travail accompli, etc.). En effet, d’après Vignaux (1992), dans son article “psychologie cognitive et psychologie sociale”, les études sur les constructions procédurales des connaissances sont influencées par les modèles de traitement de l’information (Newell et Simon, 1972). Par ailleurs, la propagation de l’informatique a suscité tout un courant de travaux didactiques consacrés à l’explicitation des savoir-faire et des procédures, notamment en psychologie du travail et en ergonomie pour concevoir des plans et des procédures d’aide à la conception ou à la réalisation de tâches. Hoc (1990) décrit la procédure comme “un système d’opérations exécutables pour réaliser une tâche (atteindre un but donné dans des conditions définies)” (cité par Vignaux, 1992, p. 231). Ainsi les guides d’action, les plans de procédures, le plus souvent explicités dans les pratiques d’évaluation formatives, contribuent au développement des métaconnaissances et des structures cognitives des sujets. D’après Hoc (1986), on se construit donc un système de représentations et de traitement (SRT) propre au domaine, lequel système aura statut de “réservoir” des connaissances que le sujet peut évoquer pour mettre en œuvre telle ou telle opération.

16Cette activité personnelle de décision que prend l’évaluateur joue bien entendu dans l’auto-évaluation mais il s’y ajoute le plus souvent la dimension sociale d’interaction et de confrontation avec d’autres points de vues : formateur/formé, enseignant/enseigné, novice/expert, appréciateur/apprécié, auto-évaluation/hétéro-évaluation. Superpositions de profils, hiérarchisation et pondération de critères peuvent être exécutées et illustrées rapidement par un logiciel conçu pour être une aide à la confrontation sociocognitive entre plusieurs évaluateurs associés à une tâche d’évaluation.

17Bandura (1980) a dégagé les facteurs à l’origine du processus d’autorégulation des conduites, notamment “l’autorenforcement renvoie à un processus dans lequel les individus maintiennent leur propre comportement en se rétribuant eux-mêmes avec des récompenses qu’ils contrôlent lorsqu’ils ont atteint un niveau de développement où ils se donnent des standards qu’ils ont eux-mêmes établis” (p. 122). Par ailleurs, les théories de la comparaison sociale (Festinger 1957) montrent comment les comportements d’autrui servent de base de référence pour juger ses propres performances quand les standards objectifs font défaut. Ainsi, il faudrait se demander quelle est la part respective de l’auto-évaluation et de l’hétéro-évaluation dans la régulation des valeurs, des attitudes et des pratiques grâce à des procédures de confrontation sociocognitive.

18La programmation informatique permet la formalisation des procédures, l’explicitation des activités de chaque partenaire associé dans un contrat d’évaluation : qui évalue qui ou quoi ? à quel moment ? avec quel questionnaire ? etc. Ainsi, elle peut faciliter l’aide à la gestion de contrats réguliers d’évaluation (pertinents, explicités et négociés) entre les partenaires concernés. La théorie du contrat de communication (Ghiglione, 1986) rend compte du fonctionnement et du déroulement des interactions sociales. Elle nous est utile pour analyser les rapports formateur/formé en particulier dans l’échange crucial mis en œuvre lors des pratiques d’évaluation. Contrats de communication, contrats pédagogiques et contrats d’évaluation constituent des sous-systèmes intégrés dans un système général de communication en éducation et en formation. Il est donc nécessaire d’analyser les pratiques d’évaluation en les restituant dans les rapports sociaux qui les mettent en œuvre. Ils fonctionnent selon les principes d’un contrat plus ou moins explicite et formel, mais toujours présent.

19L’analyse du fonctionnement de divers contrats d’évaluation nous a conduit à dégager des paramètres essentiels à l’instauration d’un contrat régulier et efficace : pédagogie par objectifs, évaluation formative et critériée, moyens pratiques permettant un apprentissage approprié des connaissances procédurales (Pithon, 1990). Expliciter et négocier les objectifs pertinents à atteindre, ainsi que les règles de mesure des performances correspondantes, vérifier leur compréhension et leur acceptation par les formés à l’aide de pratiques d’évaluation formative (auto-évaluation confrontée aux évaluations d’autrui...) permettent de rendre opérationnels ces contrats d’évaluation (Pithon et Bernard, 1992).

20Des principes destinés à faciliter la transparence et l’efficacité des contrats d’évaluation et conjuguant la déontologie et la rigeur scientifique ont d’ailleurs été clairement définis par Le Poultier (1986, 1990a) dans le domaine du travail social où pourtant on rappelle qu’il est difficile de fixer des normes aux “productions” du travail effectué. Il propose et met en œuvre cinq principes essentiels (Le Poultier, 1990b) : 1) expliciter les objectifs assignés aux établissements, aux services ou aux actions menées dans ce domaine d’intervention, 2) établir une relation de causalité entre des actions et des effets observés, 3) impliquer les travailleurs sociaux dans la définition des critères d’évaluation, 4) pratiquer l’évaluation en temps réel et l’inscrire dans la durée des actions et 5) utiliser des descripteurs ou des observables et constituer des bases informationnelles précises.

21La contractualisation des pratiques d’évaluation (négociation d’objectifs explicites et transparents, des moyens accordés, et des rétributions correspondant au degré d’accomplissement des missions) constitue une des réponses sociales qui peut s’inscrire dans le projet d’une organisation et garantir les exigences indispensables à la conduite du changement dans les organisations. L’apprentissage, la conduite de missions dans le travail, la gestion d’une fonction professionnelle s’effectuent et s’apprécient de plus en plus en fonction d’un référentiel d’apprentissage ou de métier (Egg, 1987 ; Michel et Ledru, 1991). Il s’agit de l’ensemble des capacités et des compétences qu’un sujet doit acquérir à l’issue d’une formation ou doit maîtriser lors de la conduite d’une mission ou d’une activité professionnelle. Les entretiens d’appréciation du personnel, périodiques ou annuels, peuvent être gérés selon des méthodologies contractuelles et informatisables à l’aide du logiciel “Mentor”.

22Ce bref détour résume les principales questions théoriques qui se sont posées lorsqu’il nous a été demandé à plusieurs reprises d’intervenir pour étudier et si possible améliorer les pratiques d’évaluation instituées dans diverses organisations (Pithon et al. 1986, 1989). C’est ainsi qu’est né le projet de concevoir, de faire développer et d’expérimenter un logiciel d’assistance aux pratiques d’évaluation et d’appréciation.

Principales fonctionnalites du logiciel “Mentor” 1

23“Par ses possibilités de mémorisation, l’outil informatique se prête bien à la gestion des apprentissages. Il permet de suivre et d’analyser le déroulement de séquences de formation, et par là, de tester certaines méthodes et certaines pratiques pédagogiques” (Picard et Braun, 1987, p. 10). Pour obtenir un outil fiable et adapté à la demande, il a été nécessaire de mettre en place une collaboration entre le Laboratoire de Psychologie Sociale de l’université de Montpellier pour les apports méthodologiques et théoriques et l’entreprise de développement informatique Nexus pour sa contribution technologique. Les premières versions expérimentales du logiciel ont permis d’affiner la qualité des méthodes d’évaluation. Les expériences sur le terrain et notamment le recueil de données et de questions formulées par les utilisateurs ont favorisé l’adaptation du logiciel aux exigences et à la compréhension des usagers. C’est par validations progressives du terrain au laboratoire en passant par l’entreprise de services informatiques que le logiciel a pu évoluer. Cette synergie illustre à l’évidence l’imbrication entre théories, méthodes, techniques et applications sur le terrain.

24Ce logiciel ne dépend pas d’une matière ou d’un contenu particulier et laisse aux utilisateurs une grande diversité de pratiques qu’il s’agisse d’employeurs, de responsables du personnel, de directeurs des ressources humaines, de responsables de formation, de formateurs ou d’apprenants. En effet, aux plans technique et instrumental, il permet notamment d’élaborer des référentiels de compétences à maîtriser dans l’exercice d’un métier, dans la conduite d’une mission professionnelle, d’un poste de travail ou de capacités à acquérir dans un cursus de formation (cf. figures 1 et 2). Il permet aussi de gérer les compétences effectivement mises en œuvre et appréciées lors d’entretiens de recrutement ou d’appréciation (Pithon et Arnol, 1992), de repérer les procédures à maîtriser dans la résolution de problèmes spécifiques, en expression écrite (cf. figure 1) par exemple (Pithon et Bernard, 1992), de construire des taxinomies évolutives d’objectifs intermédiaires ou terminaux, transversaux ou spécifiques à des projets individuels et collectifs, d’associer à chaque objectif, à chaque procédure des échelles de mesure des performances correspondantes (cf. figure 1). Il favorise aussi la conception des questionnaires d’évaluation selon la planification des exercices et des séquences pédagogiques en combinant entre eux autant de fois que nécessaire les items (objectifs associés aux échelles de performances) de la taxinomie (cf. figure 1). Il assure ainsi l’édition de ces questionnaires et/ou la saisie directe des évaluations émises par un ou plusieurs experts (enseignant, formateur, jury), par l’apprenant lui-même (auto-évaluation), par des pairs (co-évaluation) à différentes étapes de la formation. Ensuite peuvent être représentés graphiquement les profils individuels d’auto ou d’hétéro évaluation pour suivre et aider un apprenant au cours de ses apprentissages (cf. figure 3) ou de son projet d’orientation, les profils collectifs moyens (cf. figure 3), médians ou histogrammes à des fins de comparaison entre un profil individuel et un profil collectif, entre plusieurs profils collectifs à la même étape de formation en mesures indépendantes ou afin de suivre l’évolution d’un même groupe à différentes étapes de formation en mesures appariées.

25Ainsi, par ses possibilités techniques, le logiciel Mentor facilite la planification d’un enseignement, la création de stratégies pédagogiques. Il s’intègre à diverses méthodologies pour en optimiser la gestion. A titre d’illustrations nous en signalons quelques unes déjà expérimentées sans pour autant viser l’exhaustivité. Il a été utilisé, par exemple, pour construire avec les apprenants les taxonomies d’objectifs et les outils d’évaluation correspondants pour les aider à intégrer les exigences de la tâche et élaborer ainsi leur bilan forces-faiblesses par superposition de leur profil d’auto-évaluation au profil d’évaluation établi par le formateur ou un expert servant de référence. Il a été mis en œuvre aussi pour former les formateurs et les enseignants à la pédagogie par objectifs, à la pédagogie différenciée, à la conception et à la création d’instruments d’évaluation critériée. Il a été employé pour concevoir et gérer des profils de postes, des grilles d’appréciation du personnel qui peuvent être utilisées dans des contrats explicites, transparents et négociés. Il a servi de support pour assurer l’évaluation directe et interactive d’un colloque à partir de la satisfaction du public (Amol et Pithon 1993), pour permettre à un conférencier d’être évalué et de discuter immédiatement des résultats de son intervention. Enfin dans un tout autre domaine, il va être utilisé pour apprécier des produits industriels et confronter le point de vue d’experts à celui de novices, par exemple, en matière de dégustation de vins.

Figure 1. Extraits d’une taxonomie d’objectifs pédagogiques pour l’apprentissage de l’expression écrite

Figure 2. Extraits de la taxonomie d'EDF/GDF comprenant des questions obligatoires. questions spécifiques. questions obligatoires

Figure 3. Extrait d’un tableau Mentor que le stagiaire peut prendre chez lui. les courbes A et B servent pour la synthèse. les courbes a et b sont ajoutées pour chaque stagiaire

Avant le stage
Courbe A : moyenne des auto-évaluations du groupe sur les objectifs du stage
Courbe a : auto-évaluation d’un stagiaire sur les objectifs du stage
Après le stage
Courbe B : moyennes des auto-évaluations du groupe sur les objectifs du stage des évaluations du groupe sur les items (obligatoires, optionnels)
Courbe b : auto-évaluation du stagiaire et ses évaluations sur les items

26Chacune de ces pratiques associe donc à divers degrés une méthodologie et une instrumentation précise. Elle doit être réglementée de surcroît par un contrat d’évaluation où seront notamment négociées et explicitées les règles déontologiques en usage : “charte qualité”, rôles et responsabilités des acteurs concernés, pondération des indicateurs, finalités des profils d’évaluation, destinataires et utilisations des données. Ainsi, par exemple, des codes d’accès distincts doivent être utilisés par les formateurs et les formés pour chaque application. Cependant, les utilisateurs demandent souvent de fournir avec le logiciel plusieurs questionnaires-types. Il est préférable d’expliquer dans une brève formation qu’un dispositif d’évaluation ne se limite pas à des grilles, à des guides ou à des questionnaires (niveau technologique), mais comprend, en outre, un cadre théorique qui a permis de les élaborer, une méthodologie de passation des outils et de recueil des données en vue d’administrer une démonstration et un contrat déontologique qui garantit les modalités d’usage et de gestion de ces données.

Illustrations en formation et en gestion des ressources humaines

27Il est possible d’illustrer l’apport du logiciel en rendant compte de deux expériences. Dans l’une, son utilisation a permis d’améliorer un dispositif existant et de le gérer informatiquement. Dans l’autre exemple, il a permis de gérer des acquisitions dans le cadre de la préparation d’un concours.

Gestion traditionnelle de la satisfaction

28Dans un Centre Régional de Formation d’EDF/GDF, il a d’abord été constaté, à la suite d’un audit demandé par le responsable de la formation, l’impossibilité d’exploiter systématiquement la diversité des instruments d’évaluation utilisés par les formateurs, la variété des méthodes mises en œuvre et la multitude des données ainsi recueillies. Que d’informations perdues, pourtant si riches en renseignements utiles pour la régulation des dispositifs de formation, faute de pouvoir les synthétiser et les exploiter rapidement ! Il est donc apparu intéressant d’implanter Mentor dans ce Centre à titre expérimental. Plusieurs objectifs étaient visés par cette implantation. Il s’agissait d’abord d’assister et de favoriser l’animation des synthèses de fin de stage en présence d’un supérieur hiérarchique (satisfaction des attentes des participants, sentiment d’avoir atteint les objectifs annoncés au départ). Il importait aussi de faciliter la gestion pédagogique de ces évaluations par questionnaires fermés lors de l’élaboration des bilans annuels de formation de ce Centre et de faire un suivi des activités des formateurs et de la qualité perçue des formations dispensées sur le plan des contenus, des méthodes, des techniques, de l’information, de la documentation, de l’accueil. Il faut mentionner encore comme objectifs : former les formateurs, leur renvoyer régulièrement les effets perçus de leurs activités de formation et proposer si nécessaire des améliorations concrètes à la formation dispensée. Enfin, il était également prévu de réaliser un bref film video illustrant cette expérience.

29Au cours des étapes de formation et d’expérimentation de ce logiciel plusieurs enquêtes rapides ont été menées par entretiens et/ou questionnaires auprès des stagiaires, des formateurs et des présidents de synthèse. Elles ont permis d’opérer plusieurs modifications ou améliorations. Elles ont conduit, par exemple, à éliminer une présentation des résultats trop complexe sur le plan statistique notamment en ce qui concerne les médianes et les écarts interquartiles. En effet, 92 % des stagiaires trouvent que les quartiles sont “peu clairs”, les raisons invoquées étant : “nous n’avons pas le temps de nous y habituer”, “la synthèse se passe trop vite pour pouvoir assimiler ce genre de figure”. Au sujet également de cette pré-enquête, ont été proposés des tableaux de résultats plus ergonomiques ou plus “parlants” aux dires des stagiaires. Les histogrammes ont été colorés en dégradés de rouge pour les valeurs négatives des échelles d’estimation et en dégradés de bleu pour les valeurs positives. La hiérarchisation de ces histogrammes à partir des moyennes ont ordonné les évaluations des points faibles aux points forts selon des tableaux en dégradés de couleurs qui montrent bien pendant la synthèse la “tonalité” générale des évaluations et facilite ainsi les prises de décision. Par ailleurs, les questionnaires fermés comme ceux que proposent Mentor semblent suffisants pour aborder les points essentiels en synthèse. 75 % des stagiaires indiquent qu’”ils abordent les points essentiels”. 58 % d’entre eux considèrent que Mentor est utile car “il fournit un guide méthodologique clair pour le déroulement de la synthèse”. En effet, d’après certains stagiaires, Mentor permet : “de faire une synthèse simple et aérée”, “qui casse avec le traditionnel rapport où l’idée du groupe était plus ou moins rapportée”, “de fixer une image claire sur les trois jours de stage”. Enfin, cette première phase a permis de vérifier l’impact de ces modifications et de proposer de nouvelles perspectives pour l’avenir.

30Ainsi, nous avons utilisé la taxinomie en l’organisant de façon spécifique, c’est-à-dire que les feuilles, en fin de ramification, correspondent à des questions, les autres servent simplement à faire des regroupements par thème. Nous quittons là l’organisation standard de la taxinomie en objectifs généraux, transverses et spécifiques. Une taxinomie commune à tous les stages (cf. fig. 2) a donc été élaborée avec trois types de questions. Les unes sont obligatoires, posées par le responsable de la formation pour la gestion globale de tous les stages et la réalisation des bilans annuels. D’autres sont spécifiques à chaque stage et préparées par les formateurs animateurs. Les dernières sont optionnelles, suggérées et susceptibles d’être choisies en début du stage, en sachant qu’il est toujours possible d’en rajouter de nouvelles à la demande.

31De surcroît, nous avons proposé d’engager les stagiaires dans un processus d’auto-évaluation et de conception de nouvelles questions. Ils se sont autoévalués en début de formation pour indiquer non seulement leurs attentes mais aussi leur degré actuel de maîtrise des objectifs assignés à la formation et, en fin de stage, pour comparer les représentations de leur maîtrise finale des objectifs à celles de leur maîtrise initiale (comparaison des profils moyens collectifs avant et après la formation). A l’issue du stage, ils partaient avec ces deux profils moyens et, en surimpression pour ceux qui le désiraient, leur profil individuel avant et après la formation (cf. fig. 3).

32Les formateurs nous ont précisé qu’ils prenaient en compte les renseignements dégagés dès le premier bilan au moment de l’auto-évaluation en début de stage. 84 % des stagiaires se disent “intéressés par F auto-évaluation”. 52 % pensent qu’il est “toujours intéressant de pouvoir rajouter des questions de leur choix”. Les stagiaires considèrent que la courbe papier permet de “fixer durablement l’ambiance du stage”, “de réfléchir sur le stage”, “de prendre du recul” (“on garde une trace”, disent-ils) et surtout de “pouvoir se situer par rapport au groupe”.

33Ces nouvelles modalités pour évaluer les stages (auto-évaluation avant et après la formation, possibilités de proposer de nouvelles questions avec tous les débats que cela peut engendrer) constituent donc des circonstances engageantes dans le cadre d’une “situation de soumission librement consentie” (Joule et Beauvois, 1991). Nous avons dû garder l’esprit de “la synthèse” traditionnelle (questions de satisfaction en fin de stage) en y incluant toutefois une visée plus pédagogique engageant fortement les stagiaires par la pratique de l’auto-évaluation avant et après la formation. Enfin, nous avons pu simplifier et rationaliser la gestion des évaluations pour le responsable de la formation : statistiques sur tous les stages, tableaux chiffrés et impression des courbes (par stage, évolution sur plusieurs stages, bilan global de tous les stages grâce aux items obligatoires). Nous avons suggéré de confronter, à plus long terme, le point de vue des stagiaires sur les changements induits par la formation à celui de leur employeur ou supérieur hiérarchique (transferts perceptibles des effets et des investissements dans la formation) et à celui des formateurs responsables des stages. De la confrontation entre ces évaluations plurielles parce qu’émises par des partenaires impliqués à divers niveaux et moments du procès de formation devrait surgir une meilleure gestion et régulation du dispositif de formation. Cette proposition a été saisie par un autre Centre de Formation qui l’a incluse dans sa “charte qualité des formations” visant à engager tous les principaux partenaires du procès de formation (direction, responsable de formation, supérieurs hiérarchiques, formateurs, stagiaires) dans des pratiques contractuelles les associant à partir d’une gestion commune des objectifs de formation et des contrats d’évaluation.

Suivi personnalisé et critérié des évaluations

34L’illustration suivante est empruntée à une autre domaine. Elle porte sur des séquences de formation en expression écrite portant sur la pratique du résumé et de l’analyse de textes. Pour construire les grilles d’évaluation, il a fallu combiner des études documentaires de manuels, d’instructions officielles et d’articles), des entretiens auprès de professeurs de français et enfin des analyses des représentations des stagiaires à partir d’un travail sur les verbalisations écrites de leurs représentations des objectifs à atteindre, des contraintes à respecter et des procédures d’écriture à mettre en œuvre pour mener à bien ces activités. Cette expérimentation a été menée en collaboration avec un groupement d’établissements scolaires proposant des formations professionnelles continues (GRETA), dans le cadre du Crédit Formation Individualisée conduisant à un CAP. Elle a porté sur une application ponctuelle de Mentor à des séquences de formation au résumé de textes (Pithon et Bernard, 1992).

35Après étude des représentations d’un résumé par les formés et analyse de diverses procédures pour sa réalisation, formateurs et formés ont élaboré un guide d’évaluation sous la forme d’un questionnaire fermé reprenant les objectifs opérationnels à maîtriser et auxquels sont associés pour chacun d’eux des critères de progression (cf. fig. 1). Les corrections d’un expert extérieur à la recherche, fonctionnant “en aveugle”, ont permis de montrer qu’un groupe expérimental progresse davantage qu’un groupe témoin n’utilisant pas cette technologie éducative. Toutefois, l’amélioration des apprentissages, attestée également par une épreuve de compréhension verbale écrite (ECVE), ne semble pas s’accompagner d’un transfert spécifique de compétences logiques. En effet, le groupe témoin progresse également au test de logique des propositions (ECDL).

36La méthodologie d’évaluation formative proposée confronte les auto-évaluations de novices aux évaluations d’un expert. Elle favorise l’intégration des objectifs à atteindre par l’apprenant. Elle permet d’effectuer son “bilan forces-faiblesses” et de construire un contrat pédagogique proposant des activités de remédiation adaptées à son cas spécifique. Ainsi, après la formation, le nombre de points forts des apprenants augmente ; la congruence entre l’auto-évaluation et l’évaluation de l’expert s’accroît, ce qui est l’indice d’un meilleur réalisme des stagiaires.

37Dans le cadre d’une préparation par correspondance à des concours internes de France-Télécom, où les enjeux sommatifs sont donc très importants (une dizaine de reçus pour des centaines de candidatures), nous expérimentons une autre méthodologie d’évaluation critériée portant sur les corrections successives par un expert de plusieurs copies du même stagiaire à un type d’épreuve en expression écrite, en l’occurrence : l’analyse de textes. La taxinomie conçue et réalisée par des spécialistes de la discipline possède de nombreux items identiques à ceux du “résumé de texte” présentée dans la fig.1, mais elle s’en distingue bien entendu sur quelques points essentiels (cf. fig.4). Chaque candidat reçoit toutes les trois semaines sa copie annotée de façon qualitative, sa note sur 20, la moyenne générale des copies corrigées par le même correcteur et un nouveau profil d’évaluation critériée superposé au premier, ce dernier étant ordonnné des points faibles, à gauche du graphique, aux points forts, à droite, afin de repérer l’évolution des acquisitions en cours de formation (cf. fig. 4 à titre d’illustration). Candidats et correcteurs peuvent ainsi adapter leurs efforts et leurs stratégies, d’apprentissage pour les uns et de remédiation pour les autres, à partir d’un contrat d’évaluation individualisé, pertinent et explicite.

Vers une transformation des pratiques d’evaluation

38L’informatique offre de formidables possibilités de stockage de données en mémoire, d’illustrations graphiques et de gestion d’un grand nombre d’informations concernant les personnes. Son utilisation s’accompagne cependant de contraintes juridiques à respecter (cf. loi “Informatique et libertés” du 6 janvier 1978). Elle se heurte aussi à des résistances qui perpétuent des pratiques “papier-crayon” difficiles à exploiter et à gérer voire à une volonté d’entourer le pouvoir de l’évaluation d’un maximum d’incertitudes pour éviter toute discussion possible.

39Toutefois l’évaluation, clé de voûte des systèmes de formation, évoluera immanquablement avec l’introduction de la micro-informatique de plus en plus portable et intégrée dans l’écologie de la salle de cours. Les pratiques d’évaluation et de remédiation tendent à se rapprocher grâce à l’”apprentissage assisté par l’évaluation” (AAE) et aux techniques d’”évaluation assistée par ordinateur” (EVAO). Le formé peut participer à l’élaboration, à la gestion et à l’impression de ses profils individuels qui sont autant de traces personnalisées dans des contrats d’évaluation explicites et transparents. Ainsi les paradigmes sous-jacents aux pratiques d’évaluation évolueront également, allant du “paradigme décisionnel au paradigme informationnel” (Cardinet, 1988), se déplaçant de la centration sur le produit vers la centration sur le producteur, de la transmission des connaissances vers la production des compétences (Hadji, 1992).

Figure 4. Suivi personnalisé des acquisitions d’un stagiaire sur les trois premières évaluations. Positionnement de cette évolution par rapport à l'ensemble des évaluations effectuées par ce correcteur.

Évolution des performances en “analyse de textes” d'un stagiaire lors de 3 évaluations critériées successives a. b. c effectuées par le même correcteur. Le premier profil, a est hiérarchisé des points faibles aux points forts. Ces profils individuels sont resitués par rapport à l'ensemble des évaluations effectuées par ce même correcteur aux 3 épreuves (profil moyen collectif A, n = 45. les tirets verticaux représentent les écart types). Des indicateurs de synthèse sont également proposés : gl = global ; fond = analyse, plan etc. ; forme = écriture, présentation typographique etc. : langue = reformulation, correction etc.