1Traditionnellement, à la fin de la formation, l’animateur propose un temps d’évaluation. Chacune des personnes formées a ainsi l’occasion de porter un jugement sur la formation qu’elle vient de suivre. À l’issue d’une formation relative à l’utilisation du catalogue informatisé, un formateur, lors du tour de table de clôture, a recueilli les propos suivants :

- « c’était très intéressant »
 - « j’ai apprécié les échanges dans le groupe »
 - « on n’a pas eu assez de temps pour le repas »
 - « on n’avait pas assez d’ordinateurs »
 - « j’ai enfin compris quelque chose à l’informatique » - « je vais pouvoir faire des recherches plus efficaces… »

1. Préciser ce que l’on veut savoir

2Lorsque le formateur organise ce tour de table en fin de journée, quel est son but ? Cherche-t-il, par exemple :

• à savoir si les personnes formées sont satisfaites ?
• à s’assurer qu’elles ont passé un moment agréable, enrichissant, fructueux ?
• à vérifier si les objectifs ont été atteints ?
• à repérer en quoi les personnes formées ont changé ?
• à connaître dans quelle mesure elles maîtrisent les notions et les techniques abordées au cours de la formation ?
• à prévoir si elles vont mettre en œuvre les capacités développées ?
• à les faire revenir mentalement sur le processus de formation et à leur faire prendre conscience de leurs acquisitions et de leurs stratégies d’apprentissage ?
• à recueillir des éléments pour améliorer le dispositif qu’il a mis en place ?

3On le voit, les possibilités sont multiples et l’on peut penser que ce formateur cherche un peu tout cela à la fois. Au lendemain de la formation, on peut se demander avec lui : Qu’est-ce qui a été évalué ? et quels enseignements en tirer ? Aujourd’hui, que l’on mette en place une journée d’accueil pour les jeunes publics ou que l’on organise plusieurs cycles de formation pour des étudiants, évaluer est désormais une « figure imposée ». Le but de ces quelques lignes est de proposer des pistes pour optimiser cette démarche.

2. Articuler les objectifs, les moyens et les résultats

4Prenons l’exemple d’une formation à la rédaction d’une bibliographie spécialisée, à destination d’étudiants de troisième cycle.

5On peut évaluer l’efficacité de cette formation, c’est-à-dire le rapport résultats/objectifs. La question qui est alors posée est : Les résultats atteints sont-ils conformes aux objectifs visés ? Je souhaitais que les étudiants sachent rédiger leur bibliographie, est-ce le cas ?

6On peut également se poser des questions sur les moyens mis en œuvre pour atteindre ces résultats. Les mêmes résultats auraient-ils pu être atteints à moindre frais, avec un dispositif plus léger ? Par exemple, le volume de formation mis en place n’est-il pas trop important ? Une fois la formation déroulée, on peut se dire qu’en s’y prenant autrement, en modifiant tel ou tel aspect de la progression, en diminuant le nombre d’heures et en introduisant plus de manipulations, ou en constituant des groupes de travail, on aurait pu atteindre des résultats identiques. On fait référence dans ce cas au rapport moyens-résultats. Il s’agit de la question de l’efficience du dispositif. Ce type de questionnement intervient a posteriori.

7En amont, au moment de l’élaboration de la formation, quand les caractéristiques du dispositif sont en train d’être stabilisées, ce qui nous guide dans le choix de telle ou telle méthodologie de formation, c’est le rapport moyens-objectifs. C’est de la pertinence du dispositif dont il est question.

8Que cela concerne l’efficacité, la pertinence ou l’efficience, la démarche d’évaluation consiste à recueillir et à interpréter des informations qui vont permettre de répondre à l’une ou l’autre de ces questions.

9En ce qui concerne la pertinence et l’efficience, il s’agit de mettre en évidence des liens entre les caractéristiques du dispositif et les effets attendus (les objectifs) et/ou atteints (les résultats).

10En ce qui concerne l’efficacité, ces informations doivent permettre de confronter la situation réelle obtenue à la situation désirée.

11En résumé, la question de l’efficacité de la formation porte sur les « produits » de la formation. Les questions de pertinence et d’efficience interrogent les processus qui conduisent aux produits, la première d’une manière anticipée, la seconde une fois la formation réalisée.

3. Organiser un questionnaire préparatoire

12Il s’agit, comme on vient de le voir, de postuler sur l’adéquation des différentes parties d’un système les unes par rapport aux autres et de rechercher les informations qui permettent de le faire. Evaluer, c’est donc se donner les moyens de recueillir ces informations, les analyser, les interpréter, dans le but de prendre une décision et éventuellement d’agir sur la réalité observée. La nature et les incidences des décisions possibles seront envisagées clairement afin de pouvoir mieux cibler l’acte d’évaluation. Un questionnement préparatoire peut contribuer à construire le dispositif d’évaluation en invitant à en préciser différents paramètres. Le tableau ci-contre propose quelques illustrations en prenant comme exemple une formation à la rédaction de bibliographies spécialisées.

4. Confronter le référé au référent

13Une fois les mobiles précisés et les grandes lignes construites, la question est d’identifier la nature de l’information qui peut permettre de répondre aux questions qu’on se pose.

14Le principe mis en œuvre passe par une double « construction » ; il s’agit :

15• de préciser ce que l’on souhaite atteindre, et donc de caractériser les conduites attendues et les transformations souhaitées,

16• de pouvoir, au terme de la formation, repérer, dans la situation réelle, un certain nombre d’éléments (des indicateurs) dont on a préalablement décidé qu’ils témoigneraient de l’atteinte des buts fixés.

17L’acte d’évaluation consiste à comparer la réalité obtenue (le référé) à « l’idéal » (le référent) que l’on prend soin de qualifier. Il ne s’agit pas d’une comparaison à un « absolu » d’autant plus inaccessible qu’il est imprécis.

5. Passer de l’intuition a l’objéctivation

18Que l’on cherche à vérifier l’efficacité, la pertinence ou l’efficience, il est indispensable de procéder à l’explicitation des résultats attendus. Il s’agit, par exemple, de se donner les moyens de savoir ce qui permet de dire que les utilisateurs potentiels savent utiliser un catalogue informatisé de manière autonome.

19Cette question, on le voit, est directement liée à la définition des objectifs. Il est important de préciser :

• les critères qui définissent l’idéal, la « norme »,
• les indicateurs qui nous permettront de statuer sur l’atteinte de cette « norme »,

20La difficulté est alors de déterminer ce que l’on entend par « savoir utiliser un catalogue informatisé de manière autonome ».

21En ce qui concerne les indicateurs, la démarche rigoureuse voudrait que l’on se base sur des éléments observables, identifiables, indiscutables… On le voit, la question de l’évaluation est une excellente occasion de « couper les cheveux en quatre… ». Il ne s’agit cependant pas de prétendre à une vue objective, absolue, mais plus modestement de se donner les moyens d’une vision construite et partagée. Le principe consiste à pouvoir justifier ses observations.

22En réalité, on s’autorise également des approches un peu moins rigoureuses, en utilisant un certain nombre d’éléments plus « intuitifs ». C’est le cas, par exemple, lorsqu’on invite un utilisateur, au sortir de la formation, à situer sur une échelle de 1 à 6 sa capacité à utiliser le catalogue informatisé en autonomie. C’est également le plus souvent le cas lorsqu’une personne évoque de manière informelle telle formation qu’elle a suivie quelques semaines plus tôt.

23Ces informations, bien que plus intuitives, sont utiles à la démarche d’évaluation. Leur recueil est souvent plus simple et plus spontané. Cela peut constituer, dans un premier temps, une approche globale riche d’enseignements. Cependant, une démarche plus outillée permettrait d’objectiver davantage en faisant en sorte que questionneur et questionné entendent les mêmes choses sous les mêmes mots.

24Par exemple, en ce qui concerne l’autonomie dans l’utilisation du catalogue informatisé, on pourrait proposer une liste de tâches que la personne formée qualifie à l’aide d’une liste d’adjectifs…

25En ce qui concerne le jugement d’une formation un peu plus loin dans le temps, on peut aller au-delà du classique quadrant « utile et agréable » en cherchant à faire préciser en quoi et comment cette formation a-t-elle pu être agréable ou non, utile ou non…

26On le constate dans ces exemples, l’observation directe en situation réelle est difficile. Une solution pourrait consister à proposer aux personnes formées un test au sortir de la formation (à chaud), ou à un moment plus décalé dans le temps (à froid). Cependant, toutes les thématiques de formation ne se prêtent pas aisément à ce genre d’épreuve et, de plus, on souhaite le plus souvent éviter aux personnes formées un moment de ce type, qui a de fortes connotations scolaires. On est donc amené à recueillir l’information de manière indirecte, à partir d’éléments plus subjectifs.

27L’évaluation est alors tributaire des représentations des personnes auxquelles on s’adresse. Le principe est non pas de refuser ce type d’information, mais :

• de tenter de croiser les informations en multipliant les sources d’information,
• de tenir compte de cet aspect méthodologique lors de l’interprétation.

28Les informations recueillies sont finalement de deux niveaux :

• un niveau intuitif qui repose sur des sentiments, des impressions, des opinions, des jugements,
• un niveau objectivé qui s’appuie sur des faits observés.

29Le choix des indicateurs et des critères va de pair avec l’identification des sources d’information. Dans la plupart des cas, il s’agit des personnes formées. Si l’on souhaite étayer le jugement, on peut consulter les intervenants, les commanditaires, les personnes en contact avec les personnes formées, etc.

30Dans le domaine des indicateurs plus objectifs, les sources « matérielles » trouvent leur place. On pourra, en ce qui concerne une formation à la rédaction de bibliographies spécialisées, comparer les bibliographies des thèses des étudiants formés à celles de leurs collègues qui n’ont pas suivi le cursus. Il est possible de repérer, parmi les personnes qui consultent le catalogue informatisé et demandent une aide, quelle est la proportion de celles qui ont suivi la formation. L’analyse des demandes de renseignements à l’accueil peut donner des indications à propos de l’efficacité d’une série de formations d’initiation bibliographique.

6. Choisir les outils de l’évaluation

31L’éventail des outils et des méthodologies de recueil des informations en vue de l’évaluation est très large. Chaque situation de formation étant particulière, chacun construira ses propres outils en fonction de ses propres projets. On présente succinctement ci-contre les plus répandus accompagnés de quelques remarques. On trouvera en fin d’article des ouvrages qui les présentent plus précisément avec les conditions de leur usage, notamment celui d’André de Peretti. De plus, les sciences humaines et sociales utilisent nombre d’outils et techniques qui sont tout à fait pertinents dans les démarches d’évaluation.

32Après le recueil de l’information, vient le moment où on l’interprète. Cette opération sera d’autant plus facile que le travail de construction des critères et des indicateurs aura été poussé. Il s’agit de formuler un jugement de valeur étayé par les observations réalisées et les informations recueillies. Cette phase est d’autant plus importante que l’on souhaite aller au-delà de la constatation d’un état de fait (un étudiant sur quatre ne sait toujours pas rédiger une bibliographie spécialisée) pour mettre en place des mesures correctives (proposer un complément de formation, modifier le contenu de formation, changer d’intervenant, exiger des pré-requis…).

7. Évaluer pour aider a apprendre

33Telle qu’elle a été présentée ci-dessus, l’évaluation est un processus dont la personne en formation est relativement exclue. Certes, elle est consultée et l’évaluation est toujours, en définitive, réalisée pour elle (pour lui proposer un complément de formation ou améliorer le dispositif de formation). Néanmoins, certaines conceptions de l’évaluation se donnent aujourd’hui pour projet de faire passer la personne formée du statut d’objet à celui d’acteur de l’évaluation et de lui donner un rôle plus important.

34Sachant que l’opération intellectuelle d’évaluation est des plus complexes, on peut penser qu’il est bon que l’apprenant franchisse une à une les étapes et que, une fois « expert », vienne enfin son tour d’évaluer en toute rigueur et avec une absolue sérénité…

35On peut également imaginer, selon la démarche de l’évaluation formative, qu’impliquer les personnes formées dans l’évaluation peut être un point d’appui pour les aider à apprendre et, ainsi, développer leurs compétences. Le point nodal de ce type d’approche réside dans le statut et dans l’usage que l’on fait des critères d’évaluation. Dans les démarches pédagogiques classiques, ces critères, s’ils sont définis, ne sont pas (ou peu) communiqués aux personnes formées. Si, parfois, l’intervenant commence la séance en précisant les objectifs, les critères d’évaluation et les indicateurs associés restent en général, quant à eux, très peu explicités.

36A contrario, le formateur peut dès le début du temps de travail faire travailler les stagiaires sur la question des critères de réussite de l’action de formation. Ainsi, à la BnF, au cours de la formation pédagogique des formateurs relais qui préparaient l’ouverture, il leur a été proposé de construire collectivement, en cours de formation, le profil de compétence de la fonction à laquelle ils étaient en train de se préparer.

37Ce type de démarche avait, entre autres, pour but de permettre :

• de travailler explicitement sur les résultats attendus de la formation,
• d’amener les personnes formées à formuler l’image qu’ils avaient de ces résultats,
• de permettre au formateur d’avoir une idée précise, en temps réel, de « où en était » son public,
• d’ajuster et d’individualiser le dispositif de formation.

38De la même manière et sur des aspects plus techniques, le formateur, lors d’une formation à la création de pages Web dans un cycle de formation à l’information, peut demander aux étudiants de classer, du meilleur au moins bon, une demi-douzaine de sites qu’il aura préalablement judicieusement choisis (un éventail du pire au meilleur, selon ses propres critères). Dans un second temps, une fois ce classement effectué, il demande aux étudiants de justifier leurs classements. Les étudiants expriment alors les raisons de leurs choix et, ce faisant, explicitent leurs critères.

39Ce type de démarche ne remplace pas l’évaluation normative, qui existe pour vérifier si les résultats sont conformes aux objectifs. L’évaluation formative travaille sur certains critères de réussite de l’action de formation entreprise. Elle s’appuie sur les représentations mentales qu’ont les apprenants de ce qu’il faut obtenir, dans le but de les aider à l’atteindre.

8. Évaluer l’évaluation

40Toute action d’évaluation tente d’apporter des éléments de réponse précis à des questions précises ; c’est pourquoi sa qualité passe par un double enjeu :

• un enjeu d’explicitation - on cherche à préciser ce que l’on veut atteindre,
• un enjeu d’objéctivation - on essaye de se donner les garanties méthodologiques de cette atteinte.

41Ces opérations conduisant à révéler les enjeux de la formation constituent, pour ceux qui les réalisent, une véritable action de formation, aussi importante en elle-même que le jugement qu’elle produit sur l’action. C’est également pourquoi l’évaluation est un puissant outil de régulation et de pilotage des actions, en réunissant conjointement les différents acteurs de la formation (commanditaires, prestataires, personnes formées).

42Pour conclure, on peut pointer un certain nombre d’écarts entre l’évaluation idéale (celle que l’on aimerait mettre en place) et l’évaluation réelle (celle que l’on met en place effectivement). Évaluons l’évaluation.

43L’évaluation doit logiquement être pensée en même temps que la construction de la formation. Lorsqu’on élabore la formation, la réflexion sur les moyens d’évaluation des effets trouve sa place naturellement au moment où l’on détermine les objectifs. La question des objectifs de la formation et celle de l’évaluation sont les deux côtés d’une même médaille. Quand elle est menée, la réflexion a priori sur les modalités et les techniques d’évaluation conduit, à travers la question des critères et des indicateurs, à une plus grande précision dans la formulation des objectifs. En général, ceux-ci sont modifiés dans le sens d’un plus grand réalisme.

44Évaluer l’efficience d’un dispositif de formation suppose que l’on est capable de dire, d’une part : voilà les effets que nous obtenons et, d’autre part : ces effets sont bien dus à notre dispositif. « Oui, 90 % des étudiants savent effectuer des recherches sur Internet grâce à notre formation de deux journées ! »

45S’il est effectivement possible de vérifier que les étudiants maîtrisent ce type de recherche, il est plus difficile par contre de déterminer la part de la formation dans cet état de fait. Si l’on souhaite la préciser, il faut être capable d’une part de statuer sur les savoir-faire initiaux et, d’autre part, d’identifier les autres éléments qui ont pu contribuer au résultat constaté. Par exemple, il est possible que, pendant le repas, une des stagiaires ait réussi à trouver les mots pour communiquer son expérience à certains de ses pairs ou que le groupe d’étudiants ait passé la soirée dans un cybercafé.

46On le voit, mettre en place des dispositifs d’évaluation précis demande une approche méthodologique rigoureuse et des dispositifs de recueil et de traitement de l’information dont le poids relatif est souvent élevé. C’est sans doute une des raisons pour lesquelles on préfère des approches plus légères. De plus, en ce qui concerne cet exemple d’échanges entre stagiaires, nous sommes dans le champ des effets indirects qui sont à la fois souhaitables et difficilement maîtrisables.