Version classiqueVersion mobile

Évaluer la bibliothèque par les mesures d’impacts

 | 
Cécile Touitou

Partie III – Pilotage

Évaluer les formations à la maîtrise de l’information à l’université : conditions, enjeux et perspectives

Hélène Coste

Texte intégral

  • 1 Pour exemple, dans un établissement comme la BU du Havre, sur 38 personnels de toutes catégories, (...)

1La formation des étudiants à la maîtrise de l’information est aujourd’hui une réalité quotidienne de l’activité des BU. Si les bibliothécaires sont convaincus de la pertinence et de l’utilité de cet aspect de leur mission1 dans la réussite des étudiants, peu de données chiffrées viennent corroborer cette conviction. L’évaluation des formations à l’information et de leur impact sur la réussite étudiante reste un champ relativement peu défriché en France et de toute façon à chaque fois circonscrit à un établissement. De fait, c’est une activité difficile à évaluer par rapport à d’autres qui donnent lieu à des transactions informatiques ou à des mesures automatiques (on pense évidemment aux prêts et aux entrées). Or pour ce qui est des formations, un grand nombre de paramètres entre en compte puisqu’il s’agit avant tout d’une interaction humaine. Et quand bien même l’on parvient à comptabiliser ces actions, il reste plusieurs marches à gravir pour passer de l’évaluation quantitative à l’évaluation qualitative, et enfin à l’évaluation de l’impact des formations sur la réussite des étudiants, enjeu pourtant crucial.

Les trois étapes de l’évaluation

La première étape : l’évaluation quantitative

2Comme dans toute démarche d’évaluation, on commencera par collecter les statistiques d’activité, en veillant bien à recueillir l’ensemble des paramètres de chaque action de formation :

  • le nombre d’heures dispensées/le nombre d’heures reçues par étudiant2 ;
  • le nombre de personnes formées ;
  • le nombre de formateurs.

3Ensuite, il s’agit de caractériser ces formations :

  • caractériser le public : selon le niveau, le cursus suivi ;
  • caractériser les formateurs (qui peuvent être des bibliothécaires, des moniteurs étudiants, des enseignants, des professeurs de documentation) ;
  • caractériser enfin le contenu de l’action de formation : de la simple visite des espaces à une formation complète en plusieurs modules.

L’enquête annuelle des BU

4Les BU sont guidées dans cette phase de recueil des données par l’ESGBU qui demande chaque année de comptabiliser le nombre total d’heures dispensées, le nombre d’usagers concernés (avec la répartition par niveau), et la distinction hors ou dans les cursus (sur laquelle on reviendra).

5La recension de l’ESGBU correspond à l’année civile et donc potentiellement à l’effectif étudiant de deux années universitaires. Or si l’on veut calculer un indicateur important comme le ratio d’étudiants formés par rapport au nombre total d’étudiants inscrits à l’université, il faut prendre les chiffres de l’année universitaire pour rendre compte de la réalité des formations puisque le dénominateur commun est le chiffre des inscriptions sur l’année universitaire. Ce dernier est d’ailleurs suivi annuellement à l’université du Havre dans le cadre du contrat quinquennal d’objectifs qui lie l’établissement au ministère de l’Enseignement supérieur.

Les indicateurs du contrat quinquennal

  • 3 Cette certification nationale valide des compétences en lien avec l’informatique et l’environnemen (...)

6Ce contrat fixe les objectifs de l’université en matière de formation et de recherche. Une partie de la dotation annuelle est calculée en fonction des projets listés dans le contrat. Dans l’axe 2 « Renforcer l’offre de formation en cohérence avec l’identité scientifique », la sous-partie « Optimiser et moderniser la formation en termes de qualité » détaille un certain nombre d’actions concernant la BU et notamment « Renforcer l’accompagnement documentaire (formation, médiation) et participer aux démarches d’innovation pédagogique », et « Proposer aux doctorants, dès leur inscription en thèse, un accompagnement documentaire personnalisé ainsi que des formations […] en complément des activités de l’école doctorale. » Ces actions s’accompagnent d’un volet d’indicateurs. Ainsi l’indicateur spécifique 1 (IS 1) ‒ « Optimiser la démarche qualité pour l'accompagnement à la réussite » ‒ est créé « pour suivre et évaluer le dispositif d’accompagnement des étudiants, priorisé dans le projet stratégique d’établissement ». Sont comptabilisés les formations documentaires, les certifications C2I (pour Certificat Informatique et Internet)3 et CLES (pour Certificat de compétences en langues de l’Enseignement supérieur) ainsi que les PPP (pour Projet personnel et professionnel de l’étudiant). La bibliothèque s’est donc fixé une cible à atteindre – ratio d’étudiants formés – en fonction d’objectifs précisément définis. Chaque année nous devons mettre à jour l’indicateur et éventuellement la cible, en fonction de l’évolution du contexte qui a fortement changé pendant les quatre années du contrat (2012-2016). Nous avons décidé de détailler dans l’indicateur global les différents types de prestations :

  • formations dans les cursus incluses dans les maquettes d’enseignement et généralement dispensées par des enseignants des disciplines ou des professeurs de documentation ;
  • formations hors cursus proposées aux enseignants ou demandées aux bibliothécaires à l’occasion d’un travail précis à alimenter (rédaction d’une bibliographie, recherches pour un mémoire, etc.), généralement en Licence 3 ou Master.
  • 4 Exemples : « Travailler à plusieurs ou à distance : les outils de travail collaboratif de Google » (...)

7La quantification permet également de répartir le nombre de personnes touchées par une action de formation suivant cette typologie cursus/hors cursus/ateliers (qui correspondent aux formations libres d’une heure à deux heures maximum dispensées sur des outils et thématiques diversifiés4 et qui peuvent aussi bien attirer le public étudiant que des doctorants, des enseignants ou même des personnels ou des publics extérieurs).

  • 5 Il n’y a pas d’évaluation qualitative de ces visites, ces remarques se fondent sur l’observation d (...)
  • 6 1 795 étudiants accueillis en visite en 2011-2012 et 1 062 en 2014-2015 mais le nombre d’étudiants (...)

8Cette évaluation quantitative nous a permis de prendre conscience que nous touchions un public chaque année plus nombreux de lycéens, notamment grâce aux dispositifs destinés à faciliter la transition lycée-université, tels que « les cordées de la réussite » ou « un enseignant, un chercheur, une classe », mais aussi aux Journées portes ouvertes de l’université pendant lesquelles nous accueillons de futurs étudiants pour leur présenter les services de la bibliothèque. Aussi, parmi les nouveaux arrivants en L1, une grande partie connaît déjà la bibliothèque et a même bénéficié d’une visite. Comme nous avons senti une désaffection des primo-arrivants sur la thématique « la BU je connais déjà », nous avons modifié l’organisation de ces visites afin de les adapter aux besoins recensés ou supposés5 en rendant notamment les étudiants plus actifs6.

9Évaluer, surtout dans le domaine de la formation, consiste à être à l’écoute du public pour évoluer et s’adapter.

La deuxième étape : l’évaluation qualitative

10L’évaluation qualitative passe en premier lieu par l’évaluation de la satisfaction. Nombreuses sont les bibliothèques qui utilisent un questionnaire en ligne7. C’est une étape nécessaire pour prendre en compte le ressenti des utilisateurs. Encore faut-il que les questionnaires soient adaptés et ne mettent pas les formateurs dans une posture de défiance car la crainte subsiste que ce soit le formateur qui soit jugé. L’évaluation peut porter aussi bien sur le fond que sur la forme : on interroge le public sur sa satisfaction par rapport aux moyens, au moment, mais aussi aux supports et à l’animation de la formation.

  • 8 Ce conseil de l’université statue sur toutes les questions relatives à la formation, notamment l’é (...)
  • 9 Le domaine D4 du C2I porte sur « Organiser la recherche d’informations à l’ère du numérique », aut (...)
  • 10 En 2014, une seule question optionnelle a été proposée sur la formation : « Les bibliothécaires ap (...)

11Un autre moyen d’interroger le public sur sa satisfaction est d’utiliser l’enquête LibQual + qui mesure les écarts entre les attentes et la perception du service. Les questions principales sont standardisées et il n’y en a pas sur la formation des usagers. En 2010, lorsque la BU du Havre a lancé sa première enquête, la formation des usagers était l’un des enjeux (milieu du contrat 2008-2011), nous avons donc ajouté dans les questions optionnelles permises par cette enquête ces deux questions : « La bibliothèque me forme à la recherche, à l’évaluation et l’utilisation de l’information » et « les bibliothécaires m’expliquent comment utiliser efficacement les ressources en ligne (bases de données, revues, livres électroniques) ». L’analyse des résultats pour ces deux questions a permis de mettre en lumière l’insatisfaction du public de certaines UFR. Lors d’une intervention en Conseil des études et de la vie universitaire (CEVU)8 nous avons présenté ces résultats en les mettant en rapport avec le fait qu’aucune formation à la maîtrise de l’information n’était incluse dans les cursus des étudiants en Droit, Économie-gestion et Administration économique et sociale (AES), contrairement aux autres cursus. Cela a permis un dialogue avec la direction de l’UFR et les enseignants, pour aboutir à l’insertion de six heures de TD (dans le cadre global de la préparation au C2I)9 sur les ressources électroniques juridiques en L2 de Droit. En 2014, la deuxième enquête LibQual + 10 a permis de mesurer pour ce public une très légère augmentation du niveau de satisfaction.

La troisième étape : mesurer l’impact des formations documentaires sur la réussite étudiante

  • 11 Voir le Livre blanc : Qu’est-ce qui fait la valeur des bibliothèques ?, Afnor/CN46-8, 2016. [En li (...)

12L’évaluation de l’impact des formations sur la réussite des étudiants reste néanmoins difficile à mesurer. Il faut combiner à la fois les mesures statistiques, les mesures de satisfaction, les données observées11, et mener si possible des études sur le long terme.

13On pourra s’attacher tout d’abord à mesurer la progression des étudiants dans l’acquisition de compétences ciblées, de façon subjective, ou selon une notation précise.

  • 12 Le recrutement de ce Master est à plus de 50 % extérieur. Les étudiants peuvent donc n’avoir suivi (...)

14Cette année, une enseignante en gestion m’a sollicitée pour une séance avec ses étudiants de Master 112. Sur la thématique globale de la logistique de distribution, par groupe de trois, les étudiants devaient choisir un sujet précis (exemple : « logistique de distribution et la reverse logistique »), réunir des sources, rédiger une synthèse de la littérature « sérieuse » (académique et/ou professionnelle), élaborer des hypothèses et les confronter au terrain (un entretien, des statistiques, un exemple), présenter ce travail complet et ses conclusions au cours d’un oral, et rédiger une synthèse comportant un plan détaillé de l’analyse effectuée, une bibliographie, une liste des sources interrogées et les questionnaires utilisés lors de l’étude. La séance portait sur la recherche d’articles de revues électroniques académiques ou professionnelles pour les aider à formuler leur problématique. L’enseignante ayant assisté à la séance en bibliothèque a pu lors de son propre enseignement évaluer les sources citées à la lumière de ce qui avait été présenté lors de la séance.

  • 13 Une murder party est une animation consistant à résoudre une énigme policière sous forme de jeu de (...)
  • 14 Quelques commentaires : « Le côté ludique augmente l'investissement personnel pour l'apprentissage (...)

15Un autre exemple : à l’occasion de l’organisation de notre première murder party13, nous avions dès le départ à l’esprit la nécessité de l’évaluation (notamment en raison de son coût en temps et en personnel). Nous avions des objectifs pédagogiques identifiés et nous avions donc conçu le questionnaire d’évaluation afin de mesurer leur atteinte. La question principale (« Avez-vous acquis des compétences grâce à la Murder Party ? ») était suivie de la liste des compétences à acquérir/mobiliser que nous avions ciblées dans la recherche des indices (« faire une recherche dans le catalogue et localiser un ouvrage en rayon », « utiliser Factiva », « consulter mon compte lecteur », etc.). Le taux important de réponses à l’enquête et surtout les retours positifs14 sur l’importance du lien entre l’aspect « ludique » et l’aspect « pédagogique » nous ont confortés dans cette voie. L’évaluation est ici pour nous un levier de changement et d’innovation.

Autoévaluation

  • 15 Sur le blog professionnel BUApro, une série de billets sur « Méthodes Ux, active learning et forma (...)

16Une possibilité pour mesurer cet impact est de demander au public lui-même d’autoévaluer sa maîtrise des compétences dont l’acquisition constitue l’objectif pédagogique de la formation. Ainsi, la BU d’Angers préconise « la mise en place […] en amont de la formation, de questionnaires (déclaratifs) et/ou de quiz pour connaître les acquis de [s] étudiants et adapter la formation en fonction. Les étudiants peuvent parfois avoir du mal à définir leurs besoins : dans ce cas, nous proposons des quiz avec des problèmes à résoudre, pour voir où ils en sont dans l'acquisition de leurs compétences informationnelles. »15

  • 16 Cet enseignement de 18 heures était assuré par une enseignante de documentation jusqu’en 2012.

17Au Havre, en L1 dans le cours de méthodologie documentaire16, les étudiants sont invités en début d’année à remplir un bilan de leurs compétences en matière de « Stratégie de recherche documentaire ». Sur chaque item interrogé, l’étudiant indique son degré de performance. Cela permet à l’enseignante d’adapter son enseignement et surtout de mesurer les progrès réalisés dans l’année, une autre façon de mesurer l’impact de la formation.

18Ainsi, l’évaluation fonctionne à double sens. Il s’agit à la fois d’évaluer les étudiants (et de les noter), dans le cadre des enseignements qui font partie de leur cursus universitaire, et en même temps d’évaluer l’impact de la formation par ses résultats.

19On peut espérer que les compétences informationnelles acquises vont être réinvesties, et par conséquent contribueront à démontrer l’impact des formations sur la réussite et l’insertion professionnelle des étudiants.

  • 17 Voir l’étude de Dominique Papin qui fait la synthèse de la littérature sur L’impact de la biblioth (...)

20Plusieurs études récentes font ce lien17, en se basant sur l’analyse de cohortes complètes sur plusieurs années. Mais on peut sans doute commencer par des mesures plus simples.

Évaluer un parcours documentaire

  • 18 Une enquête est envoyée après 24 mois.
  • 19 Le lien entre maîtrise des bases de données juridiques et l’obtention d’un stage nous a très souve (...)
  • 20 Par exemple : « Ce parcours m'aide beaucoup pour rédiger la bibliographie [et] me sert également p (...)

21Une première piste est l’introduction d’une question sur les formations documentaires, dans le questionnaire d’évaluation des enseignements. En effet, chaque année au Havre les étudiants doivent remplir un questionnaire pour évaluer d’une part leur formation, d’autre part chaque cours. De même, on pourra envisager d’introduire dans l’enquête d’insertion envoyée a posteriori18 aux étudiants une interrogation sur le rôle éventuel de ces formations dans leur diplomation et leur insertion professionnelle19. Une enseignante de documentation intervenant dans un parcours documentation de Licence a souhaité elle-même engager cette démarche d’évaluation du parcours dans le cadre de la prochaine campagne d’accréditation. Une question s’intéresse notamment à l’évaluation de cet impact : « Quels apports et/ou compétences acquises vous aident, aujourd'hui, à la réussite de vos études ou de votre métier ? ». Les commentaires des étudiants soulignent essentiellement l’apport aux travaux ultérieurs de recherche et notamment de mémoire20, mais également de capacité de synthèse, d’analyse, de sélection et de présentation.

22Le témoignage le plus complet met en valeur les apports généraux de cet enseignement :

« En définitive, il me semble que le parcours documentation a été un apport essentiel dans le cadre de la formation que j'ai suivie à l'université du Havre, car elle m'a appris à mieux penser, problématiser, classer, chercher, ce que n'offre pas un cursus général qui est trop spécialisé et qui oublie d'apprendre, peut-être, une méthode non spécialisée mais pourtant essentielle du point de vue du travail intellectuel. »

23En conclusion, les formations à la maîtrise des compétences informationnelles faisant aujourd’hui partie intégrante des missions des bibliothèques, il convient de les évaluer afin de montrer en quoi elles peuvent être un maillon de la mission de l’université dans la réussite des étudiants et leur insertion professionnelle. Si toutes les actions ont leur importance, l’un des leviers est l’insertion de ces enseignements dans les diplômes afin qu’ils soient considérés comme faisant pleinement partie du cursus nécessaire à la réussite de l’étudiant. Mais dans tous les cas, des simples mesures de comptabilisation à l’étude de cohortes sur plusieurs années en passant par les enquêtes de satisfaction, les moyens sont nombreux pour évaluer les formations à la maîtrise de l’information dans les universités et les bibliothèques ont tout intérêt à s’en saisir pour alimenter le débat sur l’impact des bibliothèques, clé de leur existence en tant qu’acteur de la pédagogie à l’université.

Notes

1 Pour exemple, dans un établissement comme la BU du Havre, sur 38 personnels de toutes catégories, 18 sont amenés à faire des formations, 8 de façon occasionnelle – moins de 5 heures par année universitaire – 10 de façon régulière.

2 Un des problèmes principaux de la formation en licence est l’effectif : pour former 300 étudiants il va falloir 20 groupes de 15 étudiants, à raison de 2 heures par groupe, cela représente 40 heures. En termes de logistique et de ressources humaines, c’est souvent difficilement absorbable par les bibliothèques.

3 Cette certification nationale valide des compétences en lien avec l’informatique et l’environnement numérique.

4 Exemples : « Travailler à plusieurs ou à distance : les outils de travail collaboratif de Google » ; « Soigner sa e-réputation » ; « Trouver des articles d’actualité » ; « Utiliser Orbis pour trouver un stage » ; « Organiser une veille sur un sujet avec Scoop it », etc.

5 Il n’y a pas d’évaluation qualitative de ces visites, ces remarques se fondent sur l’observation des étudiants en séance, et sur la discussion avec les enseignants et avec eux.

6 1 795 étudiants accueillis en visite en 2011-2012 et 1 062 en 2014-2015 mais le nombre d’étudiants formés est passé sur la même période de 1 260 à 1 954.

7 La BU d’Angers : < http://bu.univ-angers.fr/questionnaire-de-satisfaction > ; les BU de Lorraine : < http://enquete.univ-lorraine.fr/directions/index.php?sid=63228&lang=fr; les BU de Nantes : http://sphinx.univ-nantes.fr/bu/BU-EvalFormations16/BU-EvalFormations16.que?&query=input&style=3&format=html&lang=FR&linktype=url&linkurl=save.htm&model=modele.htm&utf8=1 >.

8 Ce conseil de l’université statue sur toutes les questions relatives à la formation, notamment l’élaboration des maquettes des diplômes.

9 Le domaine D4 du C2I porte sur « Organiser la recherche d’informations à l’ère du numérique », autour de l’acquisition de quatre compétences : recherche de l’information avec une démarche adaptée, évaluer les résultats d’une recherche, référencer une ressource numérique en ligne, organiser une veille informationnelle.

10 En 2014, une seule question optionnelle a été proposée sur la formation : « Les bibliothécaires apportent une aide à la recherche d’information, qui répond à un besoin immédiat et enrichit les compétences de l’usager pour ses recherches ultérieures ».

11 Voir le Livre blanc : Qu’est-ce qui fait la valeur des bibliothèques ?, Afnor/CN46-8, 2016. [En ligne] : < http://portailgroupe.afnor.fr/public_espacenormalisation/AFNORCN46-8/Livre%20Blanc%20fev2016.pdf >.

12 Le recrutement de ce Master est à plus de 50 % extérieur. Les étudiants peuvent donc n’avoir suivi aucune formation préalable à l’utilisation des ressources de la BU.

13 Une murder party est une animation consistant à résoudre une énigme policière sous forme de jeu de rôle.

14 Quelques commentaires : « Le côté ludique augmente l'investissement personnel pour l'apprentissage des divers outils », « On apprend en s'amusant », « C'est un moyen ludique de transmettre des informations », « Le fait que chaque indice soit lié à un aspect de la BU et qu'il soit expliqué était vraiment une bonne idée ! » et surtout un commentaire nous a particulièrement confortés sur l’utilité de ce genre d’action : « J'ai été surprise de devoir utiliser les services de la BU pour résoudre l'enquête et finalement très contente, cette soirée va vraiment m'aider dans mes recherches pour mon mémoire ! ».

15 Sur le blog professionnel BUApro, une série de billets sur « Méthodes Ux, active learning et formation des usagers » détaille un certain nombre d’actions mises en place sur l’évaluation des formations. [En ligne] : < http://bu.univ-angers.fr/node/1764 >.

16 Cet enseignement de 18 heures était assuré par une enseignante de documentation jusqu’en 2012.

17 Voir l’étude de Dominique Papin qui fait la synthèse de la littérature sur L’impact de la bibliothèque sur la réussite des étudiants (décembre 2015).

18 Une enquête est envoyée après 24 mois.

19 Le lien entre maîtrise des bases de données juridiques et l’obtention d’un stage nous a très souvent été rapporté par des étudiants en Droit.

20 Par exemple : « Ce parcours m'aide beaucoup pour rédiger la bibliographie [et] me sert également pour savoir où me diriger lors de mes recherches car je connais des sites " fiables". » ou « Les méthodes de recherche sur les catalogues de bibliothèque et la méthode de bibliographie m'aident dans la confection de mon mémoire. »

Auteur

Responsable du pôle Sciences sociales, chargée de mission Évaluation et Formation des usagers, Bibliothèque universitaire, université du Havre

© Presses de l’enssib, 2016

Licence OpenEdition Books

Lire

Accès ouvert
Mode lecture
Chargement ePub
Chargement PDF du livre
Chargement PDF du chapitre

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search