Version classiqueVersion mobile

Évaluer la bibliothèque par les mesures d’impacts

 | 
Cécile Touitou

Mémento

Cécile Touitou

Texte intégral

1Cette dernière partie permet un rappel des différentes phases à mettre en œuvre pour engager une démarche d’évaluation de l’impact de sa bibliothèque en reprenant les points forts évoqués par les différents contributeurs de l’ouvrage.

Définition des missions

2Avant de se lancer dans l’évaluation, il convient d’exprimer clairement ses missions, que l’on devra décliner en objectifs stratégiques, et éventuellement en objectifs opérationnels. Effectivement, il n’est plus possible de concevoir une offre de services sans avoir réfléchi au préalable à ses missions ; il n’est plus possible d’énoncer des missions sans avoir interrogé ses usagers sur leurs besoins et leurs attentes. Cette double interrogation devra se faire nécessairement en inscrivant la bibliothèque et son avenir dans le contexte d’un monde en mouvement où les solutions alternatives pour trouver de l’information et se nourrir de nouveaux contenus sont multiples. Quel est alors le rôle de la bibliothèque ? C’est toute la question « existentielle » qu’il convient de se poser au départ de toute démarche d’évaluation. Rien moins que ça !

3Cette expression ne pourra se faire qu’en fonction de la connaissance du territoire à desservir et des publics qui le composent. Qu’est-ce qu’on veut faire ? Pour qui ? Pour quoi ? Avant d’arriver à des réponses claires, il convient la plupart du temps de mener à bien les différentes étapes décrites ci-dessous.

Connaître son territoire et les publics à desservir

4Connaître les publics actuels et potentiels de son établissement permet de décliner une offre de services segmentée adaptée au territoire. Pour cela, en bibliothèque territoriale, on tirera profit de l’exploitation des données mises à disposition par l’Insee. Selon ses besoins, on pourra exploiter les données de la commune ou – plus en détail – les données infracommunales.

5Dans le monde des bibliothèques universitaires, il sera important de disposer des chiffres de la scolarité permettant de distinguer les effectifs par année d’étude et par discipline. Ces données à jour de l’année universitaire en cours permettront de mesurer précisément l’usage que font les différents publics des services qui leur sont proposés, et de mesurer le taux d’utilisation des collections imprimées et électroniques qui leur sont destinées.

6Pour les BU, en complément, on pourra étudier les rapports réalisés par l’Observatoire national de la vie étudiante (OVE)1 au niveau national, et, sur le plan local, se rapprocher des antennes régionales de l’Observatoire qui pourront fournir des données fort utiles sur la vie étudiante dans la région où est implantée l’université.

Choisir les « bons » indicateurs

7Ayant identifié son public et ses besoins, fixé ses objectifs stratégiques, la bibliothèque est en mesure de choisir les « bons » indicateurs de suivi. Ils seront « bons » s’ils sont adaptés à sa propre situation et lui permettent d’obtenir une bonne visibilité sur la performance de son activité et la satisfaction de ses usagers.

8On pourra choisir les indicateurs pertinents parmi ceux proposés par les normes relatives aux bibliothèques. Certains décriront l’activité de la bibliothèque : les intrants (les ressources mises à disposition de la bibliothèque pour son fonctionnement : collections, personnel, budget, sites web ou les ressources et collections numériques) et les extrants (les résultats de l’activité, par exemple l’usage des collections, la fréquentation des animations, l'accès du public aux ordinateurs de la bibliothèque, ou, du côté des ressources numériques, le nombre de pages vues, etc.). D’autres encore décriront des process (délais de catalogage des documents, ou de mise à disposition ; taux de disponibilité du site ; proportion des titres recherchés disponibles dans la collection, etc.). Ces indicateurs d’activité et/ou de performance pourront être utilement complétés, on le verra, par des indicateurs d’impacts.

Exploiter les chiffres disponibles (les données induites)

9Avant de se lancer dans des ratios complexes, il ne faut pas négliger la fréquentation comme première mesure d’impact. Elle fait partie de ce que la norme ISO 16439 appelle les « données induites » décrivant par là tous les chiffres qui sont générés automatiquement (induits) par les systèmes de gestion de bibliothèque ou les compteurs d’entrées dans les bâtiments. Exploiter systématiquement ces chiffres, qui ont le mérite d’être simples à collecter et fiables dans le temps (car toujours mesurés de façon identique), est un premier exercice incontournable qui, par ailleurs, sera un bon indice de la satisfaction des usagers : la fréquentation monte ? N’est-ce pas tout simplement parce que la bibliothèque a bonne réputation et attire de plus en plus de monde ? (Attention cependant aux flux générés par les bibliothèques saturées où les usagers errent à la recherche de places, souvent en BU, ce qui génère des valeurs élevées qui ne sont pas cependant synonymes de satisfaction élevée !).

S’inspirer des recommandations des normes en bibliothèque

10Les indicateurs de performance tels que décrits dans la norme ISO 11620:2008 (fr) permettent d’éclairer les processus de décision « au regard des missions, des objectifs généraux et des objectifs opérationnels de la bibliothèque considérée » dans la mesure où ils facilitent l’évaluation de « la qualité et l'efficacité des services et autres activités de la bibliothèque de même que l'efficience avec laquelle la bibliothèque tire parti de ses ressources ».

11Il convient donc que ces indicateurs répondent à un certain nombre de règles que rappelle la norme : un « indicateur doit servir à quelque chose, il doit répondre à un objectif et fournir une aide à la prise de décision » ; il doit répondre à un critère de fiabilité : « un indicateur doit toujours mesurer la même chose lorsqu’il est utilisé à plusieurs reprises, la mesure doit rester la même d’une fois à l’autre » ; de validité : « un indicateur doit mesurer ce qu’il est censé mesurer » et de comparabilité* : « dans le cas où l’indicateur est destiné à la comparaison entre plusieurs bibliothèques, il convient également de s’assurer que l’indicateur permet d’obtenir le même résultat pour des niveaux de services égaux ».

Se comparer dans le temps  : la notion de diachronie

12Cette notion de comparabilité est essentielle dans l’évaluation. On conserve des indicateurs identiques pour regarder comment ils évoluent dans le temps. L’activité est-elle comparable à celle que l’on a observée l’année précédente ? Quelle est la tendance sur plusieurs années ? Y a-t-il des évolutions cohérentes ? Incohérentes ? Que cela nous dit-il sur notre activité, notre gestion, notre impact ? Comment ces données évoluent-elles par rapport au nombre d’usagers à desservir ? L’observation critique de ces évolutions est indispensable à la bonne gestion et à la bonne allocation des ressources (humaines et financières) au sein des différents services de la bibliothèque.

Se comparer aux autres : de l’usage du benchmark

13Pour les bibliothèques municipales, on devra, en complément à l’analyse des données de population, vérifier les données disponibles sur le site de l’Observatoire de la lecture publique2 qui met à disposition du grand public et des professionnels un site gratuit de cartographie interactive3. Plus de 200 indicateurs cartographiés peuvent être téléchargés sous forme de tableurs en vue d’une exploitation statistique par l’utilisateur. Le logiciel permet également de générer automatiquement un rapport présentant sous forme de graphiques les chiffres-clés des bibliothèques, pour un territoire sélectionné.

14Il faut veiller à ne se comparer qu’à des établissements comparables ! Pour ce faire, l’Observatoire de la lecture publique publie également une synthèse annuelle sur les données d’activité des bibliothèques, qui permet de consulter des « profils moyens » présentant, pour une population donnée, la valeur moyenne des principaux indicateurs, calculée sur une tranche démographique fine (1 500 à 2 500 habitants ; 2 500 à 4 000 habitants, etc. jusqu’à de 150 000 à 250 000 habitants). En BU, on pourra tirer profit des données collectées par l’Association of Research Libraries (ARL)4 via son enquête Libqual+ qui fournit chaque année la mesure des attentes et de la satisfaction des usagers sur une trentaine des usagers relevant de la relation aux services, aux espaces et aux collections. Ces données permettent la comparaison avec des bibliothèques sur le territoire national ou international.

Collecter la satisfaction en connaissant le niveau des attentes 

15Une fois les chiffres « induits » collectés et analysés, on pourra souhaiter en savoir plus sur les attentes et la satisfaction des usagers. De nombreux moyens permettent d’évaluer la satisfaction. Le courrier, les boîtes à idées, les conversations à la banque de prêt sont autant de moyens de capter la perception qu’ont les usagers des services. S’il est possible, on mettra en œuvre un outil de mesure périodique de la satisfaction via un questionnaire permettant de vérifier la perception des usagers et son évolution. Les BU disposent pour le faire de l’outil Libqual+. En BM, il n’existe pas encore d’outil normalisé permettant d’interroger les usagers. À défaut, on pourra consulter utilement la version anglaise de la norme ISO 16439 (Méthodes et procédures pour évaluer l'impact des bibliothèques) dont un livre blanc est paru en français5. La norme fournit de nombreuses recommandations permettant la mesure de la satisfaction. Il convient de préciser clairement si on interroge la visite la plus récente (ce qu’il faut privilégier) ou bien si on se rapporte à une appréciation générale de la bibliothèque et de ses services, (ce qui risque de générer des réponses moins pertinentes, met en garde la norme). Un haut niveau de satisfaction des services évalués peut permettre d’identifier ceux qui ont eu un impact positif sur les compétences, les qualifications ou les pratiques de l'usager.

Mesurer l’impact auprès de l’ensemble de la population

16Interroger la satisfaction constitue la première étape de la mesure d’impact. On pourra ambitionner de se lancer dans une approche plus globale visant à interroger les usagers et les non-usagers sur l'ensemble des impacts de la bibliothèque. On cherchera à savoir en quoi la bibliothèque a « changé » la vie des usagers, mais aussi des non-usagers, du quartier, ou de la « communauté », comme disent les Anglo-Saxons, voire de la société. L’idée qui sous-tend ces évaluations est que « les bibliothèques changent la vie » pour reprendre le beau slogan de la campagne 2016 de l’American Library Association6.

17En général, une étude d'impact portera sur les usagers actuels de la bibliothèque afin de capter leur opinion et leur expérience, mais si le point principal de l’enquête est d’interroger la valeur même de la bibliothèque, les non-utilisateurs devront également être interrogés dans la mesure où les personnes qui ne fréquentent pas les bibliothèques peuvent avoir une idée claire de ce qui fait (ou non) leur valeur pour les citoyens et la société en général. Interroger un échantillon de tous les utilisateurs potentiels aidera également à identifier les raisons de la non-utilisation.

18Différentes techniques de questionnement des utilisateurs et non-utilisateurs sont présentées dans la norme ISO 16439 qui permet de collecter ce qu’elle désigne par « données sollicitées ». On pourra interroger le panel au sujet de son expérience de la bibliothèque et sur son estimation des bénéfices que présente la bibliothèque. Les méthodes concernées regroupent le questionnaire d’enquête, l’interrogation orale (interviews, groupes de discussion), l’enregistrement des utilisateurs, etc.

19Dans le cadre de formations en BU ou en BM, on pourra soumettre aux participants des questionnaires d’auto-évaluation des compétences avant/après permettant de mesurer les bénéfices et les compétences acquises.

20Enfin, des méthodes de mesure d’impact économique peuvent également être utilisées qui permettent de calculer le retour sur investissement.

Croiser les données induites, sollicitées, observées

21Finalement, la bibliothèque a à sa disposition toute une gamme d’outils et de méthodes pour mesurer son activité, sa performance, la satisfaction des usagers et son impact social et économique. Il est recommandé de croiser les approches : on verra par exemple si les déclarations collectées par questionnaire sur un élargissement des horaires sont corroborées par un usage avéré et mesuré des lieux en soirée… On analysera si un faible niveau d’attente exprimé sur l’offre de formation en BU est accompagné par un haut niveau en matière de compétence informationnelle… En plus de multiplier les angles d’analyses quantitatives (données induites), qualitatives (données déclaratives, sollicitées ou observées), il faudra renouveler périodiquement les enquêtes afin d’observer leur évolution.

Revenir à « la grande image » : mesurer l’impact en fonction des outcomes, construire un plaidoyer

22En conclusion, il est important de ne pas perdre de vue la « grande image » et ne pas se noyer dans les détails. On le sait par expérience, une fois qu’on a commencé à mesurer, on a tendance à vouloir tout compter sans que cela ne soit toujours ni utile, ni pertinent. Avant d’évaluer, il faut bien être certain de ce que l’on cherche à observer et ne pas perdre de vue ce que l’on fera des résultats… Interroger sur des actions que l’on n’aura pas les moyens d’amender est peine perdue.

23On l’a dit en en préambule, il convient d’évaluer avec un soin particulier les résultats en rapport avec les missions de l’établissement. C’est ce qui est souvent désigné par la notion d’« outcome » qui décrit une catégorie particulière d’impacts générés par les bibliothèques. Ils sont étroitement liés à ses programmes et missions propres plutôt qu’à l’offre générale des services comme le prêt de livres et la mise à disposition d’une salle pour la consultation de la presse.

24Il est important de bâtir avec les usagers une offre de services (et donc son évaluation) selon la valeur et l’intérêt qu’ils lui trouvent : une offre utile et nécessaire, toujours remise en question ; et non pas une offre héritée d’un usage ancien, devenu par le fait même obsolète.

25Savoir à quoi on sert, ce qui constitue notre « valeur », comment l’améliorer en relation avec les attentes exprimées par les usagers et les habitants du quartier que l’on dessert (ou la communauté universitaire), distribuer les forces et les ressources là où on est attendu, rétroagir, s’adapter, être « agile » et à l’écoute dans une dynamique d’amélioration continue en fonction des retours des utilisateurs… voilà en quelques mots comment on pourrait décrire une démarche d’évaluation vertueuse.

26Menée à bien, cette évaluation qui s’inspire de ce que les usagers veulent et attendent, donne aux bibliothécaires tous les éléments nécessaires pour construire un plaidoyer, négocier des financements, voire l’existence de la bibliothèque et le développement de son action !

© Presses de l’enssib, 2016

Licence OpenEdition Books

Lire

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search