Version classiqueVersion mobile

Évaluer la bibliothèque par les mesures d’impacts

 | 
Cécile Touitou

Partie I. Contexte

Mesures en bibliothèque : panorama et évolution

Nadine Delcarmine

Texte intégral

  • 1 Cité dans Marc Romainville, Rémi Goasdoué et Marc Vantourout (dir.), Évaluation et enseignement su (...)

« Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément. »1 Albert Einstein

La mesure en bibliothèque : un usage inscrit dans leur histoire

  • 2 Valérie Alonzo, Pierre-Yves Renard (dir.), Évaluer la bibliothèque, Paris, Éditions du Cercle de l (...)

1En 2011, Pierre Carbone a décrit les évolutions de la mesure des bibliothèques et de leur évaluation dans sa contribution à l’ouvrage Évaluer la bibliothèque2 intitulée « Évaluation et statistiques dans l’administration des bibliothèques françaises ».

  • 3 Voir dans le Mémento, partie Se comparer aux autres : de l’usage du benchmark, p. XX.

2De l’obligation faite aux bibliothèques dès le xixe siècle de produire un rapport annuel, en passant par la création de l’enquête statistique par la Direction des bibliothèques et de la lecture publique au lendemain de la seconde guerre mondiale, jusqu’à la collecte et la publication actuelles des données des bibliothèques publiques par l’Observatoire de la lecture publique3 placé sous l’autorité du Service du livre et de la lecture (SLL) et, depuis 2014, à la version révisée de l’Enquête statistique générale auprès des services documentaires de l'enseignement supérieur (ESGBU), les données statistiques des bibliothèques s’inscrivent dans une histoire longue qui traduit le souci de l’État français de connaître et impulser l’activité des bibliothèques et de suivre l’utilisation des deniers publics qui leur sont affectés.

Des enjeux et des pratiques profondément renouvelés

3La mesure de l’activité des bibliothèques a été affectée par deux puissants mouvements de fond ces dernières années :

  • dès le milieu de la décennie 1990, les bibliothèques, rompant avec leur orientation traditionnelle axée sur la constitution de collections imprimées et leur conservation, ont entamé un lent processus de recentrage de leur activité sur les services au public. Portés par les missions dévolues aux bibliothèques (lieux de construction et de diffusion des savoirs et de la culture, outils pour l’égalité des chances et le partage de la connaissance), les bibliothécaires se sont préoccupés d’organiser la rencontre des ressources documentaires détenues ou mises en accès par la bibliothèque avec ses usagers et de répondre à leurs attentes ;
  • au tournant du IIImillénaire, les collections numériques sont apparues et se développent depuis à un rythme exponentiel dans les sciences exactes bien sûr mais pas uniquement. Avec Internet, la révolution du support et de l'accès à l'information engendre une révolution des usages de la documentation sous toutes ses formes, les conditions de l’accès au savoir et à la culture sont bouleversées. Le développement du livre numérique est un enjeu majeur des prochaines années pour le grand public comme pour la formation tandis que pour les chercheurs l’urgence réside dans la fouille de données et de textes à partir de ressources en libre accès ou payantes.

4C’est ainsi que de données brutes exploitées essentiellement à l’échelle nationale, on est passé à des indicateurs sophistiqués utiles en local, à l’échelon national et/ou international.

5En lien avec ces transformations, les bibliothécaires ont renouvelé et développé les services offerts aux publics de tous types, ils ont déployé nombre de compétences nouvelles pour accompagner ces transformations et pratiquent une veille active.

Par les évolutions de la documentation et des pratiques documentaires

  • 4 Counter et ezPAARSE sont présentés dans la contribution de Thomas Jouneau et Thomas Porquet : « Év (...)

6Il s’agit maintenant de redonner de la visibilité à leur action, mais le recueil de données quantitatives fiables (mais aussi qualitatives) sur les services se fait dorénavant dans une complexité croissante. Avec le numérique, les bibliothèques sont passées d’une logique de stock à une logique de flux. Mesurer les usages de collections numériques dont les bibliothèques ne sont pas propriétaires mais qu’elles paient à prix d’or reste aujourd’hui encore délicat, en dépit des avancées obtenues depuis l’apparition de la norme de comptage Counter* et d’outils de suivi des usages tel ezPAARSE4. Il est, par exemple, plus difficile d’appréhender des flux documentaires que des emprunts de collections physiques ; la multiplicité et la variété des usages sur supports numériques décuplent les démarches de comptage. Au final, pour percevoir la globalité de l’action des bibliothèques, il n’est pas encore si naturel d’additionner des entrées physiques dans les bibliothèques et des connexions à des serveurs, ni des prêts de documents physiques et des visualisations/déchargements de documents ou parties de documents.

Par les évolutions des environnements institutionnels

7Depuis les années 1980 et plus encore le début des années 2000, cette évaluation des bibliothèques a évolué dans des environnements institutionnels profondément renouvelés avec un État de moins en moins directement gestionnaire des bibliothèques suite aux lois de décentralisation qui ont d’abord affecté les relations entre l’État et les collectivités territoriales avant de modifier les liens entre l’État et les universités au travers de la loi relative aux libertés et responsabilité des universités (LRU) et de l’application des responsabilités et compétences élargies (RCE) de ces mêmes universités.

  • 5 Pierre Carbone, « Évaluation et statistiques dans l’administration des bibliothèques françaises », (...)

8Pierre Carbone souligne que l’État est dès lors « conduit à piloter une démarche contractuelle avec les collectivités territoriales et les établissements publics. Le contrat constitue l’accord sur les objectifs partagés par l’État et la collectivité, le point de rencontre entre la démarche locale de projet et les orientations nationales. […] La collectivité ou l’établissement définit ses priorités et ses objectifs en fonction d’une démarche stratégique globale, ce qui amène la bibliothèque à mettre l’accent sur le soutien et l’accompagnement de ces axes stratégiques. […] De ce fait, la définition des objectifs et des indicateurs n’est pas réservée au spécialiste du secteur, mais résulte idéalement d’un dialogue entre les décideurs, les usagers et les gestionnaires. Autrement dit, l’évaluation des bibliothèques n’est plus la seule affaire des bibliothécaires ou de leurs gestionnaires directs à l’administration centrale, mais devient l’affaire de tous. » 5

  • 6 Pierre Carbone, « Évaluation et statistiques dans l’administration des bibliothèques françaises », (...)

9La LOLF, depuis 2001, fixe un nouveau cadre à la dépense publique en caractérisant l’État au travers de trente-trois missions, Ratios, pourcentages, taux, délais, indicateurs qualitatifs tels les taux de satisfaction, tableaux de bord ont fait leur apparition comme outils, instruments de l’évaluation. Pour Pierre Carbone, « les résultats des bibliothèques sont certes évalués en eux-mêmes, mais aussi de plus en plus en relation avec des politiques globales à l’échelle de la collectivité ou de l’établissement, ou plus généralement de la société. »6 Les décideurs s’intéressent à la performance, les usagers à la façon dont leurs besoins et attentes sont couverts ainsi qu’à la qualité des services rendus. Quant aux interactions entre la bibliothèque et son environnement, elles sont mesurées au travers de l’impact des bibliothèques (culturel, social, réussite des étudiants, progrès de la recherche). Enfin, les contraintes économiques conduisent à mettre les coûts de la bibliothèque en rapport avec sa valeur ajoutée.

  • 7 Florence Jany-Catrice, La performance totale : nouvel esprit du capitalisme ?, Villeneuve d'Ascq, (...)

10Un débat est ouvert par ces évolutions ; il consiste notamment à déterminer si la quantification de l’action publique n’est pas désormais opérée à l’aune du résultat et de la performance attendue plutôt que comme production de savoir pour éclairer la décision. Ainsi, Florence Jany-Catrice écrit-elle : « au lieu d’opérer comme des points de repère parmi d’autres, importants et utiles à des formes de connaissance, les indicateurs de performance apparaissent rapidement comme une convention validée, comme si, dès lors qu’on énonce un chiffre pour quantifier une réalité sociale, celle-ci renvoyait spontanément à un savoir accepté et explicitement exprimé. Autrement dit l’espace de controverse qui pourrait animer l’annonce de données chiffrées n’apparaît pas ou plus comme une évidence. »7

11Albert Ogien relève que :

« des formes traditionnelles de dénombrement permettant de fournir une connaissance de l’état de la société et de ses ressortissants pour gouverner de façon appropriée (une statistique descriptive et explicative que l’Insee ou d’autres organismes continuent de produire), on est passé à une statistique prescriptive dans laquelle le chiffre cesse d’être un instrument de savoir, de débats et de préparation à la décision pour devenir la source même des règles qui déterminent, de façon plus ou moins automatisée, l’orientation et le contenu des politiques publiques.

La caractéristique première du système du chiffre gestionnaire est que la quantification qu’il opère vise à soumettre l’action publique au principe d’efficacité […].

[…] l’idée s’impose qu’un gouvernement est efficace lorsqu’il parvient à rendre la moindre dépense qu’il engage exactement ajustée au résultat qu’elle produit au meilleur coût ;

  • 8 Albert Ogien, Désacraliser le chiffre dans l'évaluation du secteur public : conférences-débats org (...)

[…] l’efficacité est intégralement définie à partir de la notion économique d’optimalité (ou d’efficience). Or si le souci d’employer les deniers publics de façon économe et utile est difficilement contestable, la question se pose tout de même de savoir si l’optimalité est un principe qu’on peut appliquer au politique. »8

La normalisation pour les bibliothèques : 1974-2016

Une commission de l'Association française de normalisation (Afnor), miroir du comité technique ISO (Organisation internationale de normalisation)

12C’est la Commission nationale 46-8 de l’Afnor (Qualité - statistiques et évaluation des résultats) qui a pour mission d’élaborer et suivre les normes relatives à l’évaluation des résultats des bibliothèques (pris dans un sens générique), musées et archives. Son activité, soutenue par le ministère de la Culture et de la Communication ainsi que par le ministère de l’Éducation nationale, de l’Enseignement supérieur et de la Recherche, s’insère dans le programme de travail du Comité technique international de l’ISO TC46/SC8.

13Ses experts, issus d’horizons et d’établissements divers (collectivités territoriales, universités et organismes de recherche, administrations centrales), participent aussi bien à la création qu’à la mise à jour des normes.

14Afin de valoriser les outils produits par l’ISO en langue anglaise, ils consacrent une part non négligeable de leur énergie à la traduction en français des normes et/ou à l’élaboration de livres blancs destinés à alimenter la réflexion sur des sujets nouveaux.

La normalisation, une démarche facilitatrice pour mesurer, évaluer, comparer

15L’Afnor et l’ISO produisent des normes volontaires destinées à servir de base dans les relations entre les partenaires économiques, scientifiques, techniques et sociaux et qui constituent des cadres de référence au travers de l’expression de lignes directrices, de prescriptions techniques ou qualitatives pour des produits, des services ou des pratiques orientés vers l’intérêt général. Elles sont le fruit d’un consensus international qui laisse néanmoins de la place aux spécificités nationales ; elles s’appuient sur des retours d’expériences validés.

16Les normes des bibliothèques ont vocation à être appliquées aux bibliothèques et centres de documentation de tous types dans le monde ; et être utilisées pour mener des évaluations à différents niveaux (du local à l’international).

17Elles portent des corpus de définitions, des méthodologies de comptage voire d’interprétation adaptées. De fait, leur application permet de partager un vocabulaire, des pratiques et, à condition d’expliciter les contextes de leur intervention, de réaliser des comparaisons entre bibliothèques. Elles mettent en relief les données qui font sens. Elles attirent également l’attention sur des secteurs d’activité naissants et difficiles à cerner. Elles sont accompagnées d’une bibliographie souvent abondante.

18Les normes font l’objet d’un examen régulier pour évaluer leur pertinence dans le temps.

Panorama des normes pour les bibliothèques

Tableau 1. Indicateur et statistiques : trois rapports techniques

Norme Nom Date d’édition
ISO/TR 11219:2012 Conditions qualitatives et statistiques fondamentales pour bâtiments de bibliothèques - Espaces, fonctions et conception mai 2012
ISO/TR 28118:2009 Indicateurs de performance des bibliothèques nationales avril 2012
ISO/TR 14873:2013 Statistiques et indicateurs de qualité pour l'archivage du Web décembre 2013

Tableau 2. Trois normes phares complémentaires

Norme Nom Dernière édition Édition française
NF/ISO 2789 Statistiques internationales de bibliothèques 5e éd. : août 2013 mai 2014
NF/ISO 11620 Indicateurs de performance des bibliothèques 3e éd. : mai 2014 avril 2015
ISO 16439 Methods and procedures for assessing the impact of libraries 1re éd. : avril 2014 Livre blanc : Qu’est-ce qui fait la valeur des bibliothèques ?*

19*Afnor, février 2016. [En ligne] : < http://portailgroupe.afnor.fr/​public_espacenormalisation/​AFNORCN46-8/​index.html >.

20Par ailleurs, un nouveau groupe de travail ISO est constitué en 2016 afin d’élaborer une nouvelle norme sur la mesure de la qualité appliquée aux bibliothèques nationales.

Les apports des normes 2789 et 11620

21La norme ISO 2789 Statistiques internationales des bibliothèques est née en 1974 sous l’impulsion de l’Unesco. Elle constitue le socle pour le recueil des données des bibliothèques et la présentation des statistiques ; dès 1976, l’ESGBU s’est appuyé sur cette norme qui sert aussi de référence aux enquêtes nationales des bibliothèques publiques.

22La dernière version fait la part belle aux services développés par les bibliothèques et au numérique. Ses nombreuses définitions ont donc été abondamment renouvelées pour tenir compte des nouvelles réalités des pratiques des usagers et des bibliothèques hybrides ; sa structure a été profondément remaniée et simplifiée puisque services et usages sont traités avant les collections.

23Ses définitions sont les plus précises possible mais laissent parfois transparaître la difficulté de l’exercice ; ainsi, si la norme définit précisément ce qu’est une entrée, ce qu’est un accès en réservant la notion au numérique, s’agissant des usagers, les catégories sont nombreuses et la définition d’un usager actif (article 2.2.3) recommande de compter séparément les usagers actifs non-inscrits identifiés au cours d’enquêtes par exemple.

24La norme ISO 11620 a pour objectif de promouvoir l’emploi d’indicateurs de performance caractérisant la qualité des services de bibliothèques, et de préciser comment procéder à la mesure et comment l’analyser. Les indicateurs proposés visent à aider les bibliothèques à produire des données pour le pilotage et l’attribution des moyens, mettant en exergue les notions d’efficacité et d’efficience.

25La nouvelle version développe un panel d’indicateurs fortement augmenté (une vingtaine d’indicateurs supplémentaires par rapport à la version précédente), toutefois la dimension du numérique reste encore limitée compte tenu des difficultés persistantes de comptage ; les indicateurs de coût sont actualisés.

26L’annexe A dresse la liste des indicateurs de performance traités dans la norme en présentant pour chacun l’objectif assigné à sa construction et à son analyse, selon quatre axes :

  • ressources, accès et infrastructure pour en mesurer l’adéquation et la disponibilité (personnel, collections, places de consultation, etc.) ;
  • utilisation des ressources, des services (prêts, téléchargements, utilisation des équipements, etc.) ;
  • efficience des ressources, des services (coût par prêt, délai de traitement des documents, d’acquisition, etc.) ;
  • potentialités et développement pour mesurer l’investissement de la bibliothèque dans les services et ressources émergentes (pourcentage de personnel affecté à la fourniture de documents électroniques, etc.).

27L’annexe B précise les objectifs des indicateurs, leur domaine d’application, définition, méthode, interprétation et facteurs ayant une incidence sur l’indicateur, sources, indicateurs associés.

La norme 16439 et le livre blanc

28La norme 16439 Méthodes et procédures pour évaluer l’impact des bibliothèques a l’ambition d’aider les bibliothèques à prouver leur valeur, tant pour les individus que pour la société, à la collectivité et aux institutions qui les financent, dans un contexte marqué par la rétraction des budgets publics où cette valeur n’est plus considérée comme allant de soi.

29Elle a l’ambition de doter les professionnels mais aussi les décideurs et financeurs, d’un éventail d’outils et de méthodes adaptés pour mesurer l’impact des bibliothèques sur leur environnement et contribuer ainsi à l’émergence d’éléments de réflexion pour éclairer les choix politiques. Un des atouts de cette norme est de préciser le vocabulaire de façon à faire émerger un langage commun sur le sujet.

30Bien-être collectif, qualité de vie, impacts économiques font partie des notions prises en compte dans la norme ISO 16439, ainsi que la dimension « évaluation des politiques publiques » (lecture publique, information scientifique et technique, etc.). Son objectif est de construire des indicateurs qui parlent aux élus et aux autorités qui allouent les ressources nécessaires à la création et au fonctionnement des bibliothèques.

  • 9 < http://www.enssib.fr/JE-valeur-des-bibliotheques >.

31Pour valoriser cette norme et favoriser l’éclosion en France d’expérimentations, la CN46-8 de l’Afnor a fait paraître un livre blanc présenté le 24 mars 2016 dans une journée d’étude intitulée « Qu’est-ce qui fait la valeur des bibliothèques ? Une nouvelle norme pour mesurer leur impact. »9

32Avant d’aborder les méthodologies pour mesurer la satisfaction des utilisateurs, l’impact sociétal des bibliothèques et enfin leur impact économique, les auteurs du livre blanc proposent une synthèse de la définition de l’impact et présentent les outils de mesure à disposition. Mesurer l’impact conduit à adopter une approche systémique de l’influence de la bibliothèque dans un ensemble de relations ; cela permet d’évaluer les conséquences de l’action de la bibliothèque sur la société, les individus, les groupes, le quartier, les usagers et les non-usagers.

  • 10 Afnor CN46-8, Qualité-Statistiques et évaluation des résultats, Qu’est-ce qui fait la valeur des b (...)

33L’impact est apprécié au travers de plusieurs types de données : « les données induites (inferred) des statistiques habituellement collectées par la bibliothèque dans le cadre de ses activités et suivies par la bibliothèque ; les données sollicitées (solicited) : il s'agit d'informations ou de données que l'on va collecter auprès des usagers au moyen de questionnaires ou d'entretiens ; les données observées (observed) qui sont le fruit d’observations dans le cadre de méthodologies inspirées de l'ethnologie. »10

34Le livre blanc intègre également trois synthèses d’études étrangères récentes et une bibliographie augmentée.

Notes

1 Cité dans Marc Romainville, Rémi Goasdoué et Marc Vantourout (dir.), Évaluation et enseignement supérieur : [issu du 23e colloque international sur le thème évaluation et enseignement supérieur, qui s'est tenu à l'université Paris Descartes en janvier 2011, organisé par l’Association pour le développement des méthodologies d'évaluation en éducation], Bruxelles, De Boeck, 2013 (coll. Pédagogies en développement).

2 Valérie Alonzo, Pierre-Yves Renard (dir.), Évaluer la bibliothèque, Paris, Éditions du Cercle de la Librairie, 2012 (coll. Bibliothèques), pp. 29-43.

3 Voir dans le Mémento, partie Se comparer aux autres : de l’usage du benchmark, p. XX.

4 Counter et ezPAARSE sont présentés dans la contribution de Thomas Jouneau et Thomas Porquet : « Évaluer l’usage des versions numériques : quels enjeux, quelles solutions ? », p. 140.

5 Pierre Carbone, « Évaluation et statistiques dans l’administration des bibliothèques françaises », in Valérie Alonzo, Pierre-Yves Renard (dir.), Évaluer la bibliothèque, Paris, Éditions du Cercle de la Librairie, 2012 (coll. Bibliothèques), pp. 29-43, ici p. 34.

6 Pierre Carbone, « Évaluation et statistiques dans l’administration des bibliothèques françaises », op. cit., p. 43.

7 Florence Jany-Catrice, La performance totale : nouvel esprit du capitalisme ?, Villeneuve d'Ascq, Presses universitaires du Septentrion, 2012 (coll. Capitalismes-éthique-institutions ; 3), p. 25.

8 Albert Ogien, Désacraliser le chiffre dans l'évaluation du secteur public : conférences-débats organisées par le groupe Sciences en questions à l'Inra en 2012 le 24 janvier à Rennes et le 14 février à Paris, Versailles, Éd. Quae, 2013, pp. 49-50.

9 < http://www.enssib.fr/JE-valeur-des-bibliotheques >.

10 Afnor CN46-8, Qualité-Statistiques et évaluation des résultats, Qu’est-ce qui fait la valeur des bibliothèques ?, février 2016.

[En ligne] : < http://portailgroupe.afnor.fr/public_espacenormalisation/AFNORCN46-8/Livre%20Blanc%20fev2016.pdf >.

© Presses de l’enssib, 2016

Licence OpenEdition Books

Lire

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search