Version classiqueVersion mobile

Évaluer la bibliothèque par les mesures d’impacts

 | 
Cécile Touitou

Partie II - Méthodes et outils

Mesurer la valeur sociétale de la bibliothèque publique : définitions, critères et méthodes1

Frank Huysmans et Marjolein Oomes

Texte intégral

Des intrants et extrants aux outcomes

  • 1 Le titre original de cette contribution est : “Measuring the societal value of the public library: (...)

1L’évaluation des outcomes (résultats/effets) des bibliothèques est en vogue. Cela n’a pas toujours été le cas. Si l’on regarde l’évolution des normes ISO utilisées en bibliométrie, qui ont été en grande partie définies par la communauté professionnelle, on s’aperçoit qu’on est progressivement passé des « intrants » (inputs) et « extrants » (outputs) aux « outcomes ». La première norme, ISO 2789 (première version en 1974) recommandait de rassembler des statistiques sur les indicateurs d’intrants et d’extrants à des fins de comparaison internationale et de classement. Les intrants désignaient les budgets, le personnel, la surface occupée, les collections, les achats ; les extrants faisaient référence au nombre d’usagers inscrits et de visiteurs, aux prêts, aux prêts entre bibliothèques (PEB) et aux différentes manifestations organisées.

2La norme ISO 11620 (première version en 1998) a introduit des indicateurs relatifs aux performances des bibliothèques : des éléments tels que la part du public visé ayant été atteint, le coût des prêts, les délais de satisfaction des demandes de prêts entre bibliothèques, la proportion des titres recherchés disponibles dans la collection, etc. Alors que les indicateurs d’intrants et d’extrants évalués par les premières normes sont de simples calculs (des chiffres absolus), ces indicateurs de performance sont des chiffres relatifs dans la mesure où ils rapportent ces différentes mesures entre elles (pour créer des ratios). Sur la base de ces données facilement quantifiables, ils donnent une idée de la qualité des services que la bibliothèque offre à ses usagers.

De nouveaux besoins pour les bibliothèques

  • 2 Ces « Cafés Language » constituent une offre fréquente dans les bibliothèques du Nord de l’Europe  (...)

3Dans l’évaluation des performances des bibliothèques, deux tendances sont apparues comme sources de malaise pour les professionnels. Premièrement, les indicateurs utilisés étaient pour l’essentiel adaptés aux performances des bibliothèques nationales, bibliothèques de recherche et bibliothèques universitaires. Ils étaient d’un intérêt limité pour évaluer les bibliothèques de lecture publique ou les bibliothèques scolaires, dont les performances obéissaient à des critères spécifiques qui n’étaient pas pris en compte. Les bibliothèques publiques en particulier offrent une palette de services qu’on trouve rarement dans d’autres types d’institutions, tels que des « cafés langue »2, des ateliers de lecture à voix haute pour les enfants, des formations aux compétences numériques, des clubs de lecture, etc.

  • 3 Pierre-Yves Renard, “ISO 2789 and ISO 11620: Short presentation of standards as reference document (...)

4Deuxièmement, les indicateurs permettaient d’établir des classements utiles d’un point de vue management. S’appuyant sur les intrants et les extrants, ils rendaient cependant mal compte de l’impact des services sur les usagers – sur leurs compétences professionnelles, leurs résultats scolaires ou universitaires, le développement de leur créativité, l’enrichissement de leur culture3.

5Parallèlement, les directrices et les directeurs de bibliothèques commençaient à subir une pression extérieure grandissante (émanant surtout de la part des responsables des budgets dans les conseils d’administration universitaires et les municipalités) les incitant à faire la preuve de l’intérêt des bibliothèques pour les usagers et les collectivités.

Prendre en compte l’impact des bibliothèques

6Depuis quelques années, une troisième norme est entrée en vigueur, ISO 16439 (première version en 2014), qui met au premier plan la question de l’impact des bibliothèques dans leur évaluation. Il ne s’agit plus seulement d’évaluer intrants et extrants mais aussi d’intégrer les outcomes au tableau d’ensemble. Le tableau suivant tente de clarifier la distinction entre extrants et outcomes lorsque ces termes sont appliqués aux bibliothèques publiques.

Tableau. Comparaison des extrants et outcomes des bibliothèques publiques

Raconter la bibliothèque Extrant Outcome
Exprimé en missions (ce que nous affichons, ce que nous cherchons à faire) Produits/services/activités Distinction entre « les gens qu’on sert » et « les gens qu’on atteint » Changement/effet perceptible (sur les comportements, les compétences, les attitudes, les situations de vie, le statut)
(Choses que nous disons) (Choses que nous faisons et que nous [devrions] mesurer) (Choses que nous voulons savoir)
Stimuler la lecture et améliorer le niveau de compétences linguistiques Collection (quantité/qualité) ; accueil de formations, de groupes de discussion littéraires ; prêt de livres et de matériel pédagogique aux écoles Distinction entre ressources utilisées et usages de ces ressources par les participants Les gens ont-ils vraiment lu les livres qu’ils ont empruntés ? Ont-ils été inspirés/surpris ? Leurs compétences de lecture ont-elles progressé ? Leur horizon a-t-il été élargi ? Liront-ils plus souvent ?
Encourager l’engagement local et la participation citoyenne Organisation de réunions, conférences, débats. Diffusion d’informations administratives Distinction entre participants, visiteurs, brochures distribuées, statistiques internet Les gens ont-ils appris de nouvelles choses ? Ont-ils rencontré de nouvelles personnes ? Les informations obtenues les ont-elles fait changer d’avis ? Ont-ils été incités à s’engager davantage dans la vie citoyenne ?

IFLA Journal

7L’étude de la littérature récente sur le sujet permet de faire ressortir six types d’outcomes propres aux bibliothèques publiques.

Encadré. Six types d’outcomes pour les bibliothèques publiques

• L’acquisition de nouvelles connaissances et/ou des progrès de compréhension ;
• le développement de certaines compétences (par exemple, savoir candidater à un emploi ou acquérir des savoir-faire numériques) ;
• un changement dans les attitudes, les normes et les valeurs sociales (par exemple à l’égard des personnes issues d’autres cultures, comme les demandeurs d’asile) ;
• un effet sur les activités et les comportements ;
• un changement de statut social et de conditions d’existence (lié à un nouvel emploi ou une meilleure situation financière) ;
• des effets émotionnels ou intellectuels, la découverte de nouvelles expériences (le plaisir, l’inspiration, la créativité, la confiance en soi).

8Bien sûr, l’évaluation ou la quantification de tels outcomes va bien au-delà des données que l’on peut facilement mesurer entre les murs d’une bibliothèque. Mais avant d’en venir aux questions méthodologiques, évoquons les enjeux conceptuels.

Impact, valeur, outcome : effort de clarification terminologique

9Lorsque l’on parle de ce que les bibliothèques produisent, une quantité pléthorique de termes est employée. La littérature spécialisée parle des « effets », de « l’impact » (décliné parfois en impact individuel/impact social), des « bénéfices » (ou des bénéfices perçus), des « performances », de la « valeur », des « outcomes », du « retour sur investissement » (RSI ou ROI en anglais) et du « retour social sur investissement » (RSSI our SROI en anglais) de la bibliothèque. La norme ISO 16439 vise à éclaircir ces débats en définissant chacun de ces termes. Notre propre analyse de ces définitions fait apparaître six dimensions sous-jacentes à ce que propose la norme. Ce qu’on désigne comme « effet » des produits/services offerts par bibliothèque peut être :

  • positif ou négatif ;
  • délibéré ou accidentel ;
  • immédiat ou à long terme ;
  • préalablement défini ou non ;
  • tangible ou intangible ;
  • réel ou potentiel.
  • 4 ISO 16439: Methods and procedures for assessing the impact of libraries, 2014, p. 4.

10La notion la plus générale est celle d’impact, terme défini par ISO 164394 comme « un changement individuel ou collectif provoqué par les relations avec les services offerts par la bibliothèque. » On peut ajouter ici que les autres critères évoqués ci-dessus sont indifférents pour mesurer l’impact, qui peut être aussi bien positif que négatif, délibéré qu’accidentel, etc.

11Toujours d’après les définitions ISO, la valeur des services d’une bibliothèque peut être conçue comme un changement positif, indépendamment des autres critères.

12La notion de bénéfice est un terme encore plus spécifique. Elle renvoie à un effet à la fois positif, délibéré et réel. Peu importe en revanche qu’il se manifeste dans l’immédiat ou à long terme, qu’il soit préalablement défini ou non, tangible ou intangible.

  • 5 Ibid., p. 7.

13En revanche, un outcome renvoie à « l’effet immédiat et préalablement défini de l’extrant lié aux objectifs fixés par la programmation de la bibliothèque », qui comprend également les outcomes « de l’institution ou de la communauté dont fait partie la bibliothèque »5. La dernière partie de cette définition signifie que les effets doivent être positifs, délibérés et réels, en plus d’être immédiats et préalablement définis. En d’autres termes, les outcomes doivent être conçus comme une catégorie particulière des effets produits par les bibliothèques. Ils sont étroitement liés à des programmes spécifiques lancés par les bibliothèques (par exemple, un projet visant à améliorer la littératie ou l’acquisition d’une seconde langue) – voire à ses missions ‒ plutôt qu’à l’offre plus générale de services tels que le prêt de livres et la mise à disposition d’une salle pour la consultation des journaux, magazines et livres.

Les critères qui forgent la valeur de la bibliothèque publique

14Dans les programmes de recherche sur les bibliothèques publiques que nous avons menés aux Pays-Bas, nous avons cherché à évaluer la valeur des services généraux fournis aux individus, aux collectivités et à la société dans son ensemble, ainsi que les outcomes plus spécifiques de programmes particuliers. Dans les textes portant sur ce sujet, qui comportent à la fois des analyses théoriques/normatives et empiriques, différents aspects individuels et sociétaux sont mis en avant par la bibliothèque pour préciser l’influence qu’elle pense exercer ou qu’elle cherche à acquérir afin de produire des changements positifs. À partir d’une revue de la littérature approfondie, on en distingue cinq grandes catégories :

  • la dimension sociale : on considère ici tous les apports relevant du domaine des relations sociales, des liens tissés entre individus et des formes d’engagement collectif. Les textes parlent alors de « l’engagement dans le collectif », de « participation », de « l’identité du collectif », de « cohésion sociale », « d’inclusion sociale », de « capital social » ;
  • la dimension culturelle : la bibliothèque remplit une importante fonction culturelle liée aux activités artistiques (elle permet d’acquérir des connaissances et de diffuser des informations culturelles) mais aussi au domaine multiculturel (diffusion de connaissances au sujet d’une grande diversité de cultures) ;
  • la dimension éducative : l’apport concerne ici des sujets bien connus des bibliothèques tels que l’éducation à tout âge, la littératie, l'éducation aux médias, etc. Les apports sont souvent liés à l’acquisition de nouveaux savoirs et compétences, mais la bibliothèque peut aussi influencer la manière dont les individus appréhendent l’institution scolaire, l’éducation et le développement personnel. En outre, l’accès à l’information et son traitement sont des éléments spécifiques qui doivent être inclus dans le volet éducatif étant donné le lien étroit qui relie la connaissance et l’information ;
  • la dimension économique : l’apport est ici lié au développement des ressources financières des individus et des collectivités. Les bibliothèques peuvent non seulement contribuer à réduire la pauvreté en offrant un accès à des infrastructures et des sources d’information gratuites, mais elles peuvent également aider les gens à acquérir des compétences utiles pour réussir professionnellement ou pour gérer leurs ressources, de même qu’elles peuvent contribuer à faire croître l’économie d’un quartier ;
  • la dimension affective : ce domaine comprend tout ce qui relève de l’état mental, affectif et physique des individus ainsi que des expériences telles que la relaxation, l’amusement, l’éveil émotionnel ou le sentiment de voir son horizon s’élargir grâce à de nouveaux apprentissages. Les apports sont ici d’ordre affectif et renvoient à la valeur intrinsèque de l’expérience que représente la fréquentation d’une bibliothèque. La santé, en tant qu’elle est nécessaire au bien-être physique, relève de cette rubrique. En outre, les apports fournis sur le plan social, culturel, éducatif et économique ont des répercussions affectives positives. Aussi la dimension affective est-elle vaste (voir le schéma ci-après).

Schéma. La valeur des bibliothèques publiques appréhendée à travers cinq dimensions

Schéma. La valeur des bibliothèques publiques appréhendée à travers cinq dimensions

Sources : Huysmans Frank and Oomes Marjolein, “Measuring the public library’s societal value: A methodological research program”, IFLA Journal, 2013, 39 (2), p. 174 ; Oomes Marjolein, Public library impact of individuals and society: A literature review (working title), Den Haag, Koninklijke Bibliotheek, à paraître.

Mesurer la valeur sociétale des bibliothèques publiques

15Il est évidemment très compliqué de restituer les cinq dimensions de la valeur créée par une bibliothèque publique en tenant compte de tous les services qu’elle fournit.

16L’élaboration d’une palette de critères multiples est une tâche de longue haleine dans laquelle nous sommes encore engagés. En lien avec ce projet, des études comparatives ont été lancées pour évaluer les performances du réseau des bibliothèques publiques néerlandais (du point de vue des bénéfices que les usagers estiment en retirer) par rapport à d’autres pays.

17Actuellement, la bibliothèque nationale des Pays-Bas développe un « programme de recherche sur les bibliothèques » ayant deux objectifs :

  1. évaluer l’utilité sociale du réseau des bibliothèques (publiques) à un niveau national en s’appuyant sur des critères locaux ;
  2. aider les bibliothèques locales à améliorer leurs programmations, augmentant ainsi la valeur qu’elles représentent pour les individus et collectivités locales et par là même leur utilité sociale.

18Dans ce programme, les animations particulières développées par les bibliothèques publiques (par exemple les actions visant à remédier à un faible niveau d'alphabétisme) sont pilotées de manière à ce qu’une bibliothèque locale puisse tirer profit des résultats pour améliorer ses activités. Parallèlement, il s’agit de faire apparaître une représentation au niveau national afin d’appréhender ce que l’ensemble des bibliothèques (environ 155 institutions comprenant environ 900 bibliothèques de quartier ou locales) réalise pour l’ensemble de la société.

19L’idée principale est de faire circuler les informations du niveau national au niveau local et inversement :

  • du niveau national au niveau local : développement de questionnaires normalisés intégrant des modules optionnels ;
  • du niveau local au niveau national : utilisation de ces questionnaires dans les bibliothèques locales en collectant en complément des données qualitatives (interroger les usagers/participants) ;
  • synthèse des données rassemblées au niveau local pour constituer une vue d’ensemble au niveau national.
  • 6 ISO 16439, op. cit., 2014, p. 21.

20Une autre question importante concerne la collecte des données. La norme ISO 164396 énumère trois types de données :

  • les données induites (à partir de l’évaluation des entrants et extrants, comme l’analyse des collections et des prêts) ;
  • les données sollicitées (questions posées aux usagers, par exemple au sujet des outcomes réels/potentiels) ;
  • les données observées (observation systématique des faits, des actions et des comportements dans des situations pertinentes ; tests).

21Un prototype de procédure d’évaluation combinant ces trois types de données est actuellement en cours de développement aux Pays-Bas. Une fois terminé, il sera piloté et testé dans deux institutions composées de plusieurs bibliothèques locales (l’une a un ancrage urbain, l’autre rural).

22Cette procédure sera modifiée puis à nouveau testée, éventuellement à plus grande échelle, en fonction des expériences menées et des points forts et des faiblesses qui en ressortiront. Au niveau national, les données concernant les services habituels offerts par les bibliothèques devraient être mises à disposition via une autre source, elle aussi en cours de développement : on y trouvera les collections des bibliothèques, les prêts, les usagers inscrits, les visiteurs, etc.

23En rassemblant les données relevant à la fois des services habituels de la bibliothèque et des animations particulières, nous espérons mettre en place une base empirique solide qui démontrera l’utilité sociale des bibliothèques publiques. Nous invitons le lecteur à suivre les progrès de cette entreprise et à nous aider à mener à bien ce projet, car la coopération internationale et le partage des savoirs sont essentiels pour y parvenir.

Notes

1 Le titre original de cette contribution est : “Measuring the societal value of the public library: terminology, dimensions and methodology”. Elle a été traduite de l’anglais par Anne Robatel.

2 Ces « Cafés Language » constituent une offre fréquente dans les bibliothèques du Nord de l’Europe : ils permettent à des populations nouvellement arrivées de pratiquer la langue locale. Voir par exemple “Improve your Finnish in the library’s language café”. [En ligne] : < http://www.helmet.fi/en-US/Events_and_tips/News_flash/Improve_your_Finnish_in_the_librarys_lan(15035) >.

3 Pierre-Yves Renard, “ISO 2789 and ISO 11620: Short presentation of standards as reference documents in an assessment process”, LIBER Quarterly, 2007, 17 (3/4).

4 ISO 16439: Methods and procedures for assessing the impact of libraries, 2014, p. 4.

5 Ibid., p. 7.

6 ISO 16439, op. cit., 2014, p. 21.

Table des illustrations

Titre Schéma. La valeur des bibliothèques publiques appréhendée à travers cinq dimensions
Crédits Sources : Huysmans Frank and Oomes Marjolein, “Measuring the public library’s societal value: A methodological research program”, IFLA Journal, 2013, 39 (2), p. 174 ; Oomes Marjolein, Public library impact of individuals and society: A literature review (working title), Den Haag, Koninklijke Bibliotheek, à paraître.
URL http://books.openedition.org/pressesenssib/docannexe/image/5526/img-1.jpg
Fichier image/jpeg, 40k

Auteurs

Professeur en sciences de l'information et des bibliothèques, université d'Amsterdam et consultant à WareKennis, La Haye (Pays-Bas)

Conseillère stratégique, Bibliothèque Koninklijke, La Haye (Bibliothèque nationale des Pays-Bas) et doctorante, Département des sciences humaines, université d'Amsterdam (Pays-Bas)

© Presses de l’enssib, 2016

Licence OpenEdition Books

Lire

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search