Version classiqueVersion mobile

Évaluer la bibliothèque par les mesures d’impacts

 | 
Cécile Touitou

Partie III – Pilotage

Évaluer les attentes et perceptions : l’outil LibQUAL +®, ses avantages et ses limites

Frédéric Brodkom

Texte intégral

L’enquête LibQUAL

  • 1 Association of Research Libraries : < http://www.arl.org/ >.
  • 2 Pour la suite de ce texte la version simplifiée du terme « LibQUAL » sera utilisée en lieu et place (...)

1Développée aux États-Unis en 2000 par l’Association of Research Libraries (ARL)1 et la Texas A & M. University, LibQUAL +® 2est une enquête en ligne centrée sur 22 questions qui mesurent les attentes, souhaits et perceptions des utilisateurs de bibliothèques par rapport à l’accueil, aux espaces et aux ressources documentaires. Chaque question est une affirmation – « le personnel m’inspire confiance », « les locaux sont accueillants et confortables », etc. – et le répondant est invité à attribuer trois valeurs, chacune sur une échelle de 1 à 9 : la valeur minimum de qualité qu’il espère du service énoncé – l’attente minimale –, la valeur maximum de qualité qu’il attend pour ce service – son souhait –, et la valeur qu’il juge représenter sa perception, son vécu ressenti par rapport à l’affirmation. Le répondant calibre donc sa perception de la qualité en regard de sa zone de confort entre attente minimale et souhait le plus élevé. L’enquête mesure aussi divers points de satisfaction (ou non) et les fréquences d’usages (de la bibliothèque, des services en ligne). Il y a enfin des questions démographiques : niveau d’étude ou catégorie de personnel, discipline, bibliothèque de référence, tranche d’âge, sexe. Elles permettent de réaliser des analyses plus fines par catégorie, discipline, etc. Pour terminer, l’occasion est donnée d’émettre un commentaire libre.

2Deux sessions d’enquête sont ouvertes chaque année, 125 institutions dans 14 pays y ont participé3 en 2015. En France, la première expérience a été celle de HEC qui la renouvellera en 2006, Lyon I suivra en 20074. En Suisse romande5, l’École polytechnique fédérale de Lausanne (EPFL) a été la première à lancer l’enquête en 2011 et en Belgique francophone, l’université catholique de Louvain (UCL), l’université libre de Bruxelles (ULB), l’université de Liège (ULg) et après l’université de Namur (UNamur) ont participé ensemble aux enquêtes de 2009 et 2015.

Mesurer les effets de son action

  • 6 Le questionnaire de base est constitué de 22 questions, auxquelles 5 questions locales sont ajouté (...)

3Les données analytiques fournies par les 436 questions de l’enquête LibQUAL sont désormais entrées dans les tableaux de bord de gestion de bon nombre de bibliothèques. Au-delà des données bibliométriques classiques (surfaces, nombre d’ouvrages, etc.), décrivant donc l’input, et de l’analyse des processus qui nous fournissent des éléments sur les activités des bibliothécaires, il nous faut désormais aussi suivre, dans nos tableaux de bord, les effets de notre action, l’output. Les questions de LibQUAL permettent de percevoir le ressenti de nos usagers dans ces trois composantes de l’audit qualité : l’offre – la bibliothèque possède les ressources électroniques dont j'ai besoin… –, les actions – les usagers bénéficient d’un service personnalisé… –, et les impacts – la bibliothèque me rend plus efficace dans mes activités universitaires…

4Le but ici ne sera pas de réécrire ce qui l’a déjà été sur LibQUAL mais de prendre du recul, après dix années d'utilisation en France, pour évaluer l’intérêt de cet outil mais aussi en identifier les limites, à savoir ce qu’il n'apporte pas ou mal dans ses promesses de compréhension des publics.

L’intérêt d’utiliser LibQUAL

5L’objectif ici n’est pas de faire l’apologie de LibQUAL, mais de montrer la puissance des services apportés par LibQUAL, l’intérêt de participer à un projet collectif et la qualité des outils d’interprétation. Les candidats à l’aventure garderont à l’esprit que la participation à l’enquête doit être un projet d’équipe et qu’elle a un coût : inscription à 3 200 dollars américains la session, coût de la promotion, heures de travail d’analyse des résultats, etc.

Le benchmarking

  • 7 David Green and Martha Kyrillidou, Procedures Manual, LibQUAL+®, Washington DC, Association of Res (...)

6Chacune des deux sessions annuelles de l'enquête est menée conjointement avec un même questionnaire dans plus d'une centaine de bibliothèques dans le monde. Dans leur manuel de procédures 20157, David Green et Martha Kyrillidou précisent que LibQUAL c’est plus de 1 200 bibliothèques et plus de 1 300 000 répondants depuis 2000. Dans chaque pays ou communauté linguistique, il est rare qu'une bibliothèque soit la seule ou la première à se lancer dans LibQUAL. Sachant aussi que les gestionnaires doivent fournir les chiffres de leur bibliothèque en termes de budget, cadre d’effectif, population desservie, etc. et que ces données, comme le rapport d’enquête standardisé fourni par l’ARL, sont librement accessibles aux bibliothèques participantes de l'année en cours, LibQUAL permet de se comparer à d’autres bibliothèques de même taille et budget. Même si l'outil permet avant tout d'analyser la qualité via le regard porté par ses propres publics, il est donc aussi un outil très puissant de benchmarking national et international. Les bibliothèques qui analyseront les résultats de consœurs équivalentes et partageront avec elles les stratégies de succès ou les problèmes ne pourront qu'en tirer des enseignements pour améliorer leurs services, espaces et accès aux ressources.

Un travail collaboratif

7À l'échelle nationale, ou transnationale dès lors qu'une langue commune est partagée, l'expansion de LibQUAL a favorisé la naissance de communautés de pratique. Au début, l’ARL souhaitait réduire le nombre de traductions des questions et canevas démographiques en favorisant le regroupement d’institutions en consortia avec questionnaires uniques. En bonus donc, les consortia ont la possibilité de définir cinq questions supplémentaires permettant d’évaluer des services particuliers ou de questionner sur des thématiques non reprises dans le questionnaire (horaires, formations, etc.). Des groupes de travail se sont mis en place pour animer ces consortia (Libqual-fr en France, GT LibQUAL de la Bibliothèque interuniversitaire de la Communauté française de Belgique [BICfB] en Belgique) et ont accumulé de l'expérience. Toute nouvelle bibliothèque participante peut donc facilement se raccrocher à ce travail collaboratif et au paramétrage de son consortium national.

Une mesure conjointe des attentes et de la perception

  • 8 Colleen C. Cook and Fred M. Heath, “Users’s perceptions of library service quality: A ‘LibQUAL+TM’ (...)

8La méthodologie de LibQUAL s’inspire d’expériences antérieures développées dans le privé qui placent le consommateur au cœur du processus d’évaluation8. Le répondant est invité pour chaque question à donner sa perception en même temps qu’il nous informe sur ses attentes et souhaits : « les locaux de la bibliothèque incitent à l’étude. Sur une échelle de 1 à 9… quel est le minimum que j’attends des locaux pour m’inciter à étudier ? Quelle est la valeur qui reflète ce que je souhaite que ces locaux soient pour qu’ils m’incitent à bien y étudier ? Quelle est la valeur de mon vécu ou de mon observation de ce que ces locaux sont comme lieux qui m’incitent (ou pas) à y étudier ». Si je fixe mes attentes pour un hôtel entre 4 et 5 étoiles et qu’au terme de mon séjour j’estime qu’il en vaut 3, j’exprime un mécontentement. Si on me demande seulement combien d’étoiles je lui accorde, la seule réponse « 3 » n’exprime pas ma déception car je laisse à l’interrogateur la possibilité de croire que 3 est une bonne évaluation. Sachant que chaque individu a ses propres critères de qualité, lui permettre de fixer lui-même sa zone de confort avant d’exprimer sa perception est la méthode la plus efficace de mesure de la qualité.

Une récolte et mise à disposition des données optimisées

9L’enquête LibQUAL est une enquête en ligne et l’ARL offre un outil de récolte, de stockage, de traitement et de diffusion des données. Une fois l’enquête clôturée, souvent après 3-5 semaines, l’ARL fournit un rapport standard qui développe les analyses par groupes de répondants (bacheliers, masters et doctorats, enseignants et chercheurs). Parallèlement, les fichiers CSV (pour comma-separated values) avec l’ensemble des réponses permettent au gestionnaire de faire le tri et l’analyse des données dans tous les découpages possibles : « que pensent les étudiantes en Master 1 de psychologie de la qualité des locaux pour travaux de groupes dans leur bibliothèque de psychologie, quel est l’avis des chercheurs en agronomie sur l’accès à domicile aux ressources électroniques, etc. » L’ensemble du processus est optimisé pour faciliter le travail d’analyse et réduire l’investissement technique et humain des bibliothèques participantes.

L’outil de communication

10La représentation classique des résultats est celle des diagrammes en forme de radar.

Diagramme. Représentation en radars des résultats de LibQUAL

Diagramme. Représentation en radars des résultats de LibQUAL

Source : Frédéric Brodkom, UCL/BST 2015.

11Les questions forment les 22 rayons d’un cercle, chacun gradué jusqu’à 9, où les 3 valeurs sont marquées. En reliant les attentes minimales, on définit une aire blanche au cœur du radar tandis qu’avec la valeur maximale du souhait on délimite une aire jaune au-dessus de la première. C’est l’espace de confort des attentes. Lorsqu’on relie les 22 points qui marquent la perception, on identifie des aires dans ou autour de la zone jaune : rouges si la perception est inférieure à l’exigence minimale, bleues si la perception est dans la zone de confort et vertes si la perception dépasse le souhait. Le visuel parle de lui-même : plus il y a de gris moyen ou noir, plus on est en adéquation avec son public, plus il y a de blanc moucheté plus des efforts sont à réaliser pour rencontrer ses exigences. Chaque sous-groupe peut ainsi être caractérisé par un radar dont la valeur pédagogique facilite la communication.

12Les tableurs permettent bien d’autres représentations, à chaque analyste d’identifier ce qui est le plus parlant pour exprimer son propos. L’adequation gap, valeur qui sépare l’attente minimale de la perception peut être présenté sous forme de courbes pour les 22 questions tandis que les radars peuvent être remplacés par des diagrammes à barre et curseur, la barre allant du minimum au souhaité avec sur le même axe, un curseur qui représente la perception.

Une analyse des changements

13L’outil LibQUAL est enfin un outil qui s’inscrit dans la durée. Chaque année, la bibliothèque peut à nouveau mener l’enquête dont les questions sont inchangées. Elle peut donc suivre l’évolution dans le temps des attentes et perceptions de ses publics mais aussi, mesurer l’effet des mesures correctives réalisées. La stabilité dans le temps de LibQUAL est un atout majeur en termes d’analyse des impacts, voire en termes d’analyse prédictive des tendances en matière d’exigence des publics et de qualité.

Les limites à l’usage de LibQUAL

14L’ARL n’a jamais prétendu que LibQUAL répondait à tous les défis en termes d’évaluation et on pourrait établir une longue liste de ce que LibQUAL ne fait pas en termes de connaissance des publics, mais tel n’est pas notre but. Ci-après, nous poserons néanmoins quelques balises qui méritent une attention particulière lorsqu’on utilise ou interprète les résultats de LibQUAL.

Les énoncés du questionnaire

15Le questionnaire standard de LibQUAL a été réalisé en 2000, il y a donc 16 ans et, à quelques détails près, il n’a pas changé depuis. Si nous pouvons y voir l’intérêt de l’évaluation du changement, il est évident que des sujets de l’actualité des bibliothèques ne sont pas évoqués : horaires, learning center, dépôts institutionnels, réseaux sociaux, prêt entre bibliothèques, médiation des contenus, etc. Ces sujets sont parfois abordés dans les 5 questions de consortia mais leur récurrence incite à penser qu’ARL pourrait les intégrer dans le corpus standard qui permet le benchmarking.

Le mode d’interrogation qui dissuade plus qu’il n’attire

16L’expérience le démontre, les taux d’abandon en cours lors de la participation effective à l’enquête et de réponses non valides sont nombreux. À l’UCL en 2015, pour 5 991 accès enregistrés au questionnaire, seules 2 974 réponses sont complètes et valides ! La moitié des personnes qui ont accédé à l’enquête ont renoncé à y répondre, ont abandonné en cours ou ont mal répondu au point d’invalider leurs réponses. Le mode d’interrogation qui consiste à demander 3 valeurs pour chaque affirmation n’est pas très compréhensible et l’interface qui n’évolue guère vers plus de convivialité ne facilite pas cette compréhension nécessaire. Certains énoncés sont redondants, pour vérifier que le répondant prend la peine de les lire et répond correctement, et le questionnaire dans sa version complète est trop long. Conscient de cela, l’ARL propose depuis peu un questionnaire LITE qui réduit le nombre de questions pour chaque participant en en proposant une partie de manière aléatoire, avec une garantie que toutes les questions seront posées si le nombre de répondants est suffisant. Le questionnaire LibQUAL n’est donc pas simple, et nécessite de gros efforts pour en faire la promotion et l’expliquer clairement aux utilisateurs afin que ceux-ci puissent se l’approprier pleinement. Cette appropriation passe aussi par l’habitude, la répétition annuelle de l’enquête permet d’augmenter la participation. La généralisation de la version allégée LITE et un relooking de l’interface qui donnerait envie de participer sont deux autres pistes que l’ARL devrait d’urgence explorer.

La représentativité des sous-groupes

17LibQUAL se réalise soit par l’envoi du lien du questionnaire à une population échantillonnée, soit par la communication du lien à l’ensemble de la population ciblée, à savoir les publics qui fréquentent la bibliothèque. C’est souvent cette seconde méthode qui est utilisée. La question se pose alors de la représentativité des réponses par sous-groupes. L’exemple de l’UCL a montré en 2015 que pour le sous-groupe des masters et doctorants, en prenant les extrêmes, le taux de participation a été de 25,1 % en Langue et lettres contre 2,6 % en Sciences médicales. On ouvre ainsi une brèche aux détracteurs qui évoquent la trop faible représentativité des réponses. La question de la représentativité (ou non) n’est pas propre à LibQUAL mais elle pose les limites de ce qui est permis de faire en matière de comparaison et d’interprétation. Ce sera aux analystes d’exposer les faits en toute transparence et de laisser les bibliothécaires tirer les conclusions qu’ils jugeront utiles et nécessaires au développement de la qualité.

18En tenant compte des limites évoquées, l’outil LibQUAL est indéniablement le meilleur protocole d’enquête en ligne pour évaluer les exigences, attentes et perceptions de publics des BU en matière de qualité. C’est un outil clé en main, largement répandu et connu, qui apporte une contribution effective à la connaissance des publics et la gestion de la qualité. Mais, comme je l’ai présenté à Paris en 20159, d’autres types d’enquête doivent être menés en parallèle et en continu : enquêtes d’observation (dite Sweeping) pour identifier les usages des différents lieux de la bibliothèque, entretiens personnalisés de publics sélectionnés sur des thématiques de fonds, questionnaires de positionnement de la bibliothèque et de ses services en regard d’autres alternatives, etc. Dans tous les cas, et à l’instar de ce qui se fait dans les entreprises, les bibliothèques qui n’ont pas encore développé les moyens humains et financiers dans le contrôle systématique de la qualité devront tôt ou tard s’y mettre avant de perdre le respect de leurs publics, car ce sont bien leurs avis, leurs besoins et leurs usages qui doivent guider nos politiques du moment et notre investissement pour demain.

Notes

1 Association of Research Libraries : < http://www.arl.org/ >.

2 Pour la suite de ce texte la version simplifiée du terme « LibQUAL » sera utilisée en lieu et place de « LibQUAL+® » : < http://www.libqual.org >.

3https://www.libqual.org/documents/LibQual/publications/2015_LibQUAL_Highlights.pdf >.

4 LibQUAL-fr : < http://libqual-fr.pbworks.com >.

5 Enquête de satisfaction de la Bibliothèque de l’EPFL : < http://libqual-fr.pbworks.com/f/Page%20WEB_definitive.pdf >.

6 Le questionnaire de base est constitué de 22 questions, auxquelles 5 questions locales sont ajoutées pour les consortia. Il y a en plus 8 questions de satisfaction et 3 questions sur les fréquences d’usage. Enfin, le questionnaire se termine par les 4 questions démographiques et 1 possibilité de commentaire libre.

7 David Green and Martha Kyrillidou, Procedures Manual, LibQUAL+®, Washington DC, Association of Reserach Libraries, 2012. Le copyright est bien de 2012, mais c'est le manuel toujours en application pour la session 2015.

8 Colleen C. Cook and Fred M. Heath, “Users’s perceptions of library service quality: A ‘LibQUAL+TM’ qualitative study”, Library trends, 2001, 49, pp. 548-584.

9http://adbu.fr/retour-en-images-sur-la-journee-libqual-france-2015/ >.

Table des illustrations

Titre Diagramme. Représentation en radars des résultats de LibQUAL
Crédits Source : Frédéric Brodkom, UCL/BST 2015.
URL http://books.openedition.org/pressesenssib/docannexe/image/5748/img-1.jpg
Fichier image/jpeg, 1019k

Auteur

Directeur de la Bibliothèque et Learning center des sciences et technologies, chargé de cours invité en bibliothéconomie et bibliométrie, université catholique de Louvain (Belgique)

© Presses de l’enssib, 2016

Licence OpenEdition Books

Lire

Accès ouvert
Mode lecture
Chargement ePub
Chargement PDF du livre
Chargement PDF du chapitre

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search