Version classiqueVersion mobile

Évaluer la bibliothèque par les mesures d’impacts

 | 
Cécile Touitou

Partie III – Pilotage

Le service public posté en bibliothèque : comment mesurer l’efficacité d’un service ordinaire et discret ? L’expérimentation de la méthode américaine READ à la Bpi

Muriel Amar et Guilaine Thuillart

Texte intégral

1À l’origine de l’expérimentation à laquelle est consacrée cette contribution, se trouve une demande de la direction de la Bpi adressée aux deux services Études et recherche et Accueil des publics : conduire une semaine-test de l’accueil de façon à disposer d’indicateurs quantitatifs actualisés.

2Cette semaine-test devait se consacrer à l’analyse des interactions menées en service public : le service public est posté à la Bpi et peut se définir par une unité de temps, entre 3 et 6 heures de bibliothécaire employées à répondre aux sollicitations des publics, et par une unité de lieu, matérialisée à la Bpi par des bureaux d’information.

Paroles des usagers, paroles des bibliothécaires : que choisir ?

  • 1 Voir, sur ce point Bertrand Calenge, Les bibliothèques et la médiation des connaissances, Paris, É (...)
  • 2 Par exemple, Jean-François Barbier-Bouvet, « La médiation facultative », in Jean-François Barbier- (...)
  • 3 Aux Éditions de la Bibliothèque publique d’information, 1995 (coll. Études et recherche).

3En matière d’analyse des interactions, on peut distinguer deux grands types de méthode en fonction du point d’observation que l’on se donne : soit on se place du point de vue des usagers et on recueille leurs questions, soit on se place du point de vue des bibliothécaires et on recueille leurs réponses. Les questions posées peuvent être retranscrites de façon plus ou moins littérale ou peuvent être d’emblée, au moment du relevé, catégorisées dans une typologie prédéfinie, pratique la plus développée en bibliothèque. Plusieurs types de catégorisation peuvent être envisagés : thématique par sujet documentaire ou encore descriptive par type de question (question simple, question complexe, etc.) ; les typologies peuvent être plus analytiques, d’orientation cognitive1 ou sociologique2. L’avantage de ce type de catégorisation, c’est qu’elles permettent de produire facilement des données quantitatives. Cette approche repose cependant sur deux hypothèses fortes : on peut isoler la question d’un usager de son contexte de communication et l’usager est à même de formuler son besoin d’information de façon claire et définitive ; cette approche ne peut rendre compte de ce que produit la situation de dialogue usagers-bibliothécaires notamment par l’explicitation, la reformulation, etc. L’autre type de méthode envisageable consiste à placer le poste d’observation du point de vue des réponses apportées par les bibliothécaires : cette approche cherche à se situer au plus près de la situation de communication pour mesurer le travail d’adaptation à l’usager, le travail de reformulation réciproque, l’effort conjoint des acteurs. C’est une méthode qui prend pour hypothèse qu’une même question peut faire l’objet de réponses différentes, en fonction des interlocuteurs et du tour que prend l’interaction elle-même. Pour capter ce type de déplacement, ce sont des méthodes qualitatives qui sont privilégiées, séances d’analyse de la pratique ou encore entretiens longs, semi-directifs à l’exemple de l’étude qu’avait pilotée Anne-Marie Bertrand dans son ouvrage Bibliothécaires face au public3.

Méthode READ : la notion de « statistiques qualitatives » ou le meilleur des deux mondes ?

  • 4 Échelle d’évaluation des services de référence.
  • 5 Bella Karr Gerlich, Lynn G. Berard, Jean McLaughlin, Gretchen Revie and Sue Liebold, “Using the RE (...)

4Initiée en 2002, la méthode d’analyse des interactions READ (pour Reference Effort Assessment Data)4 est le fruit d’un constat paradoxal établi par les bibliothèques d’étude américaines : si les services de référence, qui ont subi de plein fouet la concurrence d’Internet, enregistrent une baisse significative du volume de sollicitations, ils enregistrent, concomitamment, des demandes à traiter de plus en plus difficiles ou complexes, liées au sujet de recherche comme au comportement des usagers, invités par les plates-formes en ligne à développer une démarche de plus en plus autonome5.

  • 6 Ibid, p. 361.
  • 7 Un site dédié, READScale©, met à disposition la méthode, des comptes rendus d’expérience et des pu (...)

5Pour les bibliothécaires regroupés au sein de l’Association américaine des bibliothèques d’étude, il ne fait aucun doute que si tout change, le contexte numérique comme le comportement des usagers, il faut aussi que les méthodes d’évaluation changent : on ne peut plus se contenter de relevés quantitatifs, il faut disposer d’une méthode plus qualitative, de type holistique qui capte « toutes les occurrences de l’activité de référence susceptibles de rendre compte des compétences, connaissances, techniques et outils nécessaires à mobiliser lors d’une interaction avec le public »6. Bella Karr Gerlich propose alors une échelle de six niveaux, permettant au bibliothécaire de coder l’effort et l’expertise mobilisés, de les situer sur une échelle, évitant de comptabiliser de la même manière des interventions professionnelles de nature différente7.

6En 2014, la bibliothèque de l’Institut d’études politiques de Paris est la première bibliothèque française à recourir à la méthode READ pour mener une analyse des interactions en service public. Après avoir proposé une traduction en langue française, la bibliothèque de Sciences Po Paris adapte l’échelle READ à ses besoins spécifiques, notamment en matière d’évaluation des formations nécessaires en service public posté.

7La Bpi, de son côté, avait eu la chance de pouvoir expérimenter plusieurs types de méthode d’analyse des interactions en service public, à la fois quantitatives (notamment en 2003 et 2010) et qualitatives (voir supra et note 3). Nous avons souhaité, pour la campagne d’analyse 2015, tester une approche mixte. De ce point de vue, la méthode READ avec la notion qu’elle porte de « statistique qualitative » nous paraissait constituer un compromis intéressant permettant de disposer à la fois :

  • de données quantitatives qui fournissent de précieux cadrages : nombre de réponses données par niveau d’expertise, bureau d’information, tranche horaire, etc. ;
  • de données qualitatives permettant de rendre compte de l’interaction en tant que telle, en identifiant finement le rôle de la reformulation, de la connaissance de l’offre, de l’accompagnement de l’usager ainsi que les différents registres de réponse que peut donner le bibliothécaire.

Adaptation de la méthode READ au contexte Bpi : un travail collaboratif

  • 8 Enquête générale de fréquentation 2015 à la Bpi, réalisée par la société TEST. [En ligne] : < http: (...)
  • 9 Ces trois catégories représentent 32 % du public en 2015.

8Ce qui a rendu envisageable l’utilisation de l’échelle READ à la Bpi, c’est bien sûr la composition du public de la bibliothèque qui compte, selon les données récentes de l’enquête générale de fréquentation, un peu plus de 60 % d’étudiants8. Nous savions que la méthode READ élaborée dans le cadre des bibliothèques d’étude pouvait bien convenir à cette part des interactions relevées aux bureaux d’information ; mais nous devions également adapter la grille américaine pour rendre compte des échanges que nous développions avec nos autres publics : actifs, retraités, ou encore demandeurs d’emploi9.

9L’adaptation a porté principalement sur deux aspects.

Choix des niveaux de l’échelle américaine READ originale

  • 10 Voir, sur ce point, Jean-Philippe Lamy, « Évaluer un service de référence », Bulletin des biblioth (...)

10Le niveau 1 de l’échelle américaine READ se définit par la négative : c’est un niveau de réponse qui ne fait appel à aucune ressource ou compétence documentaire. S’il permet de comptabiliser le nombre de réponses non documentaires, il ne permet pas de les spécifier ; or, il nous semblait important de connaître la nature des réponses concernant les services pratiques apportés aux usagers. Des volumes importants de sollicitations portant sur la localisation des espaces (cafétéria, toilettes, etc.), le fonctionnement de la bibliothèque (horaires, modalités de prêt), ou encore les services d’impression, de reproduction ou d’usages des postes informatiques, peuvent signaler une communication confuse de l’institution ou encore un manque de visibilité de l’offre : il sera d’autant plus facile de remédier à ces dysfonctionnements qu’ils seront précisément circonscrits10.

11Nous avons donc transformé le niveau 1 de l’échelle READ en une rubrique de notre grille d’analyse des interactions constituée d’items prédéfinis à coder.

Formulaire de codage. Grille d’analyse des interactions

Formulaire de codage. Grille d’analyse des interactions

Légende : rubrique 2 du formulaire de codage des interactions en service public à la Bpi.

12Nous avons uniquement retenu les niveaux 2 à 5 de l’échelle READ pour qualifier l’expertise et l’effort mis en œuvre par les bibliothécaires, en excluant le niveau 6 qui correspond dans la grille américaine à un travail d’accompagnement documentaire personnalisé auprès de chercheurs, hors du ressort de la Bpi.

13Nous avons spécifié les critères de passage d’un niveau à l’autre en privilégiant moins le recours aux ressources documentaires (type bases de données), déterminant dans l’échelle READ originale, que l’engagement du lecteur dans l’entretien documentaire. En effet, le recours aux ressources documentaires est désormais incontournable et ne paraissait pas constituer, pour la Bpi, un critère discriminant. En revanche, ce qui constitue à nos yeux un paramètre important de la médiation en bureau d’information est la qualité de l’échange que nous parvenons à créer avec les usagers, qui peuvent se sentir peu légitimes à solliciter un accompagnement documentaire ou pour qui, au contraire, le temps de la médiation peut être perçu comme un frein, une sorte de « temps perdu », voire un obstacle à l’obtention des informations dont ils ont besoin. De ce point de vue, nous avons distingué les réponses documentaires apportées sans besoin de reformulation (niveau 2 correspondant par exemple à la recherche d’une référence déjà fournie par l’usager) des réponses de niveaux 3 à 5 nécessitant ce temps de reformulation et d’échange. Si l’usager souhaite simplement déléguer au bibliothécaire la recherche dans les collections ou les ressources documentaires, nous considérons cette réponse de niveau 3 (avec reformulation, sur un mode d’assistance) ; s’il souhaite mener sa recherche seul, nous l’initions aux outils adaptés à sa demande en visant son autonomie (niveau 4 avec reformulation, en mode formation) ; enfin, si l’usager considère le bibliothécaire comme un partenaire pour mener sa recherche, lui fournissant les pistes déjà explorées et le maximum de précisions concernant sa demande, alors nous situons cette interaction au niveau 5 (avec reformulation sur un mode de coopération).

Tableau. Exemple de formulaire saisi par les bibliothécaires pendant la période-test d’analyse des interactions à la Bpi

Variable Données
Services documentaires rendus Niveau 5 : réponse avec reformulation en mode coopération
Services pratiques Fonctionnement de la bibliothèque (horaires, prêt, programmation, informations sur les loges, les ateliers, etc.) /Orientation spatiale dans la Bpi
Accompagnement Accompagnement social (dialogue de convivialité, empathie, etc.)
Localisation Musique
Horaire 16 h-18 h
Commentaire libre Un usager qui avait des demandes précises sur le design graphique et ensuite la typographie dans les données visuelles (écrans). Demandes très précises avec une volonté de s'informer au maximum de toutes les possibilités et offres de la bibliothèque.
Date de saisie 06 novembre 2015

Source : Bibliothèque publique d'informations

14Ces adaptations apportées à l’échelle originale READ permettent de préciser le niveau de réponse documentaire apportée à l’usager tout en signalant les renseignements pratiques fournis au sein de la même interaction, grâce à la transformation réalisée sur le niveau 1 de l’échelle READ déplié sous la forme d’une liste d’items pratiques prédéfinis.

Décrire l’accompagnement des usagers

15La seconde adaptation de l’échelle READ opérée à la Bpi concerne l’ajout d’une rubrique qualifiant la nature de l’accompagnement réalisée auprès des usagers. En effet, la diversité des publics accueillis, des plus scolaires aux plus précaires, nous a incités à rendre compte de la prise en charge de ces singularités par les personnels postés. De ce point de vue, nous avons prévu une rubrique permettant de signaler des interactions, documentaires ou non, qui ont donné lieu par exemple à un dialogue de convivialité, à dimension sociale plus ou moins importante (un usager expose longuement les problèmes rencontrés avec son propriétaire et souhaite identifier des informations juridiques pour faire entendre sa position) ou encore à un dialogue plus pédagogique par lequel le bibliothécaire peut apporter une aide méthodologique pour un travail scolaire ou ses compétences d’écriture pour un courrier officiel. Cette écoute bienveillante ou cette aide méthodologique est prise en charge par le bibliothécaire en tant que représentant d’une institution culturelle, qui symbolise parfois, aux yeux des usagers, une instance légitime de seconde chance leur permettant d’accéder à un service public qui peut avoir fait défaut dans d’autres cadres (le lycée pour les lycéens, les services sociaux pour les plus démunis par exemple).

16Là encore, l’existence de cette rubrique, facultative comme celles précédemment exposées, permet de décrire, sous plusieurs aspects et avec un seul formulaire de codage, la multiplicité des savoir-faire mobilisés par les bibliothécaires en contact avec les publics.

17Ces deux types d’adaptation, qui captent finement les spécificités de l’accueil aux bureaux d’information à la Bpi, n’ont pu se faire qu’avec la contribution, active et engagée, des bibliothécaires. D’emblée appréhendé par les deux pilotes du projet comme une co-construction, ce travail d’adaptation a engagé tous les collègues coordonnateurs des bureaux d’information (dix professionnels) et, au-delà, tous les collègues intéressés à travers des séances de présentation-discussion et une période de formation-test proposée à tous les personnels postés pendant quinze jours.

  • 11 Deux séances de débriefing ont été organisées après l’enquête de façon à recueillir l’expérience d (...)

18Cette gestion de projet, sur un mode collaboratif, a permis de faire d’un outil d’auto-évaluation de l’activité des bibliothécaires en service public, délicat à proposer dans un contexte de refonte des services au public à la Bpi, un instrument d’analyse de la pratique, riche de découvertes et très valorisant11.

Mise en œuvre et discussion

  • 12 Initialement prévu pour durer quinze jours, le test a été interrompu suite aux attentats du 13 nov (...)

19Ce mode de gestion de projet, collaboratif, a sans doute contribué à l’engagement important et enthousiaste des collègues pendant toute la durée du recueil, qui s’est déroulé entre le 4 et le 13 novembre 201512. Les deux co-pilotes, épaulées par un vacataire, étaient présentes presque en continu pendant ces 93 heures d’accueil du public (41 061 entrées comptabilisées sur la période) pour répondre aux questions des collègues, rappeler les consignes de saisie, faire face aux impondérables (panne informatique par exemple), etc.

  • 13 Ces données chiffrées, qui peuvent paraître importantes, constituent pourtant une estimation basse (...)

20Pendant la période-test, ce sont 145 personnels postés ‒ 117 titulaires et 28 vacataires ‒ qui ont saisi 6 739 formulaires décrivant autant de situations d’interaction. Ces situations d’interaction retracent 19 385 interventions professionnelles différentes13 : ce qui signifie qu’une interaction fait l’objet en moyenne de trois modalités de réponse différentes de la part des bibliothécaires ‒ réponse documentaire, renseignements pratiques, accompagnement des publics, distribution de tickets d’accès à Internet, etc.

21Le volume des données recueillies autorise à tester leur robustesse statistique : y a-t-il eu des erreurs de codage ? Des surcodages ? Des incompréhensions de la grille d’analyse proposée ? La base de données constituée a été nettoyée de toutes les scories détectables (incohérence de saisie sur des horaires ou des niveaux de codage par exemple), qui ont touché un peu moins de 200 questionnaires, soit 3 % des données recueillies. Des tests ont été réalisés qui ont montré une stabilité des réponses d’un jour à l’autre, d’un bureau à l’autre, d’une rubrique à l’autre et la première surprise a été de relever une véritable consistance des données, révélant une constance du service public à la Bpi.

  • 14 Les collègues américains ont particulièrement étudié, avec le concours de 14 services de référence (...)

22La méthode READ invitant le bibliothécaire à situer sa propre réponse sur une échelle de difficulté repose à la fois sur une analyse subjective de son activité et sur un outil objectif, car contraint, de modélisation. L’écueil, bien connu en documentation, de la variabilité des pratiques (comme de nombreuses études sur l’indexation ont pu le montrer) peut difficilement trouver sa place dans ce type d’analyse de la pratique où, finalement, les paramètres de variation peuvent être contrôlés14.

  • 15 C’est d’ailleurs le titre de la communication adoptée par Catherine Fortier et Lyne Welsh « Tradui (...)

23Paradoxalement, avec plus de 2 000 commentaires libres accompagnant les formulaires codés pour retracer les questions posées et leurs évolutions, nous avons le sentiment que l’intérêt porté aux réponses des bibliothécaires constitue finalement une méthode bien plus fine pour appréhender les besoins des usagers que celle consistant précisément à leur donner directement la parole15.

  • 16 Titre de l’article d’Isabelle Le Bis et Béatrice Vacher paru dans Documentaliste-Sciences de l’inf (...)

24Même si la méthode READ appliquée à la Bpi ne rend pas compte de tout ce qui se passe à la bibliothèque entre professionnels et usagers, elle rend visible l’épaisseur de ces échanges simples et ordinaires où un professionnel cherche à rendre facile et naturelle la rencontre avec des univers documentaires et institutionnels souvent complexes, contraignants et parfois peu engageants : ce sont ces « vertus stratégiques de la discrétion des services documentaires »16 auxquelles notre enquête s’est finalement intéressée.

Notes

1 Voir, sur ce point Bertrand Calenge, Les bibliothèques et la médiation des connaissances, Paris, Éditions du Cercle de la Librairie, 2015 (coll. Bibliothèques).

2 Par exemple, Jean-François Barbier-Bouvet, « La médiation facultative », in Jean-François Barbier-Bouvet, Martine Poulain, Publics à l’œuvre : pratiques culturelles à la Bibliothèque publique d’information du Centre Georges Pompidou, Paris, Éditions de la Bibliothèque publique d’information ; La Documentation française, 1986 (coll. Études et recherche), pp. 117-123.

3 Aux Éditions de la Bibliothèque publique d’information, 1995 (coll. Études et recherche).

4 Échelle d’évaluation des services de référence.

5 Bella Karr Gerlich, Lynn G. Berard, Jean McLaughlin, Gretchen Revie and Sue Liebold, “Using the READ Scale (Reference Effort Assessment Data): Qualitative Statistics for Meaningful Reference Assessment” (2008; Seattle: Washington) Proceedings of the 2008 Library Assessment Conference, Association of Research Libraries, Washington, 2008, pp. 361-389. [En ligne] : < http://docplayer.net/18078753-Proceedings-of-the-2008-library-assessment-conference.html >.

6 Ibid, p. 361.

7 Un site dédié, READScale©, met à disposition la méthode, des comptes rendus d’expérience et des publications. [En ligne] : < http://readscale.org/ >.

8 Enquête générale de fréquentation 2015 à la Bpi, réalisée par la société TEST. [En ligne] : < http://www.bpi.fr/etudes/observation-des-publics-de-la-bpi/barometre >.

9 Ces trois catégories représentent 32 % du public en 2015.

10 Voir, sur ce point, Jean-Philippe Lamy, « Évaluer un service de référence », Bulletin des bibliothèques de France, 2001, n° 4, pp. 82-88. [En ligne] : < http://bbf.enssib.fr/consulter/bbf-2001-04-0082-001 >.

11 Deux séances de débriefing ont été organisées après l’enquête de façon à recueillir l’expérience des bibliothécaires : elle a été, pour ceux qui se sont exprimés, jugée « gratifiante », « ludique », permettant «  de prendre conscience de tout ce que l’on fait car spontanément : on ne s’en rend pas compte », constituant une « prise de distance intéressante par rapport à sa pratique », comblant un manque : « On n’a jamais autant parlé du SP ».

12 Initialement prévu pour durer quinze jours, le test a été interrompu suite aux attentats du 13 novembre 2015 à Paris.

13 Ces données chiffrées, qui peuvent paraître importantes, constituent pourtant une estimation basse, certaines interactions n’ont pu être codées car oubliées, surtout dans les cas où le bibliothécaire enchaîne les réponses à donner.

14 Les collègues américains ont particulièrement étudié, avec le concours de 14 services de référence en BU, les effets que pouvait produire la subjectivité de l’analyste avant de confirmer la viabilité de la méthode : Bella Karr Gerlich, Lynn G. Berard, “Testing the Viability of the READ Scale© (Reference Effort Assessment Data): Qualitative Statistics for Academic Reference Services”, College and Research Libraries, March 2010, 71 (2), pp. 116-137.

15 C’est d’ailleurs le titre de la communication adoptée par Catherine Fortier et Lyne Welsh « Traduire l’effort et l’expertise du personnel pour mieux évaluer les besoins des usagers », Congrès des milieux documentaires du Québec, 18-20 novembre 2015. [En ligne] : < https://milieuxdoc.ca/actes-des-conferences-fr1199.html >.

16 Titre de l’article d’Isabelle Le Bis et Béatrice Vacher paru dans Documentaliste-Sciences de l’information, 2006, 43 (3), pp. 200-208.

Table des illustrations

Titre Formulaire de codage. Grille d’analyse des interactions
Légende Légende : rubrique 2 du formulaire de codage des interactions en service public à la Bpi.
URL http://books.openedition.org/pressesenssib/docannexe/image/5599/img-1.jpg
Fichier image/jpeg, 338k

© Presses de l’enssib, 2016

Licence OpenEdition Books

Lire

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search