Version classiqueVersion mobile

Mettre en œuvre un service de questions-réponses en ligne

 | 
Claire Nguyen

Partie II. Répondre : oui, mais comment ?

5. Comment évaluer un service de questions-réponses en ligne ?

Nicolas Alarcon

Texte intégral

1L’évaluation d’un service de questions-réponses en ligne est nécessaire pour au moins deux raisons. D’une part, certains services utilisent des modes de renseignement innovants (chat, vidéo) sur lesquels nous avons encore peu de recul ; d’autre part, l’investissement financier et en ressources humaines peut s’avérer important, les données produites par l’évaluation permettront de mesurer l’activité du service et d’en ajuster l’organisation si nécessaire.

2Encore faut-il savoir quoi évaluer. Les points sur lesquels peut porter l’évaluation sont nombreux : aspects économiques (coût, rentabilité et productivité du service), procédures (efficacité et efficience des processus, aspects du système utilisé et interactions avec l’usager), ressources (livres, périodiques, index, bases de données, équipements et interfaces des environnements physiques ou électroniques), résultats (qualité des réponses, informations ou connaissances délivrées à l’usager), satisfaction (degré à partir duquel l’usager du service se déclare satisfait des modalités et des résultats, satisfaction du bibliothécaire), etc.

3Évaluer nécessite du temps et peut s’avérer coûteux en cas d’utilisation de certaines méthodes d’enquête ; il est donc rare de pouvoir tout explorer. En fonction des caractéristiques du service de Q/R et des exigences des décideurs, le plan d’évaluation du service opérera une sélection parmi les éléments à mesurer. Plus le plan sera pensé en amont lors de la construction du service, plus il intégrera naturellement son fonctionnement quotidien.

PILOTER L’ACTIVITÉ

4La première évaluation doit concerner l’activité du service. Un tableau de bord mis à jour régulièrement synthétisera les principaux indicateurs quantitatifs. La liste de ces indicateurs dépendra des modes de questionnement proposés et de la méthode de production de ces données (recueil automatique via l’application qui gère le service ou recueil par échantillonnage et analyse des questions/réponses). Voici une énumération non-exhaustive des indicateurs quantitatifs pouvant refléter l’activité d’un service de Q/R :

5Général

  • nombre total de questions reçues (indépendamment du mode d’interrogation utilisé) ;
  • répartition des questions reçues par mode de questionnement (e-mail, sessions de chat, session de vidéoconférence, etc.) ;
  • répartition par type de questions (questions pratiques, bibliographiques, de localisation, d’aide à l’utilisation des ressources électroniques, etc.) ;
  • répartition des questions reçues selon la discipline concernée ;
  • répartition des questions reçues par données signalétiques requises lors de la soumission de la question : origine géographique ou université d’appartenance de l’usager, sexe, statut, profession et catégorie socioprofessionnelle, etc.

6Service asynchrone (formulaire Web, e-mail, forum)

  • nombre moyen/médian de questions traitées par bibliothécaire ;
  • temps moyen/médian passé par le bibliothécaire à effectuer les recherches pour répondre à une question ;
  • durée moyenne/médiane de traitement d’une question (temps entre la réception de la question et l’envoi de la réponse).

7Service synchrone (chat, vidéoconférence)

  • durée moyenne/médiane d’une session de chat ou de vidéoconférence ;
  • répartition des sessions de chat ou de vidéoconférence par jour de la semaine et heure de la journée.

8Base de connaissances (archive des questions et des réponses consultable librement par le public)

9– Nombre de Q/R dans la base

  • nombre de consultations de la base de connaissances ;
  • nombre moyen/médian de consultations par question.

10En matière d’indicateurs quantitatifs, les normes internationales favorisent l’utilisation d’une terminologie et d’une méthodologie commune. La mesure de l’activité des bibliothèques est abordée dans deux normes publiées par l’Organisation internationale de normalisation (ISO) : ISO 2789 Statistiques de bibliothèques et ISO 11620 Indicateurs de performance en bibliothèque. Ces documents définissent les statistiques produites dans les bibliothèques (municipales, universitaires, nationales) de manière fiable et dans une perspective internationale.

11La norme ISO 2789 propose une définition restrictive et légitimiste de l’unité de mesure d’un service de Q/R : la demande d’informations. Elle est une « opération de médiation auprès du public par le personnel de la bibliothèque R partir d’une ou de plusieurs sources d’informations […]. La demande peut Utre adressée de vive voix, par téléphone, par courrier, par télécopie ou par voie électronique (messagerie électronique, site Web, de la bibliothèque ou tout autre moyen de communication en réseau) […] ». Si la définition intègre les demandes bibliographiques et les instructions concernant l’utilisation des ressources électroniques, elle exclut explicitement « les demandes de renseignement ou d’orientation et les questions administratives, telles que trouver un agent de la bibliothèque ou repérer des équipements, préciser les horaires d’ouverture ou expliquer le fonctionnement des équipements, imprimantes ou ordinateurs […], les questions relatives R la localisation de documents du fonds dé ; R identifiés dans le catalogue ». Il est donc difficile de rendre compte de l’activité d’un service de Q/R en se basant littéralement sur la statistique « Demande d’informations », une part non négligeable de questions ne serait pas comptabilisée. Cette définition pourrait être élargie pour mieux prendre en compte la réalité des services électroniques suite à la révision de la norme ISO 2789, entreprise en 2010, la dernière version datant de 2006.

12La norme ISO 11620 présente, notamment, un indicateur de performance pertinent pour les services de Q/R. L’indicateur Pourcentage des demandes d’information transmises par voie électronique permet de mesurer « l’utilisation des moyens électroniques de communication (par exemple courriel, référence numérique) pour transmettre des demandes d’informations » et peut être utilisé pour déterminer la prépondérance du renseignement en ligne sur les autres modes de renseignement (physique, par courrier, par téléphone, etc.).

13Afin de refléter la capacité d’innovation des bibliothèques sur le modèle de l’enquête allemande BIX, l’enquête statistique générale des bibliothèques universitaires (ESGBU) propose depuis 2007 une entrée « Service de référence en ligne : nombre de questions ». Cet indicateur concerne explicitement les services de renseignement virtuels organisés et présentés comme tels par les établissements ; les adresses e-mail de contact de la bibliothèque sont exclues du comptage. Il est donc encore peu renseigné actuellement.

ÉVALUER LA QUALITÉ DU SERVICE

14Une fois en place la mesure de l’activité du service, la deuxième étape consiste à en évaluer la qualité. Il convient de s’interroger sur ce que peut représenter la qualité d’un service de renseignement en ligne.

15La satisfaction immédiate de l’usager quant à son utilisation du service est une première piste. Chaque réponse à une question, chaque session de chat ou de vidéoconférence sera accompagnée d’un questionnaire de satisfaction visant à évaluer dans quelle mesure l’usager est satisfait de son expérience. Le questionnaire sera volontairement court et cadré (pas plus de 5 questions dont une grande majorité de questions fermées) et il devra obligatoirement intégrer une question sur la volonté de l’usager d’utiliser à nouveau le service de Q/R en ligne. En effet, la réutilisation du service représente une manifestation concrète de la satisfaction de l’utilisateur plus significative qu’une position sur une échelle d’appréciation (très satisfait, plutôt satisfait, etc.).

16La satisfaction de l’usager peut également se mesurer en différé. Le questionnaire soumis immédiatement après l’échange évalue la qualité de l’interaction entre le répondant et le demandeur et non la satisfaction de l’usager lors de l’utilisation effective des informations communiquées. Les données étaient-elles pertinentes au regard de la demande ? La démonstration de la base de données était-elle assez claire pour reproduire la recherche facilement ? Ces questions peuvent trouver leur réponse grâce à un questionnaire envoyé à tous ou à un échantillon d’usagers quelques jours ou semaines après l’utilisation du service. Ce serait également l’occasion d’estimer si le service a répondu aux attentes de l’utilisateur, élément auquel la simple mesure de la satisfaction ne permet pas de répondre.

17Si l’appréciation de l’usager est un élément nécessaire à l’estimation de la qualité d’un service de Q/R, elle n’est pas suffisante, bien d’autres facteurs entrent en compte.

18Pour McClure et Lankes, la qualité du service dépend de la satisfaction de l’utilisateur, mais aussi de la courtoisie (attitude des bibliothécaires), de l’exactitude (justesse des réponses fournies par les équipes), des habitués (pourcentage d’usagers qui utilisent plusieurs fois le service), de la connaissance du service (population connaissant son existence) et du coût (coût par interaction).

19D’autres experts ont défini une dizaine d’indicateurs permettant d’évaluer la qualité d’un service de Q/R en ligne, parmi ceux-ci l’accessibilité (disponibilité via le Web), la rapidité de la réponse (100 % des réponses dans un laps de temps de 1 ou 2 jours ouvrés), une politique de service claire (de la procédure pour poser une question aux types de réponses fournies), l’interactivité (entretien et réponse en temps réel), l’autorité (des experts qui peuvent répondre aux questions et indiquer des ressources en ligne à consulter), la confidentialité (tous les échanges sont confidentiels), la critique et l’évaluation (une procédure régulière pour vérifier la satisfaction des usagers et du personnel), la communication sur le service (informer les usagers potentiels de la valeur du service pour leurs travaux).

20En l’absence de tout référentiel sur les services de Q/R en ligne (un futur projet pour le groupe Qualibib ?), les responsables de ces services s’intéressant à la qualité devront se positionner par rapport aux recommandations existantes, pour le moment largement anglo-saxonnes et se comparer aux autres services d’une même zone géographique.

ÉVALUER LA QUALITÉ DES RÉPONSES

21La qualité du service se mesure également à la qualité des réponses produites. La Reference and User Services Association (RUSA) a diffusé en ligne un guide pratique traitant de la manière de proposer un service de renseignement de qualité au travers de l’interaction avec l’usager.

Quelques-uns de leurs conseils :
▪ facilité d’accès : l’usager doit trouver facilement le service (présence visible partout où cela est nécessaire et spécialement en ligne ) ;
▪ intérêt manifeste dans l’interaction : l’usager doit devenir le centre de l’attention du répondant (maintenir un contact écrit, répondre dans les délais ) ;
▪ écoute et questionnement : identification des besoins de l’usager sans interrogatoire intrusif (écoute attentive et cordiale, questionnement pertinent ) ;
▪ recherche : stratégie de recherche adaptée à la demande et démarche pédagogique ;
▪ suivi : assurer le suivi de la question jusqu’à ce que l’usager soit satisfait de la réponse apportée (poursuivre les recherches hors session, orienter vers d’autres bibliothèques, encourager l’usager à revenir au besoin).

22Comment évaluer la qualité des réponses dans un service de Q/R en ligne ? Une des nombreuses méthodes existantes concilie fiabilité des données produites et coût raisonnable de production. Durant une période de référence déterminée (au minimum 2 à 3 semaines), toutes les sessions seront codées simultanément par deux bibliothécaires afin d’éviter toute perception biaisée des questions. Le codage portera sur le type d’usager, le type de question et le type de traitement. Si la catégorisation des usagers ne pose, a priori, pas de problèmes particuliers, il conviendra de définir avec précision les types de question (orientation, renseignement rapide, recherche approfondie, localisation par exemple) et les types de traitement comme interprétation de la réponse apportée (exact et complet avec références citées, exact et complet sans références citées, exact sans citation requise, inexact avec références citées fausses, redirection, etc.). Le pourcentage de réponses exactes constituera un indicateur de qualité du service. Cette analyse pourra être renouvelée régulièrement afin de mesurer l’évolution de la qualité des réponses.

ÉVALUER LA NOTORIÉTÉ D’UN SERVICE DE Q/R EN LIGNE

23Lorsque d’importants efforts marketing sont consentis, notamment financiers, les décideurs souhaitent parfois avoir un retour sur la notoriété du service auprès des publics-cibles. La notoriété peut s’appréhender comme un indicateur composite qui agrège des notions quantitatives et qualitatives comme la perception, la reconnaissance ou le taux de pénétration.

24La notoriété d’un service de Q/R peut se mesurer à l’aune des autres modes de renseignements, quelle est la part du renseignement en ligne par rapport au renseignement « traditionnel » ? L’indicateur Pourcentage des demandes d’information transmises par voie électronique issu de la norme ISO 11620 Indicateurs de performance en bibliothèque permet d’évaluer ce rapport et ainsi déterminer le taux de pénétration d’un service de Q/R en ligne.

25La reconnaissance du service peut se calculer grâce à un questionnaire administré à un échantillon du public potentiel (utilisateurs et non-utilisateurs) en leur demandant s’ils connaissent le service proposé et sa principale fonction.

26Enfin, la perception d’un SRV est une donnée qualitative, difficilement quantifiable par un ratio ou un pourcentage. La méthode des entretiens collectifs (ou focus groups) pourra être avantageusement utilisée pour déterminer la manière dont est perçu le service par les usagers ou les non-usagers et ainsi adapter l’offre de service.

L’AVIS DES BIBLIOTHÉCAIRES

27Pour être complète, l’évaluation doit concerner tous les acteurs d’un service. Parce que les services de Q/R recrutent encore le plus souvent sur la base du volontariat, l’avis des bibliothécaires sur leur participation au service est également à prendre en compte. Une enquête par questionnaire pourra être l’occasion de mesurer leur satisfaction à participer aux différents modes de renseignement en ligne, mais aussi de proposer des idées d’améliorations ou de recenser les besoins en formation soulevés par cette nouvelle activité.

QUELS OUTILS ?

28Si l’application informatique sur laquelle se base le service de Q/R ne propose pas de rapports statistiques élaborés, l’activité pourra être comptabilisée sur un simple logiciel de bureautique : tableur (Calc©, Excel©) ou base de données (Access©, FileMaker Pro©). Concernant les enquêtes par questionnaire, il existe une grande variété d’outils permettant de réaliser, d’administrer et de diffuser des sondages en ligne. Au-delà des logiciels payants (Sphinx, Modalisa), des applications gratuites et/ou libres sont disponibles sur le marché telles que Googles Docs (permet de créer une enquête via un formulaire Web qui alimente automatiquement un tableur) ou Lime Survey (outil open source de création et de traitement d’enquête).

AMÉLIORER LE SERVICE

29Pilotage de l’activité, mesure de la qualité, enquêtes auprès des acteurs, autant de mesures évaluatives ne sauraient être produites en ne jouant qu’un rôle de surveillance, sans contribuer à l’amélioration directe du service.

30Ainsi, l’enquête sur la notoriété pourra entraîner un ajustement dans la stratégie marketing en direction des populations-cibles les moins touchées (nouveaux supports de communication ou adaptation du message). Les statistiques d’usages étayeront les probables ajustements de l’organisation du service : doublement des permanences de chat à certaines heures de la journée, renforcement ou diminution des équipes de répondants en cas de trop fréquentes ou de trop rares sollicitations, meilleur découpage thématique pour éviter un trop grand déséquilibre entre les catégories, etc.

  • 1 Cf. l’article de N. Kiker, « Travailler ensemble : l’exemple d’Ubib.fr », p. 130.

31L’analyse des questions et des réponses constituera, sans aucun doute, la plus importante source d’améliorations potentielles aussi bien pour le service en ligne que pour l’établissement physique. Les échanges usager-bibliothécaire par e-mail ou chat du service Ubib.fr ont, par exemple, servi de base au prestataire pour la construction de la formation au savoir-répondre1. Les signalétiques défaillantes dans les espaces des bibliothèques et les informations manquantes sur les sites Web pourront être repérées par la récurrence de certaines questions (notamment pratiques). L’université de Guelph (Canada) a analysé 600 retranscriptions de sessions de chats pour créer des FAQ et des tutoriels adaptés à la terminologie employée par les étudiants, proposer un service de renseignement mobile, améliorer la signalétique dans la bibliothèque ou ajuster leurs collections papier.

32L’ouverture du service, même après plusieurs mois de réflexion et de préparation, ne constitue pas le terme de son évolution. Au contraire, toutes les données issues de l’évaluation serviront à le transformer pour répondre encore mieux aux attentes des usagers. Par son intérêt stratégique pour les responsables et décideurs du SRV, le tableau de bord synthétisant les principaux indicateurs quantitatifs est la première action d’évaluation à mettre en place. Les autres éléments (notoriété, qualité des réponses, satisfaction des usagers) ne doivent pas être négligés pour autant, malgré des méthodes de production de données plus longues et parfois plus complexes. Ils compléteront les chiffres de l’activité du service et contribueront à en restituer un portrait fidèle en multipliant les éclairages sous différents angles.

Notes

1 Cf. l’article de N. Kiker, « Travailler ensemble : l’exemple d’Ubib.fr », p. 130.

Le texte et les autres éléments (illustrations, fichiers annexes importés) sont sous Licence OpenEdition Books, sauf mention contraire.

Lire

Open access

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search