Évaluer la bibliothèque par les mesures d’impacts
|Partie III – Pilotage
Évaluer l’usage des ressources numériques : quels enjeux, quelles solutions ?
Volltext
1Nous traitons ici de la question stratégique de la mesure des accès aux ressources numériques. Nous visons en particulier les établissements de l'enseignement supérieur et de la recherche (ESR), avec pour exemple l’utilisation à l’université de Lorraine (UL) d’ezPAARSE, un outil logiciel libre et gratuit qui permet de compléter et préciser les données d’usage, fournies par les éditeurs, par des données collectées et traitées localement. Ce moyen permet aux bibliothèques de regagner une certaine autonomie dans le domaine du traitement des données d’accès aux ressources souscrites.
- 1 Voir l’édition la plus récente du STM Report : < http ://www.stm-assoc.org/2015_02_20_STM_Report_2 (...)
2L’augmentation constante des montants d’abonnements aux ressources numériques, dans un contexte de stagnation ou de baisse des budgets, est un fait connu et nous n’y reviendrons pas en détail1. On peut en revanche souligner la nécessité de disposer de données qui permettent de préciser un suivi et une vision stratégique pour la conduite d’une politique documentaire en ce qui concerne les abonnements, ou d’une manière générale, de mieux connaître leur appropriation par les communautés d’utilisateurs.
3À travers le cas concret de l'UL, nous allons évoquer les différentes questions qui se sont posées au moment de la mise en œuvre d’ezPAARSE puis pendant son exploitation, ainsi que les réponses apportées.
Pourquoi et comment travailler avec ezPAARSE ?
L’intérêt du logiciel pour compléter les chiffres éditeurs
- 2 Voir à ce sujet l’enquête menée par le projet Counter sur ce thème : < http ://www.projectcounter.org/documents/COUNTER_Survey_Library_Results.pdf >.
- 3 Code of practice : < http ://projectcounter.org/ >.
4Les établissements abonnés à des ressources numériques travaillent encore majoritairement avec des statistiques fournies par les éditeurs2. Dans le meilleur des cas, ces fichiers suivent Counter, une recommandation internationale devenue un standard de fait, et dont le Code of practice3 détaille la façon dont ces statistiques d’accès doivent être générées et présentées. Malheureusement, beaucoup d’éditeurs ne s’y conforment pas : soit en n’offrant aucune donnée, ou aucune garantie sur le mode de calcul, soit en proposant des modes de comptage (« crédits », « pages vues », etc.) ne pouvant être rapprochés des éléments couverts par Counter (articles, chapitres, etc.).
5Les éditeurs respectant Counter livrent des données en théorie fiables, auditées et homogènes. Elles restent toutefois agrégées au niveau d’un compte (généralement un établissement) et n’offrent pas de visibilité sur l’usage des ressources par différentes catégories d’utilisateurs (discipline de spécialité, statut, niveau d’études…). A contrario, les données plus classiques de prêt et d’inscription, universellement exploitées, offrent ce genre d’information depuis les débuts de l’informatisation des bibliothèques. Il apparaît souhaitable de pouvoir disposer de ce même niveau de précision pour les ressources en ligne, qui représentent aujourd’hui, dans de nombreux établissements, un montant de dépenses supérieur à celui consacré au papier.
Le principe de fonctionnement : le matériau, ce qu’on en fait
6C’est ici qu’ezPAARSE entre en jeu. Basé sur le modèle fonctionnel d’une solution locale développée à l’INIST-CNRS en 2009 (NumStat), ezPAARSE est développé selon une méthodologie agile* pour l’ensemble de l’ESR, grâce à un partenariat organisé entre l’INIST-CNRS, Couperin.org et l’UL entre octobre 2012 et décembre 2015.
- 4 Un log désigne les traces enregistrées dans un fichier ou tout autre dispositif, comportant l’hist (...)
- 5 Ou « serveur mandataire inverse ». Les plus connus sont EZProxy et BiblioPAM, mais d’autres peuven (...)
- 6 Lisa Goddard, “Getting to the Source: A Survey of Quantitative Data Sources Available to the Every (...)
7Son mode de fonctionnement repose sur l’analyse des fichiers logs4 que collecte le reverse proxy5 mis en place pour l’accès authentifié aux ressources numériques souscrites. La technique de l’analyse de logs est bien décrite6 et sa faisabilité technique est établie, moyennant certains pré-requis : ezPAARSE ne peut travailler qu’en présence de fichiers logs. Si les accès à la documentation numérique ne transitent pas par un proxy, ezPAARSE ne pourra rien en dire. Il existe beaucoup d’établissements qui ne proxifient que les accès distants (hors les murs) de leurs personnels et étudiants. C’est un élément qu’il faudra prendre en compte au moment de l’adoption du logiciel, qui trouve son plein intérêt dans le cas d’une proxification complète des accès.
Encadré. Présentation d’une ligne de log standard
Voici le contenu d’une ligne de log standard pour un accès réussi à une ressource numérique :
66.130.77.181 [01/02/2016 10 :23 :01 +0200] ‘GET http ://pdn.sciencedirect.com/science?_pii=S00014575&docid=1-s2.0-main.pdf HTTP/1.1’ 200 2546
On y trouve dans l’ordre : l’adresse IP du poste de l’utilisateur ; la date précise de la requête (à la milliseconde près) ; la requête HTTP avec l’URL de la page consultée, le code retour HTTP 200 qui indique que l’accès a bien eu lieu, et enfin la taille de la réponse en octets.
- 7 Une adresse IP (pour Internet Protocol) est un numéro unique permettant à un ordinateur de communi (...)
- 8 On désigne ainsi les caractéristiques qui définissent les entrées de l’annuaire LDAP (pour Lightwe (...)
8Toutes les lignes de logs présentes dans un fichier de logs (qui peut en contenir des millions) sont formatées de la même façon. On travaille avec un matériau homogène qui fournit des informations à la fois sur l’utilisateur (son adresse IP7, parfois son login et des attributs LDAP8) et sur la ressource consultée (l’URL et la taille de la réponse).
- 9 Entrent dans cette catégorie : la récupération des feuilles de style, les images, les fichiers jav (...)
- 10 Dans ce contexte, le parseur est l’analyseur syntaxique destiné à récupérer les informations conte (...)
9Après un travail de filtrage de toutes les lignes qui ne sont pas significatives9 en termes d’accès à une ressource documentaire, ezPAARSE génère des événements de consultation (EC) qui contiennent des enrichissements de type bibliographique (titre de la revue, ISSN, DOI, etc.), grâce au parseur10 qui correspond à la plate-forme sur laquelle la ressource est consultée. Les informations d'origine sont naturellement conservées.
10Suite à ce processus, les fichiers produits sont de taille bien plus modeste que les logs (environ 10 fois plus petits) et ne posent pas de problème particulier de stockage : ainsi à l’UL, université dotée de 52 000 étudiants et 8 000 enseignants et chercheurs, on obtient des sorties allant, selon le mois concerné, de 120 000 à plus de 200 000 EC, chacune correspondant à un fichier compressé de 11 à 16 Mo.
De l’utilisation manuelle sur l’instance nationale à l’installation locale automatisée
11L’adoption d’ezPAARSE se fait progressivement et en trois étapes :
Première étape : test du logiciel
- 11 [En ligne] : < http ://ezpaarse.couperin.org >.
12La phase de test se déroule soit sur l’instance nationale11, soit en local après installation sur un poste équipé d’un système d’exploitation de type Linux.
13Définir son format de log est crucial : c’est ce qui permet à ezPAARSE de reconnaître les logs pour les traiter. Si le format n’est pas reconnu par défaut, un outil intégré est proposé. Cette opération n’est pas complexe, mais utilise un formalisme (les expressions régulières) qui n’est pas nécessairement connu de tous.
14EzPAARSE est alors en mesure de livrer ses premiers résultats. Il faut vérifier que les informations permettant de caractériser les catégories d’utilisateurs sont présentes : soit en paramétrant son reverse proxy de façon à ce qu’il ait accès à la donnée de catégorie directement, soit en procédant à un enrichissement a posteriori, à l’aide par exemple d’un script de rapatriement d’attributs LDAP.
- 12 Analogist-NG : < http ://ang.couperin.org >.
15Les fichiers de rejets fournis par ezPAARSE sont utilisés pour évaluer le taux de couverture en ressources reconnues en comparant le nombre de ressources auxquelles un établissement est abonné et le nombre de plates-formes pour lesquelles on souhaite obtenir des données d’accès caractérisées. EzPAARSE est actuellement livré avec une centaine de parseurs qui couvrent la grande majorité des grands éditeurs et plates-formes de diffusion. Le site Analogist-NG12 recense les plates-formes couvertes ou en passe de l’être.
Deuxième étape : constitution d’un dossier pour adoption
16Ce premier test conclu (le format de log est reconnu ; la couverture par ezPAARSE des abonnements semble suffisante), l’application et ses résultats peuvent être présentés à une équipe, à une direction des systèmes d’information (DSI), à une direction. Un plan d’action collectif pour la mise en production du logiciel et son exploitation sera alors établi.
- 13 Voir les fiches du Guide pratique Informatique et Libertés, co-édité par la Conférences des présid (...)
17Une étape à conduire en parallèle et à ne pas négliger est celle du rendez-vous avec le correspondant Informatique et Libertés (CIL) de l’établissement. Par défaut, ezPAARSE fait un usage intensif de données à caractère personnel et nécessite d’en déclarer l’usage, de définir les conditions et la durée de conservation adéquates des fichiers de logs et des résultats obtenus13.
Troisième étape : mise en production
- 14 Il existe une liste de diffusion : < https://groupes.renater.fr/sympa/info/ezpaarse-users >.
18La DSI est désormais impliquée et s’occupe d’installer le logiciel sur un serveur. Le rythme de traitement (généralement mensuel) auquel les logs sont ingérés ainsi que les emplacements auxquels les logs sont récupérés et les résultats livrés seront ensuite définis. L’expérience de l’équipe ezPAARSE et des établissements déjà utilisateurs peut ici aider à définir une solution adaptée pour un établissement14.
L’exploitation du logiciel : le cas de l’UL
L’UL en utilisateur pilote
- 15 L’accès aux ressources par un reverse proxy exige une transformation des URL.
- 16 Petit programme JavaScript pouvant être stocké en tant qu’URL dans un favori ou un hyperlien dans (...)
19L’UL est née en 2012 de la fusion de quatre établissements (Nancy-1, Nancy-2, Institut national polytechnique de Lorraine, Metz). Suite à un travail commun des différents services de documentation, un reverse proxy commun est adopté dès 2009 (EZproxy) et gère les accès à la documentation numérique payée, tant en local qu’à distance. Ce choix est en contraste avec celui de certains autres établissements, qui réservent l’usage des serveurs mandataires à l’accès distant. Il a nécessité, dans certains cas, une adaptation des usages15. Entre autres démarches d’accompagnement, un bookmarklet16 est proposé aux lecteurs pour transformer automatiquement les URL. Ce passage de l’ensemble des accès par le reverse proxy est toutefois une condition cruciale si l’on veut pouvoir tirer de l’exploitation des logs par ezPAARSE des jeux de données complets.
20Autre acquis de la fusion : la présence d’un annuaire unifié, brique importante pour l’exploitation ultérieure des résultats. Deux éléments se sont avérés particulièrement importants : les affiliations, qui obéissent à des règles d’écriture strictes et documentées ; les catégories d’usagers ou Business Categories (BC), au nombre d’une vingtaine, sont utilisées pour gérer une partie des droits à l’ensemble des services numériques de l’UL, ressources documentaires incluses. Ces deux éléments étaient remontés dans les logs avant même le début de la collaboration autour d’ezPAARSE, et sont amplement utilisés dans l’exploitation. Le passage exclusif par le reverse proxy et la proximité géographique de l’UL avec l’INIST-CNRS, ont favorisé le positionnement de l’établissement comme pilote pour le déploiement du logiciel.
21L’installation et l’exploitation du logiciel se sont faites au départ avec une implication humaine très réduite, soit deux personnes, membres de l’équipe ezPAARSE : un informaticien (également administrateur d’EZproxy) et un bibliothécaire, tous deux à temps très partiel sur ce travail. Cette première installation sommaire a fait place début 2015 à une installation automatisée avec serveur dédié pour les fichiers résultats produits.
Production et exploitation des données
22À l'UL, les sorties ezPAARSE sont augmentées de trois éléments de données dans chaque événement de consultation. Aux BC et affiliations, déjà citées, s’est ajouté plus récemment le code ETAPE, issu d’une nomenclature nationale des cursus, diplômes et niveaux, pour obtenir des statistiques plus fines que ne le permettent les deux autres éléments, en caractérisant le niveau et la discipline du consultant. Sur la base de ces données, des renseignements plus précis (affiliations, cursus ou statuts en clair) sont rapatriés depuis les référentiels utilisés.
- 17 Un outil d’analyse sous la forme de fichier tableur avec macros est fourni en formats Excel et Lib (...)
23EzPAARSE ne représente en effet que l’une des étapes d’une chaîne de travail. Une fois obtenue une liste d’événements de consultation, il reste en effet deux étapes : l’une facultative, de post-traitement des fichiers, afin de procéder à des enrichissements et des manipulations qui n’auraient pas été automatisées en aval ; l’autre, plus importante, de consolidation et de visualisation des résultats. Il existe de nombreux outils permettant d’effectuer l’une ou l’autre tâche, ou les deux, du simple tableur à la suite avancée17. Le choix de l’UL s’est porté sur le logiciel Omniscope, de la société Visokio, déjà utilisé à l’INIST-CNRS, qui propose à la fois un module de traitement de données ingénieux et un module de visualisation un peu rigide mais efficace.
24Reprenons les données récupérées : de nombreux usagers des ressources numériques possèdent plusieurs statuts et affiliations en fonction de leurs différentes « casquettes » professionnelles ou étudiantes. Concernant le statut, c’est la BC principale (enseignant-chercheur, étudiant) qui est retenue.
25Concernant les affiliations, le problème est autre. Les enseignants-chercheurs, par exemple, possèdent au moins deux affiliations non hiérarchisées (composante d’enseignement et structure de recherche). La structuration des codes utilisés à l’UL permet toutefois de faire le tri, et c’est la première affiliation de chaque type parmi trois (recherche, formation, administration) qui est retenue. Il est en revanche difficile de construire des tableaux de bord classiques à deux dimensions en tenant compte des affiliations multiples : aussi, recherche et formation sont-elles traitées séparément. Une consultation par un enseignant-chercheur apparaîtra ainsi à la fois dans les tableaux de bord orientés recherche (avec laboratoire d’appartenance) et formation (assortie de la composante d’enseignement).
26Omniscope permet de créer des tableaux de bord dynamiques dont le destinataire contrôle certains éléments. Ainsi un premier tableau, orienté recherche, permet d’afficher des graphes d’utilisation par pôle de recherche et par laboratoire, et permet de ne sélectionner que l’un, ou plusieurs, de ces regroupements et unités. Un second, orienté formation, fait la même chose sur les collegiums et les composantes.
27La pratique de ces tableaux vient dans un premier temps confirmer certains faits observables, comme la proportion très importante de consultations dans les composantes santé, sciences ou sciences juridiques. Des surprises sont présentes, comme la part des consultations étudiantes sur certaines ressources, qui monte de 25 à 33 % des consultations sur les grandes plates-formes académiques anglophones (ScienceDirect, Wiley…), et s’avère écrasante sur les plates-formes juridiques (LexisNexis, Lamyline…).
28Dans un second temps, ces tableaux ouvrent des perspectives intéressantes en matière de pilotage. Les données de consultation des différentes unités et composantes peuvent déjà être utilisées par le service formation des bibliothèques pour cibler celles dont l’usage des ressources documentaires est en dessous de ce qui est attendu. Le service d’appui à la recherche récemment mis en place par les bibliothèques, avec des bibliothécaires référents par laboratoire, peut s’appuyer sur les profils d’usages des unités de recherche pour personnaliser au mieux les services proposés. Les décisions de politique documentaire numérique (abonnements et désabonnements) peuvent désormais être informées par une connaissance précise de leur utilisation par les communautés ciblées. Il reste, par contre, à combiner les données ezPAARSE avec celles plus classiques issues du SIGB ou des autres dispositifs professionnels, dans des tableaux de bord commun.
29Rien n’est parfait : beaucoup de ressources ne seront pas couvertes avant longtemps par ezPAARSE, faute d’URL analysables ; la mise à jour des parseurs est un travail réclamant vigilance et disponibilité, et qui peut engendrer des manques dans les tableaux de bord. L’adjonction de ces données à celles déjà disponibles via les rapports éditeurs permet toutefois d’atteindre un degré de connaissance de l’usage comme jamais précédemment.
Perspectives
30Au-delà de l’intérêt immédiat de pouvoir générer des événements de consultation précis et enrichis pour un établissement, l’adoption du logiciel inscrit ses utilisateurs dans la communauté d’utilisateurs internationaux AnalogIST. C’est une porte ouverte pour accueillir les contributions aux analyses de nouvelles plates-formes éditeurs qui améliorent la couverture d’ezPAARSE et qui profitent automatiquement à toutes les autres instances installées : un mécanisme de mise à jour et de récupération des nouvelles plates-formes est embarqué dans ezPAARSE.
- 18 Adaptation en droit français de la GNU Public Licence. [En ligne] : < http://www.cecill.info/licen (...)
31Le logiciel, dont le cycle de développement s’est achevé à la fin de l’année 2015 après 3 ans de travail, est, à la date de rédaction de la présente contribution, avril 2016, mis à disposition sous licence CeCILL18 dans une version stabilisée. Toutefois, pour assurer sa maintenance technique et continuer de le faire vivre, l’équipe constituée autour d’ezPAARSE organise la mise à contribution du logiciel dans d’autres projets. En voici deux exemples :
- ezPAARSE comme source de données dans Agimus-NG. Agimus-NG est un projet de plate-forme dédiée à l’analyse des logs des applicatifs des établissements (messageries, espaces numériques de travail) sur un mode assez proche d’ezPAARSE19. Il s’agit de faire entrer les indicateurs de la documentation numérique dans les tableaux de bord dynamiques sur l’utilisation des services numériques à l’échelle de l’établissement et d’acquérir une visibilité sur ces questions, à la fois au sein de la DSI et de l’équipe dirigeante ;
- ezPAARSE comme brique de contribution à ezMESURE20, un projet de dépôt national de données produites par les instances ezPAARSE installées dans les établissements : ce projet (prévu sur 2 ans) vise à mettre en place un « agrégateur » national des statistiques locales produites par les différentes instances d’ezPAARSE installées dans les établissements et proposer une interface de consultation, en ligne et dynamique, consolidée et comparative, des données collectées.
Anmerkungen
1 Voir l’édition la plus récente du STM Report : < http ://www.stm-assoc.org/2015_02_20_STM_Report_2015.pdf >.
2 Voir à ce sujet l’enquête menée par le projet Counter sur ce thème : < http ://www.projectcounter.org/documents/COUNTER_Survey_Library_Results.pdf >.
3 Code of practice : < http ://projectcounter.org/ >.
4 Un log désigne les traces enregistrées dans un fichier ou tout autre dispositif, comportant l’historique horodaté des événements attachés à un processus.
5 Ou « serveur mandataire inverse ». Les plus connus sont EZProxy et BiblioPAM, mais d’autres peuvent aussi être utilisés comme Squid, Apache, etc.
6 Lisa Goddard, “Getting to the Source: A Survey of Quantitative Data Sources Available to the Everyday Librarian: Part I: Web Server Log Analysis” et “Part II: Data Sources from Specific Library Applications”, Evidence Based Library and Information Practice, 2007, vol. 2, n°1, pp. 48‑88. [En ligne] : < https ://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/196/240 >.
7 Une adresse IP (pour Internet Protocol) est un numéro unique permettant à un ordinateur de communiquer dans un réseau.
8 On désigne ainsi les caractéristiques qui définissent les entrées de l’annuaire LDAP (pour Lightweight Directory Access Protocol).
9 Entrent dans cette catégorie : la récupération des feuilles de style, les images, les fichiers javascript, etc. par le navigateur de l’utilisateur pour générer la page web complète ainsi que tous les accès non réussis à des ressources et les redirections.
10 Dans ce contexte, le parseur est l’analyseur syntaxique destiné à récupérer les informations contenues dans les URL d’accès aux ressources.
11 [En ligne] : < http ://ezpaarse.couperin.org >.
12 Analogist-NG : < http ://ang.couperin.org >.
13 Voir les fiches du Guide pratique Informatique et Libertés, co-édité par la Conférences des présidents d’université (CPU), la Commission nationale de l’informatique et des libertés (CNIL) et l'Agence de mutualisation des universités et établissements (Amue), en particulier la fiche 13 : « Contrôle de l'utilisation des moyens informatiques ».
14 Il existe une liste de diffusion : < https://groupes.renater.fr/sympa/info/ezpaarse-users >.
15 L’accès aux ressources par un reverse proxy exige une transformation des URL.
16 Petit programme JavaScript pouvant être stocké en tant qu’URL dans un favori ou un hyperlien dans une page web.
17 Un outil d’analyse sous la forme de fichier tableur avec macros est fourni en formats Excel et LibreOffice. Un module développé à l’INIST, ezVis, offre une visualisation interactive des résultats. Des logiciels comme Business Object ou QlikView couvrent chacun de ces deux aspects de la chaîne de travail.
18 Adaptation en droit français de la GNU Public Licence. [En ligne] : < http://www.cecill.info/licences/Licence_CeCILL_V2.1-fr.html >.
19 « AGIMUS-NG permet d'utiliser les fichiers de traces […] afin de produire un entrepôt de données [et] des indicateurs statistiques d'usage des services numériques. La plate-forme ingère des logs, les enrichit avec des informations du SI […] et permet de créer des tableaux de bord. ». [En ligne] : < https ://www.esup-portail.org/wiki/display/AGIMUSNG/Documentations >.
20 Voir : < https://ezmesure.couperin.org >.
Der Text und andere Elemente (Illustrationen, importierte Anhänge) stehen unter OpenEdition Books License, sofern nicht anders angegeben.