Le traitement des données de masse au sein du dépôt légal du Web de l’Institut national de l’audiovisuel
Texte intégral
1Qu’elles soient matérielles (bobines de film, cassettes vidéos, DVD, documents diffuseurs au format papier) ou immatérielles (fichiers vidéos, fichiers audios, fichiers textes), les données que l’Ina, depuis sa création en 1974 jusqu’à nos jours, a été amené à collecter, gérer, archiver et valoriser, présentent des volumes de plus en plus importants. Ces données s’accompagnent généralement de métadonnées (données décrivant les données) qui sont à considérer avec autant, sinon plus, de soin que les données. Dans la suite de cet article, on regroupera les notions de données et de métadonnées sous le terme d’« omnidonnées1 ». La gestion des omnidonnées produites par les acteurs de l’audiovisuel français est donc l’une des composantes clés de la mission d’archivage qui incombe à l’Ina. L’objet de cet article est de décrire quantitativement et qualitativement ces omnidonnées massives, les outils mis en place pour les collecter, ceux mis en œuvre pour les archiver et ceux créés pour en assurer la valorisation et la mise à disposition auprès du public. Plus particulièrement, il se concentrera sur la gestion des omnidonnées massives telle qu’elle est opérée par et au sein du service du dépôt légal du Web depuis la sélection jusqu’à leur valorisation en passant par le stockage, l’indexation et la documentation.
Contexte et mission de l’Ina
2Créé à la suite de l’éclatement de l’ORTF [Office de radiodiffusion-télévision française], l’Institut national de l’audiovisuel a pour mission l’archivage des chaînes publiques de télévision et de radio. En 1992, le dépôt légal français est étendu à toutes les chaînes du paysage audiovisuel français. Cette loi étend alors le périmètre de collecte à 120 chaînes de télévision et de radio. Cette mission menée à bien via la captation de ces chaînes en format numérique, 24 heures sur 24, a conduit à la collecte de 23 millions d’heures de programmes télédiffusés et radiodiffusés avec une croissance d’un million d’heures par an. La loi DADVSI et son décret d’application du 19 décembre 20112 ont étendu le périmètre du dépôt légal aux sites web. Cette mission est partagée entre l’Ina, pour les sites liés à l’audiovisuel français, et la Bibliothèque nationale de France pour les autres sites du domaine français.
Figure 1. Quelques exemples de médias collectés par l’Ina.

Source : http://www.inatheque.fr/medias/Brochure_2020_INAtheque_CnC.pdf, consulté en octobre 2022.
Périmètre de collecte du dépôt légal du Web de l’Ina
3Le périmètre de collecte du dépôt légal du Web de l’Ina s’articule sur quatre types d’objets web dits « sources » :
les sites web :
les sites officiels des diffuseurs nationaux (par exemple https://www.france.tv, https://www.radiofrance.fr/),
les sites officiels des émissions produites par les diffuseurs nationaux (par exemple https://www.6play.fr/le-meilleur-patissier-p_1807),
les sites contenant des informations relatives à l’audiovisuel français : sites de communautés de fans de programmes télévisés, forums d’échange, sites non officiels (par exemple https://www.plusbellelavie.org/) ;
les comptes de réseaux sociaux :
les comptes liés aux médias : comptes officiels des chaînes (par exemple @francetv, @CNEWS), comptes officiels des programmes (par exemple @cashinvestigati, @TPMP),
les comptes liés aux acteurs des médias : comptes de journalistes, de présentateurs et de présentatrices, de directeurs et de directrices de programmes, de podcasteurs, etc. ;
les comptes de plateformes vidéos (ou UGC pour User-Generated Content) francophones :
les chaînes YouTube françaises,
les chaînes Dailymotion françaises,
les chaînes Vimeo françaises,
les chaînes Twitch françaises,
les chaînes Soundcloud françaises,
les chaînes Mixcloud françaises,
les chaînes Vine françaises,
les chaînes Wat françaises,
les podcasts français ;
les tweets associés :
aux hashtags liés aux médias français (par exemple #FranceInter, #EnvoyeSpecial),
aux hashtags liés aux sujets d’actualités qui résonnent fortement dans les médias français (par exemple #presidentielle2022).
4En pratique, la collecte consiste à archiver :
pour un site web donné : toutes les pages et les ressources (textes, médias, CSS, scripts) permettant de reproduire pleinement la navigation,
pour un hashtag : tous les tweets contenant le hashtag et qui sont fournis par l’API Twitter,
pour un UGC : toutes les vidéos publiques de la chaîne,
pour les comptes de réseaux sociaux : toutes les publications publiques des comptes,
pour les podcasts : tous les épisodes.
Omnidonnées sur le Web
5À un objet collecté correspond un nombre important d’omnidonnées associées. Par exemple, une page web contient en moyenne 2 Mo de données (images, textes, polices), un tweet contient une trentaine de métadonnées (date de publication, texte, lien), une vidéo YouTube, une quarantaine (description, durée, titre).
6En outre, en raison de la démocratisation des ordinateurs personnels et de leurs usages, et de la diminution du coût du stockage grand public, ces métriques tendent à augmenter avec les années comme le montrent les illustrations ci-dessous.
Figure 2. Évolution du volume moyen de données contenues dans une page web.

Source : https://almanac.httparchive.org/en/2021/page-weight, consulté en octobre 2022.
Figure 3. Taille d’une page web et répartition par type de données.

Source : https://www.nosyweb.fr/google-analytics-web-analytique/la-croissance-de-la-taille-des-pages-web.html, consultation octobre 2022.
Processus de collecte des omnidonnées
Sélection des sources à collecter
7La sélection des quatre types de sources est effectuée par l’équipe documentation du dépôt légal du Web de l’Ina. Cette équipe est constituée, côté métier, d’une chargée de mission qui établit et formalise la méthodologie de sélection et de documentation des sources, d’un ou plusieurs documentalistes en session chargés de sélectionner, de documenter et d’ajouter ces sources à la collecte et, côté maîtrise d’œuvre, d’un responsable de projet chargé de construire et mettre à disposition les outils informatiques permettant ce travail de sélection et de documentation.
8Les sources éligibles peuvent être détectées via des outils de veille automatisés (Talkwalker, Trends24), des inscriptions à des newsletters à la thématique audiovisuelle ou des agrégateurs de flux (Hootsuite) fondés sur des mots-clés relatifs à l’audiovisuel. Les sources peuvent aussi être issues des habitudes de consommation et des connaissances personnelles des documentalistes en session. L’ajout d’une source peut aussi s’effectuer dans le cadre d’un projet de recherche ou faire suite à la demande d’un organisme tiers qui nous communique une liste de sources à collecter.
Ajout des sources à collecter
9L’ajout des sources s’effectue via un outil dédié et développé par le dépôt légal du Web : DUMBOW3. Ce client lourd développé en VB/.NET permet de consulter, d’ajouter et de modifier la base de données SQL/MariaDB contenant les sources à collecter.
10Chaque source dispose d’une notice regroupant à la fois les informations de collecte (date de début de collecte, date de fin de collecte) et les informations documentaires (description, descripteurs, catégorie).
Figure 4. Notice documentaire de la chaîne YouTube de France 3 Lorraine.

Volumétrie des sources et des objets collectés
11Le tableau ci-dessous présente les métriques des sources et des objets collectés par le dépôt légal du Web de l’Ina en septembre 2022.
Tableau 1. Volumétrie des sources de collectes et des objets collectés par le dépôt légal du Web.
Type de sources | Sous-type | Nombre | Type d’objets collectés | Nombre d’objets collectés |
Sites web | N/A | 16 537 | Pages | 124 300 000 000 |
Hashtags | N/A | 3 091 | Tweets | 2 891 830 636 |
Comptes de réseaux sociaux | 16 217 | |||
Chaînes de plateformes vidéos | YouTube | 6 822 | Fichiers vidéos/audios | 11 841 101 |
Dailymotion | 1 561 | 6 954 592 | ||
Soundcloud | 720 | 734 047 | ||
Vimeo | 1 090 | 322 257 | ||
Mixcloud | 209 | N/A | ||
Wat TV | 116 | 1 326 454 | ||
Twitch | 63 | N/A | ||
Vine | 464 | 19 405 | ||
Podcasts | N/A | 5 374 | Épisodes | 2 254 971 |
12Les volumétries de ces sources de collecte évoluent de manière croissante comme le montrent les graphiques ci-dessous.
Figure 5. Évolution du nombre de hashtags collectés en fonction du temps.

Figure 6. Évolution du nombre d’UGC collectés en fonction du temps.

Figure 7. Évolution du nombre de comptes de réseau social collectés en fonction du temps.

Figure 8. Évolution du nombre de sites web collectés en fonction du temps.

13Les sources du périmètre de la collecte évoluant de façon croissante, le volume d’objets collectés augmente logiquement selon la même tendance comme l’illustrent les figures 9, 10 et 11. Cependant, pour une source ajoutée à la collecte, ce sont plusieurs dizaines d’objets correspondants (publications, vidéos, pages) qui seront collectés. De même, il est à noter que, si le dépôt légal du Web maîtrise complètement le nombre de sources collectées, il ne maîtrise pas le nombre d’objets à extraire de ces sources.
Figure . Évolution du nombre d’objets web cumulés en fonction du temps.

Figure 9. Évolution du nombre d’heures de vidéos collectées en fonction du temps.

Figure 10. Évolution du nombre de tweets collectés en fonction du temps.

14Les volumétries des sources de collecte, dont l’ordre de grandeur est le millier, ainsi que les volumétries des objets collectés, dont l’ordre de grandeur est le million, attestent du caractère massif des omnidonnées issues du fonds du dépôt légal du Web.
15Ce caractère massif va être déterminant dans le choix des outils de sélection, de collecte et d’exploitation de ces omnidonnées.
Exploitabilité des omnidonnées massives
16Aussi importantes que les données, les métadonnées permettent d’indexer les données et a fortiori d’exploiter et de valoriser le fonds archivé. Ainsi, l’exploitabilité des données dépend directement de la qualité de l’indexation de ces métadonnées.
17Au-delà de la question du volume, la première problématique rencontrée à l’Ina, et plus particulièrement au sein du service du dépôt légal du Web, réside dans l’hétérogénéité des données (images, fichiers vidéos, fichiers audios, données textuelles) et dans l’hétérogénéité des métadonnées (codecs, résolution, bitrate4).
18On observe aussi une hétérogénéité dans les formats des métadonnées. Ainsi, une métadonnée contenant une date peut se présenter sous divers formats. Par exemple, la date de création est stockée sur Dailymotion au format EPOCH5 et au format ISO 86016 sur YouTube. L’encodage des chaînes de caractères dans les métadonnées retournées par les API est aussi un point d’attention. En effet, la description d’un compte Twitter peut contenir des émojis. Si cette description est stockée dans ou est utilisée par un champ technique n’ayant pas le même encodage, la donnée archivée ne sera pas parfaitement identique à la donnée originale.
Figure 11. Exemple d’une conversion d’un encodage prenant en charge les émojis (UTF-8) vers un encodage ne les prenant pas en charge (Windows 1252).

19Un travail préalable d’étude et de normalisation des formats des métadonnées est donc nécessaire.
20Dans un deuxième temps, il faut déterminer quelles sont les omnidonnées pertinentes et ne conserver que ces dernières. Cette démarche préalable permet d’économiser du temps machine (traitement, stockage de l’omnidonnées) et du temps humain (dans la prise en charge intellectuelle et logicielle de l’omnidonnée) aussi bien lors de l’étape de collecte que lors de l’étape d’utilisation, de valorisation, de mise en œuvre des omnidonnées.
21La pertinence d’une omnidonnée se juge au regard de l’usage métier qui en sera fait et de son exploitabilité technique. Par exemple, sur une collecte de tweets uniquement francophones, stocker la métadonnée du tweet qui contient le code langue n’est pas un choix pertinent. Pour faciliter ce travail, il peut être intéressant de distinguer les métadonnées selon deux catégories :
les métadonnées documentaires qui contiennent des informations de nature à documenter la donnée. Par exemple, la date de création d’une chaîne YouTube ;
les métadonnées techniques qui contiennent des informations de nature à qualifier techniquement la donnée. Par exemple, le format du conteneur d’une vidéo.
22Le choix des omnidonnées nécessite donc un travail ad hoc, à effectuer préalablement à la collecte et en prenant en compte les usages métiers. Il peut être facilité par le fait que les omnidonnées sont généralement structurées et décrites de façon exhaustive dans les documentations des API des plateformes.
23Cependant, les API présentent des inconvénients :
Une évolutivité/versatilité forte. Les plateformes (YouTube, Twitter) sont souvent pionnières en termes d’usage et implémentent/déprécient régulièrement des fonctionnalités.
Une limitation d’usage. Souvent gratuites, les API limitent les accès sous forme de quotas (cf. Fig. 13) qui sont à prendre rigoureusement en compte dans le développement des outils. Ainsi, le dépôt légal du Web de l’Ina a fait le choix de ne pas archiver l’évolution des engagements d’un tweet (nombre de likes, de retweets et de citations). En effet, archiver ces métriques de façon régulière nécessiterait de réinterroger l’API pour les 2,9 milliards de tweets.
Aucun engagement contractuel n’existe entre l’utilisateur accédant gratuitement à l’API et la plateforme éditrice, il n’y a aucun engagement de qualité et de continuité de service de la part de celle-ci.
24L’utilisation d’API suppose de fait une adaptabilité forte et une réactivité suffisante de la part des équipes de développement comme des équipes maîtrise d’ouvrage et métier qui doivent aussi se tenir informées des évolutions des API afin d’adapter les méthodologies et les stratégies d’usage.
Figure 12. Quelques limitations de l’API Twitter V2.

Source : https://developer.twitter.com/en/docs/twitter-api/rate-limits, consulté le 19 octobre 2022.
Collecte des données
25La collecte des données par le dépôt légal du Web de l’Ina s’effectue via un ensemble de briques logicielles appelé « Robot de Collecte ».
26Développés en interne par l’équipe Recherche & Développement (4 personnes), ces robots se fondent sur un ensemble de langages (PERL, JavaScript, Python) et de librairies tierces pour collecter les différents objets au périmètre et stocker le résultat de cette collecte.
27La volumétrie importante des omnidonnées impose d’adapter la stratégie de collecte. Afin de pouvoir collecter suffisamment et de façon efficiente, cette stratégie doit privilégier :
le parallélisme, lancement de plusieurs collectes de façon simultanée et maîtrisée, via des ordonnanceurs paramétrables et monitorés par une équipe dédiée (au dépôt légal du Web, cette équipe dite « Exploitation » est constituée de deux personnes à plein temps),
la dédication. Il est plus judicieux de disposer d’une stratégie de collecte adaptée à la nature de l’objet collecté plutôt que d’une collecte polyvalente qui sera plus compliquée à mettre en œuvre et à maintenir.
28Ainsi, on n’applique pas la même stratégie de collecte à un compte Twitter qui publie plusieurs dizaines de tweets par jour et à une chaîne YouTube qui publie quelques dizaines de vidéos par mois.
Stockage et traitement des omnidonnées
Stockage et indexation des omnidonnées
29Le stockage et l’indexation des omnidonnées revêt deux aspects concomitants :
Un aspect technique. Quels formats de stockage utiliser, quelles solutions logicielles développer, comment choisir et dimensionner les infrastructures matérielles,
Un aspect structurel. Comment hiérarchiser, organiser, exploiter et assurer l’intégrité des omnidonnées.
30Le stockage des omnidonnées se fait en général sur des disques de type HDD [Hard Disk Drive] qui présentent un rapport qualité-prix-capacité-rapidité-robustesse intéressant.
31Cependant, le stockage a tendance à être de plus en plus fait sur des disques de type SSD [Solid State Drive]. Ces disques n’utilisant pas une technologie mécanique, ils sont moins sujets aux pannes et présentent des temps d’accès plus rapides. Bien que leurs prix soient plus élevés, ils se rapprochent de plus en plus de ceux des disques HDD (3 à 5 fois plus chers aujourd’hui contre 10 fois plus chers il y a une dizaine d’années7).
32Au-delà du format du disque, l’interface matérielle du dispositif de stockage joue aussi un rôle primordial dans les performances. Ainsi, un disque SSD utilisant le protocole SATA [Serial Advanced Technology Attachment] est moins rapide qu’un disque SSD utilisant le protocole plus récent NVMe [Non-Volatile Memory Express].
33Le choix de la solution de stockage doit aussi prendre en compte la nécessité d’assurer une réplication des données. En fonction de la politique de réplication des données du projet et/ou de la politique de réplication de l’entreprise, les besoins en stockage peuvent ainsi être multipliés par un facteur 2 ou 3.
34La solution de stockage dépend aussi des objectifs d’accessibilité souhaités. Le temps de mise à jour des index, le temps d’accès aux index (qui conditionne le temps de réponse des moteurs de recherche), le nombre d’utilisateurs potentiels sont des facteurs déterminants qui dépendent de la puissance de calcul du serveur (processeur du serveur ou CPU), de la quantité de mémoire vive (RAM du serveur), mais aussi de la qualité du réseau par lequel transitent les informations.
35Enfin, au-delà des considérations matérielles, il faut aussi choisir le format d’archivage. Au dépôt légal du Web, le format utilisé pour archiver les données collectées et leurs métadonnées est le DAFF8, un format créé en interne, autodécrit, lisible (par un humain), « agnostique » au protocole (http, ftp), prenant en charge la déduplication complète et permettant un contrôle d’intégrité fiable.
36Les omnidonnées des sources à collecter ont une volumétrie de quelques centaines de milliers d’éléments9. Ces données sont utilisées :
par les documentalistes en session au sein du dépôt légal du Web,
par les usagers pour consulter la liste des sources collectées,
par les robots de collecte.
37L’usage est donc modéré, limité à quelques dizaines d’utilisateurs.
38De fait, la solution retenue a été le stockage de ces sources dans une base de données relationnelles MariaDB utilisant le langage de requêtage SQL. Très orientée vers un usage métier, cette base de données a été conçue de façon à être la plus lisible et la plus compacte possible. Chaque type d’objet (hashtag, compte de réseaux sociaux, UGC, sites web) est stocké dans une table unique et dédiée qui est pleinement exploitable quand elle est exportée en l’état (export dit « à plat »).
39De même, les contraintes d’intégrité des données et de leurs relations à implémenter au niveau de la structure de la base lors de sa conception ont été limitées au maximum. Il nous a semblé plus judicieux d’utiliser des contraintes métiers à la place. Elles sont implémentées dans l’outil de saisie qui nourrit cette base de données, la base de données reste ainsi plus adaptative afin d’être en capacité de gérer des objets qui seront collectés ultérieurement (comptes Facebook, Instagram) sans nécessiter de modifications structurelles fortes. Par exemple, dans la table des UGC, il n’aurait pas été judicieux de rendre obligatoire la date de création de la chaîne vidéo, cette dernière n’étant pas toujours communiquée par les plateformes.
40En outre, un schéma relationnel réduit à son expression la plus simple permet d’effectuer plus facilement des modifications directement dans la base de données (via des requêtes SQL basiques les moins verbeuses possibles).
41Les omnidonnées des objets collectés représentent quant à elles 129 milliards d’enregistrements (116 milliards d’enregistrements de métadonnées et 13 milliards d’enregistrements de données), soient 12 pétabytes de données réduites à 2.5 pétabytes après déduplication et compression.
42À titre d’exemple, les omnidonnées résultant de la collecte des sites Web se constituent de :
4 000 000 000 d’enregistrements contenant les données des sites collectés (représentant un volume de 60 térabytes),
6 000 000 000 d’enregistrements contenant les métadonnées des sites collectés (représentant un volume de 1 térabyte).
43La solution choisie pour répondre à ces contraintes a été de mettre en place des frameworks10 distribués sur plusieurs serveurs :
Hadoop pour le traitement de données, le travail de jointure des métadonnées et des données,
Elastic Search pour le moteur de recherche plein texte.
44Ces solutions distribuées présentent l’avantage de pouvoir être redimensionnées à la volée et en fonction des besoins (scalability).
45Le temps d’indexation de ces contenus a été fixé à 5 jours et le temps de réponse acceptable des moteurs de recherche a été fixé à 5 secondes. L’atteinte de ces objectifs repose sur deux clusters :
un cluster d’indexation constitué de 10 serveurs contenant les frameworks Hadoop et Elastic Search contenant chacun 12 disques HDD de 4 To, un processeur puissant, 64 Go de RAM,
un cluster de recherche composé de 12 serveurs Elastic Search contenant 4 disques SSD de 1 To et 96 Go de RAM.
46Dans les collections web, des outils de datamining permettent de détecter (et donc de collecter) de manière automatique les URL, les vidéos, les tweets présents au sein d’une page web.
Manipulation des données
47La manipulation des omnidonnées sera facilitée par un certain nombre de compétences techniques. Entre autres, il convient de se familiariser avec les spécifications des formats suivants :
CSV [Comma Separated Values] : format texte ouvert normé (RFC-4180) présentant des données tabulaires sous forme de valeurs séparées par des virgules,
JSON [JavaScript Object Notation] : format ouvert normé (RFC-8259) dérivé de la notation des objets du langage JavaScript, structuré sous forme de couple (clé, valeurs),
XML [Extensible Markup Language] : format ouvert normé (W3C XML Schema) structuré sous forme de couple (clé, valeurs) reposant sur la syntaxe balisée du langage HTML.
48Afin de procéder aux opérations de tris, nettoyages, formatages, normalisations, la manipulation des jeux de données peut s’effectuer via plusieurs types d’outils :
un éditeur de texte amélioré (NotePad++, SublimeText) : il possède des fonctionnalités d’édition en colonne, des fonctions « recherche/remplace » puissantes, gère différents encodages, prend en charge de nombreux formats, propose la coloration syntaxique11 et offre la possibilité d’utiliser des extensions de manipulations de données développées par des communautés souvent très actives,
un tableur (Microsoft Excel, Google Sheets, Libre Office Calc) : il possède des fonctionnalités de tri, de filtre, prend en charge des formules de manipulations de chaînes de caractères et l’utilisateur peut y utiliser un langage de programmation (VBA, JavaScript) pour créer des traitements automatiques,
un logiciel de nettoyage de données (OpenRefine, Data Wrangler) : dédié complètement à cet usage, il permet de manipuler les données en utilisant les mêmes paradigmes que les outils de requêtages dans une base de données relationnelle (chaque donnée correspond à l’intersection d’une ligne et d’une colonne).
49Enfin, idéalement, la connaissance d’un langage orienté « manipulation de données » peut s’avérer être un gain de temps considérable lors d’opérations de manipulations et de valorisation des omnidonnées. R et Python sont deux langages largement utilisés à cet effet, très bien documentés et bénéficiant d’une communauté en ligne active. En complément, nous utilisons le langage d’expression régulière (Regex) qui permet d’effectuer des opérations puissantes sur des chaînes de caractères ayant des propriétés communes pour les détecter et leur appliquer un traitement automatisé (ajout, remplacement, modification, suppression).
Valorisation et usages des données
Mise à disposition des données
50Les données collectées par le dépôt légal du Web sont mises à disposition des usagers au sein des médiathèques partenaires et des emprises de l’Ina via un poste informatique dédié (le PCM, poste de consultation multimédia) sur lequel est installé l’outil de consultation de l’archive web de l’Ina : Webmédia.
51Webmédia est un client lourd se présentant comme un navigateur web qui permet de naviguer dans l’archive.
Figure 13. Page d’accueil de l’outil de consultation de l’archive web de l’Ina.

52Cet outil offre plusieurs parcours de navigation à l’usager qui peut :
sélectionner des objets web à partir de filtres textuels appliqués à leurs métadonnées (Fig. 15),
effectuer une recherche plein texte dans l’un des trois moteurs de recherche12 (Fig. 16).
Figure 14. Recherche dans Webmédia des comptes Twitter contenant le terme « journaliste » dans la description documentaire.

Figure 15. Recherche des tweets publiés par le compte @a2linefrançois via le moteur de recherche de l’archive Twitter.

Valorisation des données
53Bien que la mission première de l’Ina, et par extension du dépôt légal du Web, soit l’archivage des omnidonnées sur son périmètre, c’est la valorisation de ces données qui permet de mettre en avant la richesse et l’intérêt de l’archive.
54Cette valorisation peut être portée par des travaux, des projets de recherche s’appuyant sur nos collections comme :
« Les cérémonies Miss France, de la télévision à Twitter. Une ritualisation des commentaires (2015-2019) », article de revue. Ce travail mené par Laurence Leveneur-Martel (Université Toulouse 1) a été réalisé en partie à partir d’exports de l’archive Twitter constituée à l’Ina.
JPICH-Cultural Heritage, Identities & Perspectives : projet européen autour des archives du passé colonial. Sophie Gebeil (Université Aix-Marseille), en tant que chercheuse associée au projet, utilise les archives du web de l’Ina pour étudier les enjeux, les acteurs et les temporalités des débats liés à l’héritage colonial dans les années 200013.
ASAP14-Archives & Sauvegarde Attentats Paris. Menée par le CNRS et l’Institut des sciences de la communication, cette étude se fonde sur la collecte des tweets relatifs aux attentats terroristes et publiés depuis janvier 2015.
Body Capital15 : bénéficiant d’un financement ERC [European Research Council] et menée par l’université de Strasbourg, cette étude se fonde sur la collecte des tweets relatifs au procès du Mediator et publiés depuis juillet 2019.
55Le service du dépôt légal du Web mène aussi des projets de valorisation en interne. C’est le cas de l’étude Épidémie de COVID-19 & Collecte Twitter16. Elle concerne les tweets contenant au moins un hashtag lié à la thématique de la pandémie (parmi une sélection) et qui émanent d’une sélection de comptes liés aux médias audiovisuels ou les mentionnent. Ces tweets ont été extraits et analysés via des outils de data-mining et de text-mining pour générer des visualisations sous forme de graphiques et nuages de mots-clés. Cette étude, qui, par le prisme de Twitter, rend compte du traitement de la COVID-19 par les chaînes TV/Radio d’actualité, est un exemple de travail dans lequel on transforme la valeur quantitative d’un jeu de données en valeur qualitative.
Valorisation et archive augmentée
56Avant la création d’Internet, les diffuseurs historiques TV/Radio n’utilisaient que le réseau hertzien pour la diffusion de leurs programmes. Ceux-ci pouvaient faire l’objet d’une documentation d’accompagnement (conducteurs d’émission, résumés) généralement disponible au format papier. L’archive était donc mixte, constituée d’un fonds audiovisuel matériel (DVD, cassette) et d’un fonds d’accompagnement papier.
57L’arrivée d’Internet et sa démocratisation au début des années 2000 ont progressivement mué cette diffusion monocanale hertzienne en diffusion multicanale hertzienne et web. Les diffuseurs ont commencé à diffuser ou rediffuser les émissions en ligne, sur des portails dédiés ou des plateformes tierces, à proposer sur le Web des contenus additionnels aux programmes, et ont progressivement mis en ligne la documentation d’accompagnement. Le programme TV/Radio reste l’objet central qui dicte les stratégies d’éditorialisation, mais il est complété d’objets tiers qui s’adjoignent à l’archive, laquelle devient une archive complétée.
58Aujourd’hui, s’adaptant aux nouvelles pratiques de consommation, la diffusion hertzienne n’est plus LE canal de diffusion, mais UN canal de diffusion. La majorité des programmes est disponible en replay sur les applications des chaînes ou via leur site web et un programme se décline aussi en ligne via un site web ou un compte de réseau social. La documentation d’accompagnement est, quant à elle, intégralement numérique. Le programme n’est donc plus au centre de la stratégie éditoriale des diffuseurs et se présente comme un objet multimédia, multivecteur et multiformat. L’archive TV/Radio originelle devient une archive augmentée.
Figure 16. De l’archive simple à l’archive augmentée.

59Afin de proposer cette archive augmentée à la consultation, la valorisation des données issues de la collecte web consiste à mettre en regard l’archive web et l’archive TV/Radio.
60C’est l’objet du projet Social TV, développé en interne et disponible dans l’outil de consultation, qui permet de visualiser de manière synchronisée un programme télévisé et les tweets envoyés pendant sa diffusion linéaire, en filtrant sur un hashtag, un mot-clé ou un compte.
61Dans la figure ci-dessous, l’outil présente les échanges qui ont lieu sur Twitter pendant la diffusion d’un numéro de l’émission Cash Investigation. La temporalité des tweets affichés correspond à la temporalité de l’émission.
Figure 17. Social TV, un outil permettant de créer des passerelles entre l’archive TV/Radio et l’archive web.

Influence de la gestion des métadonnées sur les métiers de l’archive
62L’aspect massif des omnidonnées entraîne nécessairement une redéfinition des métiers de l’archive. De plus en plus centrés sur la donnée, ceux-ci ne peuvent faire l’économie de la maîtrise, ou tout au moins de la connaissance, des concepts et des outils qui permettent d’appréhender au mieux ces omnidonnées.
63Pour mener à bien ses missions, le professionnel de l’archive massive doit donc connaître a minima la structure et le contenu des omnidonnées des objets archivés. Sans en maîtriser parfaitement tous les aspects, il doit aussi connaître les offres technologiques afin de pouvoir communiquer aisément avec les équipes techniques (équipe Recherche & Développement, Maîtrise d’œuvre, Data Scientists, Data Managers), participer à la conception des modèles de données et choisir les outils qui lui permettront de manipuler, d’ordonner et de normaliser ces métadonnées pour être capable de la valoriser de façon pertinente et efficace auprès des usagers.
64À l’Ina, cette importance des omnidonnées est prise en compte depuis plusieurs années. La récente réorganisation des services a été pensée et structurée afin d’intégrer au mieux les omnidonnées dans les différents aspects de sa mission patrimoniale et audiovisuelle. En outre, afin d’accompagner les documentalistes vers une approche de plus en plus data-centrée de leurs métiers, l’Ina leur propose des formations (à la demande) sur les outils et méthodologies (langages de programmation, langage de requêtage de base de données) et les utilisations (datavisualisation, text-mining) possibles des omnidonnées liées à l’audiovisuel.
65Enfin, sont organisés pour les documentalistes des séminaires d’acculturation et des ateliers de réflexions. Ces derniers permettent non seulement de proposer aux documentalistes des pistes de réflexion pour redéfinir avec eux et au mieux les nouvelles prérogatives de leurs métiers, mais aussi de prendre en compte leurs idées, leurs suggestions, leurs éventuels points de blocage afin de faciliter et d’œuvrer à leur côté pendant cette transition de leurs métiers.
Notes de bas de page
1 Du latin omnis (tout), l’omnidonnée représente aussi bien la donnée, la métadonnée et le couple (donnée, métadonnée(s) liée(s)).
2 Décret n° 2011-1904 du 19 décembre 2011 relatif au dépôt légal, Journal officiel, n° 0295 du 21 décembre 2011
3 Documentation unifiée et management de la base des objets web.
4 Débit binaire : mesure de la quantité de données numériques transmises par unité de temps. Plus la valeur de bitrate est élevée, meilleure est la qualité de la vidéo.
5 Format de date dans lequel la date est représentée en nombre de secondes par rapport à une date initiale (en général le 1er janvier 1970). Exemple : 1181739828 correspond au 13 juin 2007 15:03:48.
6 Format de date fondé le calendrier grégorien et le système horaire de 24 heures. Exemple : 2011-01-04T00:45:42Z.
7 Source : https://generationcloud.fr/post/quel-type-de-disque-dur-choisir-ssd-vs-hdd-vs-sshd-et-2-5-vs-3-5-cas-pratiques, consulté le 15 octobre 2022.
8 Digital Archive File Format.
9 Pour chaque source on compte 10 à 15 éléments. Par exemple pour un compte Twitter, il s’agit du nom du compte, du nombre d’abonnés, de la date de création, etc.
10 Ensemble de composants logiciels et d’outils de développement permettant de mettre en place une architecture logicielle complète et évolutive.
11 Proposée par certains éditeurs de texte, la coloration syntaxique est un outil visuel qui permet de formater automatiquement chacun des éléments du texte affiché en utilisant une couleur caractéristique de son type. Par exemple : la coloration syntaxique d’un document HTML permet de distinguer les balises HTML.
12 Il s’agit de trois moteurs Elastic Search. Chacun dispose de son propre index et de sa propre « machinerie » (serveurs, stockage, etc.).
13 https://madi.hypotheses.org/883.
14 https://asap.hypotheses.org/tag/bataclan.
15 https://bodycapital.unistra.fr/.
16 https://inatheque.hypotheses.org/files/2020/10/INADlweb-Etude-Twitter-Coronavirus.pdf.
Auteur
-
Boris Blanckemane
Chef de projet au sein du service du dépôt légal du Web (direction des collections, Institut national de l’audiovisuel/Ina)
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Le consulat de France à Cadix
Institution, intérêts et enjeux (1666-1740)
Anne Mézin et Anne Pérotin-Dumon (dir.)
2016
Archives et communisme(s) : l’avant-guerre (1919-1943)
Nouveaux outils, nouvelles archives
Sylvie Le Clec’h, Christian Oppetit et Serge Wolikow (dir.)
2016
Connaître les dénaturalisés de Vichy
La base Dénat, un nouvel outil et ses exploitations
Thomas Lebée et Annie Poinsot (dir.)
2019
Les archives iconographiques et audiovisuelles de la Reconstruction en France, de 1940 aux années 1960
Boris Labidurie et Christel Palant (dir.)
2023
Éducation populaire : engagement, médiation, transmission (XIXe-XXIe siècles)
Jean-Charles Buttier, Clothilde Roullier et Agnès Sandras (dir.)
2022
Les nouveaux paradigmes de l'archive
Claire Scopsi, Clothilde Roullier, Martine Sin Blima-Barru et al. (dir.)
2024