Version classiqueVersion mobile

Qu’est-ce que la cartographie du web ?

 | 
Franck Ghitalla

Chroniques du Web

Chapitre 4. Agrégats

Texte intégral

Agrégat : assemblage hétérogène de substances ou éléments qui adhèrent solidement entre eux. Syn. : agglomérat, conglomérat, Petit Robert de la langue française.

1Mon bureau à l’université de technologie de Compiègne (UTC) servait certains soirs de lieu de rendez-vous pour l’équipe d’étudiants-ingénieurs avec qui je partageais mes interrogations sur une possible carte du Web. Un plan, voire un simple schéma aurait suffi à combler nos espoirs, enfin un modèle général plus avancé que le « nœud papillon » et qui aurait pu guider le développement de technologies originales et ouvrir de nouvelles pistes. Mes lectures sur le diamètre du Web et la découverte du principe du small world phenomenon m’avaient conduit à partager immédiatement avec ce groupe d’étudiants l’idée d’une exploration du Web comme un territoire numérique, à partir d’instruments inédits qui auraient bientôt, à n’en point douter, le retentissement équivalent à l’invention du télescope ! Nos expéditions sur ces territoires et nos premiers arpentages nous ont fourni l’occasion de nos premières mesures, de nos premiers clichés cartographiques et la découverte d’un continent encore peu connu. Le bureau ressemblait à une sorte d’atelier où de futurs ingénieurs exerçaient leurs compétences autour de ce projet insensé, de préférence la nuit pour bénéficier de toute la bande passante disponible dans le bâtiment du centre de recherche de l’UTC. La discrétion n’a pas été notre fort durant cette période de quelques mois : l’administration nous avait plusieurs fois avertis (avec raison finalement) des problèmes que nous posions en termes de « sécurité » pour les systèmes informatiques de l’université, avec ces « robots » lâchés sur le Web, et dont nous ne contrôlions pas toujours le comportement. Quelques mésaventures nous avaient cependant permis d’enrichir notre expérience et nos questions sur ces nouveaux territoires documentaires, notamment cette fois où en recensant les sites et les pages web issus de l’univers de la défense des sans-papiers, nos robots (les crawlers qui arpentent le Web de lien hypertexte en lien hypertexte) avaient dérivé systématiquement dans l’univers des premiers grands projets open source de l’époque, violant ainsi les règles de protection des serveurs. Les robots ayant été lâchés depuis l’ordinateur de mon bureau, je fus donc logiquement désigné comme responsable de l’infraction.

2Cela n’entama pas notre ardeur : notre atelier nocturne vivait d’une sorte de bricolage inventif permanent où chacun s’attelait spontanément à sa tâche. Les ateliers renaissants de Florence ou de Venise, où l’on apprenait aussi bien la peinture que la sculpture, la marqueterie, le plâtre et les pigments comme l’architecture, devaient présenter ce même désordre apparent : pendant que les uns développaient des instruments d’analyse des contenus des pages web (indexation full-text, calcul des fréquences de termes utilisés dans les documents, repérage des hiérarchies textuelles depuis les titres, les métadonnées ou les paragraphes et leurs longues chaînes de caractères…), d’autres travaillaient à la façon d’archiver sous forme de graphes les informations issues des pages (qui devenaient donc des nœuds) et des liens hypertextes tels que nos robots les découvraient, sans oublier ceux qui tentaient de trouver des modes visuels adéquats de représentation pour produire ces fameuses cartes dont nous rêvions. Il fallait bien forger de nouveaux instruments qui nous ont rapidement permis de sonder le Web à différents endroits comme le feraient des géologues, sans l’aide de Google ni d’un navigateur.

3Une telle effervescence rappelle combien notre aventure a pu reposer en premier lieu sur la combinaison de compétences techniques et humaines, et d’une grande diversité. La réussite du projet passait par la mise en place de toute une chaîne de traitement de l’information. Celle-ci reposait sur le développement, puis l’ajustement de quatre types de briques technologiques élémentaires, car il faut pouvoir extraire l’information (un serveur de données et des crawlers web), indexer et archiver les données, les analyser (notamment avec des métriques de graphes qui nous semblaient l’approche la plus adaptée dans notre cas) et, enfin, une interface d’accès aux résultats dans laquelle sera intégré un espace d’exploration visuelle.

Image 4.2

Image 4.2

Chaîne de traitement de l’information.

4Extraction-indexation-métriques statistiques-spatialisation : l’alignement des quatre processus ne doit pas masquer qu’il s’agit en réalité d’un procédé modulaire, et très dynamique en phase de conception et d’essai. Pour chacune des quatre phases de la chaîne de traitement de l’information web, plusieurs méthodes sont possibles : il faut pouvoir imbriquer les algorithmes à partir de procédures robustes de transfert d’une brique à l’autre (data processing), mais aussi les aligner de façon à faire apparaître « quelque chose » à « un moment » qui ressemble à un principe d’ordre ou de redondance, sous la forme de mesures convergentes, d’un pattern statistique ou d’une forme visuelle. Inutile de préciser qu’il a fallu tester nombre de possibilités combinatoires pour arriver à saisir une forme d’intelligibilité dans nos premières données.

Image 4.3

Image 4.3

Chaîne de traitement de l’information : des allers-retours sont nécessaires entre les étapes.

5Cependant, il arriva un moment où, comme avec un télescope, la combinatoire diminue et s’affine (disons, les essais tous azimuts) au profit d’une série de réglages plus fins à mesure que nos premiers objets se dessinent. Enfin, une disposition des processus nous a semblé optimale quand nous avons braqué notre « télescope » sur une zone du Web curieuse et originale que pour la première fois nous avons pu observer avec une certaine précision, celle de l’Église de scientologie en ligne et de ses détracteurs.

6Je ne sais toujours pas aujourd’hui à quel type de science nous participions et, hormis notre volonté d’achever le projet, aucune place n’était attribuée à notre démarche dans l’organigramme scientifique commun, ni en sciences humaines et sociales (où le projet était jugé trop « technique » et faiblement articulé théoriquement) ni, non plus, en sciences informatiques (où le projet apparaissait vite comme une sorte d’excroissance de la sociologie). À bien y regarder, il s’agissait d’une recherche technologique fondée sur l’idée que les hypothèses, les concepts, voire les théories apparaîtraient de façon ascendante depuis les expérimentations, sans prétention de départ et en assumant notre ignorance partagée. Les démarches exploratoires comme la nôtre, attendant donc que les données elles-mêmes ouvrent la voie aux hypothèses, ont le mérite de partir du constat implicite de notre ignorance à l’égard des phénomènes étudiés, contrairement à la conception classique de la science expérimentale (à laquelle les SHS prétendent aussi), où c’est à partir de connaissances que l’on produit d’abord des hypothèses sur un objet que l’on se donne ensuite seulement les moyens de vérifier (ou de falsifier) expérimentalement. Je sais, j’exagère : un examen attentif des pratiques scientifiques révélerait combien les deux mouvements sont en réalité combinés dans l’activité scientifique. Cependant, je ne peux m’empêcher de penser que notre démarche inductive, comme bien d’autres à l’époque et encore aujourd’hui (concentrée dans ce nouveau domaine appelé data sciences), font symptôme en affirmant le rôle prépondérant des instruments (et donc des ingénieurs, au moins dans un premier temps), en pratiquant une sorte d’ascèse devant les données de façon à « oublier » les connaissances acquises antérieures. Les prouesses technologiques exploratoires sont les produits d’une forme d’ignorance ou de questionnement de départ, et non des garanties théoriques issues des mondes de l’érudition, de la répétition, des certitudes idéologiques. Dans certains contextes, ces types de démarches exploratoires se multiplient comme les symptômes d’un savoir en crise, de modèles théoriques dépassés, d’anciennes écoles de pensée s’affaiblissant au contact d’une réalité contemporaine devenue alors insaisissable, incompréhensible, complexe, imprévisible. Nos experts en économie ont-ils su prédire les crises financières des années 2006 à 2010 ? Les sociologues savent-ils envisager autrement le monde social qu’à travers la dichotomie micro-macro, autrement que par des méthodes qualitatives ou quantitatives ? Les technologies classiques d’indexation de contenus des documents ou les instruments arborescents de gestion de l’information peuvent-ils rendre compte de la forme du Web, le plus grand réseau de documents jamais réalisé ? Toutes ces masses de données associées au big data, hétérogènes et multidimensionnelles, peuvent-elles être traitées avec les statistiques habituelles et leurs modèles linéaires ?

7Ce type de questions fait désormais partie du paysage intellectuel en data sciences, dont l’une des bases méthodologiques est d’être data driven, conduit par les données et l’expérimentation. À l’époque de nos premières expéditions sur le Web, personne ne pouvait imaginer que l’on puisse faire métier d’une telle activité exploratoire ! La première vue de la topologie où nous entrions avait à l’écran un aspect fascinant et prometteur :

Image 4.4

Image 4.4

Exploration du Web de l’Église de scientologie. F. Ghitalla, E. Diemert, C. Maussang et F. Pfaender, “TARENTe: An experimental tool for extracting and exploring web aggregates”, dans Proceedings. International Conference on Information and Communication Technologies: From Theory to Applications, IEEE, 2004, pp. 627-628.

8Dans cette vue produite par Eustache Diemert au cours de l’année 2003, chaque point représente une page web du set primaire de données extraites avec un crawler. L’ensemble est projeté sur une surface circulaire en 3D. Après un processus d’analyse et de sélection, seules les pages qui entraient dans la thématique choisie (la scientologie, ses adeptes et ses détracteurs) figurent ici en noir ainsi que les liens hypertextes qui les relient. Dans la partie haute de la vue, figurent par exemple des documents émanant de différents acteurs individuels ou collectifs (associations, sites web de députés ou de sénateurs, anciens adeptes de la scientologie…) reliés entre eux et qui partagent des fréquences de termes communes et assez élevées comme « secte », « dérives », « Tom Cruise » ou « dangers ». En bas, ramassé sur lui-même, figure le cluster des adeptes de l’Église, très nombreux et qui renvoient tous vers les sites officiels (américains) de la secte. Ce caractère très concentré de la distribution des liens internes à la communauté des « croyants » s’est révélé à l’analyse très hiérarchisé : il y a presque quinze ans, à l’époque du Web statique 1.0, l’Église fournissait à ses adeptes-internautes des modèles de sites préformatés où les liens externes étaient déjà présents (pointant notamment directement sur les références officielles de l’Église à Ron Hubbard, son fondateur). On peut supposer que les responsables de la scientologie et de sa communication étaient déjà pleinement conscients de la façon de « se donner » au Web sous la forme d’une organisation se dotant d’une topologie particulière, presque organique. À l’examen, seul un gateway (en rouge) permet de relier les documents de la communauté au reste du Web qui comporte pourtant plusieurs centaines de millions de pages à l’époque. Ce gateway vers la scientologie en ligne n’est pas anodin : il était constitué d’un ensemble de documents juridiques issus des jugements de différents tribunaux (en France et aux États-Unis notamment) en faveur de la scientologie (donc dans des pages web pointées par les sites de l’Église), mais aussi en sa défaveur (donc d’autres pages pointées par ses détracteurs). Notre gateway de documents juridiques est donc seulement alimenté par des liens entrants pointant soit vers certaines de ses pages faisant mention de jugements favorables à l’Église de scientologie soit, pour les autres liens hypertextes, vers des pages qui lui étaient défavorables. De part et d’autre de cette ligne de démarcation, les documents parlent ou d’« Église » ou de « secte ».

9La description détaillée de ce premier cliché cartographique ne relève pas simplement de l’anecdote ; il s’agit d’un premier cas dont l’essentiel des propriétés se sont trouvées confirmées dans les mois qui suivirent à partir d’une foule d’études diverses et d’observations. Et partout la même structure granulaire. Il n’est guère possible aujourd’hui de recenser toutes nos explorations, mais ce type de sondage de la structure documentaire du Web s’est rapidement étendu depuis les premières cartographies dédiées aux communautés compétitives, impliquées par exemple dans des controverses scientifiques et techniques (là où les adversaires en ligne ont tendance à former des clusters particulièrement nets et précis), jusqu’aux phénomènes globaux plus généraux comme l’expression politique, les organisations de la société civile, l’avortement (pro-life, pro-choice), les ressources liées au domaine de la CSTI (Culture scientifique, technique et industrielle), les adeptes des jeux en ligne et leurs plateformes (les ancêtres de Steam). Mais nous avons aussi sondé des domaines dont les portes d’entrée étaient accessibles sur le Web comme Wikipedia, les sites web de certaines universités. Partout se vérifie un principe d’agrégation de pages web qui échangent entre elles un nombre important de liens hypertextes et qui partagent la même thématique. Le principe semble aller de soi, et l’observation de l’activité des internautes le confirme : chacun se rassemble et partage avec toutes sortes de pairs et de proches des informations communes ou complémentaires. Cela fait les délices de ces nouvelles Computational Social Sciences (CSS) en vogue actuellement. Mais au début, on n’a guère envisagé, en revanche, les implications de ce principe fort pour la géographie documentaire du Web et des instruments qui lui sont associés.

  • 1 À ma connaissance, la première apparition du principe d’agrégation dans les données a été décrit en (...)

10À commencer par le principe de production d’agrégats de documents sur le Web1. « Agrégat : assemblage hétérogène de substances ou éléments qui adhèrent solidement entre eux. Syn. : agglomérat, conglomérat », comme le définit le Petit Robert de la langue française. Et cette définition correspond exactement aux phénomènes que nous avons étudiés de nombreuses fois où la proximité hypertexte induite par la distribution des liens se double – ou se synchronise – avec une similarité sémantique à travers le partage de mots-clés communs. C’est comme si le Web était constitué, entre le nuage et les abîmes, en dessous de Bing, Yahoo, Google ou Facebook, mais au-dessus du deep web, d’une couche médiane constituée par une multitude d’agrégats de documents. Comme une structure granulaire, le ciment de l’architecture documentaire distribuée. Et c’est cette couche médiane que nous avons sondée de nombreuses fois, en essayant d’y naviguer de façon « latérale » comme on le ferait pour estimer l’étendue d’une nappe phréatique.

Image 4.5

Image 4.5

Modèle du Web en couches.

  • 2 http://www.research.ibm.com/labs/almaden/index.shtml.
  • 3 F. Ghitalla, E. Diemert, C. Maussang et F. Pfaender, “TARENTe: An experimental tool for extracting (...)

11Un schéma cohérent du Web apparaissait enfin, compatible avec nos premières intuitions : entre une couche « haute » gouvernée par les grands distributeurs de liens comme les moteurs de recherche et les réseaux sociaux et une couche « basse » documentaire, la couche médiane et sa structure granulaire où les deux premières « couches » se répondent et se traduisent mutuellement à travers la dynamique sociale de l’agrégation. En haut, une puissante machinerie générant l’essentiel de connectivité du système ; en bas, la logique de production documentaire des contenus et, au milieu, la dynamique sociale de l’agrégation en clusters identifiables. Cette première version du schéma du « modèle du Web en couches » était compatible aussi bien avec les données expérimentales que nous accumulions qu’avec les premières hypothèses diffusées aux États-Unis depuis les années 1997-1998. En effet, dès les années 2000, des chercheurs d’IBM regroupés autour du projet CLEVER au Almaden Research Center2 avaient déjà isolé le principe de l’agrégation sous la forme de l’étude des corrélations contenu-structure (hyperliée). Leur objectif n’était pas de produire une géographie ou un modèle topologique du Web, mais seulement d’optimiser les méthodes de traitement de l’information pour les moteurs de recherche. Résumée à grands traits, il s’agissait de repérer rapidement des pages pertinentes (par exemple par rapport à une requête) en analysant à la fois son contenu et la façon dont elle était reliée au reste du Web. On a donc rajouté aux tables d’indexation des contenus des documents web des scores de connectivité pour les hiérarchiser, avec une attention prononcée chez les fondateurs de Google pour les pages « faisant autorité » dans un agrégat, autrement dit ayant de nombreux liens entrants ou de chemins y menant. Après tout, il n’y avait qu’à exploiter cet immense système spontané de sélection ou de vote collectif auquel j’ai participé en ouvrant mon blog l’Atelier de Cartographie, avec son blogroll tourné vers mes sites de référence. D’une certaine façon, pointer c’est voter ou ratifier. Mais les techniques de traitement de l’information web documentaire peuvent devenir plus complexes en alternant les phases de sélection des pages à partir de la distribution de leurs liens hypertextes réciproques d’un côté, de l’analyse de leurs contenus de l’autre. On peut même comparer les deux approches en traitant de façon parallèle le même corpus de documents identifiés grâce aux crawlers : a) en commençant par l’analyse des liens, puis en finissant par l’analyse des contenus, b) en commençant par l’analyse des contenus, puis en finissant par l’analyse des liens. C’est exactement ce que nous avions tenté avec notre corpus de pages extraites de l’univers de la scientologie.3

Image 4.6

Image 4.6

En 2004, Camille Maussang, Eustache Diemert et Fabien Pfaender ont testé deux chaînes de traitement d’un corpus de pages web et comparé les résultats finaux dans l’identification d’agrégats de documents web. Les deux processus parallèles (A des liens aux contenus, B des contenus à la structure hyperliée) sont apparus convergents, tant dans la définition du cœur (core) de l’agrégat que dans celle de ses frontières (borders).

12Les deux voies ont conduit à identifier la même organisation dans les pages ! Avec les bons réglages, il devenait donc théoriquement possible de balayer la couche médiane des agrégats pour identifier toutes les thématiques autour desquelles se regroupent les internautes. L’idée de pouvoir en posséder le catalogue complet esquissait donc une piste pour réduire le problème des masses de données web, leur caractère hétérogène et dynamique dans le temps. Une façon de le borner, de retrouver la plénitude de l’exhaustivité, la maîtrise des frontières de contenus, peut-être même l’arbre de leur hiérarchie… en somme, l’espoir d’un plan détaillé de la distribution à grande échelle de tous les contenus documentaires du Web.

  • 4 K. Bharat et M.R. Henzinger, “Improved Algorithms for Topic Distillation in a Hyperlinked Environme (...)

13Ce sont les chercheurs et les ingénieurs d’IBM qui ont ainsi pour la première fois décrit le Web comme une architecture spatiale, certes inédite, mais potentiellement réductible à un modèle, une topologie. En son principe, la théorie des agrégats de documents web suppose que ce qui se ressemble thématiquement se rassemble hypertextuellement, autrement dit que fusionnent similarité et proximité. C’est ce processus d’agrégation qui expliquerait cette fameuse force de gravitation déjà rencontrée : les documents de cet univers viendront d’eux-mêmes s’agréger à leurs agrégats thématiques, renforçant ainsi ceux déjà présents, et surtout les fameux hubs. C’est ce que les chercheurs californiens de Palo Alto ont désigné par topical localities et leur ingénierie des données un procédé de topical distillation4. Avec l’étude sur la scientologie, nous avions donc identifié deux localités thématiques, et proches l’une de l’autre. Tout commençait à faire sens, y compris les petits détails comme notre mésaventure avec nos premiers crawlers qui avaient quitté la localité des « sans-papiers » pour migrer dans un agrégat voisin, celui des projets informatiques open source. Les rapprochements thématiques que nous propose le Web (son système de distribution des contenus dans la structure hyperliée) peuvent aussi réserver quelques surprises, parfois déroutantes, comme ces liens qui arrivaient vers les meilleurs hubs des détracteurs de la scientologie et qui provenaient… de sites catholiques et d’organisations chrétiennes.

  • 5 J.M. Kleinberg, “Authoritative Sources in a Hyperlinked Environment”, http://www.cs.cornell.edu/hom (...)
  • 6 M.E.J. Newman, Networks: An Introduction, Oxford, Oxford University Press, 2010.

14Parmi tous ces travaux sur les principes de corrélation contenu-structure, ceux de Jon Kleinberg ont selon moi un statut particulier. Au cours de l’année 1997, il conçoit un algorithme particulier qui permet d’isoler la structure interne d’une localité thématique sur le Web5, autrement dit un agrégat. HITS – Hypertext Induced Topic Search – restera une contribution majeure du domaine du web mining en ce qu’il concentre de façon synthétique et habile un ensemble de problématiques méthodologiques complexes en une seule formule (M.E.J. Newman dira de cet algorithme qu’il représente une elegant construction6). Il faut imaginer HITS comme une sorte de microscope appliqué à ces agrégats de documents web où les documents partagent entre eux une forte densité de liens et, simultanément, certaines similarités de contenu. Kleinberg met au point un calcul qui fonctionne comme une sorte de balance entre liens pointant vers une page web et liens sortant de la même page. Si l’on prend un corpus de pages web traitant d’un même sujet (on peut prendre une liste de résultats sur Google générée à partir d’une requête), HITS permet d’appliquer à chacune des pages du corpus un score d’authority et un score de hub. Si l’on regarde les scores obtenus, on s’aperçoit de deux phénomènes majeurs. En premier lieu, comme le laissait supposer le principe générique de la loi de puissance, la distribution des scores en fonction des liens entrants et sortants est très hiérarchisée. On peut donc isoler, dans un agrégat de documents, un nombre limité de nœuds au cœur de la distribution de la connectivité hypertexte. Le second principe consiste à examiner en détail ce cœur, par exemple sous la forme de deux listes – l’une faisant figurer les pages en fonction des meilleurs scores d’authority et l’autre en fonction des meilleurs scores de hub. Il s’agit de prendre en compte les liens entrants pour définir des authorities et les liens sortants pour définir des hubs en prêtant attention à la façon dont les deux se répondent et se renforcent. Les deux classements des pages web d’un agrégat en fonction du calcul de leurs scores de hub et de leurs scores d’authority apparaissent différents, parfois très nettement. Le cœur d’un agrégat est donc constitué de deux types distincts d’éléments qui se renforcent mutuellement: les hubs qui pointent sur tous les documents de l’agrégat, mais se concentrent sur les authorities du domaine, authorities que l’on distingue d’autant plus qu’elles sont pointées par les meilleurs hubs. On connaît la suite extraordinaire de l’application de l’identification des authorities à l’échelle du Web avec Google, et son PageRank.

Image 4.7

Image 4.7

Les hubs et autorités détectées par l’algorithme HITS d’après le principe de renforcement mutuel.

15HITS est plus qu’un algorithme: il contient en germes une vision du Web, un modèle organique qui ouvre sur des questions fondamentales de topologie du réseau, mais aussi de scénarios d’évolution puisque, comme le pense Jon Kleinberg, la mutualisation des liens entre hubs et authorities se renforce au cours du temps. Encore une fois, on retrouve le principe de l’augmentation continue des forces locales de gravité malgré l’extension sans fin de l’univers web. Dans son article fondateur, l’auteur inscrit sa démarche dans la lignée de la bibliométrie et des mesures de citations d’auteurs à auteurs dans le domaine des publications scientifiques. Il inscrit aussi sa contribution comme un élément méthodologique nouveau dans l’étude des réseaux sociaux. Mais les contributions de Jon Kleinberg ont trouvé une résonance particulière dans les domaines du data mining et des web sciences, en raison de l’efficacité de l’algorithme HITS à réduire les masses de données web à un processus précis d’agrégation et qui permettait, enfin, de comprendre la dynamique de l’architecture documentaire du réseau. Si l’on développe les principes esquissés par HITS, on peut admettre que le Web peut être étudié sous la forme d’un graphe dont on pourrait identifier les zones d’agrégation hypertexte pour recenser l’ensemble des « sujets » (topics) qui y figurent, puis les analyser pour en extraire un cœur de ressources pertinentes (authorities) ou celles qui constituent le meilleur aiguillage (hubs) si l’on veut découvrir le domaine.

Image 4.8

Image 4.8

Un « cœur » de ressources composé de pages ayant, d’un côté, les meilleurs scores de hub et, de l’autre, les meilleurs scores d’authority.
Les éléments de ce cœur (bipartite) voient leurs relations mutuelles se renforcer : a) au cours du temps, b) avec l’arrivée de nouveaux éléments dans le système, c) sous l’effet de calculs associés à HITS (ou à bon nombre d’algorithmes du même type) qui peuvent pondérer le poids des liens en fonction du score de hub et/ou d’authority.
La distribution hiérarchique des liens sur le Web (parfois en « loi de puissance ») permet d’isoler les ressources centrales dans un set de données. Le procédé permet : a) d’inférer l’existence de communautés thématiques de documents à partir de l’étude des liens, b) de classer des ressources documentaires identifiées au préalable pour leur proximité de contenu.
À plus grande échelle, le principe de l’agrégation locale (connectivité) de documents relativement similaires (focus sémantique) conduit à concevoir le Web documentaire comme un espace granulaire.

  • 7 D. Gibson, J. Kleinberg et P. Raghavan, “Inferring Web Communities from Link Topology”, dans Procee (...)
  • 8 S. Chakrabarti, Mining the Web: Discovering Knowledge from Hypertext Data, Burlington, Morgan Kaufm (...)
  • 9 S. Chakrabarti, B. Dom, D. Gibson, J. Kleinberg, P. Raghavan et S. Rajagopalan, “Automatic resource (...)

16Le succès de la démarche de Jon Kleinberg tient au fait que HITS semble épouser au mieux cette dimension spécifique du Web où se croisent contenus et distribution des connexions (les deux « manettes » dont s’emparent les internautes pour publier). Le principe d’une granularité documentaire qu’il permet de dévoiler dans les web data confirme (et non produit) l’effet de convergence entre distribution des liens hypertextes et analyse des contenus. La granularité médiane est donc un élément central de la topologie du Web. La démarche de Kleinberg s’inscrit dans une période clé des technologies de l’information et des réseaux où émerge à partir des années 1996-1997 une sorte de géographie des agrégats de documents web qui nourrit les réflexions théoriques sur la topologie du système comme les méthodes d’observation, voire de cartographie, des informations sur le Web. Au-delà de HITS, passé à la postérité, c’est tout un ensemble de travaux et de découvertes qui s’inscrit dans ce mouvement tel que l’illustrent les contributions des collègues de Jon Kleinberg du projet CLEVER comme David Gibson7, Soumen Chakrabarti (l’auteur de Mining the Web: Discovering Knowledge from Hypertext Data en 20028), de Byron Dom et de Ravi Kumar, Prabhakar Raghavan et Sridhar Rajagopalan9 (qui publieront plus tard en 2000 avec Andrei Broder la fameuse étude sur le modèle du Web en « nœud papillon »). On doit à ce courant de recherche une série de concepts tout à fait originaux dédiés à la description du comportement des technologies (comme les crawlers) face à une structure documentaire de type granulaire topical localities (ou localités thématiques) ou les effets de topical drifting quand on passe d’un agrégat à un autre voisin (souvent sans le vouloir).

17Cette vision très géographique, ou plutôt topologique du Web inaugure une série d’avancées pour les techniques de recherche d’information, qu’elles soient manuelles ou automatiques. En termes de méthodologie de veille sur le Web, l’identification rapide des bons hubs permet de trouver rapidement les bonnes authorities d’un domaine. Mais seulement si le thème étudié fait bien l’objet d’un processus d’agrégation, ce qui n’est pas toujours le cas : la façon dont s’organisent les agrégats sur le Web peut correspondre, ou non, à l’idée que l’on s’en fait. Une idée serait de balayer tout le Web « médian » pour recenser les thématiques donnant lieu à un tel processus d’agrégation pour faire « remonter » une classification que l’on peut alors qualifier d’ascendante (contrairement aux classifications réalisées a priori ou héritées de l’histoire comme dans les bibliothèques). C’était l’une des idées majeures associées aux contributions méthodologiques de Jon Kleinberg : au-delà des informations typiquement contenues dans un agrégat, HITS ouvre sur la perspective de la découverte des web communities, autrement dit de tous les acteurs qui contribuent (volontairement ou involontairement) à alimenter de savoirs acquis ou de connaissances partagées. Difficilement admis par les documentalistes ou les bibliothécaires de l’époque, le principe de l’émergence de classifications ascendantes règle aujourd’hui bon nombre de technologies web, notamment les réseaux sociaux et la géographie de leurs communautés actives.

18Les conclusions auxquelles nous ont conduit nos expérimentations comme la lecture des travaux des chercheurs californiens nous ont amené au final à dissocier le Web en trois couches fonctionnelles.

Image 4.9

Image 4.9

Schéma du « modèle du Web en couches » réalisé en 2005 par Mathieu Jacomy. En haut, les trois couches constitutives de ce que l’on peut appeler la topologie du Web, depuis les « couches basses » (celles des systèmes d’information ou des bases documentaires) jusqu’à la couche haute, celle dans laquelle on placerait aujourd’hui Twitter ou Facebook comme sources très dynamiques de production de la connectivité. Entre les deux, la couche centrale, celles des agrégats de documents web où s’exercent des principes de corrélation forte entre la couche basse (celles des contenus informationnels) et la couche haute (celle de la structure des liens constituée par les liens hypertextes, mais aussi par les like et tous les systèmes de signalisation).

19Ce schéma final constitue encore aujourd’hui une synthèse graphique qui concentre bon nombre de concepts scientifiques et de lois statistiques que nous avons rencontrés. Il y avait là nos trois types de « couches », surtout celle des agrégats de documents web envisagés sous différents angles méthodologiques. En particulier, en bas du schéma principal, figurent les différents types de graphes que l’on rencontrait en phase d’exploration et qui indiquaient différents types de situation problématiques : manque de données, données peu structurées, structures « en étoile » typiques de la couche haute… Ce schéma incarne pour moi une forme de rupture, en termes de méthodologie de traitement des web data comme des instruments dédiés à leur exploration. En particulier, il nous a contraint désormais à envisager notre objet, le système web, comme une série de couches (ou de layers) qui, une fois superposées, imprime au Web son organisation à titre de réseau documentaire. Nous ne faisions là que rejoindre un courant diffus, mais massif dans plusieurs champs scientifiques qui eux aussi, quelques années avant les web sciences, ont opéré une mutation dans la façon d’envisager leurs objets respectifs : la biologie et l’écologie naissante qui considèrent la biodiversité sous la forme de réseaux d’interactions entre espèces naturelles, la génétique et la biologie qui fragmentent le vivant depuis les gènes jusqu’aux populations sous la forme là aussi de couches reliées entre elles par des mécanismes complexes d’interdépendance.

20Cette propension à concevoir différents champs de questionnement scientifique comme des systèmes (voire des systèmes de systèmes) illustre, me semble-t-il, les effets produits par le développement des technologies data, soit parce que l’on cherche à discerner dans les masses de données des « plans fonctionnels » ou des dimensions segmentées, soit, inversement, parce que le paysage prend de l’ampleur puisqu’on a fusionné différents types de sets de données que personne n’avait croisés jusque-là. C’est l’un des mouvements majeurs qui ouvre sur de nouvelles façons d’envisager les « systèmes complexes », nous rappelant ainsi combien la maîtrise des masses ou des quantités peut conduire à un changement qualitatif de l’objet de science suivant les échelles considérées. Si ce mouvement théorique dans l’étude des web data était prometteur, il eut aussi des conséquences sur notre façon de concevoir nos instruments. En un sens, il nous fallait donc changer nos filtres analytiques, et peut-être notre appareil cartographique lui-même…

Notes

1 À ma connaissance, la première apparition du principe d’agrégation dans les données a été décrit en 1991 par R. A. Botafogo et B. Shneiderman, "Identifying Aggregates in Hypertext Structures", dans HYPERTEXT '91: Proceedings of the third annual ACM conference on Hypertext, 1991, pp. 63-74, https://doi.org/10.1145/122974.122981.

2 http://www.research.ibm.com/labs/almaden/index.shtml.

3 F. Ghitalla, E. Diemert, C. Maussang et F. Pfaender, “TARENTe: An experimental tool for extracting and exploring web aggregates”, dans Proceedings. International Conference on Information and Communication Technologies: From Theory to Applications, IEEE, 2004, pp. 627-628.

4 K. Bharat et M.R. Henzinger, “Improved Algorithms for Topic Distillation in a Hyperlinked Environment”, dans SIGIR ’98: Proceedings of the 21st annual international ACM SIGIR conference on Research and development in information retrieval, 1998, p. 104.

5 J.M. Kleinberg, “Authoritative Sources in a Hyperlinked Environment”, http://www.cs.cornell.edu/home/kleinber/auth.pdf.

6 M.E.J. Newman, Networks: An Introduction, Oxford, Oxford University Press, 2010.

7 D. Gibson, J. Kleinberg et P. Raghavan, “Inferring Web Communities from Link Topology”, dans Proceedings of the 9th ACM Conference on Hypertext and Hypermedia, 1998.

8 S. Chakrabarti, Mining the Web: Discovering Knowledge from Hypertext Data, Burlington, Morgan Kaufmann, 2003.

9 S. Chakrabarti, B. Dom, D. Gibson, J. Kleinberg, P. Raghavan et S. Rajagopalan, “Automatic resource list compilation by analyzing hyperlink structure and associated text”, dans Proceedings of the 7th International World Wide Web Conference, 1998.

Table des illustrations

URL http://books.openedition.org/oep/docannexe/image/15453/img-1.jpg
Fichier image/jpeg, 83k
Titre Image 4.2
Légende Chaîne de traitement de l’information.
URL http://books.openedition.org/oep/docannexe/image/15453/img-2.png
Fichier image/png, 82k
Titre Image 4.3
Légende Chaîne de traitement de l’information : des allers-retours sont nécessaires entre les étapes.
URL http://books.openedition.org/oep/docannexe/image/15453/img-3.png
Fichier image/png, 125k
Titre Image 4.4
Légende Exploration du Web de l’Église de scientologie. F. Ghitalla, E. Diemert, C. Maussang et F. Pfaender, “TARENTe: An experimental tool for extracting and exploring web aggregates”, dans Proceedings. International Conference on Information and Communication Technologies: From Theory to Applications, IEEE, 2004, pp. 627-628.
URL http://books.openedition.org/oep/docannexe/image/15453/img-4.png
Fichier image/png, 971k
Titre Image 4.5
Légende Modèle du Web en couches.
URL http://books.openedition.org/oep/docannexe/image/15453/img-5.png
Fichier image/png, 580k
Titre Image 4.6
Légende En 2004, Camille Maussang, Eustache Diemert et Fabien Pfaender ont testé deux chaînes de traitement d’un corpus de pages web et comparé les résultats finaux dans l’identification d’agrégats de documents web. Les deux processus parallèles (A des liens aux contenus, B des contenus à la structure hyperliée) sont apparus convergents, tant dans la définition du cœur (core) de l’agrégat que dans celle de ses frontières (borders).
URL http://books.openedition.org/oep/docannexe/image/15453/img-6.png
Fichier image/png, 318k
Titre Image 4.7
Légende Les hubs et autorités détectées par l’algorithme HITS d’après le principe de renforcement mutuel.
URL http://books.openedition.org/oep/docannexe/image/15453/img-7.png
Fichier image/png, 598k
Titre Image 4.8
Légende Un « cœur » de ressources composé de pages ayant, d’un côté, les meilleurs scores de hub et, de l’autre, les meilleurs scores d’authority. Les éléments de ce cœur (bipartite) voient leurs relations mutuelles se renforcer : a) au cours du temps, b) avec l’arrivée de nouveaux éléments dans le système, c) sous l’effet de calculs associés à HITS (ou à bon nombre d’algorithmes du même type) qui peuvent pondérer le poids des liens en fonction du score de hub et/ou d’authority. La distribution hiérarchique des liens sur le Web (parfois en « loi de puissance ») permet d’isoler les ressources centrales dans un set de données. Le procédé permet : a) d’inférer l’existence de communautés thématiques de documents à partir de l’étude des liens, b) de classer des ressources documentaires identifiées au préalable pour leur proximité de contenu. À plus grande échelle, le principe de l’agrégation locale (connectivité) de documents relativement similaires (focus sémantique) conduit à concevoir le Web documentaire comme un espace granulaire.
URL http://books.openedition.org/oep/docannexe/image/15453/img-8.png
Fichier image/png, 967k
Titre Image 4.9
Légende Schéma du « modèle du Web en couches » réalisé en 2005 par Mathieu Jacomy. En haut, les trois couches constitutives de ce que l’on peut appeler la topologie du Web, depuis les « couches basses » (celles des systèmes d’information ou des bases documentaires) jusqu’à la couche haute, celle dans laquelle on placerait aujourd’hui Twitter ou Facebook comme sources très dynamiques de production de la connectivité. Entre les deux, la couche centrale, celles des agrégats de documents web où s’exercent des principes de corrélation forte entre la couche basse (celles des contenus informationnels) et la couche haute (celle de la structure des liens constituée par les liens hypertextes, mais aussi par les like et tous les systèmes de signalisation).
URL http://books.openedition.org/oep/docannexe/image/15453/img-9.png
Fichier image/png, 931k

Lire

Open access

Acheter

Volume papier

i6doc.com
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search