Qu’est-ce que la cartographie du web ?
|Chroniques du Web
Chapitre 5. Méthode et instruments
Texte intégral
« Some questions have resisted answers for decades. Yet something has changed in the past few years. The driving force behind this change can be condensed into a single word: data […] As scientists sift through these mountains of data, we are witnessing an increasing awareness that if we are to tackle complexity, the tools to do so are being born right now, in front of our eyes. The field that benefited most from this data windfall is often called network theory, and it is fundamentally reshaping our approach to complexity », Albert-László Barabási, “Scale-Free Networks: A Decade and Beyond”, 2009.
- 1 http://interactome.dfci.harvard.edu/V_hostome/.
1Lorsque Florian Arend vint dans mon bureau présenter son prototype GeneExplorer, j’étais impatient de découvrir un nouvel univers de données, celui de la génétique. Quelques mois auparavant, nous avions décidé de vérifier ailleurs que sur le Web le principe de l’agrégation, à grande échelle et sur des données non documentaires. L’idée n’était pas de devenir nous-mêmes biologistes ou généticiens, mais seulement de capitaliser de nouvelles hypothèses de travail, des pistes méthodologiques à tester, des améliorations techniques à apporter à nos instruments d’exploration du Web. Enfin, tout ce qui concourt à faire de la science une pratique d’atelier ou un exercice de bricolage inventif et innovant. Dans une telle perspective, emprunter des données d’un domaine scientifique voisin est chose courante à des fins expérimentales et peut ouvrir de nouvelles pistes de recherche ou de nouvelles approches. Nous nous étions tournés vers le Dana-Farber Institute à New York, spécialisé dans la recherche sur le cancer, où Marc Vidal conduit un projet fascinant : l’interactome1. En son principe, l’interactome vise à étudier les interactions entre différentes dimensions du vivant sous forme de graphes pour essayer de comprendre les multiples mécanismes de transformation qui nous font passer du génome – c’est-à-dire un code composé des quatre bases A, C, G et U – aux êtres biologiques complexes que nous sommes et aux pathologies auxquelles nous sommes confrontés. Les données qui nous ont été prêtées proviennent de la « première » couche d’interactions complexes, celles des relations entre les gènes et les protéines qu’ils codent. Il est donc possible de produire une sorte de carte réunissant à la fois les gènes et les protéines reliés entre eux dès que les premiers contribuent à coder les secondes. Dans le cas de figure où les données relationnelles concernent deux types d’information (graphe bipartite), il est possible de construire trois types de cartes. La première est la plus simple, la carte gènes-protéines. Cependant, à partir du même jeu de données, deux autres types de cartes sont possibles : la carte gènes-gènes (tels qu’ils sont assemblés pour coder les mêmes protéines) et la carte protéines-protéines (telles qu’elles sont codées par les mêmes gènes). Notre idée était avant tout de visualiser la façon dont les gènes, réunis en assemblées, contribuent à coder les mêmes protéines. Nous avons donc construit une carte gènes-gènes. Nous nous demandions si les gènes se regroupent selon les mêmes principes que les agrégats de documents web. Ont-ils eux aussi élu des hubs ? Peut-on les clusteriser et ainsi les grouper selon des ensembles fonctionnels ? Un diamètre calculable est-il possible, du moins si une structure globale émerge ?
2Lorsqu’apparurent les premières vues des 4 403 gènes reliés entre eux par plus de 14 000 liens, nous avons été surpris de voir un univers familier. Tout se passait comme si nos instruments et nos méthodes avaient été profilés pour l’exploration des données en biologie, alors que nous poursuivions le projet de dessiner les contours d’un système d’information (enfin, si on considère le Web comme tel). Les premières mesures ont rapidement confirmé notre impression : parmi les gènes, les rôles étaient distribués selon le même principe général que pour nos pages web, avec des hubs (des gènes qui participent au codage de nombreuses protéines), des assemblées locales (des clusters), une distribution (presque) en loi de puissance des liens entre les gènes. Quelques groupes détachés de l’ensemble, ne dépassant pas la dizaine de gènes, flottaient en périphérie participant (probablement) directement à une structure encore plus complexe d’un niveau supérieur de layers biologiques comme une molécule ou une cellule. Nos connaissances étant trop limitées en génétique et en biochimie, nous n’avons guère poursuivi cette exploration. Le développement de GeneExplorer s’est alors interrompu et, comme instrument, il fait aujourd’hui partie d’une collection, une sorte de boîte à outils collective dans laquelle on peut piocher pour cartographier aussi bien les brevets que les notices de publications scientifiques ou encore des réseaux d’entreprises en territoires. Théoriquement, en revanche, cette modeste expérience nous a permis d’envisager nos données web sous un jour nouveau, de façon plus synthétique, plus organique.
3Ce que la biologie réunissait, à savoir des couches morphologiquement distinctes dans la fabrique du vivant, les web sciences avaient pour objectif de les discerner dans leurs propres jeux de données. Il m’apparaît nettement aujourd’hui que la biologie et les web sciences ont emprunté des chemins inverses et complémentaires, pour arriver au même principe de partition des data en layers distincts ou en couches fonctionnelles formant un vaste écosystème d’interactions. La première a connu et vit encore de l’interconnexion de bases différentes de connaissance pour forger des patterns de niveau général ; les secondes ont été confrontées immédiatement à la question des masses et de leur dynamique temporelle (notamment les données indexées dans les moteurs de recherche). Au final, le paysage qui se dessine aujourd’hui en matière de science et de data semble similaire dans ses principes, autant pour la biologie que pour les web sciences. Évidemment, on ne peut tirer directement des enseignements d’une science pour en alimenter une autre, les spécificités des objets ou des domaines reprenant rapidement le dessus. Cependant, les rapprochements semblent nombreux et inspirants pour une démarche exploratoire comme la nôtre. J’aimais ainsi considérer les agrégats de documents web comme des sortes de protéines dans un réseau où elles s’associent pour se grouper en structures biochimiques complexes et dans des configurations spatiales spécifiques. Si la comparaison trouvait rapidement ses limites, il n’empêche qu’il s’agissait de pointer là un phénomène propre à de nombreuses sciences : si les gènes codent les protéines (les deux couches sont donc reliées), celles-ci appartiennent à l’univers biochimique gouverné par ses propres lois (assemblages complexes de protéines, fonctions de régulation, de mobilité, rôle membranaire…), tout comme les gènes eux-mêmes obéissent aussi à leurs propres lois. En quelque sorte, en passant de l’une à l’autre couche, nous changeons scientifiquement d’objet, tout en étant dans un même système. La description et la compréhension des agrégats de documents web sont aujourd’hui remarquablement moins riches que celles des protéines : pourtant, il y aurait bien des phénomènes à étudier dans cette couche médiane du Web, les principes de corrélation entre les contenus et la structure pouvant être nombreux et dynamiques. Ce principe d’hybridation imprime à l’histoire du Web et aux façons de se le représenter l’alternance d’éclairages différents : le Web a d’abord été défini comme un système documentaire ou un système universel d’information (on a même annoncé l’avènement d’un Web sémantique universel, sa couche basse) avant le grand tournant des années 2000 et l’émergence du Web 2.0, celui des réseaux sociaux et contributifs fondésechniquement sur la distribution de liens en fonction des proximités sociales. D’autres âges viendront s’y ajouter, peut-être celui du cloud computing (avec ses big data, ses algorithmes et son interopérabilité) ou alors celui des objets connectés, le Web 3.0. Dans tous les cas, il y a fort à parier qu’y alterneront des conceptions du Web (ou de toute forme de réseau) orientées soit vers la connexion, soit vers l’information. Et entre les deux, toujours et partout le même principe d’agrégation.
*****
4Il me semble que l’on n’a guère exploité toutes les implications théoriques des travaux de Jon Kleinberg. Au-delà du domaine restreint de l’histoire des algorithmes en web mining, le principe des agrégats de documents web permet pourtant maintenant d’intégrer différentes propriétés du Web en un tableau cohérent. Ouvert et décentralisé, il apparaît comme un écosystème documentaire dont le diamètre diminue au cours du temps malgré sa « masse » en expansion (l’équivalent du nombre de documents potentiellement accessibles). À l’examen, son architecture apparaît comme constituée de niveaux ou de couches que leur nature statistique (en termes de liens comme de contenus) différencie nettement : une couche « haute » constituée des éléments essentiels et proéminents, les hubs qui génèrent et qui attirent l’essentiel de la connectivité du système lui assurant des distances courtes, une « couche » basse – presque primaire – celles de l’information au sens documentaire, avec ses milliards de lignes de caractères, les textes accompagnés de leurs images et de leurs objets multimédias aux multiples contours. L’essentiel du système, son cœur, réside dans une couche « médiane » où s’hybrident sous forme d’agrégats reconnaissables proximité hypertexte et similarité sémantique. La couche médiane n’est pas une strate de plus parmi d’autres, mais une zone de traduction dynamique et réversible entre les liens (qui assurent la navigation) et les contenus (qui portent l’information). Ce sont les contributions spontanées des internautes qui construisent cette couche médiane des localités thématiques définies, théoriquement dénombrables.
5Une vue rétrospective générale sur le système permettrait sûrement d’en apercevoir l’évolution comme une forme de développement continu. Pourtant, il me semble que cette couche hybride est née dès l’apparition de la première page du Web, celle de Tim Berners-Lee. Ce big bang du Web a ouvert un espace où deux ordres se sont trouvés mis en relation pour la première fois : celui d’une logique documentaire déjà ancienne (avec ses mises en forme sémiotiques, ses langues, ses supports de connaissances, ses structurations arborescentes) et celui de la distribution ouverte de la connectivité hypertexte. Et le langage HTML, comme espace d’écriture, semble jouer dans cet espace d’hybridation le rôle d’une clef de voûte où s’écrivent autant les lignes du texte que les ancres des liens hypertextes ou les objets embedded en JavaScript qui rendent nos pages web si interactives aujourd’hui. On peut ainsi voir le Web comme un immense système de traduction, ou plutôt de transition, de la couche haute à la couche basse et vice versa, des contenus en connexions et des connexions en contenus. L’approche data qu’ont développée Jon Kleinberg, Duncan Watts ou Albert-László Barabási conduit vers une conception dynamique de la complexité du Web, et peut-être de tout système dit « complexe ». Dans ce type de conception, il faut imaginer que la complexité se loge partout là où deux ordres ou deux types de rationalité entrent en contact, des contenus aux liens hypertextes, du génotype au phénotype, du sujet social aux formes de société. Entre les deux, le contact s’établit sur une série de couches qui chacune transforme les données et semble souvent obéir à une série de lois qui lui sont propres, sans pour autant abandonner ses interconnexions avec les autres couches.
6Cette conception du Web en couches distinctes oblige nécessairement à revoir quelques-uns des instruments théoriques attachés à la description du Web. C’est le cas, en particulier, de la fameuse loi de puissance qui fait apparaître dans la distribution des liens hypertextes une profonde hiérarchisation entre les nœuds d’un système. Globalement, elle se vérifie dans tous les jeux de données web dès que l’on passe une certaine quantité et on doit la considérer, tout comme la mesure du diamètre et les calculs de chemins, comme la signature statistique d’un univers régi par des lois et une architecture donnée, d’un certain type d’ordre sous-jacent. Mais ce n’est qu’une signature, l’indice d’une organisation ou d’une topologie qui attend toujours d’être expliquée, cartographiée. Rien de plus que le signe que l’exploration en détail du système peut commencer.
7Le concept de loi de puissance, notamment sa représentation visuelle sous forme d’une courbe typique, jouit aujourd’hui d’une certaine notoriété avec sa redécouverte sous l’effet de l’émergence de la science des réseaux, de la puissance de calcul de nos machines et de la disponibilité de nombreux jeux de données accessibles sur le Web. Si, comme le pense Albert-László Barabási, plus de 80 % des systèmes dits « complexes » (naturels, techniques, sociaux, économiques…) obéissent globalement à un principe de hiérarchisation spontanée de leurs composants ou de leurs éléments, je dois avouer qu’il y a de quoi être étonné par ce principe d’ordre qui semble s’appliquer à tout l’univers, de la plus petite à la plus grande des échelles. Le concept de loi de puissance est d’autant plus fascinant que chacun peut aujourd’hui en vérifier la validité sur tous les domaines documentés par les technologies de l’information, depuis les degrés d’occurrence des keywords dans les publications scientifiques jusqu’aux mouvements des capitaux dans une économie mondialisée, sans oublier nos gènes et nos pages web. C’est de cette évidence statistique que se sont emparés depuis quelques années les acteurs du marketing et des ventes, de la communication ou des métiers de l’information. On aime ainsi à expliquer le succès d’Amazon par sa couverture en produits aussi bien pour un public large adepte des mêmes modes (les hubs commerciaux que tout le monde s’arrache) que pour l’acteur local individuel à la recherche d’une rareté (les objets originaux et parfois inattendus que chacun peut collectionner, la long heavy tail de la courbe). Rien n’y échappe, depuis les degrés de contribution à Wikipedia (quelques contributeurs massivement impliqués et une foule de contributeurs occasionnels) jusqu’aux comptes Facebook. Mais, si l’on admet qu’il existe une couche intermédiaire, celle qui abrite sur le Web les agrégats de pages regroupées thématiquement, il faut alors couper la courbe non pas en deux, mais trois parties distinctes !
- 2 F. Pfaender, M. Jacomy et G. Fouetillou, "Two Visions of the Web: From Globality to Localities", da (...)
8Méthodologiquement, le principe est d’une grande conséquence. Pour un système d’information comme le Web, disons, un système documentaire distribué et ouvert, cette zone intermédiaire – où la courbe change de direction – est celle où s’exerce le principe de corrélation contenu-structure, là où se situent les topical localities (localités thématiques2) . Si l’on examine les pages web situées plus haut dans la courbe, on trouvera des sites généralistes ou des plateformes type moteurs de recherche ou réseaux sociaux. Générant beaucoup de liens, ils n’ont pas de coloration sémantique particulière – hormis le fait qu’ils peuvent (presque) accueillir tous les types de contenus. Jusqu’à Twitter qui fonctionne comme une pure couche dynamique de signalement de contenus. Si l’on se saisit de la long heavy tail – la queue statistique du phénomène –, on trouvera des myriades de pages ou de sites web à peine reliés au reste du réseau (quelques liens seulement) connectées le plus souvent à une ou quelques authorities locales d’un seul agrégat.
9Je me demande parfois si l’attention actuelle portée autour du concept du 6 degrés (enfin, des diamètres réduits notamment dans les réseaux sociaux) ou celle portée à la courbe en loi de puissance (aussi bien dans la science que dans le marketing) ne masque pas, en réalité, ce principe des couches. Si l’on s’extrait quelques instants du monde de la science des données et du Web, on s’aperçoit rapidement que d’autres domaines opèrent cette sorte de tripartition statistique comme une loi gouvernant bien des phénomènes dans le transport, l’industrie, le commerce et la logistique. En logistique, on trouvera par exemple rangé sous la rubrique « méthode ABC » un principe d’optimisation des coûts liés soit à la production industrielle, soit à la gestion des stocks et des quantités. On y met en classe A les 10 % des articles qui représentent 60 % de la valeur totale du stock ou du nombre de clients, en classe B les 40 % des articles qui représentent 30 % de la valeur totale du stock ou du nombre de clients et, enfin, en classe C les 50 % des articles qui représentent 10 % de la valeur totale du stock ou du nombre de clients. Derrière cette distribution en 3 classes, il y a aussi un modèle d’approvisionnement et des stratégies de gestion associée à chaque classe de produit ou de clients. En classe A les quelques produits phare en flux tendu que s’arrache un grand nombre de clients, en classe C les milliers de produits qu’il faut garder en stock pour répondre aux demandes particulières et, entre les deux en classe B, les produits vendus par lots à des communautés particulières de clients. L’équivalent de nos agrégats de documents web.
*****
10Le modèle topologique du Web en couches représente une avancée importante au plan théorique dont on peut tirer quelques leçons pour le design des technologies web et pour les méthodes d’observation (voire de veille). La publication de l’article de Jon Kleinberg où il expose les principes de HITS correspond à une époque qui voit se développer la technologie des focus crawlers, une technologie fascinante conçue pour isoler des agrégats de documents web et les parcourir de façon systématique. La confrontation de notre modèle topologique du Web avec les technologies de l’information a constitué le moment central de nos aventures, un moment privilégié de la recherche technologique où se mêlent hypothèses et statistiques, concepts et data.
11Les web crawlers, au sens général, sont un élément central des technologies type moteurs de recherche et sont indissociables de la structure du Web lui-même : en passant d’URL à URL, ou en suivant chacun des fils de la toile, ils permettent de reconstruire un plan local, voire général, de l’ensemble de la structure documentaire hyperliée. Si vous décidez d’explorer le Web sans navigateur ni moteur de recherche, ils sont indispensables pour mener des explorations de façon autonome. Si l’on met de côté les aspects d’optimisation d’un moteur de recherche complet (comme les temps de réponse, les calculs de pertinence par rapport à une requête, etc.), on peut les mobiliser pour leur valeur expérimentale et exploratoire. Le web crawling est un processus qui suppose une infrastructure de stockage des données (au plus simple, ce sont des listes d’URL et de connexions hypertextes que l’on va convertir ensuite en structure de graphe avec ses nœuds et ses liens), mais aussi deux réglages nécessaires. Le premier paraît naturel : étant donné les capacités limitées d’un système de stockage des données (sans oublier l’espace de calcul nécessaire associé à leur traitement sous forme de graphe), il faut spécifier la profondeur du processus, autrement dit la distance maximale qu’il doit parcourir depuis son point de départ. Si l’on n’a pas oublié que le Web, malgré le nombre énorme de documents, est un réseau dont le diamètre est relativement court, ce réglage de la profondeur est en général très faible (2, voire 3). Ensuite, il faut assigner au web crawler un point de départ, voire plusieurs. Cela n’a rien d’un détail : si chacun se tourne spontanément vers Google ou son encyclopédie préférée pour y chercher des informations fiables et essentielles, par où commencer l’arpentage de la structure du Web comme réseau documentaire ? Personnellement, je pense que toutes les méthodes sont bonnes du moment qu’elles sont explicitées : piochons dans nos bookmarks, dans ceux des autres, et même dans les moteurs de recherche ou les réseaux sociaux, pour lancer le processus. Dans le premier modèle du Web en nœud papillon, le nombre de points d’entrée sur le Web était de 570, mais on n’a guère de précision sur la façon dont ils ont été sélectionnés. Ces points d’entrée dans la structure constituent une seed à partir de laquelle vont se développer différentes branches qui finiront, peut-être, par former un vaste réseau connexe où tous les éléments identifiés se trouvent reliés entre eux.
12Parmi toutes les techniques de web crawling, la technologie et les méthodes de focus crawling sont particulièrement profilées pour explorer et indexer la couche médiane du Web, celle des agrégats de documents. Si l’on cherche une sorte de microscope dédié à leur observation, les méthodes de web crawling contraintes par un focus conviennent parfaitement, à condition de pouvoir maîtriser les difficultés techniques et méthodologiques qui leur sont associées. La principale difficulté consiste à contraindre le crawler à rester focalisé sur un ou plusieurs agrégats, tout comme on place précisément un satellite en orbite autour d’un astre faute de quoi il finit aspiré par d’autres trajectoires. Les techniques sont nombreuses et, pour chaque étude d’agrégat, il faut en associer plusieurs : interdire au crawler d’aller sur des URL définies (par exemple « blacklister » les URL du type google.fr, wordpress.com, facebook.fr… issues de la couche haute du Web, de la même façon que l’on lemmatise un texte en éliminant les « mots outils »), on peut limiter le processus en termes de navigation hypertexte (par exemple à une profondeur de 2 maximum) ou encore identifier des points de départ déjà focalisés sur le thème poursuivi. À vrai dire, toutes les recettes pour empêcher le crawler de « remonter » vers la couche haute du Web sont pertinentes, même si le temps de l’expérimentation et des différents réglages de la technologie de crawl peuvent être longs (et même variables suivant les thématiques web observées). Une stratégie, clairement évoquée par Jon Kleinberg, consisterait aussi à « découper » dans un grand graphe web un cluster identifiable pour sa densité de liens internes et dont les URL seront les seules à être crawlées. Dans ce cas, l’idéal, évidemment, serait de posséder par avance une liste des meilleurs hubs du domaine et de régler la profondeur à 1 seulement, ce qui permettrait rapidement d’identifier toutes les meilleures authorities. Sans disposer de l’infrastructure d’un moteur de recherche généraliste et de ses grands graphes, chacun est condamné à bricoler localement avec la méthodologie… d’où on peut tirer quelques innovations intéressantes.
- 3 http://www.research.ibm.com/labs/almaden/index.shtml.
13Car ces techniques de contrôle du déploiement des crawlers web ne suffisent pas toujours : le principal danger est de voir le processus déborder, voire se perdre, dans un ou plusieurs agrégats voisins (ce que les chercheurs d’IBM du projet CLEVER3 ont appelé topical drifting). C’est là qu’intervient le principe du focus crawling. En son principe, il repose sur l’alternance de deux processus : la navigation par liens et l’analyse du contenu des pages web rencontrées. En général, il faut entendre par « analyse du contenu » la production d’une liste (voire d’une table ou matrice de co-occurrences) de mots-clés, classés par exemple par degrés d’occurrence sur une page. Chaque focus crawler est fondé ur une formule d’hybridation des deux dimensions – recherche des liens et identification des contenus. Par exemple, une formule peu contraignante (large) permet de laisser le crawler naviguer et de faire « remonter » pour chaque agrégat rencontré des sortes d’ontologies (qui peuvent préfigurer une classification systématique des agrégats et de leurs thèmes). Une formule particulière consiste à intégrer une liste de mots-clés (pondérés si possible) et à intégrer au graphe seulement les pages qui possèdent tel ou tel mot-clé, ou tel score de mots-clés (en additionnant par exemple les scores et le degré d’occurrence). Cette dernière méthode est particulièrement efficace pour isoler un agrégat, et le revisiter régulièrement dans un processus de veille. Elle a aussi l’avantage de faire apparaître les frontières d’agrégat (de corpus) si l’on conserve en archive les URL exclues du processus de classification automatique des contenus (pages intégrées au corpus / pages exclues du corpus).
14En lançant nos premières expérimentations dès les années 2002-2003, nous empruntions là aussi des chemins déjà largement balisés par nos pairs américains… et parfois indiens. Venu de l’IITB (l’Indian Institut of Technology of Bombay, l’équivalent indien du MIT), Soumen Chakrabarti synthétise en 2002 l’ensemble des enjeux et des techniques de focus crawling dans son ouvrage central Mining the Web: Discovering Knowledge from Hypertext Data. Très pointu techniquement, l’ouvrage (comme les publications scientifiques de l’auteur) s’adresse à des experts ou des ingénieurs compétents en technologies web d’indexation. Si, de surcroît, vous maîtrisez les mathématiques statistiques, le livre fera votre bonheur. Étant notablement incompétent en matière de mathématiques, les méandres du codage des focus crawler m’échappaient largement. Je compris cependant grâce aux premiers chapitres de l’ouvrage les différentes façons de décliner le principe du focus, a small- ou medium-scale sur le Web, éventuellement de façon fédérative (plusieurs crawlers fonctionnant en communautés d’agents intelligents) et quelques principes de classification automatique par apprentissage qui permettaient d’affiner le focus en cours de processus (processus largement contrôlé ou supervisé par un expert). Mais l’importance de l’ouvrage de Soumen Chakrabarti apparut clairement pour les conclusions théoriques et méthodologiques qu’il tirait de ses expérimentations avec des focus crawlers. L’auteur insistait en particulier sur la valeur scientifique de l’observation du comportement des focus crawlers dans leur course sur le Web, traversant ici des zones de haute densité de liens hypertextes, et là des zones presque vides où seulement quelques liens hypertextes reliaient des documents épars. Dans une première étape, chaque zone de densité est pour lui l’occasion de s’interroger sur les contenus qu’elle agrège et, au-delà, sur la web community qui l’anime. Exactement de la même façon que nous explorions certaines « thématiques » du Web, comme la controverse autour de l’Église de scientologie, selon le principe de knowledge discovery appliqué au Web tel que Jon Kleinberg l’avait décrit avec HITS. Soumen Chakrabarti ne parle pas d’ailleurs de « couche médiane » du Web, mais il assigne clairement sa dynamique d’agrégation aux activités multiples des communautés sociales qui les produisent (discovering ou identifying web communities through linkage topology). Tous les efforts techniques et méthodologiques qu’il développe se concentrent sur l’objectif de repérer, avec des ressources minimales, les meilleurs hubs et les meilleures authorities d’un domaine informationnel nourri par cette dynamique sociale. Il est donc conduit, comme l’avait fait Jon Kleinberg avec HITS, à inventer une sorte de métrologie documentaire en web mining où sont hybridées des mesures de distance hypertexte et de similarité sémantique. Le type de technologie dédiée par excellence à l’exploration de la couche médiane du Web, à la granularité transversale du système où proximité et similarité semblent résonner et se renforcer en un signal clairement identifiable.
15Soumen Chakrabarti teste donc le comportement de ces différents types de crawlers en les déployant à différents « endroits » du Web, autrement dit en faisant varier ses points d’entrée dans le système (la seed des URL à partir desquelles le robot entame son travail d’exploration de lien en lien). Ses expérimentations ont pour premier objectif de démontrer toute l’efficacité d’un crawler de type « focus » comparé à un crawler « classique » qui suit les liens hypertextes sans produire d’indices sur le contenu des pages visitées. À l’inverse, un focus crawler intègre des règles de visitation ou des contraintes de parcours sur le Web. Par exemple, il ne se déplace pas à partir de pages peu pertinentes ou « hors sujet » ; en revanche, si deux pages pertinentes (A et B) en pointent une troisième (C), il va privilégier cette direction dans le graphe hypertexte du Web. Évidemment, l’hybridation méthodologique entre analyse du contenu et repérage des liens hypertextes peut être d’une grande complexité, surtout dans une perspective d’optimisation de recherche rapide et exhaustive de documents pertinents sur un sujet.
16Il teste ainsi les deux types de technologies (sans et avec focus) en prenant les mêmes URL de départ pour « lâcher » les robots sur le Web, ces URL traitant pour la plupart du même thème (cycling). Comme le montrent les tableaux statistiques ci-dessous (a), le crawler sans focus se perd rapidement sur le Web, ne ramenant (harvest rate) que quelques documents pertinents, identifiés sur de longues distances où un n grand nombre de documents sont crawlés. À l’inverse, le focus crawler reste concentré autour des URL de départ et ne se déplace que dans le périmètre restreint de l’agrégat, concentré sur le thème choisi et les pages pertinentes, identifiant rapidement les « meilleurs » documents (authorities) à partir des meilleurs hubs. Les indices statistiques sont sans appel (a).
Image 5.6

(a) Taux comparé d’extraction de pages pertinentes durant un crawl (en ordonnée le degré de pertinence estimée des pages extraites durant le crawl, en abscisse le nombre de pages extraites). À gauche, les résultats statistiques du crawler sans principe de focus, à droite, les résultats d’un focus crawler sur le même thème (cycling).
(b) Répartition de 100 pages web analysées comme pertinentes en fonction de la distance en nombre de liens hypertextes établis à partir de plusieurs URL de départ. Dans cet exemple, la concentration des documents pertinents se situe, pour l’exemple de gauche, entre 2 et 10 « clics » d’un ensemble de points de départ (seed) et, pour celles de droite, de 9 à 15 « clics » : le taux moyen de détection de pages web pertinentes (harvest rate) en fonction « d’où commence » le crawl dans l’architecture granulaire du Web en agrégats.
Chakrabarti, S., 2002. Mining the Web: Discovering knowledge from hypertext data. Morgan Kaufmann.
17D’une certaine façon, le focus crawler reste dans le périmètre des points de départ, des URL pertinentes en termes de contenu (focused pages sur le thème cycling). Mais que se passe-t-il si les points de départ du focus crawler sont éloignés, dans l’univers hypertexte du Web, de l’agrégat recherché avec ses hubs et ses authorities ? Ou encore, comment se comporte le crawler si on modifie son focus (en lui demandant par exemple d’aller chercher des documents pertinents sur « mutual funds ») alors qu’il est dans cette zone du Web où l’on parle de « cycling » ? En somme, peut-il se déplacer d’agrégat en agrégat dans cette couche médiane, comme une sorte de navigation latérale ? Bien évidemment, un crawler classique qui fonctionne sans inférence particulière sur sa façon de naviguer devra peut-être parcourir l’ensemble du Web, y compris sa couche haute pour trouver finalement le bon agrégat, s’il ne s’est pas perdu en cours de route dans une structure de centaines de milliards de liens ! Le focus crawler intègre quant à lui des règles de navigation qui le rendent plus performant, dans un parcours latéral qui peut être long, mais couronné de succès comme le montre le second graphique (b). Durant ce parcours, les chemins possibles sont nombreux, mais, depuis son point de départ, dès qu’il rencontre des pages inutiles (et, mieux encore, des hubs qui ouvrent sur des agrégats non pertinents), il peut abandonner la piste par élagage du graphe (pruning), faisant émerger des chemins spécifiques à emprunter et des tâches prioritaires à exécuter (priorization). Dans le cas de l’expérimentation (b), le crawler atteint l’agrégat sur lequel il se concentre alors à partir de 9 liens ou « clics » de distance, ce qui en théorie est un chiffre très important quand on a en tête une estimation générale du diamètre du Web autour de 12 ou 13. Mais, si l’on se rappelle que le focus crawler établit à chaque déplacement des inférences sur la nature des agrégats qui l’entourent, son cheminement peut alors ressembler à une sorte de tunnel (tunneling) qui le conduit à travers la couche médiane du Web.
18Chakrabarti, Kleinberg et les chercheurs d’IBM du projet CLEVER avaient ainsi imaginé les propriétés d’une forme de technologie dédiée au Web et à sa structuration en agrégat. La notion de territoire numérique prenait ainsi corps et les processus innovants de recherche d’information sur le Web développés à l’époque en validaient le principe. La méthode du focus crawling permettait d’envisager des technologies et des méthodes dédiées à l’exploration de la couche médiane du Web, là où se croisent distribution des liens et des contenus en agrégats typiques. Quand on découvre ces contributions scientifiques (parfois très techniques pour qui n’est pas ingénieur), on devine rapidement l’intérêt, et peut-être l’émerveillement, des chercheurs devant le dévoilement d’une organisation de l’information qui n’était pas héritée des bibliothèques ou des systèmes d’information avec des catégories préconçues et logiquement distribuées en hiérarchies. On aurait dit qu’ils découvraient pour la première fois un territoire contributif dont l’histoire commençait en 1945 avec le projet Memex imaginé par Vannevar Bush.
19Évidemment, la notion de territoire numérique fait encore débat aujourd’hui, ne serait-ce que pour les rapports ambigus entretenus avec la géographie et les territoires physiques. Et les débats peuvent se poursuivre autour de la cartographie d’information qui reste voisine, malgré tout, de sa grande sœur la cartographie physique avec sa longue tradition. Cependant, il m’apparaissait clairement que la voie ouverte par Jon Kleinberg et tant d’autres devait être considérée comme un appel au développement de nouvelles formes de technologies de l’information dédiées aux particularités de ce réseau des réseaux qu’est devenu le Web. C’était une façon efficace de réenchanter la technique et les instruments d’exploration, une incitation à imaginer de nouveaux produits innovants braqués sur un processus de découverte des connaissances. Que des millions d’internautes contribuent massivement à travers la diffusion de milliards de pages web à faire émerger de telles formes d’agrégats avait quelque chose de fascinant, comme une sorte de savoir non su ou de connaissances partagées et implicites que la technologie des focus crawlers propulsait en plein jour.
*****
- 4 F. Ghitalla, E. Diemert, C. Maussang et F. Pfaender, “TARENTe: An experimental tool for extracting (...)
20La lecture de ces contributions scientifiques autour du principe d’agrégation contribua directement à cette sorte d’effervescence collective qui vous fait basculer, sans le savoir, dans la recherche technologique et l’innovation. Pour les jeunes ingénieurs qui m’accompagnaient, il devenait urgent de nous doter de nos propres instruments et d’asseoir encore un peu plus notre autonomie. La théorie des agrégats de documents web annoncée par HITS en 1997 et validée par les contributions de Soumen Chakrabarti (et d’autres) a constitué la clef de voûte intellectuelle d’une série de développements qui alimentèrent notre boîte à outils, et le point de départ de bien des aventures en termes de projets professionnels. Tout a commencé pour nous avec la conception et la mise en œuvre de notre outil phare, TARENTe, un instrument d’exploration et d’analyse des agrégats de documents web4. TARENTe était bâti autour d’un crawler que l’on pouvait équiper ’un focus sémantique et qui permettait d’observer en temps réel l’apparition à l’écran d’un agrégat via une solution de spatialisation type force directed. L’instrument était doté d’outils statistiques qui permettaient pour chaque page récupérée sur le Web de calculer une table de mots-clés co-occurrents et classés par ordre statistique. Il permettait aussi d’activer la visualisation des pages web via un navigateur interne.
- 5 http://webatlas.fr/wp/share/navicrawler/Guide%20m%E9thodo%20NC%202007.pdf.
- 6 https://www.youtube.com/watch?v=BEk03i8rj_w&list=PL6CAD477CD8A6CCA5
21Peu de temps après, d’autres ingénieurs se mirent à développer cette curieuse version de Firefox que fut le Navicrawler5. L’idée en était simple : on pouvait adjoindre à Firefox une série de plugins qui permettaient de suivre, d’archiver et d’analyser des parcours thématiques sur le Web sous forme de graphes enrichis. Le Navicrawler se présentait comme la Rolls Royce du contrôle qualitatif des web data pour la construction de corpus. Il intégrait un crawler hypertexte à partir des URL rencontrées (elles-mêmes intégrables ou non au corpus), la possibilité de les taguer à la volée à partir de labels choisis à l’avance, des calculs statistiques sur le graphe produit par la navigation, des fonctions d’import/export des données générées et une connexion en temps réel avec Gephi… Il ne m’en fallut pas plus pour imaginer l’infaisable quelques mois auparavant : partir à plusieurs à la recherche d’un agrégat de documents web et visualiser en temps réel les multiples chemins se suivre ou se croiser ! Une fois l’idée lancée et un court travail de préparation, le dispositif que nous avons imaginé a été présenté pour la première fois au printemps 2009 au médialab de Sciences Po : pendant que je parle à la tribune (accompagné de Mathieu Bastian), s’affiche derrière moi un graphe en expansion continue où figurent des URL ayant pour thème générique « la loi Hadopi »6.
22Les URL sont représentées sous la forme de nœuds de couleur correspondant à trois recherches réalisées simultanément par trois ingénieurs situés en marge de la salle de conférences (sur trois systèmes d’exploitation : Linux, Windows, Apple et en utilisant trois moteurs de recherche différents). Chaque nouvelle URL validée par l’un des trois ingénieurs est automatiquement intégrée au graphe général via l’identification de tous les liens sortants qui la relient au reste de la toile. Cette performance technologique, comme on pourrait le faire dans le monde de l’art contemporain, démontrait qu’il était possible de déployer sur le Web une veille collective, avec un procédé centralisé de visualisation, en temps réel, dédié à l’exploration d’un agrégat dont les URL étaient liées et très calibrées thématiquement autour des débats sur la loi Hadopi. Comme avec un filet de pêche, nous venions de ramener en quelques dizaines de minutes l’un des agrégats les plus dynamiques à l’époque sur le Web francophone. Le principe peut être poursuivi, par exemple en déployant sur l’agrégat isolé (donc un corpus de sources pertinentes sur un sujet et reliées entre elles par es liens hypertextes) un tracker, autrement dit un crawler à qui l’on demanderait de travailler en continu sur le corpus pour évaluer tout changement dans le temps (par exemple inspecter de nouvelles ressources).
23Une fois admis le principe d’une agrégation continue des ressources web dans une couche médiane, on peut ainsi commencer à forger des instruments qui seront dédiés à son exploitation. À l’époque, ce que je n’avais pas prévu s’imposa à la plupart de mes jeunes associés : pourquoi ne pas inventer des services et des entreprises qui exploiteraient toutes ces nouvelles propriétés du Web, donc des informations en réseau ? C’est ainsi qu’après leur participation aux premières expéditions du Web, Alain Le Berre et Guilhem Fouetillou fondent en 2004 la start-up RTGI à laquelle nous sommes nombreux à avoir été associés comme cofondateurs. L’une des colonnes vertébrales de l’entreprise (devenue aujourd’hui Linkfluence) est constituée par la découverte, l’exploitation et l’entretien de tous ces agrégats autour desquels se regroupent les internautes dans de nombreux domaines (loisirs, politique, sports, économie). Avec les instruments adéquats et des méthodes à la fois quantitatives et qualitatives (avec les chargés d’étude qui sélectionnent et analysent les ressources), la société peut proposer des services inédits de veille sur le Web, en particulier sous l’angle de la e-réputation et du tracking des phénomènes émergents ou des tendances. En deçà de l’activité commerciale, la société a tenu à maintenir depuis sa fondation son dispositif de veille sur l’ensemble des agrégats de documents web (utiles à ses services) dans un système d’écosphères, comme le ferait un cultivateur soucieux de ses champs. C’est là, dans cette couche médiane du Web où liens hypertextes et contenus se concentrent et se répondent, que Linkfluence surveille ses territoires de prédilection. Pour être franc, il ne m’est jamais venu à l’esprit, au départ de nos premières expéditions sur le Web et les réseaux d’informations, que l’on puisse en tirer un projet de création d’entreprise de cette ampleur. D’autres projets ont éclos par la suite issus d’un même esprit : Linkurious (Sébastien Heymann) et l’Atelier Iceberg (Thomas Busson, Thomas Dupeyrat et Alexis Jacomy), ou Gephi (notre application favorite avec Mathieu Bastian en lead developer). Rétrospectivement, je prends conscience en écrivant ces lignes combien, à côté de la démarche scientifique, l’entreprise doit être considérée comme une forme authentique de validation d’un modèle, notamment par la mise en place de services nés directement de l’expérimentation technologique. Mais je me souviens aussi qu’à l’époque, hormis quelques-uns de mes collègues de l’UTC, personne n’a cru à ce type de démarche émergente, nourrie de surprises et d’imprévus, en pariant sur la production rapide de nouvelles idées imprévisibles trois mois auparavant. En serait-il autrement aujourd’hui dans l’univers de l’innovation administrée, des programmes prévisionnels ou des plans quadriennaux ?
Notes
1 http://interactome.dfci.harvard.edu/V_hostome/.
2 F. Pfaender, M. Jacomy et G. Fouetillou, "Two Visions of the Web: From Globality to Localities", dans Proceedings of IEEE ICTTA06, 2006.
3 http://www.research.ibm.com/labs/almaden/index.shtml.
4 F. Ghitalla, E. Diemert, C. Maussang et F. Pfaender, “TARENTe: An experimental tool for extracting and exploring web aggregates”, dans Proceedings. International Conference on Information and Communication Technologies: From Theory to Applications, IEEE, 2004.
5 http://webatlas.fr/wp/share/navicrawler/Guide%20m%E9thodo%20NC%202007.pdf.
6 https://www.youtube.com/watch?v=BEk03i8rj_w&list=PL6CAD477CD8A6CCA5
Table des illustrations
![]() | |
---|---|
URL | http://books.openedition.org/oep/docannexe/image/15455/img-1.jpg |
Fichier | image/jpeg, 75k |
![]() | |
Titre | Image 5.2 |
Légende | Projet Gene Explorer. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-2.jpg |
Fichier | image/jpeg, 121k |
![]() | |
Titre | Image 5.3 |
Légende | Chaque couche du Web a des propriétés distinctes. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-3.png |
Fichier | image/png, 1,1M |
![]() | |
Titre | Image 5.4 |
Légende | Retrouver la zone d’agrégation dans la distribution des sites en loi de puissance. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-4.png |
Fichier | image/png, 288k |
![]() | |
Titre | Image 5.5 |
Légende | Les frontières d’un agrégat peuvent apparaître avec un focus crawler. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-5.png |
Fichier | image/png, 438k |
![]() | |
Titre | Image 5.6 |
Légende | (a) Taux comparé d’extraction de pages pertinentes durant un crawl (en ordonnée le degré de pertinence estimée des pages extraites durant le crawl, en abscisse le nombre de pages extraites). À gauche, les résultats statistiques du crawler sans principe de focus, à droite, les résultats d’un focus crawler sur le même thème (cycling). (b) Répartition de 100 pages web analysées comme pertinentes en fonction de la distance en nombre de liens hypertextes établis à partir de plusieurs URL de départ. Dans cet exemple, la concentration des documents pertinents se situe, pour l’exemple de gauche, entre 2 et 10 « clics » d’un ensemble de points de départ (seed) et, pour celles de droite, de 9 à 15 « clics » : le taux moyen de détection de pages web pertinentes (harvest rate) en fonction « d’où commence » le crawl dans l’architecture granulaire du Web en agrégats. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-6.png |
Fichier | image/png, 113k |
![]() | |
Titre | Image 5.7 |
Légende | Copie d’écran de TARENTe. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-7.png |
Fichier | image/png, 135k |
![]() | |
Titre | Image 5.8 |
Légende | Inauguration du médialab de Sciences Po. |
URL | http://books.openedition.org/oep/docannexe/image/15455/img-8.png |
Fichier | image/png, 1,3M |
Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.