Version classiqueVersion mobile
OpenEdition Books

Read/Write Book 2

 | 
Pierre Mounier

Autour des big data

Prodiges et vertiges de la lexicométrie

Francis Chateauraynaud et Josquin Debaz

Note de l’éditeur

La version originale de ce billet est disponible sur Socio-informatique et argumentation, 23 décembre 2010, http://socioargu.hypotheses.org/1963, consulté le 17 août 2012.

Texte intégral

1Depuis plus d’une décennie, les outils de recherche du Web sont intégrés dans les enquêtes menées par les internautes, parmi lesquels il faut compter les chercheurs qui utilisent le réseau pour explorer rapidement l’étendue d’un thème ou tout simplement vérifier l’usage d’un mot – comme c’est souvent le cas pour une expression en langue étrangère. Il semble trivial de dire qu’aujourd’hui on peut, à partir de mots-clés ou d’expressions bien choisis, retrouver à peu près n’importe quelle information ou faire surgir des sources inconnues et pertinentes. En pratique, les choses ne sont pas si simples et tout dépend des niveaux d’exigence et des objets que l’on se donne.

La conjonction de deux processus

2Si les algorithmes d’un moteur comme Google produisent parfois des résultats bizarres, pour le moins instables (une petite variation dans une expression produisant de grands écarts tant dans le nombre de pages renvoyées que dans le classement obtenu), on peut se forger, à la louche, une idée approximative du degré de diffusion des termes qui nous intéressent dans le vaste corpus aux contours indéterminés que constitue le Web. Dans la recherche à vue sur un moteur, la part de calcul est malgré tout assez faible, puisqu’il s’agit essentiellement d’interroger des index mis à jour régulièrement par des robots.

3À côté de l’exploration des index, il y a toute une tradition d’outils statistiques permettant, par exemple, de calculer la fréquence ou le poids relatif d’un mot ou d’un groupe de mots, d’en restituer la distribution selon différents axes ou variables. Une des contraintes majeures de la statistique textuelle est formée par la nature des corpus soumis à ses algorithmes. Selon la base de textes étudiée, les techniques lexicométriques, statistiques ou cartographiques n’ont pas la même portée. Que se passe-t-il lorsque le corpus soumis à des algorithmes statistiques change radicalement d’échelle au point de ne plus correspondre à aucune expérience antérieure connue ? C’est ce que permet d’explorer le nouvel outil mis en ligne par Google Labs : Books Ngram Viewer1. Ce projet a été piloté par des chercheurs de Harvard, en particulier Jean-Baptiste Michel, jeune polytechnicien français, et Erez Lieberman Aiden, mathématicien, physicien et philosophe américain, qui mettent ainsi à profit l’énorme travail lancé par Google en 2003 avec le projet de numériser tous les livres publiés à ce jour dans le monde2 (5 millions de livres publiés, surtout depuis 1800). La base lexicale utilisée contient selon ses développeurs 5 milliards de mots, mise en ligne et accessible derrière l’interface proposée par Google Labs.

4Si les ordinateurs sont mis à contribution pour étudier les mots de la langue depuis fort longtemps, notamment pour caractériser l’évolution des lexiques, tracer des corrélations ou des co-occurrences3, l’expérience publiée fin décembre 2010 crée incontestablement un précédent : outre le volume de documents traités, il s’agit bien de la confluence entre deux séries d’outils. Sans discuter à chaud l’ensemble des points techniques que soulève cette expérience, cet article esquisse l’examen des conséquences d’une telle conjonction pour les humanités numériques.

Le choc des nombres et le poids des mots

  • 4 Jean-Baptiste Michel et al., « Quantitative Analysis of Culture Using Millions of Digitized Books » (...)
  • 5 Patricia Cohen, « In 500 Billion Words, New Window on Culture », The New York Times, 16 décembre 20 (...)
  • 6 Yves Miserey, « Google numérise des milliards de mots », Le Figaro, 16 décembre 2010, http://www.le (...)
  • 7 Henri Verdier, « Google N-Gram : des choses cachées depuis le commencement du monde », Henri Verdie (...)
  • 8 Olivier Ertzscheid, « Culturonomics : juste une question de corpus ? », Affordance.info, 16 décembr (...)

5Fin décembre 2010 donc, la revue Science publie un article intitulé « Quantitative Analysis of Culture Using Millions of Digitized Books4 », présenté comme une révolution puisqu’il incarne l’avènement d’une nouvelle discipline, appelée culturnomics (culturonomique en français). Il s’agit en fait d’un nouveau protocole, accessible par Google, permettant des analyses lexicométriques sur une base impressionnante puisqu’elle est constituée par des millions d’ouvrages numérisés, publiés sur plus de cinq siècles – en gros de 1500 à 2008. Du jamais vu en termes de masse textuelle et d’échelle temporelle. On comprend du même coup que cette annonce ait suscité pas mal d’enthousiasme. C’est le cas par exemple dans le New York Times5 ou dans Le Figaro6, et bien sûr dans la blogophère spécialisée – comme sur le blog d’Henri Verdier dans son billet intitulé « Google N-gram : des choses cachées depuis le commencement du monde7 ». Pour Jean Véronis, informaticien linguiste, un tel résultat est « phénoménal » et ouvre une nouvelle ère dans l’analyse des grands corpus. D’autres, plus ou moins sceptiques, parfois acides, profitent de cet événement pour rappeler que nous devons impérativement garder le contrôle sur nos corpus8.

  • 9 Voir Francis Chateauraynaud, « Les mobiles de l’expertise » (entretien), Revue Experts, numéro spéc (...)

6Ce n’est pas du côté de l’algorithmique prise pour elle-même qu’il faut chercher la nouveauté radicale de l’opération – l’inspiration statistique des auteurs remontant au début du xxe siècle (n-grammes, chaînes de Markof, algorithme de Viterbi) –, mais bien dans la capacité d’exploration de millions de documents numérisés couvrant plus de cinq siècles d’histoire intellectuelle et culturelle – avec comme première contrainte la seule prise en compte des imprimés. Bien sûr une des limites qui sautent aux yeux immédiatement est constituée par l’entrée purement lexicale, qui suppose de faire confiance aux mots, à la stabilité de leur sémantique, pour extraire des faits interprétables, sur une durée tellement longue qu’il ne soit pas garanti qu’un chat soit encore un chat. La question est en effet de savoir si les mouvements observés à partir des mots renvoient aussi mécaniquement à des configurations sociales, politiques ou culturelles dont on peut ressaisir les transformations. Par exemple si l’on regarde la distribution des mots « expert », « experts » et « expertise », on obtient bien une montée en puissance significative, permettant de caractériser les différentes phases historiques de la modernité. Mais de quelle expertise s’agit-il9 ?

Courbe comparée des termes expert, experts et expertise

Courbe comparée des termes expert, experts et expertise

7L’outil permet de retracer sur une très longue durée l’évolution des fréquences d’emploi de termes ou d’expressions, ce qui permet aux porteurs de ce projet de revendiquer un instrument de portée très générale, pouvant prendre en charge de nombreuses problématiques. En conclusion de l’article publié dans Science, on lit par exemple :

Culturomic results are a new type of evidence in the humanities. As with fossils of ancient creatures, the challenge of culturomics lies in the interpretation of this evidence. Considerations of space restrict us to the briefest of surveys: a handful of trajectories and our initial interpretations. Many more fossils, with shapes no less intriguing, beckon:

(i) Peaks in “influenza” correspond with dates of known pandemics, suggesting the value of culturomic methods for historical epidemiology (35) (Fig. 5A).

(ii) Trajectories for “the North”, “the South”, and finally, “the enemy” reflect how polarization of the states preceded the descent into war (Fig. 5B).

(iii) In the battle of the sexes, the “women” are gaining ground on the “men” (Fig. 5C).

(iv) “féminisme” made early inroads in France, but the US proved to be a more fertile environment in the long run (Fig. 5D).

(v) “Galileo”, “Darwin”, and “Einstein” may be well-known scientists, but “Freud” is more deeply engrained in our collective subconscious (Fig. 5E).

(vi) Interest in “evolution” was waning when “DNA” came along (Fig. 5F).

(vii) The history of the American diet offers many appetizing opportunities for future research; the menu includes “steak”, “sausage”, “ice cream”, “hamburger”, “pizza”, “pasta”, and “sushi” (Fig. 5G).

(viii) “God” is not dead; but needs a new publicist (Fig. 5H).

These, together with the billions of other trajectories that accompany them, will furnish a great cache of bones from which to reconstruct the skeleton of a new science.

  • 10 On a déjà eu l’occasion de manifester quelques réserves sur le néo-positivisme gargantuesque de la (...)

8La liste des observations culturonomiques est assez indicative de la portée qu’attribuent ses auteurs à la démarche. En même temps, on est frappé par le haut niveau de généralité des problèmes abordés, supposés résolus, et dont l’énonciation est extrêmement naïve du point de vue des sciences humaines et sociales. À partir des expériences socio-informatiques qui sont les nôtres – sur des corpus apparaissant du même coup comme très modestes, comme des « microcorpus » –, on peut partager une partie de l’enthousiasme de la plupart des commentateurs, puisque cet outil enrichit la panoplie des humanités numériques. Mais un lecteur assidu de notre carnet de recherche Socio-informatique et argumentation ne manquerait pas de déceler une once d’ironie dans l’affirmation d’une adhésion pleine et entière à ce type de totalisation10.

9Nous manquons de recul face à cette proposition pour ancrer sa mise en discussion et développer une critique épistémologique et méthodologique utile à la réflexion générale sur les instruments11. Les questions peuvent partir de différentes positions, et il est trop tôt pour fournir un panorama complet des points que soulève cette démarche, qui revendique pour la culture langagière une épistémè analogue à celle qui prévaut en matière de décryptage des génomes par la genomics12. Les objets culturels et politiques sont-ils calculables au même titre que les autres ? Un des membres du réseau d’utilisateurs du logiciel Prospéro a par exemple fait parvenir ce message sur la liste de diffusion :

On nous dit : « “Dieu” n’est pas mort, mais il aurait besoin d’un bon service de communication. » On a apparemment « oublié » l’arabe, alors même que l’on semble prétendre, à travers un très large éventail de langues, à une certaine forme d’exhaustivité. Et on n’en glose pas moins sur l’occurrence du mot Dieu. Dans le monde ? Mais peut-être a-t-on pensé que les auteurs de langue arabe sont généralement assez indifférents aux questions religieuses.

10Il suffit d’entrer le nom d’Allah13 dans le moteur pour constater qu’il ne cesse de rebondir de plus en plus haut au fil du temps. La remarque sur Dieu est donc plus de l’ordre de la boutade qu’autre chose. Mais précisément cela pose le problème des modèles d’interprétation que peut supporter le dispositif. Car la question des langues et des aires culturelles, celle des traditions lettrées, des milieux académiques et des logiques d’éditions et de rééditions, des modalités pratiques de passage de l’archive matérielle à l’archive numérique14, et celle de tous les éléments contextuels nécessaires à de bonnes interprétations, sont évidemment écrasées par un projet qui joue au fond sur deux ressorts principaux : prendre appui sur la masse documentaire en faisant le pari qu’en émergeront forcément des traits et des profils marquants pour caractériser les grandes évolutions des cultures de l’écrit sur cinq siècles – jeu qui suppose un type particulier de conception des rapports entre les mots de la langue, la société, la culture et la politique ; mettre en application la maxime selon laquelle « qui peut le plus peut le moins », qui permet de promettre ensuite des aménagements ou des applications tenant compte de contraintes plus fines et de données plus spécifiques. De ce point de vue la culturonomique tente de reproduire le mouvement de la physique céleste, à ceci près que les entités de base sont les mots et non des amas galactiques, alors même que le sens des mots et de leurs relations dépend des producteurs, des récepteurs et des mondes dans lesquels ils pensent et agissent, ce qui entraîne discussions, redéfinitions, modifications perpétuelles du sens des mots.

Tendances globales, bruit, singularités… face à la culture de l’interprète

11Comme on l’a vu avec l’expérience Google Trends, visant les tendances actuelles du Web à partir du suivi temporel des requêtes des internautes, le fait de disposer d’un outil ne suffit pas à construire une logique d’enquête et une forme de raisonnement adéquats. À défaut d’autre outil de recoupement, la production d’inférences à partir d’un corpus géant, qui reste globalement inaccessible, peut produire d’énormes artefacts interprétatifs ou ne renvoyer en boucle que des choses connues – la montée du féminisme ou des droits de l’homme au cours du xxe siècle ! En laissant de côté pour l’instant la question de la polysémie, il faut noter le problème du bruit engendré par la numérisation des sources elles-mêmes. Le fait de trouver le mot « Internet » au début du xxe siècle peut surprendre. La réponse de l’équipe de Google Labs :

Why does the word “Internet” occur before 1950?
Time traveling software engineers!
Most of those are OCR errors; we do a good job at filtering out books with low OCR quality scores, but some errors do slip through.
(One old usage of the word “Internet” is legitimate. Can you find it?)

12En fait « Internet » a, par exemple, pris la place de la mention « Internat. » qui sert d’abréviation pour « International » et que l’on trouve dans les titres abrégés des journaux scientifiques. Cet erreur d’OCR n’est pas grave en soi mais pose la question de la fiabilité des sources numériques pour toutes les études qui entendent aller plus loin qu’un survol rapide – en l’occurrence ceux qui se penchent sur les périodiques scientifiques et leur histoire vont avoir un doute sérieux sur la base des ouvrages numérisés.

13Un autre point central qui contribue aux décalages possibles, et qui suppose une importante culture de la part des utilisateurs, est lié à la question des dates des documents. On sait que les rééditions sont fréquentes et en outre que les recueils de textes remettent en scène de multiples textes du passé. La forme et la nature des ouvrages sont des éléments de cadrage importants qui peuvent peser sur le calcul statistique. Par exemple, si l’on entre l’expression « faute professionnelle » dans Books Ngram Viewer, on obtient la distribution suivante :

Courbe de l’expression « faute professionnelle »

Courbe de l’expression « faute professionnelle »
  • 15 René Martin, La Faute professionnelle, spécialement dans les professions libérales, Lyon, Bosc frèr (...)
  • 16 Francis Chateauraynaud, La Faute professionnelle. Une sociologie des conflits de responsabilité, Pa (...)

14Un seul livre publié en 1934 ou en 1991 suffit à produire une saillance et orienter l’interprétation. Impossible de s’en sortir sans remettre le document dans son environnement, et pas seulement éditorial ! On voit que la courbe de la faute professionnelle décolle après 1860, puis qu’elle monte fortement au tournant du siècle avec des pics successifs : pour celui qui connaît l’histoire du droit, celle des professions et des entreprises, cette séquence est liée à la montée en puissance des professions libérales et du droit civil qui les encadre et dans lequel la notion de faute est centrale. À partir de la fin du xixe et du début du xxe, on bascule dans le droit social : le droit du travail installe la faute dans les causes de licenciement. Du coup, la notion est fortement présente dans l’ouvrage de René Martin, La faute professionnelle, spécialement dans les professions libérales15 (1934) qui s’appuie sur l’ensemble des thèses de droit de la fin du xixe et du début du xxe. Dans les années quatre-vingt-dix on voit la pente ascendante se réaffirmer : un ouvrage semble dominer durant cette période, il est en effet consacré à une sociologie de La faute professionnelle16 (1991) : les valeurs étant relatives au volume annuel de texte, un livre volumineux comme celui-ci (460 pages) fait monter considérablement l’expression. Est-ce qu’elle est pour autant plus utilisée dans la « culture générale » ?

15N’oublions pas en outre que les livres se succèdent, et que les auteurs citent leurs prédécesseurs pour au moins trois raisons qui, par effets d’entraînement ou d’agrégation, peuvent peser sur les tendances observées :

  • on s’appuie sur la littérature antérieure et on en reprend le vocabulaire ;

  • on conteste des prédécesseurs en discutant leur thèse ;

  • on se lance dans des analyses et des interprétations fouillées en recourant intensément à la citation.

16Du même coup, il est impossible de savoir à partir de l’algorithme utilisé comment s’opèrent les transferts de mots et d’expressions à d’autres dates. On peut certes essayer de travailler sur les dates citées dans les ouvrages, mais avec de grandes difficultés pour faire le lien avec les autres éléments de contenu. En réalité, par ce type de procédé, l’intertextualité est écrasée sous l’idée dominante d’évolution du vocabulaire17.

17En tout état de cause, le problème majeur de l’outillage proposé est l’absence d’idée claire sur le corpus global, que redouble l’absence des valeurs absolues obtenues pour les résultats. Si l’option de lissage intégrée dans l’outil rend manifeste que les développeurs ont entrevu le problème de mesure qu’ils ont en quelque sorte créé de toutes pièces, compte tenu de la masse explorée, la correction ne fait que lisser les courbes et souligner les saillances, sans changer les tendances de fond. En fait une des contraintes vient du fait que, pour éviter tout problème de copyright, les chercheurs ont dû dépouiller les mots de leur contexte.

18Bref, ce genre d’outil est à utiliser avec précaution car il suppose de mobiliser en toile de fond une culture encyclopédique importante et de disposer d’un autre espace de calcul servant de contrepoint interprétatif – que l’on peut appeler très classiquement un opérateur de falsification. Quelles conditions faut-il réunir pour tirer une inférence pertinente ou heuristique à partir de ce seul outil fondé sur les n-grammes et une temporalité longue ?

  • Disposer d’une culture générale suffisante pour comprendre le positionnement relatif des mots dans le temps, la culturonomique obligeant à faire appel à sa culture personnelle pour comprendre le résultat.

  • Être capable d’associer des formes proches pour vérifier la robustesse du profil. Par exemple le fait que le « principe de précaution » décolle à partir de 1990 ne nous apporte rien, d’autant que des essais avec « changement climatique », « sécurité sanitaire », « nucléaire » ou « OGM » ont produit des courbes suffisamment bizarres pour poser une exigence de corpus plus précis.

  • Avoir une visée d’abstraction dans son raisonnement qui permet de se placer à un niveau macro-sociétal tout en considérant les éléments de contexte comme secondaires, ce qui évidemment du point de vue pragmatique est intenable.

19La culturonomics assume une forme de réductionnisme, à une époque où l’on ne cesse de raisonner à partir de cartographies complexes et où les choses ne valent qu’en relation les unes avec les autres. Ainsi, l’idée que les mots puissent indiquer une tendance macrosociétale sans que les contextes et configurations socio-historiques soient accessibles suppose que l’utilisateur soit capable de contextualiser et d’opérer les bons rapprochements, donc qu’il soit en mesure d’utiliser d’autres sources et d’autres outils. On retombe ici sur une des règles de base de la socio-informatique : multiplier les procédés de recoupements et les manières de vérifier l’existence d’effets de structures. Toute preuve procède du recoupement de chemins interprétatifs différents et de la mise en variation critique, visant autant la consolidation de noyaux de faits que leur falsification.

20Comme Google Trends et d’autres outils en ligne, ce type de dispositif va probablement s’installer comme instrument d’appoint servant occasionnellement à des vérifications de bon sens, soit dans le cadre de travaux menés sur des thèmes dans la longue durée, soit pour recouper une intuition : par exemple en traçant les mots « passion », « émotion », « amour » et « sentiment », on obtient des profils différents, renvoyant à différentes conceptions du romantisme qui se succèdent au fil du temps. Encore faut-il revenir aux textes et soigner les prises de l’interprétation pour sortir des lieux communs ou des grandes figures toutes apprêtées pour une histoire globale d’inspiration essayiste. Autrement dit, s’il ne s’agit pas de balayer d’un revers de main l’effort de recherche et développement effectué, une fois retombée la phase de découverte et d’enthousiasme ou de jeu avec l’outil, il convient d’installer tous les usages critiques et techniques nécessaires, et d’examiner les formes d’intégration d’une multiplicité d’outils assurant de retrouver le chemin des récits, des représentations et des arguments en lice.

21Pour l’analyse des controverses et des conflits qui intéressent la socio-informatique, ce type d’instrument est bien trop superficiel. Mais il peut alimenter la recherche de contrepoints et de solutions alternatives tant sur la manière d’organiser les sources et les corpus, que dans la production de grilles d’analyses sémantiques plus fines qui ne partent pas de fréquences ou de régularités statistiques mais du déploiement, dans des configurations discursives déterminées, de concepts et de taxinomies, de grappes de thèmes ou de formules argumentatives – autant de niveaux nécessaires à l’intelligibilité des textes et des discours, inaccessibles aux protocoles fondés sur la seule analyse de mots détachés de leurs contextes.

Notes

1 Books Ngram Viewer, http://books.google.com/ngrams

2 « La numérisation des livres de Google est impardonnable », Le Figaro.fr, 12 mars 2009, http://www.lefigaro.fr/medias/2009/03/12/04002-20090312ARTFIG00596-la-numerisation-des-livres-de-google-est-impardonnable-.php, consulté le 1er août 2012.

3 Voir le Trésor de la langue française, http://atilf.atilf.fr/tlf.htm. Sur le développement des outils statistiques pour l’analyse de corpus, voir C. W. Roberts (ed.), Text Analysis for the Social Science, Hillsdale, Lawrence Erlbaum, 1997.

4 Jean-Baptiste Michel et al., « Quantitative Analysis of Culture Using Millions of Digitized Books », Science, vol. 331, no 6014, janvier 2011, p. 176-182, publié en ligne le 16 décembre 2010, http://www.sciencemag.org/content/early/2010/12/15/science.1199644, consulté le 1er août 2012.

5 Patricia Cohen, « In 500 Billion Words, New Window on Culture », The New York Times, 16 décembre 2010, http://www.nytimes.com/2010/12/17/books/17words.html, consulté le 1er août 2012.

6 Yves Miserey, « Google numérise des milliards de mots », Le Figaro, 16 décembre 2010, http://www.lefigaro.fr/sciences/2010/12/16/01008-20101216ARTFIG00752-google-numerise-des-milliards-de-mots.php, consulté le 1er août 2012.

7 Henri Verdier, « Google N-Gram : des choses cachées depuis le commencement du monde », Henri Verdier Blog, 19 décembre 2010, http://henriverdier.blogspot.com/2010/12/google-n-gram-et-choses-cachees-depuis.html, consulté le 1er août 2012.

8 Olivier Ertzscheid, « Culturonomics : juste une question de corpus ? », Affordance.info, 16 décembre 2010, http://affordance.typepad.com/mon_weblog/2010/12/culturonomics-juste-une-question-de-corpus-.html, consulté le 1er août 2012.

9 Voir Francis Chateauraynaud, « Les mobiles de l’expertise » (entretien), Revue Experts, numéro spécial du printemps 2008 ; Christelle Rabier (ed.), Fields of Expertise. A Comparative History of Expert Procedures in Paris and London, 1600 to Present, New Castle, Cambridge Scholar Publishing, 2007.

10 On a déjà eu l’occasion de manifester quelques réserves sur le néo-positivisme gargantuesque de la politique de numérisation de Google et des rapports à la recherche qu’elle implique dans « Les humanités numériques sont-elles solubles dans Google ? », Socio-informatique et argumentation, 28 juillet 2010, http://socioargu.hypotheses.org/1095, consulté le 1er août 2012.

11 La discussion a néanmoins déjà bien commencé sur le blog de Jean Véronis : http://blog.veronis.fr/2010/12/google-le-plus-grand-corpus.html

12 National Human Genome Research Institute, http://www.genome.gov

13 http://ngrams.googlelabs.com/graph?content=Allah&year_start=1500&year_end=2008&corpus=0&smoothing=3

14 Christine Jungen, « Classification et histoire », Bulletin des bibliothèques de France, t. 51, no 1, 2006, p. 94-95, http://bbf.enssib.fr/consulter/bbf-2006-01-0094-003, consulté le 1er août 2012.

15 René Martin, La Faute professionnelle, spécialement dans les professions libérales, Lyon, Bosc frères, 1934.

16 Francis Chateauraynaud, La Faute professionnelle. Une sociologie des conflits de responsabilité, Paris, Métailié, 1991.

17 Voir sur ce point la fameuse loi de Zipf : http://fr.wikipedia.org/wiki/Loi_de_Zipf

Table des illustrations

Titre Courbe comparée des termes expert, experts et expertise
URL http://books.openedition.org/oep/docannexe/image/279/img-1.png
Fichier image/png, 26k
Titre Courbe de l’expression « faute professionnelle »
URL http://books.openedition.org/oep/docannexe/image/279/img-2.png
Fichier image/png, 21k

Auteurs

Sociologue, directeur d’études à l’École des hautes études en sciences sociales et fondateur du Groupe de Sociologie pragmatique et Réflexive (GSPR).
Sociologue et historien des sciences au Groupe de sociologie pragmatique et réflexive de l’École des hautes études en science sociales.