Read/Write Book 2
|Autour des big data
L’interprétation des graphiques produits par Ngram Viewer
Note de l’éditeur
La version originale de ce texte est disponible sur Déjà vu, 11 janvier 2011, http://culturevisuelle.org/dejavu/469, consulté le 17 août 2012.
Texte intégral
- 1 Ngram Viewer, http://books.google.com/ngrams
- 2 Jon Orwant, « Find out What’s in a Word, or Five, with the Google Books Ngram Viewer », Official Go (...)
- 3 Google Books, http://books.google.com
- 4 Erez, http://www.erez.com
1Ngram Viewer1 est un nouvel outil mis en ligne par Google le 16 décembre 20102. Il permet de visualiser sous forme de graphiques les fréquences d’apparition de suites de mots dans les livres numérisés depuis 2003 sur Google Books3. Ce projet a été initié en 2007 par un mathématicien et physicien américain, Erez Lieberman Aiden4. Il a été soutenu par Google Labs et développé par des chercheurs de Harvard, en particulier Jean-Baptiste Michel, jeune polytechnicien français.
2L’application contient actuellement les mots extraits de plus de 5 millions d’ouvrages, ce qui correspond d’après les développeurs à 4 % des livres jamais publiés. Les ouvrages les plus anciens utilisés dans le projet remontent au xvie siècle mais la très grande majorité est postérieure à 1800.
3Il s’agit en fait d’un énorme lexique interrogeable contenant plus de 500 milliards de mots et organisé en sous-lexiques par langues : anglais (361 milliards de mots (Mm) – lexiques différenciés pour l’anglais américain et l’anglais britannique), français (45 Mm), espagnol (45 Mm), allemand (37 Mm), russe (35 Mm), chinois (13 Mm) et hébreu (2 Mm).
Apparition et évolution de la fréquence des mots « télégraphe », « téléphone », « radio », « télévision », « Internet », « internet » en français de 1800 à 2008.
Remarquez que l’outil distingue les majuscules et minuscules (« Internet » apparaît plus tôt que « internet » et il est plus fréquent).
- 5 « N-gramme », http://fr.wikipedia.org/wiki/N-gramme
4Sans trop entrer dans les détails techniques, les lexiques sont des tables composées de n-grammes5, c’est-à-dire des séquences de mots apparaissant dans les ouvrages numérisés. L’outil met ainsi en œuvre cinq catégories de tables : monogrammes (mots uniques), bigrammes (deux mots qui se suivent)…, jusqu’aux 5-grammes (cinq mots successifs). Il n’est donc pas possible de connaître à l’aide de Ngram Viewer les fréquences d’apparition du vers de Verlaine « De la musique avant toute chose » qui comporte six mots. En revanche, on trouvera les deux séquences de cinq mots chacune « De la musique avant toute » et « la musique avant toute chose » dont les courbes représentatives affichées par Ngram Viewer sont manifestement corrélées.
5Les lexiques sont mis à la disposition du public6 selon la licence Creative Commons et sous la forme de fichiers au format CSV. Bien que très volumineux, ils sont donc facilement lisibles et on devrait ainsi voir apparaître de nouvelles applications les utilisant. À titre d’exemple, une ligne du lexique 5-grammes français se présente ainsi :
principes fondamentaux de la philosophie 1988 17 16 12
où la suite de mots « principes fondamentaux de la philosophie » est un 5-grammes, 1988 l’année de parution des livres analysés, 17 le nombre d’occurrences de la suite de mots dans l’ensemble des ouvrages de l’année en question, 16 le nombre de pages différentes et 12 le nombre de livres où la séquence apparaît. Aucune référence aux ouvrages analysés ne figure dans ces tables qui ne contiennent qu’une compilation de comptages d’occurrences.
6Ces différents sous-lexiques sont donc par construction totalement « autonomes », indépendants de Google Books. Il s’agit là manifestement d’un choix stratégique de Google qui aurait pu construire un outil beaucoup plus sophistiqué relié à sa base d’ouvrages numérisés. Le projet peut dès lors fonctionner sans qu’il soit nécessaire de mettre à la disposition des utilisateurs l’accès aux documents (initiative controversée comme on le sait). Mais ce choix comporte aussi un inconvénient majeur puisqu’il interdit de rechercher sur le voisinage plus éloigné des mots et empêche toute contextualisation des résultats (quel livre, quelle page, quel paragraphe contiennent telle suite de mots). L’utilisateur ne dispose que de statistiques extrêmement sommaires et synthétiques, mais il en voit énormément. On regrettera que les concepteurs n’aient pas facilité la tâche des analystes, ne serait-ce qu’en stockant pour chaque entrée de lexique les id Google Books des trois ouvrages qui contribuent le plus au nombre d’occurrences.
- 7 « S long », http://fr.wikipedia.org/wiki/S_long
7Les approximations de la reconnaissance de caractères (OCR) utilisée dans Google Books se retrouvent sur Ngram Viewer. Ainsi, la plupart des observateurs mentionnés dans la webographie sélective ci-dessous mettent en évidence l’évolution progressive de la graphie du s long7 – reconnu par l’OCR comme un f – vers la forme du s minuscule que nous connaissons actuellement.
La disparition progressive du s long : plufieurs, plusieurs, prefque, presque de 1750 à 1830 (français).
À noter que l’évolution du mot « plusieurs » semble anticiper celle de « presque », peut-être sous l’influence du s final du mot.
8De même, de nombreuses évolutions de graphies issues pour la plupart de diverses réformes de l’orthographe peuvent être visualisées très rapidement, et le résultat est souvent spectaculaire (exemples : « mes parens »/« mes parents » en français, « quando »/« cuando » en espagnol).
- 8 Natalie Binder, « How to Fix Google’s Word Engine », The Binder Blog, http://thebinderblog.com/2010 (...)
9Mais on relève aussi de nombreuses erreurs d’OCR et surtout l’attribution de dates de publication erronées à des documents, comme on peut le voir par exemple sur le mot « Internet ». La réédition de certains ouvrages est certainement la cause d’un grand nombre de ces erreurs. Pour Natalie Binder8, il se pourrait même à terme que l’intérêt principal de Ngram Viewer consiste à identifier rapidement les erreurs d’OCR et de dates sur Google Books !
10L’aspect purement lexical du projet qui ne distingue pas les polysémies rend de nombreuses recherches pratiquement impossibles (essayez d’afficher la fréquence des noms de saisons en français par exemple).
- 9 Jean-Baptiste Michel et al., « Quantitative Analysis of Culture Using Millions of Digitized Books » (...)
- 10 Culturomics, http://www.culturomics.org
- 11 « Genomics », http://en.wikipedia.org/wiki/Genomics
11L’équipe de développement de Ngram Viewer a publié dans la revue Science un article intitulé « Quantitative Analysis of Culture Using Millions of Digitized Books9 » qui introduit le terme cultoromics (cultoronomique en français) pour désigner un nouveau champ d’application de la lexicométrie. Les auteurs ont aussi lancé un site web : Culturomics10. Amalgame de culture et de genomics11, domaine dans lequel plusieurs membres de l’équipe dont Erez Aiden ont travaillé, cette activité prétend en quelque sorte mettre en évidence des évolutions culturelles sur de longues périodes à travers l’analyse de fréquences portant sur de très vastes corpus de mots.
- 12 Francis Chateauraynaud, Josquin Debaz, « Prodiges et vertiges de la lexicométrie », Socio-informati (...)
- 13 Dan Cohen, « Initial Thoughts on the Google Books Ngram Viewer and Datasets », Dan Cohen.org, 19 dé (...)
- 14 Olivier Ertzscheid, « Culturonomics : juste une question de corpus ? », Affordance.info, 16 décembr (...)
- 15 Language Log, « On “culturomics” and “ngrams” », Language Log, 23 décembre 2010, http://languagelog (...)
12Dans leur remarquable billet « Prodiges et vertiges de la lexicométrie12 » sur le blog Socio-informatique et argumentation, Francis Chateauraynaud et Josquin Debaz s’interrogent sur la pertinence de certaines recherches ignorant les évolutions du sens des mots sur de longues périodes, et émettent de sérieuses réserves concernant l’ambition culturonomique. À tout le moins, la tentative manifeste de créer une nouvelle discipline en la nommant d’après un champ de recherche de la biologie, et sur une seule référence de publication dans un journal scientifique, semble assez immodeste et pose problème. Je renvoie sur ces questions méthodologiques et épistémologiques à l’article de Socio-informatique et argumentation ainsi qu’à ceux de Dan Cohen13, d’Olivier Ertzscheid14, et à la discussion sur Language Log15.
- 16 Voir http://ngrams.tumblr.com ; http://nverbs.blogspot.fr ; http://www.flickr.com/photos/quinnanya/ (...)
- 17 Voir https://chrome.google.com/webstore/detail/nnhkdhdpnognihlbgdpfkkmeaobeogml
13La mise en ligne de Ngram Viewer a provoqué une profusion d’exemples postés sur différents sites ou blogs, très souvent sans aucun commentaire. Ils sont proposés sur un mode presque ludique, présentés sous un format antagonique (X vs Y), et comme si les courbes tracées suffisaient à mettre au jour de réels phénomènes linguistiques ou culturels. Quelques collections sont apparues16 et il existe aussi une extension pour Chrome17 permettant de donner directement la courbe de fréquence d’une entrée de Wikipedia en anglais.
14La facilité d’usage ne masque pas cependant le fait que l’interprétation de la plupart de ces graphiques est totalement impossible sans plonger dans l’analyse des documents numérisés sur Google Books. Or cette tâche est non seulement d’une ampleur colossale pour le moindre exemple de visualisation, mais elle est tout simplement irréalisable en ligne puisque les documents sous copyright ne sont pas consultables. Les cas intéressants sur le plan « culturel » pour lesquels une interprétation probante peut être réalisée montrent des corrélations avec des événements historiques majeurs comme les deux guerres mondiales. C’est d’ailleurs l’un des exemples proposés par les auteurs de l’article de Science.
15En l’absence de possibilité de vérification des hypothèses que l’on peut être amené à formuler sur une visualisation, l’utilisateur est laissé seul avec ses propres connaissances et intuitions en face du phénomène ou de l’artefact repéré. Comme le signalent les auteurs de l’article de Socio-informatique et argumentation mentionné, cela signifie que l’investigateur doit d’abord « disposer d’une culture générale suffisante pour comprendre le positionnement relatif des mots dans le temps ».
16Ngram Viewer doit en fait être considéré comme un outil heuristique qui permet davantage de poser de nouvelles questions que d’apporter des réponses. Pour commencer à dépasser le stade du jeu avec Ngram Viewer, il serait intéressant de mettre en commun les efforts de groupes de spécialistes intéressés par un sujet en ouvrant des espaces de discussions sur des visualisations, de créer en somme une véritable activité de travail collaboratif à partir des graphiques produits permettant de documenter et approfondir les résultats. Un début d’interprétation de ces vastes mais très sommaires lexiques pourrait alors être envisagé et ouvrir des champs de réflexion nouveaux pour les digital humanities.
17Pour terminer, voici quelques exemples de résultats en relation avec des questions diverses abordées sur Culture visuelle.
« photographie », « photo », « photographies », « photos » (français, 1900-2008)
Vers 1970, la forme abrégée « photo » devient plus fréquente que le mot « photographie ».
« événements de mai 1968 », « événements de mai 68 », « révolte de mai 1968 », « révolution de mai 1968 » (français, 1960-2008)
Les termes « révolte » et « révolution » présents dans les années soixante-dix disparaissent.
La forme non abrégée « 1968 » devient moins fréquente tandis que la forme abrégée « 68 » est légèrement plus présente.
« Gitans », « Romanichels », « Tsiganes », « Roms » (français, 1900-2008)
Exemple emprunté à Bibliothèques [reloaded].
« NASA », « NOAA », « NIST », « NIH », « USGS », « ARS », « NSF », « DARPA », « NIEHS », « USFS », « USDA » (anglais, 1950-2008)
Le poids prédominant de la NASA dans la médiatisation de la recherche américaine.
Notes
1 Ngram Viewer, http://books.google.com/ngrams
2 Jon Orwant, « Find out What’s in a Word, or Five, with the Google Books Ngram Viewer », Official Google Blog, 16 décembre 2010, http://googleblog.blogspot.fr/2010/12/find-out-whats-in-word-or-five-with.html, consulté le 1er août 2012.
3 Google Books, http://books.google.com
4 Erez, http://www.erez.com
5 « N-gramme », http://fr.wikipedia.org/wiki/N-gramme
6 Voir http://books.google.com/ngrams/datasets
7 « S long », http://fr.wikipedia.org/wiki/S_long
8 Natalie Binder, « How to Fix Google’s Word Engine », The Binder Blog, http://thebinderblog.com/2010/12/21/how-to-fix-googles-word-engine. Au 1er août 2012, la page n’est plus accessible.
9 Jean-Baptiste Michel et al., « Quantitative Analysis of Culture Using Millions of Digitized Books », Science, vol. 331, no 6014, janvier 2011, p. 176-182, publié en ligne le 16 décembre 2010, disponible sur Librarian.net, http://www.librarian.net/wp-content/uploads/science-googlelabs.pdf, consulté le 1er août 2012.
10 Culturomics, http://www.culturomics.org
11 « Genomics », http://en.wikipedia.org/wiki/Genomics
12 Francis Chateauraynaud, Josquin Debaz, « Prodiges et vertiges de la lexicométrie », Socio-informatique et argumentation, 23 décembre 2010, http://socioargu.hypotheses.org/1963, consulté le 1er août 2012.
13 Dan Cohen, « Initial Thoughts on the Google Books Ngram Viewer and Datasets », Dan Cohen.org, 19 décembre 2010, http://www.dancohen.org/2010/12/19/initial-thoughts-on-the-google-books-ngram-viewer-and-datasets, consulté le 1er août 2012.
14 Olivier Ertzscheid, « Culturonomics : juste une question de corpus ? », Affordance.info, 16 décembre 2010, http://affordance.typepad.com/mon_weblog/2010/12/culturonomics-juste-une-question-de-corpus-.html, consulté le 1er août 2012.
15 Language Log, « On “culturomics” and “ngrams” », Language Log, 23 décembre 2010, http://languagelog.ldc.upenn.edu/nll/?p=2859, consulté le 1er août 2012.
16 Voir http://ngrams.tumblr.com ; http://nverbs.blogspot.fr ; http://www.flickr.com/photos/quinnanya/collections/72157625505958305 ; http://fuckyeahngrams.tumblr.com (au 1er août 2012, la page n’est plus accessible) ; http://www.google.com/images?um=1&hl=en&safe=off&biw=1280&bih=905&tbs=isch:1&sa=1&q=%22ngram+viewer%22
17 Voir https://chrome.google.com/webstore/detail/nnhkdhdpnognihlbgdpfkkmeaobeogml
Table des illustrations
Titre | Apparition et évolution de la fréquence des mots « télégraphe », « téléphone », « radio », « télévision », « Internet », « internet » en français de 1800 à 2008. |
---|---|
Légende | Remarquez que l’outil distingue les majuscules et minuscules (« Internet » apparaît plus tôt que « internet » et il est plus fréquent). |
URL | http://books.openedition.org/oep/docannexe/image/284/img-1.png |
Fichier | image/png, 28k |
Titre | La disparition progressive du s long : plufieurs, plusieurs, prefque, presque de 1750 à 1830 (français). |
Légende | À noter que l’évolution du mot « plusieurs » semble anticiper celle de « presque », peut-être sous l’influence du s final du mot. |
URL | http://books.openedition.org/oep/docannexe/image/284/img-2.png |
Fichier | image/png, 29k |
Titre | « photographie », « photo », « photographies », « photos » (français, 1900-2008) |
Crédits | Vers 1970, la forme abrégée « photo » devient plus fréquente que le mot « photographie ». |
URL | http://books.openedition.org/oep/docannexe/image/284/img-3.png |
Fichier | image/png, 30k |
Titre | « photographie argentique », « photographie numérique » (français, 1960-2008) |
URL | http://books.openedition.org/oep/docannexe/image/284/img-4.png |
Fichier | image/png, 21k |
Titre | « image », « picture », « images », « pictures » (anglais, 1800-2008) |
URL | http://books.openedition.org/oep/docannexe/image/284/img-5.png |
Fichier | image/png, 27k |
Titre | « événements de mai 1968 », « événements de mai 68 », « révolte de mai 1968 », « révolution de mai 1968 » (français, 1960-2008) |
Légende | Les termes « révolte » et « révolution » présents dans les années soixante-dix disparaissent.La forme non abrégée « 1968 » devient moins fréquente tandis que la forme abrégée « 68 » est légèrement plus présente. |
URL | http://books.openedition.org/oep/docannexe/image/284/img-6.png |
Fichier | image/png, 22k |
Titre | « Gitans », « Romanichels », « Tsiganes », « Roms » (français, 1900-2008) |
Crédits | Exemple emprunté à Bibliothèques [reloaded]. |
URL | http://books.openedition.org/oep/docannexe/image/284/img-7.png |
Fichier | image/png, 24k |
Titre | « NASA », « NOAA », « NIST », « NIH », « USGS », « ARS », « NSF », « DARPA », « NIEHS », « USFS », « USDA » (anglais, 1950-2008) |
Légende | Le poids prédominant de la NASA dans la médiatisation de la recherche américaine. |
URL | http://books.openedition.org/oep/docannexe/image/284/img-8.png |
Fichier | image/png, 22k |
Titre | « le savant », « le chercheur », « les savants », « les chercheurs » (français, 1780-2008) |
Légende | Note : les articles « le » et « les » permettent de minimiser l’impact du participe seul sur le résultat. |
URL | http://books.openedition.org/oep/docannexe/image/284/img-9.png |
Fichier | image/png, 31k |
Titre | « culture populaire », « culture savante » (français, 1800-2008) |
URL | http://books.openedition.org/oep/docannexe/image/284/img-10.png |
Fichier | image/png, 25k |
Titre | « carte postale », « cartes postales » (français, 1870-2008) |
URL | http://books.openedition.org/oep/docannexe/image/284/img-11.png |
Fichier | image/png, 34k |
Le texte seul est utilisable sous licence CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.