Version classiqueVersion mobile
OpenEdition Books

Opinion mining et ‎Sentiment analysis

 | 
Dominique Boullier
, 
Audrey Lohard

Chapitre 4. Constituer et traiter le corpus de travail, avant l’analyse de tonalité

Note de l’éditeur

Cet ouvrage est en vente au format numérique (pdf/Epub) et sur support papier.

Texte intégral

1À l’issue de l’opération de sourcing, de quoi disposons-nous ? Et quelles opérations doit-on mener pour arriver à un corpus de travail ? On l’a dit, le sourcing est une étape préalable à la collecte des données. Il constitue la phase d’identification des sources mobilisant connaissance experte, connaissance client, utilisation de bouquets, requête sur mots clés sur les moteurs de recherche, furetage manuel, etc. (voir supra), permettant de retenir tous les types de sites intéressants et pertinents, accessibles techniquement, économiquement et juridiquement, visibles ou ayant de l’influence sur un domaine donné. Une fois ce sourcing effectué, on dispose donc d’un ensemble de sites, ou plutôt de pages – puisqu’on récupère en fait des URLs –, dont on sait qu’elles parlent du thème ou de la marque qui nous intéresse et dont on suppose qu’elles contiennent des opinions à son sujet. Il reste donc bien des étapes à accomplir avant de pouvoir analyser en détail les verbatims porteurs d’opinion ! Il faut tout d’abord repérer dans chacune des pages, les endroits où se trouve le contenu qui peut potentiellement nous intéresser et, pour cela, il faut crawler les pages. Notons que dans le cas des réseaux sociaux ou des sites de micro-blogging, on ne pourra pas crawler les pages, souvent accessibles uniquement via un login et un mot de passe. On passera alors par les API ou des moteurs dédiés pour retrouver le contenu potentiellement intéressant. Après la phase de crawling permettant de repérer les contenus dans les pages, plusieurs opérations vont être nécessaires (nous allons les détailler plus bas) :

  • le nettoyage des pages, afin d’avoir un corpus de travail propre ;

  • la constitution de bases de données, pour classer les contenus ;

  • l’identification des métadonnées servant à indexer les contenus ;

  • la définition des unités de base, qui donnera sa granularité au corpus de travail (s’intéresse-t-on aux publications entières ? aux verbatims précis contenant la marque ? etc.) ;

  • l’attribution d’un indicateur d’influence/visibilité au contenu. Rappelons que nous avons évacué la question de la représentativité avec le constat de l’absence d’une population de référence sur le web. Il n’en reste pas moins que certains contenus ont plus de poids (visibilité, influence) que d’autres et que le corpus de travail doit en rendre compte.

2Ce n’est qu’après avoir mené à bien ces opérations de nettoyage, classement et qualification des contenus que le traitement du corpus de travail pourra être envisagé.

Constituer le corpus de travail : état de l’art

Qu’est-ce que le crawl ?

3Un « crawler web » (ou robot d’indexation) est un logiciel paramétrable (fréquence de passage sur les sites, profondeur des liens à explorer) pour visiter des pages du web. Il peut avoir des visées différentes :

  • parcourir le web pour découvrir de nouvelles pages et permettre leur indexation par des moteurs de recherche ;

  • opérer la maintenance d’un site web en vérifiant la validité des liens hypertextes par exemple ;

  • parcourir le contenu de pages pour y détecter (et parfois collecter) des informations précises.

Fonctionnement d’un crawler web (Wikipedia)1

4« Pour indexer de nouvelles ressources, un robot procède en suivant récursivement les hyperliens trouvés à partir d’une page pivot. Par la suite, il est avantageux de mémoriser l’URL de chaque ressource récupérée et d’adapter la fréquence des visites à la fréquence observée de mise à jour de la ressource. Toutefois, de nombreuses ressources échappent à cette exploration récursive, les hyperliens créés à la demande sont introuvables par un robot. Cet ensemble de ressources inexploré est parfois appelé web profond. […] Le comportement d’un robot d’indexation résulte de la combinaison des principes suivants :

  • un principe de sélection qui définit quelles pages télécharger ;

  • un principe de re-visite qui définit quand vérifier s’il y a des changements dans les pages ;

    • 2 Le principe de politesse évite que l’accès aux sites souffre du travail des crawlers, qui peuvent s (...)

    un principe de politesse2 qui définit comment éviter les surcharges de pages web ;

  • un principe de parallélisation qui définit comment coordonner les robots d’indexations distribués. »

5Toute opération de crawling démarre par un ou plusieurs points d’entrée. Le crawler suivra ensuite les liens qui lient entre elles les pages en fonction de son paramétrage (quels sites crawler, avec quelle temporalité, avec telle profondeur, etc.). Ainsi, le Googlebot utilisé pour Google News visitera très fréquemment les sites sélectionnés par Google News, etc.

Encadré 1 : what is Googlebot ?

« Googlebot is Google’s web crawling bot (sometimes also called a “spider”). Crawling is the process by which Googlebot discovers new and updated pages to be added to the Google index.

We use a huge set of computers to fetch (or “crawl”) billions of pages on the web. Googlebot uses an algorithmic process : computer programs determine which sites to crawl, how often, and how many pages to fetch from each site.

Googlebot’s crawl process begins with a list of webpage URLs, generated from previous crawl processes and augmented with Sitemap data provided by webmasters. As Googlebot visits each of these websites it detects links (SRC and HREF) on each page and adds them to its list of pages to crawl. New sites, changes to existing sites, and dead links are noted and used to update the Google index3. »

6On trouve donc différents types de crawlers web.

  • Le GoogleBot, MSNBot ou l’Exabot (Exalead) vont avoir pour objectif de parcourir le web pour indexer les pages en fonction des mots clés qu’elles contiennent. Ils suivent pour cela les liens hypertextes qui relient les pages entre elles. Ces crawlers parcourent régulièrement les sites pour tenir compte des mises à jour et de la topologie mouvante du web. Même les crawlers de Google ne recensent pas toutes les pages web existantes.

  • Un crawler comme celui de 80legs4 ou de Watchthatpage5 en revanche, proposera un « custom web crawling » à l’initiative du client, qui choisira lui-même les sites à crawler pour en extraire des données. Les acteurs du secteur de la veille disposent parfois de leurs propres crawlers pour identifier et collecter les contenus qui les intéressent.

7C’est ce deuxième type de crawl qui nous intéresse, dans la mesure où l’analyse de tonalité ne concerne pas tout le web (ce qui n’a aucun sens) mais bien un objet précis. Ajoutons que les crawlers sont également utilisés dans l’actualisation du corpus et peuvent être paramétrés très finement pour cette tâche.

8Une fois la phase de sourcing effectué et le corpus de sources récupéré via le crawl, il faut procéder au nettoyage des pages ainsi obtenues.

Crawler des forums

9Les forums constituent une source majeure pour tout l’opinion mining mais leur structure empêche souvent un crawl classique, qui devrait garder la trace des dates des posts (la date de publication a une importance le plus souvent), des fils de discussion, du volume de publication des auteurs des posts selon leurs pseudos, etc. Le travail de nettoyage et de structuration est donc particulier et fait appel à des techniques spécifiques. C’est pourquoi il est parfois fait appel à des services comme celui de Board Reader qui crawle en permanence un certain nombre de forums, en plusieurs langues annoncées mais surtout en langue anglaise, et qui les archive, ce qui lui permet de fournir des résultats sur les deux années précédentes. Ces services sont payants au-delà d’un certain nombre de requêtes mais peuvent être utilisés gratuitement pour des recherches au cas par cas.

Le nettoyage

10Pour obtenir un corpus propre et exploitable, il est nécessaire de nettoyer les pages récupérées. Ce nettoyage est une opération informatique qui demande un paramétrage souvent poussé.

11Les pages collectées par le crawl ne peuvent pas être immédiatement soumises à l’analyse linguistique. Il faut d’abord filtrer les informations qui sont inutiles et qui, surtout, risquent de fausser l’analyse. En effet, la plupart des pages contiennent des quantités d’informations sans intérêt par rapport à une problématique donnée et qui peuvent polluer les résultats si on ne les élimine pas (publicités, liens vers d’autres pages, menus actifs, liens sponsorisés, etc.).

12Ce filtrage ne peut pas s’opérer manuellement (trop grandes quantités de données) et doit être paramétré différemment en fonction des types de sites (en fonction des types de pages, on n’aura pas le même positionnement des encarts publicitaires, etc.). Pour chaque type de site, il est possible de définir un paramétrage particulier. Il existe des robots ayant des fonctionnalités de filtrage des pages web. Web Harvest6 permet par exemple de récupérer automatiquement du contenu à partir de pages web sans s’encombrer du code dans lequel les données qui nous intéressent se retrouvent noyées.

13Le nettoyage des pages web a même fait l’objet d’une campagne d’évaluation internationale : Cleaneval7. Les questions soulevées par la première édition étaient les suivantes8 :

  • Comment détecter et se débarrasser des barres de navigation, en-têtes, pieds de pages et autres données textuelles n’ayant pas d’intérêt linguistique ?

  • Comment identifier les paragraphes ?

  • Comment standardiser le contenu pour que le texte soit exploitable pour de l’analyse linguistique ?

14De la qualité du nettoyage des pages dépendra la qualité de l’analyse linguistique (moins de bruit, contenu plus pertinent, etc.). Certains services de veille ou de social media monitoring intègrent cette fonctionnalité de nettoyage des pages dans les solutions qu’ils commercialisent.

15Chez Synthesio par exemple :

« Nos crawlers propriétaires travaillent indépendamment de la langue et extraient l’intégralité du contenu de chaque post, en supprimant automatiquement doublons et spam9. »

Constituer des bases de données

16Une fois les pages nettoyées, il faut pouvoir les formater pour en archiver correctement le contenu. Pour cela, il devient nécessaire de définir l’unité d’analyse sur laquelle on travaillera, de décider d’un formatage commun et de définir les règles de classement : archivera-t-on les contenus en fonction des sites dont ils proviennent ? en fonction de la langue ? en fonction de thématiques ?

17En raison des très grandes quantités d’informations à traiter, la catégorisation et l’archivage des contenus s’effectuent très souvent de manière automatisée, au moins dans un premier temps. Cette opération est très souvent complétée par une expertise humaine, qui repasse derrière la machine pour corriger ou affiner son travail (voir les exemples plus bas). Ce juste milieu à trouver entre automatisation et expertise humaine fait l’objet de beaucoup d’attention. Car on va le voir, il n’existe pas un type d’archivage universel qui vaudrait pour tous les types de traitement. Chaque constitution de base de données doit être pensée en fonction du type de traitement et d’analyse que l’on prévoit de conduire sur le corpus.

18Le choix de l’unité d’analyse est particulièrement décisif. Choisir une unité d’analyse trop large (archiver toute la page nettoyée) ou trop restreinte (le verbatim seul) peut entraîner des pertes d’information, ou une mauvaise interprétation des données a posteriori. Dans un cas, on aura tout intérêt à associer des métadonnées très précises à la page (voir plus bas) si l’on veut retrouver facilement le contenu qui nous intéresse. Dans l’autre, il faudra être capable de retrouver tout le contexte d’expression de l’opinion, sous peine de se tromper dans l’interprétation et de risquer de faire dire à l’opinion le contraire de ce qu’elle exprimait au départ (voir infra).

19On peut découper le corpus en isolant les différents sites web qui le composent (par type de site ou par thématiques abordées dans les sites). On peut également découper le corpus au niveau des pages web. Ou encore à l’échelle du commentaire, du tweet, de la critique de film ou de l’avis de consommateur. Pour une analyse plus fine de la tonalité prenant en compte la cible de l’opinion, c’est à l’échelle du verbatim, voire du n-gram, que le découpage peut se faire. Dans tous les cas, la qualification du contenu sera essentielle. Dans le cas des commentaires de billets de blog, il sera essentiel de conserver la trace du billet initial ; car sans cela, comment replacer ensuite le commentaire dans son contexte ?

20Le formatage des contenus récupérés via le crawl est une étape importante car il actera le choix de l’unité d’analyse et permettra de comparer un contenu avec un autre. Les métadonnées qui qualifient le contenu formaté jouent donc un rôle crucial (voir infra).

Encadré 2 : problème de répétition : le corpus, est-ce un suivi dans le temps ?

Lorsque l’on souhaite suivre l’évolution d’une opinion sur un sujet dans le temps, le corpus doit comporter des informations sur la temporalité et la granularité des messages.

Dans d’autres cas, le corpus peut être constitué d’une simple photographie de l’opinion à un temps T.

Le volume et la méthode de constitution du corpus sont alors très différents. La possibilité de générer une courbe d’évolution temporelle dépend beaucoup de la comparabilité des sets de données collectées les uns après les autres. Or, le web est un univers éminemment instable. Un même bouquet peut voir 20 % de ses sources inexploitables dans les six mois, ce qui rend toute comparaison improbable, à moins d’effectuer les révisions nécessaires, par restriction du corpus ou par substitution de sites équivalents, qui ne sont jamais équivalents. La base de données doit être capable de gérer très précisément les métadonnées de datage, voire d’horodatage dans le cas de crises aiguës avec un grand nombre de contributions. Or, ces données ne sont pas toujours fiables comme nous l’avons indiqué. Il est donc nécessaire de prendre en compte cette instabilité avant de promettre des suivis valides dans le temps : on préférera s’assurer d’un noyau de sites qui ont fait la preuve de leur pérennité dans un domaine donné. On ne pourra pas cependant éviter que les formats des données changent, que certains accès deviennent restreints, etc.

Dans tous les cas, la comparabilité dans le temps n’est pas toujours nécessaire pour toutes les données du corpus, ce qui oblige à préciser cela dès le départ de la construction du protocole après inspection des types de données recueillies.

Pour autant, comme on le sait pour les sondages, cette capacité à suivre l’évolution d’un phénomène avec le même dispositif permet de réduire les effets d’artefact de la méthode : en la stabilisant, on peut penser que les mêmes défauts produiront les mêmes effets dans le temps (mais c’est à vérifier) et que de ce fait, les résultats resteront comparables. L’évolution apprendra quelque chose, malgré l’approximation des outils et des données, grâce à cette stabilité des méthodes.

Peut-on se passer de constituer des bases de données ?

21Certains prestataires actuels créent des corpus à la volée sans créer de bases de données. Mais il devient alors impossible de comparer les résultats à des résultats antérieurs – et donc impossible d’observer des évolutions (à moins d’avoir tout archivé par ailleurs, ce qui coûte cher en ressources serveurs). De plus, comment évaluer la pertinence d’un corpus créé à la volée ?

22Par exemple, les services payants de sentiment analysis des publications sur Twitter (qui seront présentés plus loin) proposent très souvent une version gratuite en ligne dont les fonctionnalités sont très réduites, comme par exemple la possibilité de voir défiler, à partir d’un mot clé, un flux de tweets classés en positif ou négatif, mais sans possibilité d’archivage des résultats. On peut se demander si ce type de généralisation de l’analyse de tonalité sur des bases aussi sommaires et donc sans grandes significations ne contribue pas à dévaluer toute l’offre du secteur. L’analyse à la volée est séduisante pour le demandeur qui pense vivre dans l’urgence, mais elle n’apporte que peu d’informations fiables, car le sourcing comme le corpus n’ont pas été contrôlés et tout est agrégé pour créer un effet de visibilité. Cette fonction offerte gratuitement aux utilisateurs ordinaires peut sembler seulement un teaser, une façon d’attirer l’attention, cela laisse cependant se répandre l’idée que tout cela peut être totalement automatisé, gratuit, et immédiat, ce qui est clairement au mieux une illusion.

23L’archivage des sources et leur classification en fonction des métadonnées sont des opérations très gourmandes en ressources que seuls quelques prestataires sont en mesure de proposer.

24La constitution des bases de données peut s’effectuer, on l’a dit, de manière plus ou moins automatisée. Plusieurs recherches tentent d’améliorer toujours un peu plus les algorithmes de classement automatique des sources (voir infra).

25Constituer des bases de données réclame donc de mettre en place un système de classification/catégorisation des sources en fonction d’un besoin spécifique. On ne classera pas de cette manière les sources si on se donne pour objectif de développer une application de sentiment analysis sur Twitter, de mettre en place un système de monitoring des commentaires des clients sur les différents produits d’une marque ou de développer un service de veille sur un secteur embrassant tous les types de conversations ayant cours sur le web. Dans un cas on pourra choisir un classement par thématiques, dans un autre par produits, dans un autre par types de sources, etc. Dans le cas des services de veille par exemple, l’archivage pourra mobiliser de très nombreux critères, croisant toutes les métadonnées. Et on verra que dans certains cas (voir plus bas), lorsque le corpus est clairement délimité, l’opération de classification pourra s’appliquer à distinguer d’emblée les contenus à tonalité positive des contenus à tonalité négative.

Les métadonnées et web sémantique vs folksonomies

26L’archivage en base de données s’opère très souvent à partir des métadonnées associées aux pages web.

  • 10 Et de tout ML (markup language) par principe, puisqu’il faut tagger les contenus pour que les machi (...)

27Qu’est-ce qu’une métadonnée ? Une donnée qui permet de décrire une autre donnée (source, date, auteur, etc.). Les métadonnées ont toujours été présentes dans tout système de classification puisque ce sont elles qui véhiculent les codes de classement et qui permettent de trier une archive ou une base de données même non numérique. Désormais, non seulement ces métadonnées sont présentes sur toute page HTML10 et constituent la base même de la connexion et de l’échange d’informations entre applications, serveurs, etc., mais elles font aussi partie intégrante du web sémantique, comme projet de classification générale du web, tout au moins à l’origine chez Tim Berners-Lee en 1998.

28Les métadonnées sont des informations standardisées et ont pour but d’être traitées par des machines. Elles permettent de faciliter l’accès à une ressource informatique en fournissant de l’information à son sujet. Cette information peut être encapsulée dans le code HTML ou dans un fichier autonome, lié à la ressource qu’elle décrit. Les principes de standardisation des métadonnées sont énoncés dans le Cadre de description des ressources11 (Resource Description Framework12 ou RDF) du W3C13.

Schéma de l’architecture du web sémantique

Schéma de l’architecture du web sémantique

Source : W3C

29Le projet de Web sémantique vise à étendre ce principe de description standardisée des propriétés des données à tout type d’information nécessaire pour les transactions diverses sur le web : c’est pourquoi le « cake » de Berners-Lee prévoyait même la codification de la confiance, puisque les enjeux de sécurité l’exigent désormais, dès lors que l’on fait appel à des tiers de confiance. Les échanges entre machines et les échanges de données formalisées de base à base ou entre utilisateurs partageant les mêmes applications, les mêmes schémas de description sont ainsi facilités, à la condition que toutes les parties prenantes acceptent ces standards et acceptent de baliser leurs documents et leurs bases de données avec ces codes. Les avantages en sont certains comme dans le cas de XML qui permet de rééditer selon des supports différents des contenus dont on a balisé une seule fois les propriétés. On peut aussi en voir un exemple dans le cas de Twitter, dont la contrainte des 140 caractères n’est pas seulement anecdotique : car ce format unique permet un traitement en masse standardisé de ces documents et surtout permet d’accompagner le tweet d’une quantité de métadonnées qui, elles aussi, sont standardisées et exploitables par les développeurs d’application, puis Twitter a ouvert ses API à tous ces programmeurs. Raffi Krikorian a ainsi proposé un schéma de l’anatomie d’un tweet (le tweet et les métadonnées qui lui sont rattachées) qui montre l’extraordinaire richesse des informations transmises pour chaque tweet, y compris sa géolocalisation.

Map of a Twitter Status Object par Raffi Krikorian

Map of a Twitter Status Object par Raffi Krikorian

Source : http://www.scribd.com/​doc/​30146338/​map-of-a-tweet

30Mais le projet de web sémantique dans son ensemble a été abandonné pour codifier le web en général car l’investissement initial et les contraintes sont souvent perçus comme trop importants. Or, les contenus qui intéressent l’opinion mining sont ceux qui ne sont pas présents sur les bases de données contrôlées, ni sur les documents officiels qui ne relèvent en rien d’une conversation. Et ces contenus-là sont rarement formatés pour une exploitation fine. Certes, un forum, un blog possèdent des champs qui sont décrits par des métadonnées, mais elles ne rentrent pas dans la sémantique puisque l’expression doit rester libre. Et une balise de commentaire libre permet seulement de savoir où se trouvent les contenus à crawler et à collecter mais pas plus. Même dans ce cas, ces métadonnées sont parfois peu fiables. Par exemple, pour un suivi des cascades de commentaires et de leurs reprises par le web en général, la date est une métadonnée très utile et intéressante car calculable aisément. Or, dans certains cas, elle peut être celle du dernier commentaire ou celle de la dernière mise à jour de toute la page web. De même, la géolocalisation du contenu peut être approximative, car plusieurs entités concourent à la production de la métadonnée localisation qui peut ne plus avoir de rapport avec le post précis.

31Le choix de l’architecture de la base de données (avec la manière dont vont être utilisées ces métadonnées pour l’archivage) est crucial car il peut influer sur les types de documents traités, leur évaluation, et sur les résultats qui seront obtenus via l’analyse de tonalité. Car il est possible de rajouter ses propres métadonnées, en plus des métadonnées existantes. Elles seront liées à sa stratégie d’exploitation future de la base en fonction de certaines visées et à sa connaissance du domaine. Mais ces métadonnées (d’origine ou ajoutées) sont alors celles de la base et c’est à ce moment que le corpus peut être considéré comme vraiment constitué, c’est-à-dire nettoyé, indexé, structuré et exploitable.

Encadré 3 : Lingway

La société Lingway a développé un composant technologique particulier pour répondre aux problématiques de description, d’indexation et d’archivage des documents. Sa plateforme Lingway KM produit automatiquement des métadonnées pour chaque document traité. Le composant Lingway Knowledge Extractor permet la « structuration de documents et l’homogénéisation des connaissances, basée sur des technologies sémantiques »14.

Fonctionnalités de Lingway Knowledge Extractor et schéma de constitution d’une base de connaissances multilingues

Fonctionnalités de Lingway Knowledge Extractor et schéma de constitution d’une base de connaissances multilingues

Source : http://www.lingway.com/​images/​pdf/​fiche_lke.pdf

32L’indexation d’une donnée, d’un fichier, d’un document peut aussi se faire sans respecter des standards, techniques, généraux ou spécifiques à un métier et reconnus par les experts. Ces dernières formes de catégorisation et d’indexation visent toujours à constituer des ontologies contrôlées par les autorités d’un domaine et appliquées avec discipline par les utilisateurs pour qu’elles soient réellement exploitables. Tout au contraire, lorsque l’on voit un nuage de tags sur des sites de web social contributif comme Flickr, il est impossible de savoir la logique ou l’ontologie qui a présidé à leur construction (Crepel, 2010). Le tag est un système de description d’une image ou d’une information qui a pour principe d’associer un ou plusieurs mots clés à un contenu informatique, comme le fait toute indexation ou toute métadonnée. Mais contrairement à la métadonnée, il n’existe pas de cadre de référence, pas de dictionnaire des tags auquel se référer. Le principe de cette indexation via les tags repose sur le choix personnel et donc subjectif des personnes qui étiquettent le contenu. On parle alors de « folksonomie », néologisme dérivé du mot anglais folksonomy, fondé sur l’association des mots folks (les gens) et taxonomy (taxinomie). L’intérêt de la folksonomie ne repose donc pas sur une classification hiérarchique des étiquettes (de type ontologie), mais sur la facilité d’annotation de contenu dans sa langue, selon une expérience singulière qui peut être extrêmement idiosyncrasique mais qui peut aussi être partagée de manière communautaire Les « nuages » de tags, qui sont des représentations visuelles des mots-clés associés à un document web, sont une nouvelle offre de visualisation synthétique de l’ensemble des tags disponibles. Le choix du nuage s’oppose par définition à celui de l’arbre, toute ontologie reposant sur un modèle hiérarchique arborescent. Ce type de métadonnées non structurées ne permet en aucun cas la constitution d’une base de données qui doit reposer au contraire sur des définitions fermées et nettes des descripteurs pour rendre possible le calcul par les outils de traitement linguistique. On voit donc que la dynamique d’autoindexation coopérative et ouverte typique du web 2.0 ne permet pas certains traitements automatiques par la suite.

La navigation dans les photos via les tags, sur Flickr

La navigation dans les photos via les tags, sur Flickr

Source : http://www.flickr.com/​explore/​ (page consultée le 06/01/2012)

Vers un standard Open Source

33La nécessité de traiter de grandes quantités d’information non structurées est partagée par de nombreux développeurs et applications. Un comité technique au sein de l’organisme de normalisation OASIS a élaboré le standard UIMA (Unstructured Information Management Infrastructure) qui permet de coordonner tous les développements en Open Source dans ce domaine. Une version Apache est disponible et développée constamment et de grandes entreprises comme IBM y participent et exploitent ces ressources pour leurs services à base d’information non structurée.

Schéma général d’organisation du projet Apache UIMA

Schéma général d’organisation du projet Apache UIMA

Source : http://uima.apache.org/​

Pondérer les sources avec un indice d’influence, de confiance

34Comme nous l’avons vu dans le chapitre précédent, les opinions n’auront pas toujours le même « poids » si elles sont exprimées localement sur un blog peu connu ou exprimées sur un grand site de presse et reprises via les réseaux sociaux. Associer à la source un indice d’influence ou de fiabilité permettra de disposer d’informations de contexte permettant d’éclairer les opinions et leurs tonalités, et de pouvoir les comparer lors de l’analyse. Le « Medialab Influence Ranking » représente un outil directement conçu dans ce but (voir présentation dans le chapitre précédent).

La constitution du corpus en pratique

35On l’aura compris, on n’obtient pas le corpus de travail en ne faisant que collecter les contenus issus du crawl, on construit le corpus en ayant toujours à l’esprit la problématique de départ. Il faut prendre toute une série de décisions avant de pouvoir envisager de commencer le traitement linguistique. On a vu que les décisions se présentent dès le crawl : choisit-on de partir d’un bouquet de sites ou bien d’une liste de mots clés pour interroger les moteurs de recherche ? Jusqu’où nettoyer les pages : conserver uniquement le texte ou conserver également les liens hypertextes ? Comment classer les contenus et à partir de quelles métadonnées ? Quelle unité de base prendre en compte : la page ? la publication ? la phrase ? Comment estimer la représentativité du corpus ? Autant de questions auxquelles se confrontent les chercheurs et de choix que les entreprises du secteur ont dû faire.

36Chaque corpus doit être constitué de telle façon qu’il aide aux questions de recherche et/ou opérationnelles que l’on se pose : la délimitation, la structuration, les types d’énoncés pris en compte, le volume, tout peut varier selon ces objectifs. Il est donc important de ne pas prendre le corpus comme le simple résultat de l’extraction faite par les crawlers et de bien le construire pour pouvoir valider des hypothèses, à chaque fois de nature différente. Une fois la routine établie, ces règles de constitution doivent faire partie intégrante du protocole et être documentées clairement pour une transmission et une révision explicite quand ce sera nécessaire.

Exemples de constitution du corpus dans le milieu académique

37Dans le milieu académique, la plupart des travaux utilisent des corpus issus du web, mais fermés et structurés pour leurs propres fins. Par exemple, dans le cas des critiques cinématographiques, les chercheurs collectent souvent leurs données de base à partir d’un seul site, par exemple IMDb. Une fois ce contenu aspiré et normalisé, les traitements peuvent être effectués de façon fiable pour tester leurs algorithmes, avant de pouvoir être implémentés dans une application industrielle. Cette application ou service devra constituer son corpus selon d’autres principes pour son traitement automatisé de masse et en temps réel, tout en tenant compte des limites de validité qui auront été fixées par le test initial.

  • 15 B. Pang, L. Lee, S. Vaithyanathan, 2002, « Thumbs up? Sentiment Classification Using Machine Learni (...)

38C’est précisément la démarche de Pang, Lee et Vaithyanathan qui, dans leur article « Thumbs up ? Sentiment Classification using Machine Learning Techniques »15, expliquent que leur corpus provient des archives du newsgroup rec.arts.movies.reviews du site d’Internet Movie Database (IMDb).

39Ils décrivent ainsi leur méthode :

« We selected only reviews where the author rating was expressed either with stars or some numerical value (other conventions varied too widely to allow for automatic processing). Ratings were automatically extracted and converted into one of three categories: positive, negative, or neutral. For the work described in this paper, we concentrated only on discriminating between positive and negative sentiment. To avoid domination of the corpus by a small number of prolific reviewers, we imposed a limit of fewer than 20 reviews per author per sentiment category, yielding a corpus of 752 negative and 1301 positive reviews, with a total of 144 reviewers represented. »

  • 16 S. Gillot, Fouille d’opinions, rapport de stage de Master d’informatique, IFSIC-IRISA, Rennes [en l (...)

40Un autre exemple de choix de corpus fermé sur le web est présenté dans Fouille d’opinions16 de Sébastien Gillot, qui s’intéresse aux critiques télévisuelles et vidéoludiques présentes sur les sites ParlonsTV et Jeuxvideo.com. Ces sites intéressent l’auteur car chaque internaute doit associer une note à son avis. Le site ParlonsTV présente des critiques organisées par sous domaines de la télévision (émissions, séries, présentateurs, etc.) avec des « notes réparties sur les extrêmes ». Le matériau textuel est largement « bruité » en raison de l’écriture web 2.0 utilisée par les téléspectateurs (fautes d’orthographe, langage sms, etc.). Le site Jeuxvideo.com a quant à lui été sélectionné car les critiques qui y figurent sont « un peu plus professionnelles » et s’attachent aux différentes composantes d’un jeu vidéo (graphisme, jouabilité, durée de vie, etc.). L’auteur présente toute sa démarche d’uniformisation du corpus et d’encodage. Comme on le voit, en matière de tests et d’invention d’algorithmes, il est souvent plus aisé de travailler avec des corpus dont un indicateur (ici la note) permet « d’objectiver » la tonalité pour ensuite la confronter aux résultats du traitement linguistique. La note ou les étoiles fonctionnent alors comme étalon de contrôle de la consistance des tonalités trouvées par le traitement.

Exemples de constitution du corpus chez des prestataires existants

41Du côté des solutions existantes, des catalogues de sources sont mis à disposition des utilisateurs. Les entreprises constituent des bouquets en fonction de leur « thème » (bouquets dits « sectoriels ») et/ou en fonction de leur « type » (sites institutionnels, blogs, forums, Twitter, etc.). La sélection de la langue dans laquelle sont rédigés les documents peut aussi être proposée. Chaque utilisateur peut alors sélectionner le bouquet qui l’intéresse. En général, ces bouquets contiennent des sources nettoyées, classées et qualifiées (de manière différente en fonction des entreprises – voir plus bas).

42Ces solutions offrent également souvent la possibilité de déclarer manuellement des sources supplémentaires. Des procédures d’intégration des sources nouvellement déclarées doivent alors être prévues puisque là encore, chaque source devra être identifiée, qualifiée, évaluée et classée dans la base de données.

43La société Synthesio passe bien par une phase de stockage des données collectées. Son « pôle R&D a développé une plate-forme distribuée de collecte en temps réel, de stockage et d’indexation de tous types de sources d’information sur Internet »17. Et quand les « conversations collectées » se comptent en centaines de millions, dans « près de 30 langues » et en provenance de sources très diverses, on comprend l’importance des métadonnées pour qualifier, mais aussi retrouver plus aisément les contenus collectés.

44Notons qu’une fois cette phase de « filtrage et échantillonnage » effectuée, analyse automatique et analyse humaine vont fonctionner de manière complémentaire pour analyser les contenus.

45De la même manière, la société Lithium annonce d’emblée à ses clients qu’un temps de traitement des données est à prévoir avant que les informations demandées soient disponibles dans ses bases de données :

« Once you’ve picked a Facebook page to monitor, we’ll fetch the last 45 days of post, comment and like history for that page. Expect it to take about 24 hours for the back data to populate. We use the Facebook FQL API to poll for these posts and comments18. »

Le traitement du corpus : état de l’art

46Une fois le périmètre du corpus défini et la collecte des sources effectuée, comment extraire de l’ensemble des textes obtenus les éléments intéressants pour la recherche ? La fouille de textes (text mining en anglais) est un sous-ensemble du domaine plus large de la fouille de données (data mining). Elle procède à l’aide d’algorithmes qui traduisent en langage informatique des méthodes d’analyse linguistique. Plusieurs disciplines sont à ce titre mobilisées : ingénierie linguistique, statistique, apprentissage artificiel, TAL, etc.

47N. B. : l’opinion mining est un sous-ensemble du text mining.

Dans le domaine académique

48Lorsque le corpus est rapatrié dans les bases de données, la phase de traitement peut commencer. Il en existe de plusieurs sortes en fonction des objectifs de recherche :

  • distinction entre contenu légitime et spam (que va produire Trust Rank par exemple) ;

  • génération automatique de résumé (ex. : Beineke & al. dans Exploring Sentiment Summarization) ;

  • classification de textes ;

  • sentiment analysis, etc.

49Ces différents traitements nécessitent parfois des pré-traitements :

  • 19 B. Pang, L. Lee, S. Vaithyanathan, op.cit.

50Ainsi Pang et al. dans leur article « Thumbs up ? Sentiment Classification using Machine Learning Techniques »19 utilisent unigrammes et bigrammes pour identifier la négation.

  • 20 Y. Tanaka, H. Takamura, M. Okumura, « Extraction and Classification of Facemarks with Kernel Method (...)

51Citons encore Tanaka Y., Takamura H. et Okumura M., qui, dans leur article « Extraction and Classification of Facemarks with Kernel Methods »20 s’intéressent avant tout à l’extraction des emoticons pour les classer dans des catégories émotionnelles.

Le text mining dans la tradition

52Dès 1958, Hans Peter Luhn, chercheur chez IBM, publiait une étude intitulée The Automatic Creation of Literature Abstracts21 relative à la génération automatique de résumés.

  • 22 H.P. Luhn, 1958, « The Automatic Creation of Literature Abstracts », IBM Journal of Research and De (...)

« Excerpts of technical papers and magazine articles that serve the purposes of conventional abstracts have been created entirely by automatic means. In the exploratory research described, the complete text of an article in machine-readable form is scanned by an IBM 704 data-processing machine and analyzed in accordance with a standard program. Statistical information derived from word frequency and distribution is used by the machine to compute a relative measure of significance, first for individual words and then for sentences. Sentences scoring highest in significance are extracted and printed out to become the “auto-abstract” 22. »

53Les progrès de l’informatique dans les années 1970 ont rendu possible le traitement informatique des données textuelles pendant la décennie suivante. Le text mining naît alors de la rencontre entre la recherche d’information (information retrieval), la fouille de données, les techniques d’apprentissage machine, les statistiques et la linguistique informatique23. Les techniques de text mining ont un vaste champ d’application :

  • la recherche d’information ;

  • le filtrage des communications (lutte anti-spam) ;

  • l’intelligence économique ;

  • ou encore l’analyse de sentiment.

54Le text mining a également permis le développement de nouvelles méthodes d’investigation scientifique (ex. l’usage des CAQDAS en sociologie).

Encadré 4 : analyse textuelle et CAQDAS
  • 24 « Méthodes et pratiques formalisées d’analyse de contenu et de discours dans la recherche sociologi (...)

Dans le domaine des sciences sociales, l’utilisation des logiciels d’analyse textuelle n’est pas très répandue mais a gagné cependant en expertise. Pour la sociologie, on en trouvera un bon résumé dans l’un des articles proposé par Jenny Jacques24.

  • 25 M. Reinert, 1987, « Classification descendante hiérarchique et analyse lexicale par contexte : Appl (...)
  • 26 K. Meter, P. Cibois, M. de Saint-Léger, 2004, « Correspondence and Co-Word Analysis of Ten Years of (...)
  • 27 P. Cibois, 1984, « Méthodes post-factorielles pour le dépouillement d’enquêtes », Bulletin de Métho (...)

Les logiciels d’analyse textuelle restent encore peu utilisés en France par les sociologues, notamment en raison de la lourdeur de l’annotation manuelle des matériaux. L’offre logicielle se développe mais la méconnaissance des logiciels d’analyse textuelle persiste. Les critiques pointent à juste titre que ces logiciels ne peuvent pas tout faire et doivent être replacés judicieusement dans un protocole de recherche qui définit une méthode avant tout et non des outils. Leur usage doit toujours être rapporté au questionnement du chercheur et lui permettre de garder son esprit critique sur ses propres catégories comme sur celles que génèrent les logiciels. Chez les Anglo-Saxons, la tradition du CAQDAS (Computer Assisted Qualitative Data Analysis Software) est nettement plus installée et est devenue même un courant de recherche en tant que tel. En France, le Bulletin de méthodologie sociologique (BMS) met à l’épreuve les logiciels d’analyse textuelle parmi lesquels :
- Alceste, présenté par son concepteur, Max Reinert25 ;
- Calliope, présenté par K. Meter, P. Cibois, M. de Saint Léger26 ;
- Prospéro, et sa version interactive, Marlowe, présentée dans un dossier thématique dans le numéro 79 du BMS ;
- Trideux, présenté par Philippe Cibois, son concepteur27.

Jacques Jenny propose un panorama des outils disponibles en analyse textuelle pour la recherche en sciences sociales en France28. Il recense notamment :
« - les approches lexicométriques, au contact de la statistique benzécriste (Spad, Lexico, Alceste, Hyperbase, etc.) [N.B. : la lexicométrie apparaît en France dans les années 1970] ;
- le courant classique d’analyse (socio-sémantique) de contenu thématique (Modalisa-Interviews, Sphinx-Lexica, etc.) ;
- l’analyse automatique des réseaux de mots associés, au confluent des paradigmes des représentations sociales en psychologie sociale et de l’analyse des réseaux en sociologie (Reseau-Lu, Leximappe, Calliope, Evocation, etc.) ;
- les courants d’analyse propositionnelle et prédicative du discours, au contact des paradigmes cognitivo-discursifs de la psycholinguistique (Tropes, etc.) ;
- les logiciels d’ingénierie textuelle, à dominante d’audit textuel ou de documentation-communication, incluant les logiciels généralistes d’analyse d’enquêtes sociologiques, les plus proches des CAQDAS anglo-saxons, qui comportent des modules d’analyse textuelle, notamment pour le traitement des questions ouvertes (Atlas.ti, Nvivo, etc.) ;
- et enfin, les logiciels dédiés à des problématiques de recherche particulières, mais susceptibles d’applications extensives hors de leur domaine initial (Civilité, Coconet, Prospero, etc.) »

Limites des outils lexicographiques pour la tonalité

55L’analyse lexicographique du corpus est un préalable dans tout sentiment analysis, sous peine d’être incapable de dire sur quoi porte la tonalité précisément. Mais plus encore, c’est un ensemble d’analyses sur les propriétés du document recueilli qui sont nécessaires et qui vont faire appel à une analyse syntaxique (indispensable pour attribuer la tonalité) et sémantique (ce qui fait l’avantage de certaines offres sur le marché comme celle de Lingway).

État du marché sur le traitement des corpus (avant l’analyse de tonalité)

56L’utilisation de moteurs sémantiques a pour but d’analyser plus finement les contenus textuels, notamment en permettant la prise en compte du contexte, ce qui permet d’améliorer la pertinence des résultats. Ces approches ont été développées notamment pour l’ingénierie des connaissances. On peut la définir avec Charlet et al. comme « l’étude des concepts, méthodes et techniques permettant de modéliser et/ou d’acquérir les connaissances pour des systèmes réalisant ou aidant des humains à réaliser des tâches se formalisant a priori peu ou pas ». Elle devait contribuer à et déboucher sur le marché des outils de Knowledge Management qui, malgré ses promesses, a eu bien du mal à décoller. On peut le comprendre précisément en raison du verrou que constitue le traitement linguistique. Ainsi, les premiers systèmes de gestion des connaissances ne pouvaient s’appuyer que sur des ontologies construites a priori et par la suite assistées par des systèmes apprenants. Dans tous les cas, cela supposait une activité très disciplinée de ceux qui étaient en charge de l’extraction de connaissances, y compris lorsqu’il s’agissait de leurs propres connaissances : il fallait en effet tout faire entrer dans les catégories, aussi inadaptées soient-elles, de façon à permettre un traitement exhaustif et une combinatoire avec l’ensemble du corpus de l’entreprise ou du domaine ou du projet. Ce travail s’est révélé souvent trop coûteux en temps et souvent irréaliste car l’explicitation des connaissances pose des problèmes nouveaux qui contraignent à réviser constamment les ontologies, si l’on veut être proche des réalités des entreprises. C’est pourquoi, pour des visées d’automatisation que l’on peut comprendre, l’objectif de modélisation était souvent préféré et investi, sans que cela simplifie le problème, mais avec l’espoir de trouver des heuristiques qui permettent d’aller plus vite à la classification.

57Les domaines traités pouvaient être des corpus de documents techniques et de procédures, et dans ce cas, seuls les secteurs à forte normalisation comme l’aéronautique s’en sortaient correctement. L’exploitation des CV ou des retours d’expérience était en revanche beaucoup plus difficile à normaliser car les parcours des personnels peuvent être extrêmement variés ou parce que les expériences sont faites d’événements singuliers difficiles à faire entrer dans des cases, alors que le but des retours d’expérience consiste précisément à récupérer les cas singuliers pour en généraliser les leçons. Des solutions qui prennent en compte le langage dit naturel et les formats de récit sous lesquels sont exprimés spontanément les retours d’expérience ont permis d’approcher des systèmes plus directement exploitables par des personnels non spécialisés, comme l’a proposé Eddie Soulier, de l’UTT, avec l’application de méthodes de storytelling pour le partage des connaissances.

58Cependant, toutes ces approches bénéficient peu ou prou du fait de traiter des organisations, voire des communautés de pratique, assez aisément délimitées. Dès lors que l’on traite le web et des domaines très hétérogènes, comportant des niveaux d’expertise et de formalisation des discours totalement différents, il devient difficile d’appliquer ces méthodes telles quelles. Cependant, il faut noter que des avancées décisives pour le web mining ont été réalisées par la construction de moteurs sémantiques capables d’apprendre et de catégoriser dans des contextes de plus en plus riches et de moins en moins formalisés. Cette approche, plus incrémentale, a permis de constituer chez plusieurs prestataires ou encore dans les laboratoires universitaires des dictionnaires de domaine, des méthodes de traitement linguistique qui peuvent être réexploitées dans l’opinion mining, à condition d’en prendre en compte les spécificités.

Insuffisance des méthodes statistiques et nécessité du sémantique

59Dans le cas de l’opinion mining, il existe des traitements spécifiques. Il faut pouvoir identifier les constituants de la phrase : entités nommées, verbes, relations entre les mots, etc., dans tout le contenu textuel. Sans cela, pas d’analyse de l’opinion possible.

60Des traitements statistiques peuvent être mis en place pour obtenir une première évaluation de ce que contient le corpus :

  • Quels sont les mots fréquents (les plus souvent associés à un mot clé donné ou à une thématique) ?

  • Quelle évolution dans le temps des mots fréquents ?

  • Quelles entités nommées ou expressions significatives associées ?

  • Y a-t-il des co-occurrences de termes (clusterisation) ?

Encadré 5 : qu’est-ce qu’un mème ?

« Le terme de mème a été proposé pour la première fois par Richard Dawkins dans Le Gène égoïste (1976) et provient d’une association entre gène et mimesis (du grec « imitation »). Dawkins souligne aussi la parenté de son terme avec le mot français « même ». Les mèmes ont été présentés par Dawkins comme des réplicateurs, comparables à ce titre aux gènes, mais responsables de l’évolution de certains comportements animaux et des cultures. L’étude des mèmes a donné naissance à une nouvelle science : la mémétique29. » S’inspirant de la mémétique et de sa métaphore épidémiologique, des chercheurs des universités Cornell et Stanford ont mis au point le meme tracker30.

Objectif initial : identifier comment une information circule sur le web, modéliser cette circulation, trouver des « patterns » : quels en sont les relais ? par où passe-t-elle ? quelles transformations subit-elle ? qui a repris qui (recherche de réseaux d’influence) ? etc.

Voir notamment l’article Meme-tracking and the dynamics of the news cycle31, où les auteurs présentent leur algorithme de suivi des mèmes (chaînes de caractères, pouvant subir des transformations) sur le web, à l’échelle du cycle de l’information (i.e. sur des temps courts)32.

Signalons au passage une limite du meme tracker : il ne fonctionne que sur des citations (et sur des variations de ces citations – mais pas leur négation).

Phrases les plus reprises pendant la campagne présidentielle américaine de 2008

Phrases les plus reprises pendant la campagne présidentielle américaine de 2008

Source : http://memetracker.org/​

61Mais ces traitements statistiques, s’ils donnent des informations nécessaires sur le contenu du corpus ne sont cependant pas suffisants. Passer par le sémantique permet de trouver des résultats à côté desquels on passerait, notamment en analyse de la tonalité.

Nécessité du sémantique

62Les méthodes statistiques sont donc très utiles, mais non suffisantes. Elles ne prennent pas en compte les contenus des textes traités, puisque seule l’approche quantitative est considérée. Tout texte sera traité de la même manière que les autres. Une critique récurrente à l’égard de la méthode statistique en analyse de la tonalité est qu’elle peut passer complètement à côté du sens des opinions analysées. Déduire une tonalité positive pour opinion générale (i.e. au niveau d’un document) seulement parce que le texte considéré contient plus de mots positifs que de mots négatifs peut se révéler totalement erroné si le seul mot négatif du texte remet en cause l’intégralité du document.

63Exemple de l’insuffisance de la méthode statistique :

64Pang & Lee dans « Opinion Mining and Sentiment Analysis » donnent l’exemple suivant :

« This film should be brilliant. It sounds like a great plot, the actors are first grade, and the supporting cast is good as well, and Stallone is attempting to deliver a good performance. However, it can’t hold up. »

65Si l’on tente une classification à l’échelle du document en partant d’une méthode statistique qui a pour règle de classer un document comme positif à partir du moment où il contient une majorité de mots positifs, dans ce cas-ci, la machine se trompera. La dernière phrase (soit une seule expression négative) fait basculer tout le document en négatif.

Encadré 6 : LINGWAY, une approche de la e-réputation basée sur l’analyse linguistique

Linwgay a une position originale parmi les éditeurs de logiciels proposés pour suivre la e-réputation. En effet l’origine de cette société est le développement de technologies linguistiques, alors que la plupart des acteurs du domaine viennent plutôt du monde de la veille, ou sont des « pure-players » du monde de la e-réputation, utilisant généralement des méthodes de recherche classiques, non linguistiques.

Lingway a développé au fil des ans une très grande base de données linguistiques multilingues et un ensemble d’analyseurs morphologiques, syntaxiques et sémantiques pour des applications dans des domaines divers comme l’analyse de brevets, l’analyse de curriculum vitæ, l’extraction d’informations dans des bases documentaires, etc.

C’est mi-2009, en association avec Sciences Po médialab et la société Pikko, spécialisée en cartographie de grands ensembles de données, que Lingway décide d’adapter sa technologie au cas de la e-réputation. C’est donc un acteur récent du domaine, mais qui utilise une technologie de TAL (Traitement Automatique des Langues) déjà éprouvée depuis longtemps dans d’autres domaines.

Pour Lingway, le TAL est une technologie incontournable pour la e-réputation, pour deux raisons essentielles : le cœur du problème de la e-réputation est l’analyse de tonalité, l’identification des avis, recommandations, commentaires qu’il faut savoir relier aux marques, personnes, sociétés auxquels ils se rapportent. Or le volume d’informations est tel, que faute d’outils automatiques, la seule solution est d’analyser « à la main » un très faible échantillon de ces textes. Cela ne peut pas être satisfaisant à terme, car on ne pourra pas facilement construire de tels échantillons sur internet – notamment en raison du problème posé par l’évaluation de la représentativité qu’auraient de tels échantillons – et que l’on ratera toute identification de signaux faibles. Or pour automatiser de larges volumes, l’analyse linguistique est indispensable.

En effet, il faut identifier deux points dans le texte : de quel objet (marque, société, personne) on parle, et quel avis est porté sur lui. Comme on peut, dans un même texte, parler de nombreux objets, il faut travailler au niveau de la phrase et non du texte global. C’est une première tâche : l’identification de « verbatims ». Il faut ensuite identifier la tonalité du verbatim, qui peut être plus ou moins positive ou négative, indéterminée ou incertaine.

Cela suppose d’avoir pour chaque mot une indication de sa tonalité intrinsèque : « aimer », « satisfait », « soulagement » sont positifs, alors que « craindre », « mécontent », « douleur » sont intrinsèquement négatifs.

Il faut donc déjà de grands dictionnaires et de bons analyseurs morphologiques pour reconnaître ces mots. Mais cela est évidemment très insuffisant, car le point délicat est d’analyser la tonalité non pas des mots isolés, mais des phrases, ce qui suppose une analyse syntaxique. Lingway a ainsi développé une technologie d’analyse qui permet d’automatiser très largement le repérage des tonalités.

Ainsi, si le mot « bénéfice » est en tant que tel positif, le syntagme « diminution des bénéfices » est négatif alors que « une augmentation des bénéfices » reste positif. Mais une phrase comme « une augmentation scandaleuse des bénéfices du CAC 40 » devient négative avec l’introduction de l’adjectif « scandaleux ». On peut continuer l’exemple en se demandant quelle est la tonalité d’une phrase comme « ce projet de loi devrait permettre de mettre un coup d’arrêt à l’augmentation scandaleuse des bénéfices du CAC 40 ».

Cette inversion de tonalité est donc un point central de l’analyse. Elle peut être marquée par des adverbes, comme dans la phrase « ces bénéfices sont scandaleusement élevés », mais aussi par des verbes, des adjectifs, des prépositions ou des noms. Le verbe « éviter » inverse la tonalité négative de « crise » dans la phrase « la solidarité européenne permet d’éviter la crise ». La préposition « sans » inverse la tonalité du mot « succès » dans une phrase comme « cependant les actions du gouvernement sont restées sans grand succès ».

Certains cas sont plus complexes, comme dans « le bénéfice de cette action reste à démontrer », où c’est le syntagme « reste à démontrer » qui neutralise la tonalité positive de « bénéfice ».

La structure des phrases est également importante. Ainsi une interrogative comme « le PS pourra-t-il gagner les élections ? » est neutre, alors qu’une affirmative comme « le PS pourra gagner les élections » est positive (si l’analyste évalue positivement cette perspective – sinon, c’est le contexte entier dans lequel se trouve la phrase qui pourra inverser la tonalité).

On le voit, l’analyse linguistique est une clé incontournable de l’analyse de tonalité, dès que l’on travaille sur des textes un peu longs ou rédigés. Or c’est dans ce type de textes (par exemple les commentaires des internautes dans les blogs et forums) que gisent des masses d’informations reflétant l’état de l’opinion sur tel ou tel sujet.

Mais Lingway n’utilise pas les technologies linguistiques uniquement au niveau du repérage des tonalités. L’utilisation d’une ontologie très large, et reliée au lexique de plusieurs langues, permet plusieurs fonctionnalités importantes comme l’expansion sémantique, qui permet de trouver plus de textes pertinents par rapport à une recherche, notamment en recherche multilingue. Ainsi une recherche sur « associations sportives » pourra retrouver des textes sur « club de judo » en français ou « football club » en anglais, sur la base de connaissances comme « un club est une forme d’association » et « le judo, le football sont des sports ».

66Ces méthodes d’analyse ne prétendent pas à la perfection. Beaucoup de chemin reste à parcourir, mais il est clair qu’elles sont d’ores et déjà beaucoup plus performantes que les méthodes basées sur de simples algorithmes statistiques, qui sont incapables d’entrer dans des finesses d’analyse comme celles présentées ci-dessus.

Notes

1 http://fr.wikipedia.org/wiki/Robot_d%27indexation

2 Le principe de politesse évite que l’accès aux sites souffre du travail des crawlers, qui peuvent surcharger un serveur s’ils s’y connectent trop souvent. D’où le protocole d’exclusion des robots (robots.txt) qui signale les parties du site qui ne sont pas censées être crawlées ou la mise en place d’intervalles de temps à respecter entre deux passages d’un crawler sur un même site.

3 http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=182072

4 http://80legs.com/tour.html

5 http://www.watchthatpage.com/

6 http://web-harvest.sourceforge.net/

7 http://cleaneval.sigwac.org.uk/

8 M. Baroni et al., 2008, « CleanEval: a Competition for Cleaning Webpages », Proceedings of LREC’2008, [en ligne] [URL : http://www.lrec-conf.org/proceedings/lrec2008/pdf/162_paper.pdf].

9 http://synthesio.com/corporate/fr/technology/sourcing/

10 Et de tout ML (markup language) par principe, puisqu’il faut tagger les contenus pour que les machines puissent les reconnaître de façon standardisée.

11 http://www.lacot.org/w3c/REC-rdf-concepts-20040210/

12 http://www.w3.org/RDF/

13 World Wide Web Consortium, voir : http://www.w3.org/

14 Voir http://www.lingway.com/images/pdf/fiche_lke.pdf

15 B. Pang, L. Lee, S. Vaithyanathan, 2002, « Thumbs up? Sentiment Classification Using Machine Learning Techniques », Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 79-86, [en ligne] [URL : http://www.cs.cornell.edu/home/llee/papers/sentiment.pdf]. DOI : 10.3115/1118693.1118704

16 S. Gillot, Fouille d’opinions, rapport de stage de Master d’informatique, IFSIC-IRISA, Rennes [en ligne] [URL : http://dumas.ccsd.cnrs.fr/docs/00/53/06/89/PDF/Gillot_Sebastien.pdf].

17 http://synthesio.com/corporate/fr/technology/sourcing/

18 Voir le billet du 11/11/2010 de M. Francis sur un blog de la société Lithium : http://lithosphere.lithium.com/t5/Social-Media-Monitoring/Release-Notes-11-11-2010-Facebook-Post-Comment-and-Like-Coverage/ba-p/14206

19 B. Pang, L. Lee, S. Vaithyanathan, op.cit.

20 Y. Tanaka, H. Takamura, M. Okumura, « Extraction and Classification of Facemarks with Kernel Methods », IUI ‘05: Proceedings of the 10th International Conference on Intelligent User Interfaces, New York, p. 28-34 [en ligne] [URL : http://www.lr.pi.titech.ac.jp/~takamura/pubs/p3868-tanaka.pdf].

21 http://www.piloter.org/business-intelligence/textmining.htm

22 H.P. Luhn, 1958, « The Automatic Creation of Literature Abstracts », IBM Journal of Research and Development, vol. 2, no 2, [en ligne] [URL : http://wwwalt.phil-fak.uni-duesseldorf.de/infowiss/content/Infocenter/Luhn_2.pdf]. DOI : 10.1147/rd.22.0159.

23 http://en.wikipedia.org/wiki/Text_mining

24 « Méthodes et pratiques formalisées d’analyse de contenu et de discours dans la recherche sociologique française contemporaine. État des lieux et essai de classification », Bulletin de méthodologie sociologique (BMS), n° 54, mars 1997, p. 64-112 LASMAS-IRESCO (CNRS) ainsi que dans Demazière et al., Analyses textuelles en sociologie : logiciels, méthodes, usages, 2006, PUR, 218 p.

25 M. Reinert, 1987, « Classification descendante hiérarchique et analyse lexicale par contexte : Application au corps des poésies d’Arthur Rimbaud », Bulletin de Méthodologie Sociologique (BMS), no 13, p. 53-90 et 1990, « Alceste – Une méthodologie d’analyse de données textuelles et une application : Aurélia de Gérard de Nerval », Bulletin de Méthodologie Sociologique (BMS.), no 26, p. 24-54.

26 K. Meter, P. Cibois, M. de Saint-Léger, 2004, « Correspondence and Co-Word Analysis of Ten Years of BMS Articles 1993-2003 », Bulletin de Méthodologie Sociologique (BMS), n° 81, p. 48-57.

27 P. Cibois, 1984, « Méthodes post-factorielles pour le dépouillement d’enquêtes », Bulletin de Méthodologie Sociologique (BMS), n° 1, p.  41-78 et 1995, « Trideux version 2.2 », BMS, n° 46, p. 119-124.

28 http://www.cmh.pro.ens.fr/bms/arcati/BMS54-Jenny-New.htm (mise à jour par l’auteur en 2002).

29 http://fr.wikipedia.org/wiki/M%C3%A8me

30 http://memetracker.org/

31 J. Leskovec, L. Backstrom, J. Kleinberg, 2009, « Meme-Tracking and the Dynamics of News Cycle », KDD ‘09 Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, [en ligne] [URL : http://www.memetracker.org/quotes-kdd09.pdf]. DOI : 10.1145/1557019.1557077.

32 Voir également une vidéo de présentation par Jure Leskovec : http://cyber.law.harvard.edu/interactive/events/luncheon/2010/02/leskovec

Table des illustrations

Titre Présentation du crawler de Digimind
Légende Source : http://www.digimind.fr/​produits/​technologies-2/​digimind-prism/​connectors/​digimind-crawler
URL http://books.openedition.org/oep/docannexe/image/210/img-1.png
Fichier image/png, 120k
Titre Le paramétrage du crawler de Digimind
Légende Source : http://www.digimind.fr/​produits/​digimind-evolution/​modules/​digimind-tracker/​websites
URL http://books.openedition.org/oep/docannexe/image/210/img-2.jpg
Fichier image/jpeg, 28k
Titre Schéma de l’architecture du web sémantique
Légende Source : W3C
URL http://books.openedition.org/oep/docannexe/image/210/img-3.png
Fichier image/png, 59k
Titre Map of a Twitter Status Object par Raffi Krikorian
Légende Source : http://www.scribd.com/​doc/​30146338/​map-of-a-tweet
URL http://books.openedition.org/oep/docannexe/image/210/img-4.png
Fichier image/png, 318k
Titre Fonctionnalités de Lingway Knowledge Extractor et schéma de constitution d’une base de connaissances multilingues
Légende Source : http://www.lingway.com/​images/​pdf/​fiche_lke.pdf
URL http://books.openedition.org/oep/docannexe/image/210/img-5.jpg
Fichier image/jpeg, 116k
Titre La navigation dans les photos via les tags, sur Flickr
Légende Source : http://www.flickr.com/​explore/​ (page consultée le 06/01/2012)
URL http://books.openedition.org/oep/docannexe/image/210/img-6.jpg
Fichier image/jpeg, 92k
Titre Schéma général d’organisation du projet Apache UIMA
Légende Source : http://uima.apache.org/​
URL http://books.openedition.org/oep/docannexe/image/210/img-7.png
Fichier image/png, 32k
Titre Module de sélection des sources par type sur BuzzWatcher
Légende Source : http://help.atinternet-solutions.com/​FR/​gettingstarted/​quickstartbuzz_fr.htm#MiniTOCBookMark5
URL http://books.openedition.org/oep/docannexe/image/210/img-8.jpg
Fichier image/jpeg, 24k
Titre La qualification des sources chez Digimind
Légende Source : http://www.digimind.fr/​produits/​digimind-evolution/​contenus/​qualification-des-sources
URL http://books.openedition.org/oep/docannexe/image/210/img-9.jpg
Fichier image/jpeg, 60k
Titre Méthodologie de Synthesio (au 10 avril 2011)
Légende Source : http://web.archive.org/web/20110410175208/http://synthesio.com/​corporate/​fr/​process/​approach/​
URL http://books.openedition.org/oep/docannexe/image/210/img-10.png
Fichier image/png, 271k
Titre Phrases les plus reprises pendant la campagne présidentielle américaine de 2008
Légende Source : http://memetracker.org/​
URL http://books.openedition.org/oep/docannexe/image/210/img-11.jpg
Fichier image/jpeg, 96k

© OpenEdition Press, 2012

Conditions d’utilisation : http://www.openedition.org/6540