Desktop versionMobile version

Opinion mining et ‎Sentiment analysis

 | 
Dominique Boullier
, 
Audrey Lohard

Chapitre 5. Détecter les tonalités : opinion mining et sentiment analysis

Editor's note

Cet ouvrage est en vente au format numérique (pdf/Epub) et sur support papier.

Author's note

Pour la généalogie de l’emploi de l’expression « sentiment analysis », voir B. Pang, L. Lee, 2008, « Opinion Mining and Sentiment Analysis », Foundations and Trends in Information Retrieval, vol. 2, no 1-2, p. 1-135, [en ligne] [URL : http://www.cs.cornell.edu/home/llee/omsa/omsa-published.pdf]. DOI : 10.1561/1500000001.

Full text

1Pour détecter une tonalité il faut :

  1. Savoir si le document comporte ou non une opinion.

  2. Savoir si l’on cherche une opinion générale au sujet d’une entité ou une opinion concernant un « feature » en particulier de cette entité.

  3. Déterminer pour cette opinion, si elle existe, si elle est négative ou positive (ou neutre : opinion mixte).

  4. S’assurer que l’opinion se rapporte bien à la cible qui intéresse.

2Cette présentation représente l’état actuel de l’offre en majeure partie : en fait, il est possible d’aller plus loin que la seule recherche de polarité à condition de faire appel à des techniques qui abordent la sémantique comme nous le verrons.

3Pour chacune de ces étapes, on se trouve face à un problème de classification, ce qui constitue le travail majeur en TAL.

  1. i.e : détection de la subjectivité (distinguer les faits des opinions) ;

  2. i.e. détection de la cible/feature-based sentiment analysis ;

  3. i.e. détection de la polarité (distinguer le positif du négatif).

4Certaines recherches se confrontent aux trois problèmes. D’autres se concentrent sur l’un ou l’autre.

5Pour chacune de ces étapes, on peut recourir soit à une méthode dite « symbolique/linguistique » soit à une méthode dite « numérique ».

6Pang et Lee, dans « Opinion Mining and Sentiment Analysis », dressent ainsi la liste des qualités requises pour l’opinion mining :

  • 1 K. Dave, S. Lawrence, D. M Pennock, 2003, « Mining the Peanut Gallery : Opinion Extraction and Sema (...)

« According to Dave et al.1, the ideal opinion-mining tool would “process a set of search results for a given item, generating a list of product attributes (quality, features, etc.) and aggregating opinions about each of them (poor, mixed, good)”. »

7L’usage s’est depuis étendu à l’analyse de beaucoup de types de textes évaluatifs.

8Les papiers académiques traitant de sentiment analysis s’inscrivent dans le Traitement Automatique du Langage ou Natural Language Processing et montrent un intérêt particulier pour la détection de la polarité. Cela s’est ensuite étendu au traitement informatique de l’opinion, du sentiment et de la subjectivité. Le passage à des techniques d’apprentissage pour les machines a permis de faire progresser considérablement les développements, à partir de corpus bien construits et d’évaluation des résultats qui sont ensuite réexploités par la machine.

9Finalement, opinion mining et sentiment analysis opèrent dans le même champ et finissent par se recouper même si l’analyse de tonalité ne constitue en fait qu’un sous-domaine de l’opinion mining.

État de l’art : détecter les indices de la présence du subjectif, du jugement

Faits et opinions

10Il est de tradition dans toute cette communauté de l’opinion mining, voire du TAL en général, de distinguer deux grands types de textes : ceux qui relatent des faits et ceux qui présentent des opinions. Dans le premier cas, il s’agit de descriptions objectives. Dans l’autre, il s’agit d’expressions subjectives, qui peuvent porter par ailleurs sur des entités identiques descriptibles objectivement. Ce qui ne serait pas le cas d’expressions sur des états d’âme, qu’on ne peut rapporter à une entité objectivable. Cette distinction sommaire mérite d’être discutée et les développements de méthodes de classification sur ce thème sont considérables car de nombreuses occurrences troublent la frontière, comme nous le verrons.

11De manière courante, l’étude de l’opinion en fouille de textes, ce qu’on appelle l’analyse de sentiment, se réduit à distinguer les opinions positives, les opinions négatives, les tonalités, et éventuellement à classer dans une catégorie neutre les opinions indécidables (parce qu’elles sont mixtes par exemple, ou qu’il n’y a pas d’opinion exprimée dans le document, ou parfois encore parce que la méthode ne peut trancher clairement dans l’ensemble du document).

12Enfin, l’unité de traitement peut être le document, l’expression qualifiante au sein d’un segment, un élément (part-of-speech) tel qu’un adjectif, ou un ensemble de n-grams, dont il s’agit précisément de tester l’étendue pour formater la recherche.

Qu’entend-on par subjectivité ?

13Pour Jan Wiebe, la subjectivité est « the linguistic expression of somebody’s opinions, sentiments, emotions, evaluations, beliefs, speculation (private states) »2. Elle reprend ensuite la définition du « private state » de Quirck, Greenbaum, Leech et Svartvic3 : un « private state is a state that is not open to objective observation or verification ».

Essor de l’étude des textes subjectifs

14L’étude des textes subjectifs s’est considérablement développée en directe relation avec leur accessibilité sur le web. Favoriser l’expression des internautes, c’est générer des textes non formatés, non indexés, non signés, et qui posent des problèmes d’analyse après coup et de formalisation pour pouvoir être traités. Cependant, le web et chaque internaute mêlent allègrement les niveaux de langage comme les visées communicationnelles, mais aussi les propriétés sémantiques de ses expressions : l’objectif et le subjectif sont en permanence mêlés dans un même document. L’analyse de sentiment a cependant fait le pari, pour toute une partie des chercheurs tout au moins (car les prestataires ne prennent pas véritablement cette distinction en compte) de faire la différence au niveau d’un document entre textes subjectifs et textes objectifs. Le problème de classification de textes devient alors crucial (sauf si l’on choisit dès le départ des textes que l’on sait subjectifs, sans demander à la machine d’opérer cette sélection en amont – voir infra).

  • 4 B. Liu, 2010, « Sentiment analysis and subjectivity », Handbook of Natural Language Processing (2(...)

15Deux démarches sont alors applicables : soit on sait qu’un texte comporte de l’opinion et le problème consiste à le classer selon qu’il est positif ou négatif, soit on repère d’abord les phrases porteuses d’opinion (classement objectif/subjectif) pour ensuite leur attribuer une polarité (positive ou négative4).

16Pang et Lee, dans « Opinion Mining and Sentiment Analysis », rappellent que le problème de la classification de textes en faits et opinions a fait l’objet du Blog Track à TREC 2006 (Text REtrieval Conference) :

  • 5 B. Pang, L. Lee, op. cit., p. 28.

« Indeed, this problem was the focus of the 2006 Blog track at TREC. At least one opinion-tracking system rates subjectivity and sentiment separately. Mihalcea et al. summarize the evidence of several projects on substantial analysis as follows : “the problem of distinguishing subjective versus objective instances has often proved to be more difficult than subsequent polarity classification, so improvements in subjectivity classification promise to positively impact sentiment classification” 5. »

17On peut aussi considérer que focaliser sur cette distinction pour parvenir à forcer une classification n’est peut-être pas la meilleure stratégie, alors que le statut théorique de cette frontière n’est pas défini d’une part et que le travail sur les matériaux recueillis fait la démonstration permanente de la difficulté de la distinction d’autre part.

18Certains travaux cherchent à sauter cette étape non pas pour prendre le temps d’examiner cette complexité mais pour aller plus vite en besogne, en catégorisant d’emblée les textes porteurs d’opinions en négatif vs positif. On peut le comprendre du point de vue opérationnel et surtout du point de vue d’un service de conseil dans ce domaine qui répond à des clients qui connaissent bien leur domaine. Il est finalement assez aisé de cibler les sources où des opinions seront exprimées et de ce fait, pas très utile de chercher à faire la distinction. Cependant, dans la mesure où les méthodes de traitement que nous allons voir maintenant sont à prédominance statistique, il est certain que les fréquences, par exemple, calculées sur un corpus de textes non définis comme subjectifs rendent le calcul moins fiable. Mais ce sont aussi les limites des approches statistiques que nous commençons à pointer par cette remarque.

  • 6 « One area of research concentrates on classifying documents according to their source or source st (...)
  • 7 « Another, more related area of research is that of determining the genre of texts ; subjective gen (...)

19Dans tous les cas, ce souci de détecter a priori le caractère subjectif ou objectif des textes conduit à des détours par les types de sources6 (certains journaux adoptent plus une expression objective que d’autres) ou par genre7 (les éditoriaux étant supposés moins objectifs) : tous ces présupposés ne sont en fait guère validés et ne se préoccupent guère des avancées réalisées par les media studies. Comme on le voit, lorsqu’une question est mal posée, l’obsession du calcul à tout prix conduit à trouver des solutions avec des ressources dont la définition est encore moins fiable, ce qui ne fait rien pour consolider la valeur scientifique du domaine.

Détection des phrases subjectives

  • 8 V. Hatzivassiloglou, J. M. Wiebe, 2000, « Effects of Adjective Orientation and Gradability on Sente (...)
  • 9 J.M. Wiebe, T. Wilson, M. Bell, op.cit.
  • 10 J.M. Wiebe et al., 1999, « Development and Use of a Gold-Standard Data Set for Subjectivity Classif (...)
  • 11 H. Yu, V. Hatzivassiloglou, 2003, « Towards Answering Opinion Questions : Separating Facts from Opi (...)

20Trancher entre le caractère objectif ou le caractère subjectif d’un texte revient à détecter dans le texte les indices de la présence du subjectif. Plusieurs indices peuvent en fait témoigner de la présence de la subjectivité dans un texte ou une phrase. La présence d’adjectifs constituerait un bon indicateur du caractère subjectif des phrases8. D’autres proposent d’identifier des indices co-occurrents de subjectivité pour en déduire le caractère subjectif des phrases9. On peut aussi tenter de reconnaître la subjectivité d’un texte en utilisant différents indices et caractéristiques (emplacement des mots, etc.)10. Enfin certains ont tenté de séparer les opinions des faits, au niveau du document et au niveau de la phrase, en utilisant un classificateur naïf Bayes11.

21Tout le problème vient bien de cette tentative de séparer les opinions des faits et de prétendre pouvoir le faire à partir d’indicateurs simples, alors même que la posture moderne positiviste qui sous-tend cette approche, la distinction des faits et des valeurs, si bien défendue par Kant, est remise en cause par tous les travaux innovants de philosophie et de sciences sociales. Tout se passe comme si l’on tentait d’appliquer au langage des principes dont les sciences de la nature ont compris les limites lorsqu’elles ne sont pas défendues par quelque scientiste positiviste. Le subjectif, les valeurs, l’observateur ne peuvent jamais être évacués de l’objectif, des faits, de l’observé. Cette tentative de purification est une façon de faire de la science qui feint d’ignorer les effets de ses instruments comme de ses catégories. Attribuer une qualité substantielle subjective ou objective a priori à un matériau linguistique, c’est à nouveau tenter de réduire le langage à un étiquetage. Les catégories objectif/subjectif sont des résultats des interactions, des échanges, et demeurent incertains : elles ne sont jamais données. Il est plus intéressant de trouver alors la trace du codage par l’émetteur de son message comme subjectif ou objectif, c’est-à-dire en relation avec une intention communicationnelle, que de supposer que le texte porte ces marques par lui-même. Cela peut se traduire parfois par des méthodes voisines, mais le point de départ est totalement différent et les indices qui seront sélectionnés seront aussi différents. D’une certaine façon, il serait plus judicieux d’emprunter le cadre théorique de la pragmatique austinienne pour admettre que toute énonciation mobilisera des registres qui viseront à coder l’expression pour autrui comme subjective ou objective. Comme le disent les ethnométhodologues, tout énoncé est un compte rendu, c’est-à-dire une forme de documentation fournie aux autres membres pour indiquer « ceci est une expression subjective » ou « ceci est l’affirmation d’un fait, sur le mode objectif ».

  • 12 Voir B. Liu, 2010, « Sentiment Analysis and Subjectivity », Handbook of Natural Language Processing(...)

22Dans d’autres termes, Bing Liu12 admet aussi qu’en matière d’analyse de l’opinion, la distinction entre l’objectif et le subjectif n’est pas forcément pertinente. Ainsi, une phrase contenant de la subjectivité peut ne pas exprimer une opinion ni positive ni négative. Ex. : Je pense qu’elle me l’a dit. Et une phrase objective peut être porteuse d’opinion ou tout au moins d’évaluation, ce qui n’est pas vraiment traité par le sentiment analysis sous ces formes. L’expression peut comporter une opinion implicite ou transmettre une information qui peut produire chez le lecteur des effets négatifs d’appréciation de la cible.

Ex. : Mon téléviseur X est tombé en panne hier.

23De ce fait, toute analyse d’opinion qui partirait de l’hypothèse qu’il faut retenir toute phrase contenant des indices de subjectivité générerait du bruit. Alors qu’au contraire, toute analyse d’opinion, basée sur le même principe de classification a priori entre phrases subjectives et objectives et qui écarterait d’emblée les phrases objectives générerait du silence, car elle éliminerait abusivement toute une partie du discours dit « objectif », qui comporte en fait de la tonalité, directe ou indirecte. On atteint ici une des limites de l’automatisation de sentiment analysis mais précisons-le, pour des raisons théoriques et non techniques.

24Notons aussi que des travaux en classification des émotions dites « universelles » (colère, dégoût, peur, joie, tristesse et surprise) sont aussi conduits de façon à dépasser le côté binaire de l’analyse de sentiment en positif/négatif/neutre. Ces travaux restent pour l’instant à l’état de recherches fondamentales et ne peuvent guère être encore utilisés dans les recherches appliquées qui nous intéressent ici.

Trois approches

Sélection et classification d’un matériau subjectif

25Certains travaux choisissent d’emblée des textes subjectifs. C’est notamment le cas des avis de consommateurs ou des critiques de produits culturels. [ex. les critiques de cinéma étudiées par B. Pang, L. Lee, S. Vaithyanathan, dans « Thumbs up ? Sentiment Classification using Machine Learning Techniques », (op. cit.) et les critiques télévisuelles et vidéoludiques de Sébastien Gillot dans Fouille d’opinions (op. cit.)]. Les sites d’avis de consommateurs sont des cibles favorites pour garantir la présence d’énoncés « subjectifs » : en effet, le public, lecteur et contributeur, s’attend à trouver ces avis personnels sur un produit, un service, et c’est même ce caractère subjectif qui fera sa valeur ajoutée par rapport à toute communication commerciale classique. Le site est de plus délibérément dédié au dépôt de commentaires subjectifs sur le produit/service. La classification devient nettement plus compliquée dans le cas des blogs, où l’avis peut être noyé dans un contenu qui ne traite pas seulement du produit/service qui nous intéresse.

  • 13 Voir A. Go, L. Huang, R. Bhayani, 2009, « Sentiment Analysis of Twitter Data », Entropy, vol. 2009, (...)

26D’autres recherches parient sur un indice particulier de la présence de subjectivité (e.g. la présence d’emoticons :) ou :() au sein d’un corpus et ne sélectionnent que les contenus contenant cet indice. Elles en déduisent qu’elles disposent alors d’un matériau subjectif. On peut ainsi collecter des tweets avec les emoticons :) et :( via l’API de Twitter13.

Approches lexicales

27Les approches lexicales utilisent des dictionnaires de mots subjectifs, considérés comme des références universelles à partir de l’anglais, et pour lesquels la tonalité peut être précodée.

28Ces dictionnaires peuvent être généraux comme le General Inquirer14, Sentiwordnet15, Opinion Finder16, NTU Sentiment Dictionary (NTUSD)17, etc. Ils peuvent également être construits ad hoc en fonction des corpus. Dans ces dictionnaires, une polarité est associée a priori à chacun des mots. Quel que soit le contexte dans lequel il sera inséré, le mot devrait ainsi avoir toujours la même polarité. On donne ensuite au document un score d’opinion en fonction de la présence de mots issus de ces dictionnaires dans le texte.

Encadré 1 : the General Inquirer

Ce dictionnaire base de données est constitué d’un lexique de plus de 13 000 termes répartis en plus de 180 catégories.
Version internet du General Inquirer :
http://www.wjh.harvard.edu/​~inquirer/​
http://www.webuse.umd.edu:9090/​

Des orientations sémantiques des mots sont proposées, les termes sont répartis dans un grand nombre de catégories. Nous retiendrons ici uniquement les catégories utiles pour l’analyse de sentiment :
• 
Positiv: 1915 words of positive outlook (it does not contain words for yes, which has been made a separate category of 20 entries).
• 
Negativ: 2291 words of negative outlook (not including the separate category no in the sense of refusal).
• A subset of 833 words are also tagged
Hostile for words indicating an attitude or concern with hostility or aggressiveness.
• 
Strong : 1902 words implying strength.
• A subset of 689 words are tagged
Power, indicating a concern with power, control or authority.
• Weak : 755 words implying weakness.
• A subset of 284 words are also tagged
Submit, connoting submission to authority or power, dependence on others, vulnerability to others, or withdrawal.
• Active: 2045 words implying an active orientation.
• 
Passive: 911 words indicating a passive orientation.

29Ces dictionnaires sont utilisés pour classifier des textes dont on sait qu’ils parlent de l’entité nommée qui nous intéresse, par exemple pour les critiques de cinéma, le titre d’un film. La méthode consiste à détecter le terme (adjectif ou l’expression qualifiante) qui est en co-occurrence avec l’entité nommée, souvent au sein de la même phrase. Le dictionnaire fournit ainsi la tonalité affectée à l’entité concernée par ces termes qualifiants. De nombreux problèmes, notamment syntaxiques, rendent problématique cette relation entre une entité et ses qualificatifs, c’est pourquoi d’autres traitements doivent être effectués pour obtenir un résultat satisfaisant. Aussi standardisée que puisse paraître cette approche par les dictionnaires, c’est elle qui est le plus souvent utilisée dans les services qui sont mis sur le marché et, en première approximation, elle donne des résultats intéressants, selon le niveau d’exigence que l’on se fixe.

30En dehors du General Inquirer, deux autres dictionnaires sont couramment utilisés :

  • WordNet Affect : ressource linguistique pour la représentation lexicale de connaissances sur les affects pour l’anglais (1 903 concepts liés à un état mental ou émotionnel)19 ;

    • 20 Sur ce sujet, on peut lire aussi : A. Esuli, F. Sebastiani, 2006, « SentiWordNet : a Publicly Avail (...)

    SentiWordNet : ressource dédiée aux systèmes de classification de textes d’opinions20.

31WordNet Affect et SentiWordNet ne contiennent essentiellement que des mots simples. Or les passages évaluatifs peuvent parfois être exprimés au moyen d’expressions comportant plusieurs mots, voire sous des formes plus détournées encore. L’approche par les dictionnaires a donc des limites évidentes, mais elle a surtout l’avantage de permettre des calculs rapides sur de grands corpus.

32Ces dictionnaires ont été constitués de différentes façons :

  • à la main ;

  • à partir de corpus ;

  • à partir de dictionnaires existants.

  • 21 Y. Y. Mathieu, 2005, « Annotations of Emotions and Feelings in Texts », Affective Computing and Int (...)

33Comme exemple de lexique manuellement constitué, on peut ainsi trouver : Y.Y. Mathieu, « Annotations of Emotions and Feelings in Texts »21. Il s’agit d’une ontologie présentant 38 classes dont 22 négatives, 14 positives et 2 sans polarité (étonnement et indifférence).

  • 22 M. Vernier, L. Monceaux, 2010, « Enrichissement d’un lexique de termes subjectifs à partir de tests (...)

34Pour une description des ressources lexicales existantes sur le langage évaluatif, on peut lire Vernier & Monceaux22.

Limites de l’analyse de sentiment à partir des lexiques

  • les dictionnaires affectent une tonalité positive ou négative à un mot, sans tenir compte du contexte, c’est-à-dire du texte environnant, comme des paramètres de la communication située ;

  • les dictionnaires ont tendance à éliminer les mots à valence ambiguë a priori ;

  • le traitement des expressions ambiguës reste à faire et demande de faire appel à d’autres principes et à d’autres techniques ;

  • lorsque la négation n’est pas prise en compte (ce qui peut paraître étonnant mais qui existe encore, par exemple dans les méthodes basées sur les « sacs de mots », qui calculent des fréquences d’occurrence dans un texte), le score de polarité peut être complètement faussé ;

  • ces dictionnaires ne permettent pas de traiter des figures de rhétorique qui peuvent changer entièrement la valence des expressions (le sarcasme, l’ironie : « encore une belle réussite de notre superprésident ! »).

Enrichissement automatique des ressources lexicales

35Une partie des défauts de ces approches lexicales peut être corrigée par un enrichissement automatisé. Ainsi, Vernier & Monceaux dans Enrichissement d’un lexique de termes subjectifs à partir de tests sémantiques, tentent d’enrichir automatiquement un lexique de termes subjectifs en utilisant une méthode d’apprentissage à partir de 5 000 billets de blogs et commentaires. Nous verrons dans la partie suivante ce qu’impliquent ces approches par apprentissage.

  • 23 « Most previous research on sentiment-based classification has been at least partially knowledge-ba (...)

36Les techniques mobilisant un moteur sémantique, comme celle que propose Lingway, ont un intérêt décisif pour cet enrichissement puisqu’un grand nombre d’équivalents peut être ainsi trouvé et des expressions entières peuvent être prises en compte, dans la mesure où l’on est capable, grâce aux algorithmes d’analyse sémantique, de reconstituer leur sens malgré des périphrases, des négations, voire des métaphores, etc. Malgré ces avancées, de nombreuses figures de rhétorique se prêtent difficilement à cette analyse (telles que l’ironie évoquée plus haut)23.

Approches par apprentissage

37Les techniques d’apprentissage sont souvent mobilisées pour la catégorisation de textes ou l’« information extraction » (IE). On ne s’intéressera qu’aux techniques d’apprentissage dédiées à l’analyse de sentiment.

38Quelle est la procédure ? La machine est entraînée à détecter des expressions subjectives en la faisant travailler sur un premier corpus test. Elle est aussi entraînée à détecter des modèles ou des motifs dans le corpus. Elle doit être capable de détecter ensuite ces modèles dans le corpus lui-même, voire d’en détecter de nouveaux, proches de ceux qu’elle connaît déjà.

39Pang et Lee dans « Opinion Mining and Sentiment Analysis » recensent les features utilisées en apprentissage :

    • 24 Cf. J. M. Wiebe et al., 2004, « Learning subjective language », Computational Linguistics, vol. 30, (...)

    Term presence vs Frequency : selon eux, la seule présence (0/1) de certains termes est plus efficace que la fréquence pour la classification de polarité (qui se distingue sur ce plan de classification visant à détecter les thèmes d’un texte – topic-based text classification). De la même manière, détecter la présence d’un hapax peut être un très bon indicateur de subjectivité24.

  • Term-based Features Beyond Term Unigrams : dans ce cas, la place d’un mot dans le texte peut révéler plus précisément l’opinion ou la subjectivité alors que l’analyse des unigrams ne pourrait y parvenir.

  • Part of Speech. Les analyses par apprentissage comme les autres méthodes d’analyse de sentiment ont un goût prononcé pour les adjectifs comme le montrent Hatzivassiloglou et al., in Predicting the Semantic Orientation of Adjectives.

  • <#ITALIQUES#></#ITALIQUES#>Syntaxe.

  • <#GRAS#>Négation.

  • Topic-oriented features</#GRAS#>.

40Chez Yu & Hatzivassiloglou, la détection de subjectivité est obtenue par les techniques de la classification. Ils utilisent un classifieur « naïf Bayes » sur un corpus composé d’articles du Wall Street Journal dans l’objectif de séparer les faits (articles d’actualités) et les opinions (articles de réponses de la rédaction aux lettres des lecteurs).

Encadré 2 : la thèse de Grzegorz Dziczkowski
  • 25 G. Dziczkowski, 2008, Analyse des sentiments : système autonome d’exploration des opinions exprimée (...)

La thèse de Grzegorz Dziczkowski « Analyse des sentiments : système autonome d’exploration des opinions exprimées dans les critiques cinématographiques »25 est particulièrement éclairante sur les méthodes existantes et tente, sans véritable succès, d’apporter une nouvelle contribution par l’utilisation d’un analyseur linguistique.

La thèse a centré son étude sur un matériau linguistique spécifique, les critiques cinématographiques, dont on a vu tous les avantages et qui constitue une des premières pistes de travail pour toute la recherche en sentiment analysis. Le sujet de thèse avait d’ailleurs été proposé par Criteo qui développe un moteur de prédiction pour les critiques ciné avec comme cœur de métier le reciblage de publics pour les annonceurs.

Ce matériau permet de mettre en rapport un texte et une notation globale. Le système peut alors comparer le traitement statistique effectué sur le texte et la notation apportée par l’auteur lui-même. La tonalité générale d’une critique de cinéma peut être dégagée sans dépendance à la variation de tonalité des phrases dans chaque partie de la critique : la méthode finit ainsi par comparer les performances des classifications sur des critiques entières.

À noter que les avancées réalisées dans ce domaine restent cependant limitées à ce domaine et l’auteur l’annonce dès le départ : tout est à refaire à la main pour tout nouveau domaine.

L’entrée privilégiée par l’auteur est celle de la catégorisation de texte (TC Text Categorization). Les catégories de base sont « phrases objectives » et « phrases subjectives » comme nous l’avons déjà remarqué dans toutes ces approches, ce qui n’est pas sans problème puisque reposant sur des modèles implicites de la qualification dans le discours où seule la subjectivation permettrait une qualification. Or, comme on peut le voir dans un modèle prenant en compte le pluralisme des qualifications des êtres, des situations, des objets et des textes, comme celui de Boltanski et Thévenot, un texte apparemment objectif pourra constituer un puissant dispositif rhétorique de classement par la seule mention de certains objets, de certains attributs, apparemment tout à fait objectifs. Ainsi, l’expression « Le chef d’entreprise à l’allure sportive d’acteur d’Hollywood » fait émerger des jugements qui sont très aisément perçus par le public qui s’attend à une évaluation des compétences techniques d’un être dont on comprend, sans aucune notation linguistiquement subjective qu’il est en fait avant tout grand dans le domaine des apparences et de l’opinion, pour reprendre les concepts de Boltanski et Thévenot. Ces questions ne sont pas traitées dans tout ce domaine et pas plus dans cette thèse, malgré les travaux mobilisés pour réaliser du WSD (Word Sense Desambiguation), qui ne portent pas sur ces questions. La nécessité d’une « stop list » est rappelée, qui élimine tous les mots qui ne participent pas au sens du document, ce qui n’est pas anodin si l’on tient compte de notre remarque précédente car tout terme peut potentiellement contribuer au sens général ou modaliser l’énoncé de telle façon qu’il en modifie le sens.

Les unités de base traitées sont les lemmes, les groupes de mots, ou les n-grams (chaîne de caractères).

L’indexation sémantique est réalisée via une analyse en LSI (Latent Semantic Indexing), qui mobilise les contextes d’apparition pour attribuer des significations aux termes. Cette approche est basée sur des algorithmes de J.-P. Benzécri, est purement mathématique et indépendante des langues qu’elle traite, ce qui constitue un grand avantage mais en même temps sa limite.

Wikipédia : les « termes » sont généralement des mots tronqués ou ramenés à leur radical, issus de l’ensemble du corpus. On a donc le nombre d’apparitions d’un mot dans chaque document, et pour tous les mots. Ce nombre est normalisé en utilisant la pondération tf-idf (de l’anglais : term frequencyinverse document frequency), combinaison de deux techniques : un coefficient de la matrice est d’autant plus grand qu’il apparaît beaucoup dans un document, et qu’il est rare – pour les mettre en avant. La LSA transforme la matrice des occurrences en une « relation » entre les termes et des « concepts », et une relation entre ces concepts et les documents. On peut donc relier des documents entre eux.

Les techniques de classification étudiées dans cette thèse sont :
• 
naïf Bayes : modèle probabiliste (dit naïf car il suppose des relations termes/document statistiquement indépendantes, ce qui ne se vérifie pas dans la pratique) ;
• méthode des arbres de décision ;
• méthodes des réseaux de neurones qui permet l’apprentissage par rétro propagation de l’erreur, ce qui permet de modifier les opérations suivantes, et donc d’apprendre (le perceptron de Dagan a ainsi une bonne efficacité).

Deux indicateurs de performance classiques sont rappelés et doivent servir de référence en permanence :

La pertinence mesure le ratio entre le nombre de documents pertinents trouvés et le nombre total de documents trouvés (car on cherche à trouver uniquement des documents pertinents et non du bruit), ce qui donne un degré de solidité du classificateur.

Le rappel mesure le ratio entre le nombre de documents pertinents trouvés et le nombre de documents pertinents trouvés présents dans la base (car on cherche à trouver tous les documents pertinents et non du silence), ce qui donne un degré d’exhaustivité.

Toute analyse cherche donc à limiter le bruit et à éviter le silence. Or des tests de robustesse doivent être réalisés pour faire ce calcul et démontrer la qualité du travail du classificateur. Note : cette exigence est rarement évoquée dans les offres commerciales, alors qu’il s’agit d’une condition de fiabilité de la réponse.

L’analyse des sentiments

L’auteur insiste sur la dépendance de domaine pour toutes ces analyses car les changements de vocabulaire peuvent être complets entre domaines.

La détection des phrases subjectives suppose une mesure de la polarité (semantic orientation, SO), ce qui revient à classer les phrases comme positives ou négatives.

Deux méthodes basées sur l’association (SO-A) peuvent être utilisées :
• SO-PMI (Point wise Mutual information, calcul d’éloignement) ;
• et SO-LSA (Latent Semantic Analysis).

Dans tous les cas ces méthodes supposent une forme de bootstrapping permettant l’apprentissage par itérations et validation humaine car aucune classification de l’orientation sémantique ne peut atteindre des résultats suffisants directement. Mais l’auteur ne rentre pas dans les discussions plus théoriques sur la propriété subjectif/objectif et en reste donc à l’analyse classique substantielle sur ce point, sans tenir compte des contextes d’énonciation (ce qui lui est relativement possible puisqu’il s’est concentré sur un type d’expression très particulière et valuée explicitement, la critique de cinéma).

L’auteur souligne à quel point l’importance des adjectifs est surestimée dans toutes ces méthodes (ce que font aussi les méthodes à base de dictionnaires) alors qu’elle est en fait invalidée de son point de vue.

L’auteur présente l’apport de l’analyse linguistique qu’il a mis en œuvre mais qui est en fait peu utilisée en opinion mining. La procédure est la suivante :
• Il faut transformer le texte en une représentation conceptuelle intermédiaire.
• Représentation qui dans tous les cas devra être refondée pour chaque domaine.
• Il a utilisé Unitex de Maurice Gross (du laboratoire LADL, intégré depuis au laboratoire Gaspard Monge à Marne-la-Vallée) : dans cette approche, l’unité minimale de sens est la phrase et non le mot.
• Les dictionnaires sont constitués par l’équipe.
Elle débouche sur la production de grammaires locales qui demande un très long travail manuel.

Trois classificateurs sont utilisés et comparés pour la notation de l’opinion :
• Linguistique : c’est cette méthode qui fonctionne le mieux (avec utilisation du General Inquirer Dictionary qui comporte 1 915 mots positifs et 2 291 mots négatifs). L’auteur mentionne le problème de choix du niveau de généralité de la grammaire locale, pour savoir le bon point d’application dans un corpus qui peut devenir vaste et hétérogène : sa solution est un test progressif qui passe du local au plus général.
• Statistique (naïf Bayes) : l’auteur indique que cette approche est sans grand intérêt (notamment pour distinguer phrases subjectives de phrases objectives).
• De comportement de groupes (qui passe par une typologie de critiques qui sont ensuite décrites à partir d’indices dans le corpus de façon à classer automatiquement les nouvelles critiques en fonction de l’apparition de ces indices). L’auteur considère que les résultats sont assez bons mais notre examen des résultats montre cependant que les catégories préconstruites des groupes finissent par rendre le résultat peu intéressant et peu surprenant.

La note finale pour caractériser l’opinion est un composite des trois notes (avec une méthode de « perceptron multicouche » utilisée dans l’approche par réseaux de neurones dite par rétropropagation de l’erreur).

  • 26 J. Wiebe, R. F. Bruce, T. P. O’Hara, op. cit.
  • 27 B. Pang, L. Lee, op. cit.
  • 28 Y. Mao, G. Lebanon, 2006, « Isotonic Conditional Random Fields and Local Sentiment Flow », NIPS 200 (...)
  • 29 « A Markov random field, Markov network or undirected graphical model is a set of variables having (...)

41Wiebe et al.26 utilisent seulement un classifieur naïf Bayes pour déterminer si une phrase est objective ou négative. Pang et Lee27 (in « Thumbs up ? Sentiment Classification using Machine Learning Techniques ») en revanche ont testé les techniques d’apprentissage que sont Naive Bayes, Maximum Entropy et Support Vector Machine sur le domaine des critiques de cinéma, comme dans la thèse de Dziczkowski (voir encadré). Sur le même domaine encore, la méthode des « Isotonic Conditional random Fields » est testée par Mao et Lebanon28, à partir d’un corpus de critiques de cinéma par le même auteur. Leurs résultats fondés sur l’analyse du flux de sentiment traité comme une séquence en utilisant les propriétés des Markov random field29 paraissent améliorer les performances par rapport aux autres méthodes. Certains mots très chargés positivement ou négativement affectent le sentiment exprimé localement et peuvent ainsi faciliter la prédiction du jugement global.

État de l’art : qualifier l’opinion

42Nous avons vu que le sentiment analysis employait souvent une procédure de classification des textes ou des phrases en subjectif/objectif. Détecter la subjectivité est une chose mais cela ne permet pas encore de savoir ce que l’on qualifie, c’est-à-dire ce qui est supposé subjectif. Les méthodes sur ce plan nécessitent une clarification conceptuelle préalable. 

Que qualifier ?

43Il est d’autant plus important de définir ce qu’est l’objet du sentiment analysis qu’un grand nombre d’acteurs dans le domaine du social monitoring brouillent les pistes en y intégrant indistinctement l’analyse et le suivi du buzz, le personal branding, etc., pour des visées directement opérationnelles, qui réduisent considérablement la cible de l’analyse de tonalité.

44Le domaine du sentiment analysis (qui nous intéresse ici) cherche à identifier et à analyser du contenu subjectif, où s’expriment des opinions/sentiments/jugements sur une cible (entité nommée qui peut être une marque, une personne, une organisation, un objet, etc.). On peut opérer l’analyse de sentiment à deux niveaux : au niveau du document dans son intégralité ou au niveau de la phrase. Aujourd’hui, les machines sont capables de détecter une entité nommée et son environnement proche (sacs de mots, n-grams). Elles sont capables de trouver les relations entre ces mots à partir de modèles syntaxiques et grammaticaux. Mais il est nécessaire de préciser ce qui doit être pris en considération dans l’analyse, de quoi est composée sémantiquement une opinion. C’est ce que fait Liu avec sa proposition de quintuple qui fait désormais référence.

Qu’est-ce qu’une opinion ? ou le « quintuple » de Liu

  • 30 B. Liu, op. cit.

45Bing Liu, de l’University of Illinois at Chicago, a développé tout un vocabulaire décrivant les composantes d’une opinion et donne la définition du quintuple dans son papier Sentiment Analysis and Subjectivity30.

« Direct opinion : A direct opinion is a quintuple (oj, fjk, ooijkl, hi, tl), where oj is an object, fjk is a feature of the object oj, ooijkl is the orientation or polarity of the opinion on feature fjk of object oj, hi is the opinion holder and tl is the time when the opinion is expressed by hi. The opinion orientation ooijkl can be positive, negative or neutral (or measured based on a more granular scale to express different strengths of opinions [103]). For feature fjk that opinion holder hi comments on, he/she chooses a word or phrase from the corresponding synonym set Wjk, or a word or phrase from the corresponding feature indicator set Ijk to describe the feature, and then expresses a positive, negative or neutral opinion on the feature. »

46Cette formule, certes purement descriptive, est néanmoins utile pour fixer le cahier des charges d’une application qui veut réaliser de l’opinion mining et du sentiment analysis. Car l’absence d’un de ces éléments rend l’analyse particulièrement superficielle. En revanche, l’analyse de sentiment peut très bien s’intéresser avant tout à un des éléments du quintuple qui constituera son angle d’attaque. Ainsi, la datation précise de l’opinion recueillie peut constituer le support majeur de l’analyse : malgré tous les défauts des analyses effectuées, leur répétition dans le temps permet de détecter des émergences, des disparitions, des évolutions qui peuvent devenir intéressantes, toutes choses étant égales par ailleurs. La capacité à utiliser les références de l’auteur de l’opinion est souvent plus difficile lorsque l’on fait du traitement de masse des données d’opinion sur le web, mais le site, le blog, etc., sont des premières approches, et doivent par exemple constituer un élément de pondération des opinions recueillies dans le corpus global. L’analyse sur les features, sur les éléments qui composent l’objet, est déjà massivement mise en œuvre sur l’analyse de produits, et constitue la véritable utilité opérationnelle de l’analyse de tonalité pour ceux qui réalisent du social media monitoring pour le suivi de produits car il s’agit de retours clients précis. C’est pourquoi Liu insiste sur cette analyse des features qui suppose dès lors de descendre à un niveau d’analyse plus fin que le document ou la phrase.

47Classer les opinions, que ce soit au niveau du document ou au niveau de la phrase, ne donne pas d’informations suffisantes sur la cible du sentiment exprimé. Les opinions, à ces niveaux, restent trop générales, y compris pour des critiques de films. Une opinion positive sur un objet peut être une opinion positive sur un aspect de l’objet, mais pas sur l’objet dans son ensemble.

48C’est ce que propose le « Feature-based sentiment analysis » : on détermine d’abord la cible de l’opinion dans la phrase, puis on détermine si l’opinion est positive, neutre ou négative. La cible peut être déclinée en attributs (pour un appareil photo, on trouvera par exemple, son prix, la taille de l’écran, la qualité de l’objectif, etc.). On trouve souvent ce cas dans les avis de consommateurs mais cela suppose donc une phase d’analyse supplémentaire qui ne soit plus simplement : détection de phrases subjectives puis évaluation de la tonalité en général.

  • 31 L. Bing, op. cit.

49Liu donne l’exemple d’un avis donné sur un iPhone31. L’avis exprime différentes opinions (négatives ou positives) sur l’iPhone dans son ensemble ou sur des parties de l’iPhone. Le locuteur doit être identifié à chaque fois (parfois c’est la personne qui parle, parfois ce sont des paroles rapportées de la mère de la personne qui parle). Le sentiment analysis doit être capable d’atteindre ce niveau de détail.

50Pour Liu, les « objects » (i.e. les cibles de l’opinion) peuvent être un produit, une personne, un événement, etc. Cet « object » peut avoir des « components » (parts) ou des « attributes » (properties). Chaque sous-partie peut elle-même avoir des sous-parties, etc. Mais Liu explique que pour simplifier, il préfère parler de « features » pour parler à la fois des « components » et des « attributes ». Il distingue alors « general opinion » pour parler de l’objet en général, et « specific opinion » pour parler des features.

51L’analyse de sentiment situé au niveau des features donne plus d’informations exploitables sur la nature de l’opinion. À quoi bon savoir que les consommateurs sont 20 % à ne pas apprécier un produit si l’on est incapable de savoir ce qu’ils n’aiment pas précisément ? Ce type d’analyse de sentiment, à un niveau fin, est plus compliqué à obtenir et suppose une bonne expertise du domaine précis car ce n’est plus seulement les termes associés au sentiment qui doivent être pris en compte mais les composants d’un produit, d’un objet, ce qui oblige à entrer dans les ontologies descriptives des entités en question.

L’automatique suffit-il ?

52Bien que certains prestataires prétendent avoir automatisé tout le processus de sentiment analysis, de la collecte des URLs sources à la présentation des résultats, le recours à l’automatisation pose encore plusieurs problèmes.

53Le discours commercial insistant sur l’automatisation du processus a tout d’abord décrédibilisé une partie des acteurs du marché, jetant du coup le discrédit sur toute la filière. Les solutions commerciales proposées ne se révélant pas à la hauteur de leurs ambitions, beaucoup d’acteurs fustigent désormais le principe même d’une automatisation trop poussée (voire de l’automatisation tout court) en matière de sentiment analysis.

54Certains acteurs, comme la société Ubervu, reconnaissent d’ailleurs les limites de la démarche, tentant ainsi de désamorcer les critiques :

« Sentiment refers to whether the opinion expressed in a certain mention or reaction is positive or negative. This metric is computed purely by machines so it’s not perfect32. »

55On retrouve ici une des controverses récurrentes sur le sentiment analysis. La machine ne remplace pas l’homme en matière d’interprétation de la langue. Pour autant, l’automatisation doit-elle être totalement abandonnée ? Ne faut-il pas plutôt trouver le juste équilibre entre usage de la machine et expertise humaine et bien déterminer là où l’une est meilleure que l’autre ?

Les difficultés rencontrées par l’analyse automatique de sentiment

56L’analyse automatique de sentiment doit aujourd’hui se confronter à plusieurs problèmes :

  • problèmes de pertinence : l’analyseur n’attribue pas le sentiment à la bonne cible (quand le texte critique différents aspects d’un même produit) ou attribue deux opinions à un même locuteur alors que deux locuteurs s’expriment ;

  • problèmes de précision : la marge d’erreur est souvent trop élevée et souvent peu explicitée, ce qui indique alors qu’il n’existe même pas de tests de robustesse ou que l’on ne fournit pas l’information ;

    • 33 On peut trouver à la fois des avancées sur ces points et un constat des difficultés chez J. M. Wieb (...)

    problèmes sémantiques : de nombreuses figures rhétoriques ne sont pas repérables de façon fiable : humour, sarcasme, métaphore. Cela supposerait un travail sur le contexte de communication dans sa totalité ce qui est hors de portée des machines actuellement, à supposer que l’on ait produit les algorithmes de détection33 ;

  • problèmes syntaxiques ou terminologiques : négation ;

  • problèmes terminologiques et d’écriture : l’ambiguïté de certains mots positifs ou négatifs selon les contextes ne peut pas toujours être levée, le vocabulaire évaluatif n’est pas le même d’une langue à l’autre, l’écriture web 2.0 entraîne des traitements de chaînes de caractères inédits ;

  • problème de catégorisation : trop d’opinions sont classées neutres par défaut, ou présentent deux opinions opposées dans une même phrase et sont classées au hasard (ou en fonction de la fréquence) dans l’une ou l’autre catégorie ;

    • 34 Voir M. Vernier et al,. 2009, « Catégorisation des évaluations dans un corpus de blogs multi-domain (...)

    problème de scalabilité et de transposabilité : l’extension d’un dictionnaire d’un domaine à un autre n’est en rien évidente, ce qui entraîne un travail de reprise et d’enrichissement à chaque nouveau domaine34.

  • 35 F. Belbachir, 2010, Expérimentation de fonctions pour la détection d’opinions dans les blogs, mémoi (...)

57D’autres exemples de difficultés sont cités dans Belbachir, Expérimentation de fonctions pour la détection d’opinions dans les blogs35.

58Une même expression peut avoir une polarité différente en fonction du contexte. Pang & Lee donnent l’exemple suivant dans « Opinion Mining and Sentiment Analysis » : « Go read the book » est positif en tant que critique littéraire mais négatif en tant que critique cinématographique.

59Une assertion objective « long battery life » peut être considérée comme positive, mais il ne s’agit pas de l’opinion que l’auteur exprime expressément au sujet de la batterie (j’aime, je n’aime pas, etc.), et elle peut donc être éliminée par des opérations de classification subjectif/objectif trop simplistes (Pang & Lee). Là encore, l’intérêt du sémantique peut être de relier cette assertion objective à une ontologie qui déterminerait que, dans le cadre de l’évaluation d’un appareil numérique, et dans le cadre plus précis de l’évaluation d’une de ses features, i.e. la batterie, dire qu’elle dure longtemps peut être considéré comme une opinion positive au sujet du produit.

60Le risque général de ces opérations de classification provient de la dépendance créée vis-à-vis des capacités de la machine qui fixent a priori le cahier des charges en dehors de principes de classement qui seraient nécessaires ou pertinents. Inversement, une marge d’erreur existe toujours avec les humains qui ne sont pas précis à 100 % et ne classent pas forcément des matériaux identiques dans les mêmes classes. C’est pour cela que des jurys d’experts sont nécessaires pour s’assurer que la classification n’est pas biaisée par un expert atypique.

61L’expertise humaine est plus souvent utilisée pour vérifier, corriger, affiner les résultats de la machine, qui travaille elle-même à partir d’entrées et d’algorithmes qui auront été validés par des experts.

62L’une des phases souvent sous-estimée consiste à analyser les résultats de ces analyses de tonalité (et non seulement à les exposer). Déterminer la tonalité n’est pas suffisant en soi et l’on se méprendrait gravement à considérer que cette photographie, toujours très dépendante de l’appareil photo et de ses réglages, peut parler d’elle-même, comme on prétend parfois que les chiffres parlent d’eux-mêmes, ce qu’ils ne font jamais directement mais seulement après un long travail de mise en scène et de verrouillage des interprétations. Le travail technique de la société de prestation peut ne pas comporter cette expertise du domaine qui lui permettrait de produire les interprétations pertinentes. Mieux même, on peut considérer que les outils doivent offrir aux clients non experts la possibilité d’explorer les données et de tester les diverses interprétations qu’ils pourraient en faire.

Méthode : quels résultats obtient-on ?

Quels résultats attendus ?

63Avec l’annonce de l’arrivée du sentiment analysis sur le marché, les attentes des clients potentiels de ce type de service ont été énormes. Certains prestataires vantaient la qualité de leurs solutions, capables, selon leurs dires, de traiter des opinions en masse, en provenance de tout type de contenu en ligne, pour en extraire des jugements pertinents sur des requêtes précises (marque, nom de produit, etc.).

64Pourtant, depuis plusieurs mois, l’attente envers les systèmes entièrement automatisés est retombée, notamment en raison des nombreuses critiques qu’ils ont reçues de la part des premiers clients ayant testé ces solutions.

Quels résultats obtient-on ?

65Manque de précision, mauvaise interprétation d’une opinion, résultats parfois hors contexte, sentiment général sur un produit sans que la raison de ce jugement soit explicitée ou rapportée à une dimension particulière du produit… La liste des griefs contre l’analyse automatique de sentiment continue de s’allonger et les critiques sont d’autant plus sévères que les attentes étaient fortes.

66D’autres voix se font cependant entendre, prônant notamment un usage raisonné de ces solutions. De leur côté, plusieurs prestataires reconnaissent un taux de précision de leurs solutions d’environ 80 %, revenant ainsi sur l’efficacité sans faille supposée de leurs outils sans pour autant que les procédures de test de robustesse puissent elles-mêmes être testées. De l’autre, les commentateurs et spécialistes du marché mettent en avant la nécessité de réfléchir aux raisons que peut avoir une entreprise de recourir au sentiment analysis. A-t-on vraiment besoin d’écouter tout le web et tout le temps ? Que cherche-t-on vraiment à savoir ? Se donne-t-on les moyens d’interpréter les résultats ou bien se fie-t-on seulement aux graphiques de résultats sans prendre le temps de les analyser et de les mettre en perspective avec la question de départ ?

67Quelques-unes des conclusions du Sentiment Symposium 2011 rapportées sur son blog par un participant, Tom H. C. Anderson, sont de ce point de vue très révélatrices et constituent autant de recommandations pour les utilisateurs moins avertis des systèmes d’analyse de sentiment :

• « Simple Polarity Lexicons can be very effective for Sentiment.
• Handling negation/reversals via rule based algorithms seems to be a popular and fairly simple approach.
• Terminology such as tokens etc. are becoming more standard.
• 10-20 rules typically suffice per domain.
• Rules are very much domain specific !
• No technique is perfect.
• Support Vector Machines seem to work better than Naive Bayes, Maximum Entropy and Logistic Regression Models.
• PMI & TDFI techniques [“TF-IDF” (term frequency-inverse document frequency)] seem to be promising approaches.
• Depending on project, DP while boring can add value (Unix Spell Checker).
• Semantic approaches are limited.
• Don’t let pretty visualizations fool you into trusting algorithms behind them36. »

Meilleure précision avec les humains ?

68La controverse selon laquelle les ordinateurs ne pourront jamais aussi bien comprendre le langage que les humains, et ne fourniront donc jamais d’aussi bons résultats en matière de classification des sentiments que les analystes humains, sous-entend une évidence supposée partagée. Celle que tout humain confronté à l’expression d’un sentiment l’interprétera de la même manière qu’un autre humain. Pourtant, plusieurs études semblent remettre en cause cette évidence supposée.

  • 37 T. Wilson, J. Wiebe, P. Hoffman, 2005, « Recognizing Contextual Polarity in Phrase-Level Sentiment (...)

69Dans deux articles37, les auteurs constatent que des annotateurs humains n’attribuent pas toujours la même polarité. Leur précision n’est pas de 100 %. Ils remarquent aussi que plus la polarité des mots est forte, plus les annotateurs seront d’accord entre eux et leur attribueront la même polarité.

« The best study I’ve seen of accuracy was done at the University of Pittsburgh in 2005. While they found only 82 % human agreement in annotating for sentiment, results jumped to over 90 % when they removed uncertain cases (when they subtracted cases where people said they weren’t sure)38. »

70C’est pourquoi les demandeurs de solutions d’analyse de sentiment doivent clairement choisir entre deux priorités : soit obtenir un résultat grossier très rapidement, pour un usage quasi immédiat en vue de social media monitoring, soit rechercher une plus grande fiabilité de la réponse en analyse de la tonalité qui sera nécessairement plus longue. Cette deuxième stratégie suppose par exemple de coupler la construction de dictionnaires spécifiques au domaine par des humains et des machines à l’analyse de tonalité. Or, cette étape est toujours indispensable et l’utilisation des lexiques déjà classifiés en positif et négatif ne peut suffire pour une étude approfondie et surtout durable d’un même secteur ou d’un sourcing stable. Dès lors que la demande vise à renouveler très régulièrement le suivi d’un certain nombre de sources dans un domaine donné, cela signifie qu’un investissement durable sera nécessaire. Autant alors miser sur des méthodes robustes qui demanderont sans doute un temps de travail supplémentaire pour les experts du domaine qui devront valider les propositions des machines, mais au moins, ce travail, une fois effectué, pourra être considéré comme fiable, pour ce domaine particulier.

71Cette approche conduit nécessairement à une coopération itérative entre les experts du domaine (et souvent commanditaires) et les spécialistes du traitement linguistique de corpus pour l’analyse de sentiment.

Analyse de la tonalité chez Lithium Technologies/ex-Scoutlabs

72La société Lithium a récemment racheté le service Scoutlabs et passe en revue, sur son blog39, les différentes fonctionnalités de son nouvel outil de social media monitoring. Parmi elles, un moteur de recherche sur des « millions » de sources du web social, un service d’identification des influenceurs, un outil de buzz tracking (volumétrie), une analyse des mots fréquents (pour la détection des tendances et « hot topics »), mais aussi un outil d’analyse automatique du sentiment.

Présentation des features « Sentiment and Quotes » chez Lithium

Présentation des features « Sentiment and Quotes » chez Lithium

Source : http://vimeo.com/​30571753

73Lithium anticipe d’emblée les critiques vis-à-vis de l’analyse automatique de sentiment40 en expliquant la manière avec laquelle le service prend en compte la marge d’erreur imputable à la machine et en la comparant avec le taux d’erreur humaine. La société annonce qu’après de nombreux tests, elle estime que la pertinence de ses résultats avoisine les 70 à 80 %. Ce pourcentage signifie que leurs algorithmes sont dans 70 à 80 % des cas d’accord avec les résultats d’une analyse menée par des humains. D’autres critiques sont également d’emblée désamorcées. Lithium reconnaît les difficultés rencontrées par la machine pour analyser l’ironie ou le sarcasme : « Posts that are heavy on the irony often end up classed as neutral” because the machine can’t even guess. Consider “Another winner from the almighty Microsoft.” That’s a tough one. » Enfin, Lithium reconnaît que la machine ne peut pas comprendre le contexte commercial d’une marque et qu’elle peut donc classer en positif des opinions qu’une marque pourrait juger négatives :

« Perhaps you work for Apple and every mention of an unlocked iPhone is negative because people shouldn’t unlock their iPhones. An algorithm that uses grammar and vocabulary based rules cannot classify this post as negative about iPhone : “I love my iphone. My boyfriend unlocked it for me last night.” ».

  • 41 Ibid.

74Comment fonctionne l’analyse de sentiment chez Lithium ? Et est-elle fiable ? C’est ce point que vient éclaircir une des employés de Lithium sur la plateforme communautaire de la société41. Voici comment est présentée leur démarche :

« Our sentiment is “entity specific”. What some products do when they produce “machine generated sentiment” is that they count happy words vs. sad words in a news article. The “tone” of the article is shown by the happy word count. Consider “I love baseball. My happiest memories in life are from sitting in the bleachers at Fenway. It’s the greatest game on earth. But guys like Bonds and A-Rod are bringing it down.” Despite the high “happy” word count, this does not express a positive opinion about Barry Bonds or Alex Rodriguez.
In the Lithium Social Media Monitoring application, we don’t count happy words. We evaluate sentiment for each particular word or phrase you search for. We can tell that the sentiment for baseball is positive but negative for Bonds and Rodriguez. This is done via part of speech tagging : parsing the underlying semantic structure of a sentence and determining which emotion words apply to the key word. Emotion words come from dictionaries of standard English words and have been augmented with phrases and slang to better map to the world of social media. So Scout Labs’sentiment is entity-specific, which is very important. »

75Lithium propose donc explicitement d’évaluer le sentiment au niveau de la phrase, mais aussi au niveau du mot lui-même.

76Les fonctionnalités rattachées à l’analyse de sentiment chez Lithium sont : un classement des opinions les plus négatives et les plus positives, la possibilité de corriger la polarité appliquée par la machine, le paramétrage d’alertes pour recevoir dans sa boîte mail les buzz, les récents tweets, etc. et la possibilité de comparer l’opinion au sujet de plusieurs marques ou produits.

77Depuis novembre 2010, le service de social media monitoring de Lithium gère les pages Facebook42. Au milieu de plusieurs fonctionnalités, on en trouve une dédiée au sentiment analysis sur Facebook. La fonctionnalité est décrite en ces termes : « Get sentiment and quotes for posts and comments for Facebook posts and comments on the chosen Facebook page, like so ».

Sentiment analysis pour Facebook sur le service Lithium

Sentiment analysis pour Facebook sur le service Lithium

Source : http://lithosphere.lithium.com

Volumétrie sur le service Lithium

Volumétrie sur le service Lithium

Source : http://vimeo.com/​30463630

Analyse de sentiment et recherche de verbatims sur les blogs et réseaux sociaux, sur le service Lithium

Analyse de sentiment et recherche de verbatims sur les blogs et réseaux sociaux, sur le service Lithium

Source : http://vimeo.com/​30463630

Recherche de verbatims sur les forums dans les news, etc., sur le service Lithium

Recherche de verbatims sur les forums dans les news, etc., sur le service Lithium

Source : http://vimeo.com/​30571798

Analyse de la tonalité sur Twitter

78Avec un nombre moyen de 200 millions de messages envoyés par jour43, Twitter est un des lieux privilégiés pour recueillir des opinions spontanées sur des sujets très variés. Le format des messages qui, on l’a dit, ne permet pas d’écrire au-delà de 140 caractères semble être un atout dans le cadre de l’analyse de sentiment dans la mesure où l’on pourrait formuler l’hypothèse qu’un message court ne renferme a priori pas plus d’une seule idée, ce qui facilite l’identification de la cible d’une opinion. Inconvénient en revanche, certains tweets peuvent apparaître aux non initiés comme des messages codés tant l’usage des hashtags, abréviations en tout genre, argot, anglicismes, et autres émoticons y est répandu. Ce type de langage, représentatif de l’« écriture web 2.0 » peut donc au contraire en complexifier l’analyse de contenu. Ajoutons que le caractère très social de ce service, qui implique que les utilisateurs se répondent, se citent et republient les messages des uns et des autres, rend le suivi des conversations en cours plus délicat, tant du point de vue de l’intrication des conversations (quel tweet répond à tel autre ?) que de l’identification de l’antériorité d’un message par rapport à un autre. Enfin, il est d’usage courant d’inclure dans son tweet un lien vers une page web ou une image stockée sur le web (souvent sous la forme d’une URL raccourcie), ce qui suppose plusieurs niveaux de traitement du contenu du message (celui du tweet et l’objet en ligne auquel il renvoie). Et s’il existe nombre de services proposant d’analyser la tonalité des messages partagés sur Twitter, peu d’entre eux prennent en considération et se confrontent à ces différents facteurs pourtant nécessaires pour avoir une juste compréhension de ce qui s’y raconte.

Recherche académique

79Certains laboratoires académiques se sont emparés de la question de l’analyse de la tonalité sur Twitter.

    • 44 A. Go, R. Bhayani, L. Huang, op. cit.

    Utilisation des tweets avec emoticons pour apprentissage exposée dans le rapport de A. Go, R. Bhayani, L. Huang, intitulé Twitter Sentiment Classification using Distant Supervision44, créateurs de Twitter Sentiment.

L’interface dépouillée de Twitter Sentiment

L’interface dépouillée de Twitter Sentiment

Source : http://twittersentiment.appspot.com/​ (page consultée le 07/01/2012)

Résultats pour la requête « iPhone 4s »

Résultats pour la requête « iPhone 4s »

Source : http://twittersentiment.appspot.com/​ (requête effectuée le 9 janvier 2012).

Résultats détaillés pour la requête « iPhone 4s »

Résultats détaillés pour la requête « iPhone 4s »

Source : http://twittersentiment.appspot.com/​ (requête effectuée le 9 janvier 2012).

80Twitter Sentiment est un outil en ligne gratuit qui a été créé par trois étudiants en computer science de Stanford (Alec Go, Richa Bhayani et Lei Huang). Il s’agit donc d’un projet académique. Cet outil, contrairement à la plupart des autres, n’utilise pas de listes de mots positifs ou négatifs mais est fondé sur une approche par apprentissage.

81Une timeline est disponible et affiche les courbes de sentiments positifs et négatifs.

82Un système de retour de pertinence manuel est associé à chacun des résultats et permet d’améliorer le service au fur et à mesure en utilisant l’expertise humaine agrégée des utilisateurs.

    • 45 A. Pak, P. Paroubek, 2010, « Twitter as a Corpus for Sentiment Analysis and Opinion Mining », Proce (...)

    Utiliser un corpus Twitter pour créer un système de classification du sentiment pour micro-blogging : Pak & Paroubek, « Twitter as a Corpus for Sentiment Analysis and Opinion Mining »45.

<#ITALIQUES#></#ITALIQUES#>Outils du marché

83Il existe de très nombreux services en ligne qui proposent des outils pour analyser les données générées via le service de micro-blogging Twitter. On a vu que certaines plateformes de social media monitoring ou de veille proposent une analyse de la tonalité des messages publiés sur Twitter, mais nous allons nous concentrer sur les services qui se sont focalisés sur cette analyse de la tonalité sur Twitter.

84De manière générale, sur ces services en ligne, le classement des opinions est très basique en positif ou négatif (sans tenir compte de l’engagement du locuteur, de l’intensité, etc.), le lexique utilisé pour repérer la polarité est très limité (une liste de mots positifs et une liste de mots négatifs). L’identification de la cible de l’opinion peut de plus être réalisée de manière très sommaire (simple prise en compte de la co-occurrence de certains termes). Enfin la négation est rarement prise en compte, l’ironie n’est pas repérée par la machine et l’écriture web 2.0 est difficilement prise en compte (alors qu’un simple # peut inverser une polarité), etc. Cependant, ces services proposent parfois des versions payantes offrant un service plus poussé.

Tweetfeel

85Le service Tweetfeel46 est un outil en ligne d’analyse du sentiment sur Twitter proposant une version gratuite et une version payante.

Moteur de recherche du service Tweetfeel

Moteur de recherche du service Tweetfeel

Source : http://www.tweetfeel.com/​ (page consultée le 07/01/2012)

86D’emblée, la baseline du service « Real-Time Twitter search with feelings using insanely complex sentiment analysis » et l’avertissement présents sur la page d’accueil du service

laissent entendre aux utilisateurs que le service est loin d’être parfait et qu’il n’est pas question que son fonctionnement leur soit expliqué ; ce qui jette pour le moins le doute sur la qualité des résultats.

87La version gratuite ne propose qu’un affichage « temps réel » des tweets évalués comme positifs ou négatifs.

Résultats détaillés pour la requête « lady gaga »

Résultats détaillés pour la requête « lady gaga »

Source : http://www.tweetfeel.com/​ (requête effectuée le 09 janvier 2012).

88La version payante propose plus de fonctionnalités : sentiment analysis avec chronologie, retour de pertinence (l’utilisateur peut rectifier la catégorisation), un outil de comparaison, possibilité de classer les résultats par thèmes, et un export des données.

Visualisation des thèmes identifiés dans les tweets concernant l’iPad (Story Feature)

Visualisation des thèmes identifiés dans les tweets concernant l’iPad (Story Feature)

Source : http://www.readwriteweb.com/​archives/​how_to_hate_the_ipad_a_break-down_of_the_backlash.php

89Cependant, le corpus analysé par Tweetfeel est restreint :

« What is tweetfeel ?
Tweetfeel monitors positive and negative feelings in twitter conversations about stuff like movies, musicians, TV shows and popular brands. We display these feelings in a clear and simple way for you47. »

90Même si la version payante semble plus élaborée :

91Le service semble plutôt s’adresser à des utilisateurs communs qu’à des entreprises soucieuses de l’image de leurs produits, quel que soit le secteur auquel elles appartiennent.

Twendz

92Autre service dédié à Twitter, Twendz se définit comme un service de « Twitter-mining » capable d’identifier des thèmes de conversations et d’en analyser le sentiment.

Home page de Twendz

Home page de Twendz

Source : http://twendz.waggeneredstrom.com/​ (page consultée le 07/01/2012)

93Le passage à la version payante de Twendz permet notamment d’obtenir des informations sur les utilisateurs les plus influents, un suivi dans le temps et de répondre directement aux tweets (d’après l’impératif marketing selon lequel les marques doivent engager la conversation avec leurs consommateurs).

94La méthode de Twendz Pro est la suivante :

« The WE twendz pro service uses a keyword-based approach to determine general emotion. Meaningful words in each tweet are compared against a dictionary of thousands of words that are associated with positive or negative emotion; each word receives a score that, when combined with the other scored words, allows the WE twendz pro service to make an educated guess at the overall emotion of a tweet. After the WE twendz pro service scores a handful of tweets matching certain criteria, it extracts key terms, assigns an emotion rating to each of those, and assembles them in a word cloud48. »

95Twendz propose donc une analyse au niveau du document, i.e. du tweet tout entier et n’a donc qu’une précision relative.

twitrratr

96Autre service, twitrratr49 est lui aussi un outil en ligne gratuit, créé lors d’un Startup Weekend, qui fonctionne à partir d’une liste de mots positifs50 et d’une liste de mots négatifs51, accessibles depuis la page d’accueil.

Le moteur de recherche de twitrratr

Le moteur de recherche de twitrratr

Source : http://twitrratr.com/​

97L’outil classera une opinion sur le mot clé choisi s’il est capable de le croiser avec un adjectif d’une des deux listes. Les mots positifs et négatifs qui servent à classer les tweets sont surlignés dans l’interface.

Home page de twittratr

Home page de twittratr

Source : http://twitrratr.com/​ (page consultée le 07/01/2012)

98L’équipe de twitrratr souhaiterait travailler avec un outil d’analyse sémantique car elle est consciente que son outil est très rudimentaire52.

Tweet Sentiments

99Dernier exemple, Tweet Sentiments53 dit mesurer l’humeur générale sur Twitter et va jusqu’à proposer une carte de l’humeur.

Fonctionnalité « Analyze » de Tweet Sentiments

Fonctionnalité « Analyze » de Tweet Sentiments

Source : http://tweetsentiments.com/​analyze

Fonctionnalité « Maps » de Tweet Sentiments

Fonctionnalité « Maps » de Tweet Sentiments

Source : http://tweetsentiments.com/​

100La méthode de Tweetsentiment repose sur des approches Natural Language Processing et sur l’apprentissage machine avec les SVM :

« The sentiment and profile results are calculated using and LIBSVM/LIBLINEAR (Support Vector Machines) machine learning tools and OpenAmplify’s Natural Language Processing (NLP) application. The profile is estimated based on the recent tweet content and writing style, the Education level could be interpreted as person with that level of education is capable of writing the tweets, and does not necessarily reflect reality. We continuously improve to our algorithms and the results will get better over time as we process more and more data54. »

Méthodologie de Tweet Sentiments

Méthodologie de Tweet Sentiments

Source : http://tweetsentiments.com/​about

Les méthodes de validation

État de l’art

  • 55 Commentaire du 14 avril 2011 de dominiq, en réponse au billet de blog de Tom H. C. Anderson sur le (...)

101D’un point de vue académique, les travaux se concentrent sur la tension entre précision et rappel, qui joue à tous les niveaux de la chaîne de traitement, puisque obtenir trop de bruit ou trop de silence peut provenir aussi bien du sourcing que de la constitution du corpus ou encore des classificateurs objectifs/subjectifs et des algorithmes de calcul de tonalité. Cet arbitrage doit être en permanence contrôlé. Les tests devraient à terme s’uniformiser de façon à permettre une évaluation comparative des différentes solutions, à condition que toutes les phases soient prises en compte et non seulement la phase d’analyse de la tonalité proprement dite. Il n’est pas bon pour la recherche et l’innovation mais pas plus pour le marché et la confiance des commanditaires que les systèmes restent des boîtes noires. Ainsi un commentateur du billet de blog de Tom H. C. Anderson sur le Sentiment Symposium 201155 déplore que

« Most social monitoring solutions are noisy. Either because they bring back noise or because they don’t contextualize the data (mixing apple and oranges, tweets and long posts, from people as diverse as a kid in Malaysia, a professor in NY and a blogger in London) ».

102Les méthodes de validation des algorithmes d’analyse de tonalité se résument le plus souvent au F1 Score mais peuvent être utilement complétées par la mise en place d’un retour de pertinence en collaboration avec les experts du domaine.

Le F Score

103Le F score ou F1 score est un test statistique qui permet de mesurer la performance et la précision d’une recherche d’information (RI). Un système de RI est très précis si presque tous les documents renvoyés sont pertinents (bruit faible). Un système de RI a un bon rappel s’il renvoie la plupart des documents pertinents du corpus pour une question (silence faible). En général, ces deux mesures sont antagonistes et un système de RI doit effectuer un compromis entre les deux. La mesure traditionnelle du F score est une moyenne harmonique de la précision et du rappel.

104Le calcul de la précision et du rappel se fait selon les formules suivantes :

105Ce qui suppose d’avoir préalablement classé à la main tous les documents et d’avoir obtenu un accord des experts pour les classer dans telle ou telle classe (pour DEFT 2007 : bon/mauvais, pour le corpus de critiques et d’articles scientifiques ; et pour et contre pour le corpus de projets de lois). Une telle évaluation se fait pour un algorithme donné sur un corpus donné mais doit être considérée par la suite comme acceptable pour une extension à tous les autres corpus d’un domaine similaire, sous peine d’être une tâche répétitive et inutile.

106Les chercheurs n’ont pas pour autant validé dans l’absolu les algorithmes qu’ils ont testé lors de ces défis par exemple. La transposition aux offres de marché n’est pas si simple qu’il y paraît et encore moins lorsqu’il s’agit de décrire ces algorithmes eux-mêmes ou d’annoncer qu’un prestataire utilise effectivement tel ou tel d’entre eux. La confidentialité sert encore de stratégie commerciale fréquemment.

107Une étape devra être franchie rapidement si ces offres commerciales veulent vraiment stabiliser leur marché et surtout la confiance des clients dans leur expertise. Une instance de normalisation et de certification de qualité devra nécessairement se mettre en place pour éviter certaines offres scandaleusement trompeuses que nous avons pu rencontrer dans nos approches. Ce fut le cas par exemple dans toutes les méthodes de tests utilisateurs auxquelles nous avons participé : des recommandations ISO, à défaut de normes, ont été produites qui ont fini par service de guidelines, et d’initiation pour tous les clients, lorsqu’ils ne maîtrisaient pas le domaine. Cet ouvrage présent se veut d’ailleurs une contribution à la formalisation collective de ces savoir-faire de façon à faire monter en qualité l’offre de sentiment analysis dans son ensemble.

Encadré 3 : le Défi Fouille de Textes

Le Défi Fouille de Textes (DEFT) (campagne d’évaluation présentée au chapitre 1) utilise ces tests, dont le F score, pour valider les méthodes des différents laboratoires sur des corpus identiques chaque année, avec des objectifs différents :
2005 : identification du locuteur d’un discours.
2006 : segmentation thématique de textes.
2007 : détection de l’opinion exprimée dans un texte, quatre corpus, deux à trois classes (positif, neutre, négatif) par corpus.
2008 : classification automatique de textes en genre et en thème.
2009 : analyse multilingue d’opinion.
2010 : étude de la variation diachronique et diatopique du français : identification de la période et du lieu de publication d’articles de presse.
2011 : variation diachronique en corpus de presse et appariement d'articles scientifiques et de résumés.

Le DEFT 2007 fut celui qui traitait le plus directement la question du sentiment analysis mais toutes les autres questions des autres années sont soulevées dans la plupart des traitements de documents en vue d’une analyse de sentiment mais dans des phases amont par rapport à la tonalité ou pour des objectifs d’interprétation spécifiques.

Les méthodes de retours de pertinence

108En dehors des méthodes de tests statistiques pour valider les algorithmes utilisés, c’est avant tout le retour de pertinence qui permet d’intégrer, dans le cycle même de l’analyse, la contribution et les révisions des principaux intéressés ou experts. Plusieurs méthodes sont possibles pour faire valider les premiers résultats d’une analyse de tonalité par les experts et pour réinjecter ces avis dans les systèmes eux-mêmes lorsqu’ils sont conçus comme apprenants.

109Voici quelques offres sur le marché mettant en avant cette méthode de retour de pertinence.

Retour de pertinence chez Scoutlabs / Lithium

« Lithium SMM sentiment can be changed by users. We use confidence intervals to decide whether something is positive or negative, but if we get it wrong (more on that below), you can change the score, immediately updating that item for yourself and the rest of your team. Charts and graphs update immediately as well. And the really cool part is that every time a user changes a sentiment value, that item becomes a labeled piece of data that we can use to abstract out additional rules and add words and phrases for our dictionary. So our ability to detect sentiment just gets better over time56. »

  • 57 Ibid.

« As a starting point for your own sentiment analysis. Any user can change the sentiment rating for any post. If you work for Apple and you want all those unlocked iPhone posts marked “negative”, you can do that. Just click on the sentiment icon and make the change. These changes will carry through to all graph data, so you can create accurate data sets to view in the application or export data for. We use your rating changes as machine learning inputs, but your specific ratings are proprietary and confidential to your workspace57. »

110Cette offre est originale car elle permet dans certains cas, de mutualiser les retours de pertinence pour tout le corpus, et pour la machine elle-même, dans d’autres cas, le retour de pertinence est adapté à un paramétrage personnel qui restera propre à l’activité de recherche sélectionnée, qui restera confidentielle. La nécessité d’avancer vers des outils d’exploration et non seulement de présentation de résultats est ici prise en compte.

Retour de pertinence chez Twitter Sentiment

111En bas à droite de chaque page de présentation des résultats sur Twitter Sentiment58 est situé l’outil de retour de pertinence suivant :

Le bouton suivant, situé en bas au milieu de chaque page de résultats ouvre une boîte de dialogue59 pour soumettre une remarque aux concepteurs du service Twitter Sentiment.

Notes

1 K. Dave, S. Lawrence, D. M Pennock, 2003, « Mining the Peanut Gallery : Opinion Extraction and Semantic Classification of Product Reviews », Proceedings of WWW, p. 519-528, [en ligne] [URL : http://ws.csie.ncku.edu.tw/login/upload/2006/paper/Opinion%20Extraction%20and%20Semantic%20Classification%20of%20Product%20Reviews.pdf]. Première référence explicite au terme « Opinion Mining ».

2 http://videolectures.net/icwsm08_wiebe_ssa/

3 R. Quirk et al., 1985, A Comprehensive Grammar of the English Language, Pearson Longman.

4 B. Liu, 2010, « Sentiment analysis and subjectivity », Handbook of Natural Language Processing (2édition), N. Indurkhya et F. J. Damerau éd., Boca Raton, Chapman & Hall/CRC Press, [en ligne] [URL : http://www.cs.uic.edu/~liub/FBS/NLP-handbook-sentiment-analysis.pdf].

5 B. Pang, L. Lee, op. cit., p. 28.

6 « One area of research concentrates on classifying documents according to their source or source style, with statistically-detected stylistic variation (Biber, 1988) serving as an important cue. Examples include author, publisher (e.g., the New York Times vs The Daily News), native-language background, and brow », (e.g., high-brow vs. popular, or low-brow). Mosteller and Wallace, 1984 ; Argamon-Engelson et al., 1998 ; Tomokiyo and Jones, 2001 ; Kessler et al., 1997).

7 « Another, more related area of research is that of determining the genre of texts ; subjective genres, such as editorial », are often one of the possible categories (Karlgren and Cutting, 1994 ; Kessler et al., 1997 ; Finn et al., 2002). Other work explicitly attempts to find features indicating that subjective language is being used (Hatzivassiloglou and Wiebe, 2000 ; Wiebe et al., 2001). But, while techniques for genre categorization and subjectivity detection can help us recognize documents that express an opinion, they do not address our specific classification task of determining what that opinion actually is. » (B. Pang, L. Lee, S. Vaithyanathan, 2002, « Thumbs up ? Sentiment classification using machine learning techniques », Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), p. 79-86, [en ligne] [URL : http://www.cs.cornell.edu/home/llee/papers/sentiment.pdf]. DOI : 10.3115/1118693.1118704.

J.M. Wiebe, T. Wilson, M. Bell, 2001, « Identifying collocations for recognizing opinions », Proc. of the ACL/EACL Workshop on Collocation.

8 V. Hatzivassiloglou, J. M. Wiebe, 2000, « Effects of Adjective Orientation and Gradability on Sentence Subjectivity », Proceedings of the 18th International Conference on Computational Linguistics, vol. 1, no 11-12, p. 299-305, [en ligne] [URL : http://dl.acm.org/citation.cfm?doid=990820.990864]. DOI : 10.3115/990820.990864.

9 J.M. Wiebe, T. Wilson, M. Bell, op.cit.

10 J.M. Wiebe et al., 1999, « Development and Use of a Gold-Standard Data Set for Subjectivity Classifications », Proceedings of the Association for Computational Linguistics (ACL), vol. 37, p. 246-253, [en ligne] [URL : http://acl.ldc.upenn.edu/P/P99/P99-1032.pdf].

11 H. Yu, V. Hatzivassiloglou, 2003, « Towards Answering Opinion Questions : Separating Facts from Opinions and Identifying the Polarity of Opinion Sentences », Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP).

12 Voir B. Liu, 2010, « Sentiment Analysis and Subjectivity », Handbook of Natural Language Processing (2e éd.), N. Indurkhya et F. J. Damerau éd., Boca Raton, Chapman & Hall/CRC Press, [en ligne] [URL : http://www.cs.uic.edu/~liub/FBS/NLP-handbook-sentiment-analysis.pdf].

13 Voir A. Go, L. Huang, R. Bhayani, 2009, « Sentiment Analysis of Twitter Data », Entropy, vol. 2009, p. 30-38, [en ligne] [URL : http://nlp.stanford.edu/courses/cs224n/2009/fp/3.pdf].

14 http://www.wjh.harvard.edu/~inquirer/

15 http://sentiwordnet.isti.cnr.it/

16 http://www.cs.pitt.edu/mpqa/opinionfinder.html

17 L.-W. Ku and H.-H. Chen, 2007, « Mining Opinions from the Web : beyond Relevance Retrieval », Journal of American Society for Information Science and Technology, « Special Issue on Mining Web Resources for Enhancing Information Retrieval », vol. 58, no 12, p. 1838-1850, [en ligne] [URL : http://onlinelibrary.wiley.com/doi/10.1002/asi.20630/full]. DOI : 10.1002/asi.20630.

18 http://www.wjh.harvard.edu/~inquirer/j1_1/manual/

19 http://wndomains.fbk.eu/wnaffect.html. Voir aussi C. Strapparava, A. Valitutti, 2004, « WordNet-Affect : an Affective Extension of WordNet », Proceedings of LREC, vol. 4, p. 1083-1086, [en ligne] [URL : http://wndomains.fbk.eu/publications/lrec2004.pdf].

20 Sur ce sujet, on peut lire aussi : A. Esuli, F. Sebastiani, 2006, « SentiWordNet : a Publicly Available Lexical Resource for Opinion Mining », Proceedings of the 5th Conference on Language Resources and Evaluation LREC’06, [en ligne] [URL : http://gandalf.aksis.uib.no/lrec2006/pdf/384_pdf.pdf].

21 Y. Y. Mathieu, 2005, « Annotations of Emotions and Feelings in Texts », Affective Computing and Intelligent Interaction : First International Conference, Acii 2005, Beijing, China, October 22-24, 2005, Proceedings, Berlin, SpringerVerlag, p. 350-357, [en ligne] [URL : http://www.aui.computing.edu.au/acii/docs/104.pdf].

22 M. Vernier, L. Monceaux, 2010, « Enrichissement d’un lexique de termes subjectifs à partir de tests sémantiques », Revue internationale Traitement Automatique des Langues (TAL), vol. 51, no 1, p. 125-149, [en ligne] [URL : http://hal.archives-ouvertes.fr/hal-00472165/].

23 « Most previous research on sentiment-based classification has been at least partially knowledge-based. Some of this work focuses on classifying the semantic orientation of individual words or phrases, using linguistic heuristics or a pre-selected set of seed words (Hatzivassiloglou and McKeown, 1997 ; Turney and Littman, 2002). Past work on sentiment-based categorization of entire documents has often involved either the use of models inspired by cognitive linguistics (Hearst, 1992 ; Sack, 1994) or the manual or semi-manual construction of discriminant-word lexicons (Huettner and Subasic, 2000 ; Das and Chen, 2001 ; Tong, 2001). Interestingly, our baseline experiments show that humans may not always have the best intuition for choosing discriminating words. » in B. Pang, L. Lee, S. Vaithyanathan, op. cit.

24 Cf. J. M. Wiebe et al., 2004, « Learning subjective language », Computational Linguistics, vol. 30, no 3, p. 277-308, [en ligne] [URL : http://acl.ldc.upenn.edu/J/J04/J04-3002.pdf]. DOI : 10.1162/0891201041850885.

25 G. Dziczkowski, 2008, Analyse des sentiments : système autonome d’exploration des opinions exprimées dans les critiques cinématographiques, thèse en Automatique, Robotique, et Informatique Temps Réel, École Nationale Supérieure des Mines de Paris, [en ligne] [URL : http://www.cri.ensmp.fr/classement/doc/A-399.pdf].

26 J. Wiebe, R. F. Bruce, T. P. O’Hara, op. cit.

27 B. Pang, L. Lee, op. cit.

28 Y. Mao, G. Lebanon, 2006, « Isotonic Conditional Random Fields and Local Sentiment Flow », NIPS 2006, p. 961-968, [en ligne] [URL : http://books.nips.cc/papers/files/nips19/NIPS2006_0384.pdf].

29 « A Markov random field, Markov network or undirected graphical model is a set of variables having a Markov property described by an undirected graph. À Markov random field is similar to a Bayesian network in its representation of dependencies. It can represent certain dependencies that a Bayesian network cannot (such as cyclic dependencies) ; on the other hand, it can’t represent certain dependencies that a Bayesian network can (such as induced dependencies). », http://en.wikipedia.org/wiki/Markov_random_field

30 B. Liu, op. cit.

31 L. Bing, op. cit.

32 http://www.ubervu.com/help/analytics/

33 On peut trouver à la fois des avancées sur ces points et un constat des difficultés chez J. M. Wiebe, T. Wilson, C. Cardie, 2006, « Annotating Expressions of Opinions and Emotions in Language », Language Resources and Evaluation, vol. 39, no 2-3, p. 165-210, [en ligne] [URL : http://www.cs.pitt.edu/~wiebe/pubs/papers/lre05withappendix.pdf]. DOI : 10.1007/s10579-005-7880-9.

34 Voir M. Vernier et al,. 2009, « Catégorisation des évaluations dans un corpus de blogs multi-domaine », Revue des nouvelles technologies de l’information, p. 45-70, [en ligne] [URL : http://hal.inria.fr/hal-00405407].

35 F. Belbachir, 2010, Expérimentation de fonctions pour la détection d’opinions dans les blogs, mémoire de Master 2 Recherche d’Information et Base de données, Université de Toulouse, [en ligne] [URL : ftp://ftp.irit.fr/IRIT/SIG/2010_M2R_B.pdf].

36 T. H. C. Anderson, Next Gen Market Research, http://www.tomhcanderson.com/2011/04/13/2011-sentiment-symposium-summary/

37 T. Wilson, J. Wiebe, P. Hoffman, 2005, « Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis », Proceedings of Human Language Technologies Conference/Conference on Empirical Methods in Natural Language Processing (HLT/EMNLP 2005), [en ligne] [URL : http://www.cs.pitt.edu/~wiebe/pubs/papers/emnlp05polarity.pdf]. DOI : 10.3115/1220575.1220619.et J. M. Wiebe, T. Wilson, C Cardie, op. cit.

38 Synthesio, The Truth About Sentiment & Natural Language Processing, http://www.slideshare.net/Synthesio/the-truth-about-sentiment-natural-language-processing

39 http://www.lithium.com/what-we-offer/social-customer-suite/social-media-monitoring

40 http://lithosphere.lithium.com/t5/Social-Media-Monitoring/How-does-sentiment-work-And-how-accurate-is-it-anyway/ba-p/17832

41 Ibid.

42 http://lithosphere.lithium.com/t5/Social-Media-Monitoring/Release-Notes-11-11-2010-Facebook-Post-Comment-and-Like-Coverage/ba-p/14206

43 http://blog.twitter.com/2011/06/200-million-tweets-per-day.html

44 A. Go, R. Bhayani, L. Huang, op. cit.

45 A. Pak, P. Paroubek, 2010, « Twitter as a Corpus for Sentiment Analysis and Opinion Mining », Proceedings of the Seventh conference on International Language Resources and Evaluation LREC’10, Valletta, Malta : European Language Resources Association ELRA, [en ligne] [URL : http://www.lrec-conf.org/proceedings/lrec2010/pdf/385_Paper.pdf].

46 http://www.tweetfeel.com/

47 http://www.tweetfeel.com/faq.php

48 https://twendzpro.waggeneredstrom.com/about.aspx

49 http://twitrratr.com/

50 https://docs.google.com/Doc ?id =df5m8zwp_92gvtfm3d9

51 https://docs.google.com/Doc ?id =df5m8zwp_93gd2mhkd7

52 http://twitrratr.com/about/

53 http://tweetsentiments.com/

54 http://www.pcdistrict.com/tweet-sentiments-prod151448.html

55 Commentaire du 14 avril 2011 de dominiq, en réponse au billet de blog de Tom H. C. Anderson sur le Sentiment Symposium 2011. http://www.tomhcanderson.com/2011/04/13/2011-sentiment-symposium-summary/

56 http://lithosphere.lithium.com/t5/Social-Media-Monitoring/How-does-sentiment-work-And-how-accurate-is-it-anyway/ba-p/17832

57 Ibid.

58 http://twittersentiment.appspot.com/ (ces boutons n’apparaissent que sur les pages de résultats à une requête).

59 https://spreadsheets.google.com/viewform ?hl =en&formkey =cFhHSWdHZU1hYWxtQzFubzVtOHRxU3c6MA..

List of illustrations

Title Fenêtre principale du General Inquirer18
URL http://books.openedition.org/oep/docannexe/image/214/img-1.jpg
File image/jpeg, 72k
Title Le quintuple de Bing Liu
Caption Source : L. Bing : http://www.clarabridge.com/​Portals/​Clarabridge/​BingLiuSentimentAnalysis.pdf
URL http://books.openedition.org/oep/docannexe/image/214/img-2.jpg
File image/jpeg, 104k
Title Présentation des features « Sentiment and Quotes » chez Lithium
Caption Source : http://vimeo.com/​30571753
URL http://books.openedition.org/oep/docannexe/image/214/img-3.jpg
File image/jpeg, 140k
Title Sentiment analysis pour Facebook sur le service Lithium
Caption Source : http://lithosphere.lithium.com
URL http://books.openedition.org/oep/docannexe/image/214/img-4.png
File image/png, 30k
Title Volumétrie sur le service Lithium
Caption Source : http://vimeo.com/​30463630
URL http://books.openedition.org/oep/docannexe/image/214/img-5.jpg
File image/jpeg, 60k
Title Analyse de sentiment et recherche de verbatims sur les blogs et réseaux sociaux, sur le service Lithium
Caption Source : http://vimeo.com/​30463630
URL http://books.openedition.org/oep/docannexe/image/214/img-6.jpg
File image/jpeg, 72k
Title Recherche de verbatims sur les forums dans les news, etc., sur le service Lithium
Caption Source : http://vimeo.com/​30571798
URL http://books.openedition.org/oep/docannexe/image/214/img-7.jpg
File image/jpeg, 56k
Title L’interface dépouillée de Twitter Sentiment
Caption Source : http://twittersentiment.appspot.com/​ (page consultée le 07/01/2012)
URL http://books.openedition.org/oep/docannexe/image/214/img-8.jpg
File image/jpeg, 32k
Title Résultats pour la requête « iPhone 4s »
Caption Source : http://twittersentiment.appspot.com/​ (requête effectuée le 9 janvier 2012).
URL http://books.openedition.org/oep/docannexe/image/214/img-9.png
File image/png, 22k
Title Résultats détaillés pour la requête « iPhone 4s »
Caption Source : http://twittersentiment.appspot.com/​ (requête effectuée le 9 janvier 2012).
URL http://books.openedition.org/oep/docannexe/image/214/img-10.png
File image/png, 202k
Title Moteur de recherche du service Tweetfeel
Caption Source : http://www.tweetfeel.com/​ (page consultée le 07/01/2012)
URL http://books.openedition.org/oep/docannexe/image/214/img-11.jpg
File image/jpeg, 68k
URL http://books.openedition.org/oep/docannexe/image/214/img-12.jpg
File image/jpeg, 28k
Title Résultats détaillés pour la requête « lady gaga »
Caption Source : http://www.tweetfeel.com/​ (requête effectuée le 09 janvier 2012).
URL http://books.openedition.org/oep/docannexe/image/214/img-13.png
File image/png, 335k
Title Visualisation des thèmes identifiés dans les tweets concernant l’iPad (Story Feature)
Caption Source : http://www.readwriteweb.com/​archives/​how_to_hate_the_ipad_a_break-down_of_the_backlash.php
URL http://books.openedition.org/oep/docannexe/image/214/img-14.jpg
File image/jpeg, 20k
Caption Source : http://www.tweetfeel.com/​biz/​faq
URL http://books.openedition.org/oep/docannexe/image/214/img-15.png
File image/png, 95k
Title Home page de Twendz
Caption Source : http://twendz.waggeneredstrom.com/​ (page consultée le 07/01/2012)
URL http://books.openedition.org/oep/docannexe/image/214/img-16.jpg
File image/jpeg, 252k
Title Version « pro » payante de Twendz
Caption Source : http://blogs.waggeneredstrom.com/​panorama/​2010/​10/​
URL http://books.openedition.org/oep/docannexe/image/214/img-17.jpg
File image/jpeg, 164k
Title Le moteur de recherche de twitrratr
Caption Source : http://twitrratr.com/​
URL http://books.openedition.org/oep/docannexe/image/214/img-18.jpg
File image/jpeg, 56k
Title Home page de twittratr
Caption Source : http://twitrratr.com/​ (page consultée le 07/01/2012)
URL http://books.openedition.org/oep/docannexe/image/214/img-19.jpg
File image/jpeg, 252k
Title Fonctionnalité « Analyze » de Tweet Sentiments
Caption Source : http://tweetsentiments.com/​analyze
URL http://books.openedition.org/oep/docannexe/image/214/img-20.jpg
File image/jpeg, 80k
Title Fonctionnalité « Maps » de Tweet Sentiments
Caption Source : http://tweetsentiments.com/​
URL http://books.openedition.org/oep/docannexe/image/214/img-21.jpg
File image/jpeg, 220k
Title Méthodologie de Tweet Sentiments
Caption Source : http://tweetsentiments.com/​about
URL http://books.openedition.org/oep/docannexe/image/214/img-22.jpg
File image/jpeg, 36k
URL http://books.openedition.org/oep/docannexe/image/214/img-23.png
File image/png, 3,0k
URL http://books.openedition.org/oep/docannexe/image/214/img-24.png
File image/png, 3,8k
URL http://books.openedition.org/oep/docannexe/image/214/img-25.png
File image/png, 3,1k
URL http://books.openedition.org/oep/docannexe/image/214/img-26.png
File image/png, 1,4k
URL http://books.openedition.org/oep/docannexe/image/214/img-27.png
File image/png, 16k

CC-BY-NC-ND-4.0

The text only may be used under licence CC BY-NC-ND 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Search OpenEdition Search

You will be redirected to OpenEdition Search