Desktop versionMobile Version

Le Lexique des émotions

 | 
Iva Novakova
, 
Agnès Tutin

5. Applications linguistiques de la combinatoire du lexique des émotions

Sybille : anatomie d’un système automatique d’extraction de termes de sentiment

Sigrid Maurel, Paolo Curtoni und Luca Dini

Zusammenfassung

Nous présentons ici trois méthodes différentes pour effectuer une classification automatique de textes d’opinion. La première méthode est symbolique, la seconde statistique et la dernière, hybride, est une combinaison des deux premières. Nous montrons comment la combinaison des méthodes symbolique et statistique permet de tirer parti des avantages des deux méthodes, à savoir la robustesse de l’apprentissage automatique statistique et la possibilité de configuration manuelle offerte par la méthode symbolique, permettant une utilisation dans des applications réelles. Les textes classés par ces méthodes viennent de sources informationnelles non structurées de type forum sur Internet.

Volltext

1. Introduction

1.1. Motivation

1Cet article s’intéresse à la classification de textes d’opinion en langue française. Dans ce cas précis, la classification a pour objectif l’analyse de sentiments exprimés dans différents types de textes, comme par exemple dans des forums de discussion sur Internet où les internautes échangent des avis et s’entraident. Les textes issus de forums sur Internet constituent des sources d’informations spontanées et récentes, incontournables pour acquérir, au jour le jour, des connaissances sur les consommateurs, pour anticiper leurs besoins et leurs attentes afin de tenter d’améliorer la relation client/fournisseur. En analysant ces textes d’opinion, le fournisseur d’un produit ou d’un service peut mieux réagir aux desiderata de ses clients, et le client peut, de son côté, s’inspirer des sentiments et opinions d’autres clients sur le produit auquel il s’intéresse et profiter ainsi d’une aide à la décision (acquérir ou pas le produit, choisir plutôt le produit A ou le produit B, etc.).

2Comme le montrent de nombreux travaux de socio-et psycholinguistique (voir Sproull et Kiesler, 1991), la communication médiée par ordinateur favorise l’expression des émotions, sentiments et opinions souvent contrôlés ou réprimés dans des cadres de communication plus traditionnelle visant à étudier le point de vue des consommateurs (interviews face à face, enquêtes fermées, enquêtes ouvertes, etc.). De là naît l’intérêt des analystes pour ces sources d’informations.

3Les corpus utilisés pour le développement des systèmes de classification sont composés de textes (ou threads, fils de discussion) provenant de forums sur Internet qui parlent de tourisme, de jeux vidéo et d’imprimantes. Un texte (ou message) dans un forum contient un jugement argumenté de l’auteur du message, positif, négatif ou parfois mitigé, sur un sujet donné. Mais il contient aussi des parties exemptes de sentiments, comme c’est le cas par exemple dans la description du jeu vidéo sur lequel porte la critique. L’objectif de l’analyse est donc d’identifier avec précision les parties pertinentes pour la classification automatique du texte dans son entier.

4Une des difficultés de la classification en « positif et négatif » réside dans la nécessité d’une bonne analyse syntaxique du texte, analyse qui peut se révéler particulièrement difficile dans des cas de coordination entre plusieurs parties d’une phrase, d’anaphore ou de coréférence (la reprise d’un argument présent plus loin dans le document). Une autre difficulté du langage naturel pour l’analyse automatique de sentiments réside dans les contextes intentionnels pour lesquels l’expression d’opinion n’est pas un vrai sentiment. C’est le cas dans une phrase comme :

Je croyais que la France était un beau pays.

5Dini et Mazzini (2002) ont montré le lien qui existe entre les structures syntaxiques et sémantiques d’une phrase et l’expression de l’opinion qu’elle véhicule. Ainsi, l’analyse de la phrase par « paquets de mots » donne des résultats peu satisfaisants alors qu’une analyse syntaxique du texte peut aider à trouver les expressions qui contiennent des opinions. Les deux phrases suivantes contiennent les mêmes « paquets » de mots sans pour autant exprimer les mêmes sentiments. En effet, la première phrase contient un sentiment positif alors que celui de la seconde est négative :

Je l’ai apprécié pas seulement à cause de…
Je l’ai pas apprécié seulement à cause de…

6Dans le cadre de sa participation à la campagne d’évaluation DEFT’07 (voir, ci-dessous, 6. pour plus de détails), CELI France a mis au point trois méthodes pour classer les textes des différents corpus. La première est une méthode symbolique qui inclut un système d’extraction d’information adapté aux corpus. Elle est basée sur des règles d’un analyseur syntaxico-sémantique. Cet analyseur contient un lexique de mots qui véhiculent des sentiments sur lesquels réagissent les règles de la grammaire. La deuxième est une méthode statistique basée sur des techniques d’apprentissage automatique. Enfin, la dernière, Sybille, est une méthode hybride qui combine les techniques des deux précédentes pour aboutir à des résultats très précis.

7L’analyse des textes se fait au niveau de la phrase : les sentiments d’un document sont extraits phrase par phrase, et c’est seulement ensuite qu’une valeur globale est attribuée au message entier. Ceci permet d’extraire une information contextuelle qui est donc très précise.

8Les sections suivantes présentent brièvement l’état de l’art et les corpus utilisés pour s’attarder ensuite sur les trois méthodes développées et en fournir une première évaluation. Nous donnons en annexe des exemples et des extraits de la grammaire utilisée, ainsi qu’un schéma général du processus du traitement.

1.2. État de l’art

9Aujourd’hui, l’analyse de sentiments se concentre sur l’attribution d’une polarité à des expressions subjectives (les mots et les phrases qui expriment des opinions, des émotions, des sentiments, etc.) afin de décider de l’orientation d’un document (voir Turney, 2002 ; Wilson et al., 2004) ou de la polarité positive/négative/neutre d’une opinion dans un document (voir Hatzivassiloglou et McKeown, 1997 ; Yu et Hatzivassiloglou, 2003 ; Kim et Hovy, 2004).

10Des travaux allant au-delà ont mis l’accent sur la force d’une opinion dans une phrase ou expression où chaque proposition dans la phrase peut avoir un fond neutre, faible, moyen ou élevé (voir Wilson et al., 2004). Des catégories grammaticales ont été utilisées pour l’analyse de sentiments dans Bethard et al. (2004) où des syntagmes adjectivaux comme trop riche ont été utilisés afin d’extraire des opinions véhiculant des sentiments. Bethard et al. (ibid.) utilisent une évaluation basée sur la somme des scores des adjectifs et des adverbes classés manuellement, tandis que Chklovski (2006) utilise des méthodes fondées sur un modèle pour représenter des expressions adverbiales de degré telles que parfois, beaucoup, assez ou très fort.

11L’approche que nous avons adoptée pour la classification de textes d’opinion est caractérisée par une utilisation mixte d’une technologie symbolique fondée sur des règles et d’une technologie statistique reposant sur l’apprentissage automatique, approche dans laquelle la méthode symbolique a un poids plus important (voir Dini, 2002 ; Dini et Mazzini, 2002 ; Maurel et al., 2007). La technologie symbolique fait d’abord une analyse du texte phrase par phrase et en extrait ensuite les relations qui véhiculent des sentiments, tandis que la technologie statistique traite les textes en une seule phase et attribue un sentiment global au texte entier à la fin du traitement.

12Il convient de remarquer que, contrairement à d’autres approches actuelles, la technologie de l’analyse de sentiments développée à CELI France (Sybille) ne se limite pas à une analyse lexicale (c’est-à-dire identification et pondération de mots positifs et négatifs), mais s’étend à une analyse syntaxique et sémantique. L’analyse syntaxique est effectuée par le biais d’une analyse robuste de surface telle que celles décrites par Aït-Mokhtar et Chanod (1997), Basili et al. (1999), Aït-Mokhtar et al. (2001), donnant ainsi un résultat très proche de celui produit par des grammaires de dépendance.

2. Les corpus

13Les données de type forums de discussion sur Internet s’articulent comme un flux d’interactions, comme par exemple : demande-réponse, argument - contre argument, commentaire-désaccord, etc. Ce flux est distribué sur une dimension temporelle qui nécessite un traitement chronologique du fil de discussion. Contrairement aux corpus utilisés par Wilson et al. (2004), il n’est pas nécessaire ici d’identifier la personne à qui est associé un sentiment, car dans 95 % des cas, les discours analysés sont des discours à la première personne. Un exemple de flux d’interactions est donné en figure 1.

Avis sur les châteaux de la Loire en France
angie-443* 5, posté le 08-10-2006 à 16 :18 :50 :
J’ai besoin de vos conseil s.v.p. Je vais passer une ou deux journée dans la valée de la loire. Y-a-t-il un château en loire avec un jardin semblable à celui de versailles (en beauté et en superficie) ? J’aime aussi l’aspect extérieurs des châteaux, plus que l’intérieur. Ce qui me plait d’une ville est tout d, abord ses rues piétonnes, animées et pittoresques, ses charmantes places et ses promenades.
[…]
BaLadeur, posté le 13-10-2006 à 11 :23 :43 :
Je partage l’avis d’Aston sur de nombreux points. Villandry est quelconque mais son jardin transformé en potager géant vaut le détour. Chenonceau est certainement le plus photogénique donc le plus connu et il le mérite largement. Si tu recherches la monumentalité comme à Versailles, la magnificence en plus, il faut absoluement voir Chambort. Enfin s’il faut ne visiter qu’une ville ce sera Tours.
[…]
zeus77, posté le 21-10-2006 à 21 :59 :33 :
A Amboise j’aime beaucoup le manoir du Clos-Lucé qui fut la dernière maison de Léonard de Vinci. Le parc est très agréable. Enfin un chateau où l’on pourrait vivre ! Quel changement par rapport aux chateaux royaux. Un chateau que j’aime bien aussi c’est celui Du Moulin à Lassay sur Croisne entre Contres et Romorantin.
[…]

Figure 1 : Exemple d’un flux d’interactions de messages, du domaine du tourisme.

14Les corpus utilisés sont assez différents les uns des autres, que ce soit par la taille des corpus eux-mêmes que par la taille de chaque thread (fil de discussion). Nous avons utilisé les corpus de DEFT’07 auxquels nous avons ajouté des corpus collectés sur Internet. Certains corpus sont structurés, d’autres contiennent beaucoup de messages en style texto, et le nombre de fautes d’orthographe présentes dans les messages varie aussi beaucoup.

  • 1 Pour ce qui concerne nos propres corpus, ils sont encodés en UTF-8 et nous n’avons effectué aucun (...)

15Le comité d’organisation de DEFT’07 a pris le soin de nettoyer ses corpus (voir Grouin et al., 2007). Ainsi, les fins de ligne ont été normalisées, les caractères encodés en ISO-Latin, et les textes ont été annotés manuellement1. Les corpus de DEFT’07 contiennent des critiques de films, de livres et de spectacles, des tests de jeux vidéo, des relectures d’articles scientifiques (de différentes conférences sur l’intelligence artificielle) et des notes de débats parlementaires (sur la loi sur l’énergie).

16Les textes de nos corpus portent sur le tourisme (en France et ailleurs dans le monde), les jeux vidéo (critiques et problèmes) et les imprimantes (conseils d’achat). Ils comprennent d’un côté des aides à la solution de problèmes, mais aussi des avis sur des produits achetés et des lieux visités. Chaque thread contient les messages des auteurs participant aux forums sur un sujet donné.

  • 2 D’après ce que nous avons pu observer, ces messages sont heureusement en minorité dans les corpus (...)

17Les fautes d’orthographe dans les textes des corpus posent parfois des problèmes d’analyse. Heureusement, les règles syntaxiques de la grammaire (voir, ci-dessous, 3. sur la méthode symbolique) sont dans la plupart des cas assez tolérantes pour permettre l’accord entre un nom et un adjectif, ou un nom et un verbe même si le e ou le s manque. Mais malheureusement, il y a aussi des messages tellement mal écrits dans les corpus (par exemple en style texto, c’est-à-dire avec beaucoup d’abréviations) que l’analyse peut échouer2.

3. Méthode symbolique

18Comme nous l’avons dit plus haut, la méthode symbolique se base sur une analyse syntaxique du texte faite par un analyseur fonctionnel et relationnel (voir les travaux sur l’analyse syntaxique et sémantique de : Basili et al., 1999 ; Aït-Mokhtar et al., 2001 ; Dini, 2002 ; Dini et Mazzini, 2002 ; Dini et Segond, 2007). Cet analyseur traite, phrase par phrase, un texte donné en entrée et en extrait, pour chaque phrase, les relations syntaxiques présentes. Il s’agit de relations syntaxiques fonctionnelles de base, telles que le modifieur d’un nom, d’un verbe, le sujet et l’objet d’un verbe, ainsi que de relations plus complexes telles que la coréférence entre deux syntagmes au sein d’une même phrase.

19L’utilisateur a la possibilité d’élaborer une grammaire à sa guise et d’ajouter de nouvelles règles afin d’extraire les relations auxquelles il s’intéresse. Pour ce faire, il peut modifier les règles d’extraction de relations (par exemple ajouter des règles pour de nouvelles relations), augmenter/diminuer les traits sur les mots dans le lexique qui agissent sur les règles, enlever certaines parties du traitement, etc.

20Un algorithme permet de calculer un indice de confiance qui servira à la méthode hybride (voir, ci-dessous, 5.) pour déterminer le résultat final.

  • 3 L’attribution d’un sentiment global au message entier est utilisée dans des contextes spécifiques (...)

21La polarité positive ou négative attribuée au message entier3 dépend du rapport entre la quantité de relations d’opinions positives et négatives. Une majorité de relations d’opinions positives détermine une polarité positive du message, tandis qu’une majorité de relations d’opinions négatives provoque une polarité négative.

22Un schéma général du processus est visualisé par le tableau 2, en annexe.

3.1. Grammaire

23La grammaire utilisée a été initialement développée afin d’extraire les relations de sentiments exprimés dans une phrase dans le cadre d’un projet sur le tourisme en France. Elle a été ensuite modifiée et améliorée en vue de la participation à DEFT’07 (voir, ci-dessous, 6. et Maurel et al., 2007). Dans un deuxième temps, la grammaire a été divisée en deux parties : une première partie de base (la grammaire « générique ») s’appliquant à tous les textes qui contiennent des sentiments, et une deuxième partie pour chaque domaine différent, selon le sujet du corpus : tourisme, jeux vidéo, imprimantes, etc. Les différences se situent essentiellement dans les lexiques appliqués, chaque domaine ayant ses propres mots et expressions.

24Ainsi, les mots se rattachant à la vitesse (lent, rapide, etc.) ont des polarités différentes selon qu’ils qualifient une imprimante ou un voyage. De même, comme le montrent les phrases ci-dessous, l’adjectif effrayant est plutôt perçu comme positif dans une description romanesque alors qu’il est perçu comme négatif dans le domaine des assurances ou du tourisme :

Dans Ghost, les habitants du village sont vraiment effrayants !

C’est effrayant de voir comment la côte est de plus en plus bétonnée.

25En général, une relation de sentiment a deux arguments : le premier est l’expression linguistique qui véhicule le sentiment en question, le deuxième est la cause ou l’objet du sentiment (si la cause est exprimée dans la phrase). Ceci donne pour la phrase :

J’aime beaucoup Grenoble.

26la relation SENTIMENT_POSITIF(aimer,Grenoble). L’attribut POSITIF de la relation, c’est-à-dire la valeur de sa classe, indique qu’il s’agit d’un sentiment positif dont la cause est Grenoble. Dans le cas d’une phrase comme :

Je déteste ! ! ! ! !

27la relation n’aura qu’un seul argument : SENTIMENT_NÉGATIF (détester), dans la mesure où l’objet du sentiment n’est pas exprimé dans la phrase.

3.2. Fonctionnement de la grammaire

28L’objectif de la grammaire est d’extraire le plus d’informations possible dans le thread, en particulier les sentiments positifs et négatifs, les lieux et produits. Pour ceci, les threads sont analysés phrase par phrase. Chaque phrase peut contenir zéro, une ou plusieurs relations de sentiment. Il est tout à fait possible d’avoir des relations de sentiments positifs et négatifs dans une même phrase :

En qualité d’impression, la Epson est meilleure, en texte comme en photo, malheureusement c’est aussi la plus chère.
→ SENTIMENT_POSITIF(meilleur,Epson)
→ SENTIMENT_NÉGATIF(cher,ce)

29Les parties de la grammaire qui varient selon le corpus se distinguent essentiellement par le lexique de mots qui reçoivent les traits positif et négatif correspondant aux valeurs des classes des textes (et par leur liste de termes, voir, ci-desssous, 3.5.). Par exemple, le lexique de la grammaire du tourisme contient les mots joli et beau :

Ce monument est vraiment beau.

30Pourtant, dans un corpus qui porte sur le cinéma, les livres ou les jeux vidéo, ces mêmes mots n’expriment pas des sentiments. Ils ont donc été supprimés du lexique de la grammaire des jeux vidéo parce qu’ils produisent trop de relations erronées :

Cela dépendra moins de vous que de l’imbécillité contagieuse des ennemis qui attendent sagement derrière un petit muret, leur beau visage buriné dépassant allègrement.

31Comme on le voit dans la phrase précédente, dans ce contexte, les mots de type joli ou beau sont utilisés pour décrire une action ou un personnage, mais pas un sentiment. La difficulté réside dans le fait de pouvoir distinguer les parties subjectives des parties objectives d’un texte. La description d’une action peut contenir des phrases avec des sentiments, donc subjectives, qui se réfèrent au déroulement de l’histoire. Cependant ces phrases devront être considérées comme étant objectives pour l’évaluation.

32Des exemples de règles de grammaire se trouvent en annexe.

3.3. Lexique de sentiments

33L’analyse du texte se base sur les mots du lexique qui ont reçu des traits spécifiques marquant le sentiment positif ou négatif. Il s’agit pour la plupart de verbes (aimer, apprécier, détester, etc.) et d’adjectifs (magnifique, superbe, insupportable, etc.), mais aussi de quelques noms communs (plaisir) et d’adverbes (malheureusement). Par exemple, quand une relation de modifieur du nom est extraite (paysage magnifique) et que le modifieur (magnifique) porte le trait sents, la relation de sentiment (→ SENTIMENT_POSITIF(magnifique,paysage)) est extraite ensuite entre le nom et son modifieur. Après cette phase d’analyse, il y a évidemment des règles plus complexes pour extraire les relations des phrases plus compliquées.

34L’attribut de la relation (positif ou négatif) d’un sentiment sera inversé quand une négation est présente dans la phrase, comme par exemple :

J’aime pas du tout les randonnées en montagne !
→ SENTIMENT_NÉGATIF (aimer randonnée)

Ce n’est pas un mauvais restaurant.
→ SENTIMENT_POSITIF (mauvais restaurant)

35Quand cela est possible, les pronoms qui et que se rapportant à une entité présente ailleurs dans la même phrase, seront remplacés par cette même entité :

Grenoble est une ville qui vaut vraiment le détour hiver comme été.
→ SENTIMENT_POSITIF(valoir, ville)

36Certains noms communs ainsi que des verbes de type interrogatif ont reçu un trait (« no-sents ») pour empêcher l’extraction de relations. Dans je cherche un bon hôtel, bon voyage ! ou bonne journée !, il ne s’agit pas de sentiments proprement dit exprimés par l’auteur du texte, mais plutôt de souhaits comme on peut les trouver surtout au début ou à la fin de messages. C’est pour cette raison que nous essayons d’éviter d’extraire ces relations.

37Les noms de lieu et de produit ont également des traits spéciaux pour pouvoir extraire d’autres relations qui seront potentiellement intéressantes dans le futur. Voici un extrait du lexique où les mots reçoivent des traits en plus de ceux qu’ils portent déjà (la valeur 1 ajoute ce trait au mot, la valeur 0 l’enlève). Chaque mot qui peut véhiculer un sentiment reçoit le trait « sents », puis le trait « positif » ou « négatif » selon sa polarité. D’après la taxonomie d’Ogorek (2005) (voir, ci-dessous, 3.4.) sont ajoutées des valeurs de sentiment plus fines comme « à l’aise », « détendu », etc. Les mots qui ne doivent pas entrer en relation de sentiment reçoivent le trait « no-sents ». Les traits « genre » et « plateforme » servent à extraire d’autres relations intéressantes dans le domaine des jeux vidéo :

38Lexique :

agréable = {sents= 1, positif= 1, à l’aise= 1}
sympathique = {sents= 1, positif= 1, détendu= 1}
aimer = {sents= 1, positif= 1, enchanté= 1}
conseiller = {sents= 1, positif= 1, conseil= 1}
plaisir = {sents= 1, positif= 1, enchanté= 1}
décevant = {sents= 1, négatif= 1, triste= 1}
cher = {sents= 1, négatif= 1, cher= 1}
regretter = {sents= 1, négatif= 1, triste= 1}
malheureusement = {sents= 1, négatif= 1, triste= 1}
appétit = {no-sents= 1}
vacances = {no-sents= 1}
chercher = {no-sents= 1}
aventure = {genre= 1}
PC = {plateforme= 1}

39La taille du lexique varie selon le domaine d’application. La grammaire de base des sentiments contient environ 250 mots (noms, verbes, adjectifs, etc.) avec des traits de sentiment (« positif » et « négatif »). À ce lexique de base s’ajoutent environ 150 mots dans le domaine du tourisme, et environ 250 mots dans le domaine des jeux vidéo.

3.4. Annotation manuelle de textes

  • 4 http://protege.stanford.edu/
  • 5 http://bionlp.sourceforge.net/Knowtator/index.shtml

40La configuration de la grammaire générique a été faite sur la base d’un travail d’annotation manuelle (à l’aide du logiciel Protégé 3.24 avec le plug-in Knowtator5) de threads venant du domaine du tourisme. Ce corpus du tourisme contient une centaine de threads annotés (avec comme sujet différentes régions et destinations en France). Chaque thread est composé de messages des utilisateurs du forum ; la longueur varie entre dix et 55 messages par document. Un message peut ne contenir qu’une phrase ou plusieurs paragraphes. L’annotation de ce corpus avec Protégé et Knowtator a été faite dans la lignée des travaux de Riloffet al. (2005, 2006) et Wiebe et Mihalcea (2006).

41L’annotation inclut les informations de cause, d’intensité et de l’émetteur du sentiment. Dans :

J’aime énormément Grenoble.

42aimer véhicule le sentiment, Grenoble est la cause du sentiment et je est l’émetteur du sentiment. L’adverbe énormément exprime l’intensité, le sentiment ici est plus intense que dans la phrase :

J’aime bien Grenoble.

43Cette phase d’annotation sert ensuite aussi à la méthode statistique pour l’élaboration d’un modèle à l’aide de l’entraînement des textes (voir le tableau 2. en annexe). Les phrases annotées comme positives seront séparées des phrases négatives et un modèle statistique est créé ainsi. L’annotation correcte et précise des phrases est donc très importante pour les deux méthodes de traitement.

44L’annotation pour le tourisme ne contient pas seulement les deux valeurs positif et négatif pour classer les sentiments, mais est détaillée beaucoup plus finement (voir, par exemple, les travaux de Mathieu, 2000, 2006). Le schéma d’annotation choisi est même plus fin et on voit donc que la classification des sentiments que l’on propose permet un grand nombre de modalités et va au-delà de la simple opposition positif/négatif.

45En effet, nous avons repris la taxonomie d’Ogorek (2005) qui propose 33 sentiments différents (17 positifs et 16 négatifs) auxquels nous avons ajouté les pseudo-sentiments comme bon-marché, conseil, cher et avertissement, car dans le domaine du tourisme il y a beaucoup de messages concernant les prix des prestations dont les auteurs des messages sont contents (ou pas).

  • 6 Sauf les pseudo-sentiments concernant les prix et conseils introduits par notre équipe comme gratu (...)

46Les sentiments de la taxonomie d’Ogorek sont classés en groupes6 comme amour-désir (amour, envie, tendresse, désir), joie (enchanté, excité, heureux, joyeux), tristesse-détresse (découragé, bouleversé, démoralisé, triste), colère-dégoût-mépris (colère, mépris, désapprobation), etc.

47Le tableau 1 (page suivante) montre un extrait de la taxonomie utilisée lors de l’annotation manuelle des threads du tourisme. Pour chaque occurrence de sentiment, qui peut être un verbe, un adjectif ou même une expression, est indiqué le sentiment correspondant en question, son groupe d’après Ogorek et sa polarité.

Tableau 1: Extrait de la taxonomie utilisee pour l’annotation manuelle.

48La polarité attraction contient les 17 sentiments positifs et la polarité répulsion les 16 sentiments négatifs d’Ogorek (2005). Ils sont groupés en cinq groupes respectifs auxquels s’ajoutent les pseudo-sentiments bon-marché, conseil, cher et avertissement, dont nous avons besoin pour l’annotation de textes du domaine du tourisme. Dans ces textes, il y a beaucoup de messages concernant les prix des prestations et dont les auteurs des messages sont satisfaits (ou pas). Absents de la taxonomie d’Ogorek, ils ne sont pas associés à un groupe de sentiment spécifique.

3.5. Listes de termes

49Une liste de termes a été élaborée pour chaque corpus. Chaque liste contient les noms qui sont propres au domaine du corpus. En voici quelques exemples : la liste du corpus tourisme contient les mots ville, auberge, lieu, etc. ; celle du corpus jeux vidéo englobe jeu, graphisme, soft, etc. Grâce à ces listes, des relations erronées, c’est-à-dire dont le deuxième argument n’est pas dans la liste parce qu’il n’appartient pas au domaine, peuvent être refusées.

50Par exemple dans le corpus jeux vidéo, cette mesure s’applique à la plupart des relations extraites de la partie résumé du jeu, etc. Considérons la phrase suivante

Le héros a passé une magnifique journée.

51Le mot journée n’étant pas dans la liste, la relation SENTIMENT_POSITIF(magnifique,journée) est refusée. Ceci est correct dans la mesure où cette phrase ne contient pas un sentiment exprimé par l’auteur du message, mais fait partie du résumé de l’histoire. En revanche, dans le corpus tourisme, le même adjectif magnifique exprime bien un sentiment comme c’est le cas dans la phrase :

Cette ville est vraiment magnifique.
→ SENTIMENT_POSITIF(magnifique,ville)

52Chaque liste ne contient que des noms communs. Toutes les relations qui contiennent des noms propres sont gardées telles quelles :

Bref, inutile de dépenser le moindre euro pour ce Yetisports qui n’en vaut vraiment pas la chandelle.
→ SENTIMENT_NÉGATIF(valoir,Yetisports)

53Les relations extraites à partir de mots qui ne sont pas des noms sont gardées elles aussi :

Je n’aime pas aller au cinéma.
→ SENTIMENT_NÉGATIF(aimer,aller)

  • 7 Un bootstrap est un petit programme d’amorçage qui permet d’en lancer un plus gros.

54Ces listes ont été élaborées automatiquement à partir des textes des corpus d’entraînement avec une méthode basée sur le bootstrapping7. Elles contiennent tous les noms qui ont été extraits en deuxième argument d’une relation et qui ont été jugés utiles. La phrase qui contient les arguments de cette relation doit se trouver dans un message dont la valeur de classe (positif ou négatif) est la même que l’attribut de la relation extraite, c’est-à-dire qu’un nom dans une relation de sentiment positif doit se trouver dans un message avec la valeur positif de la classe dans le corpus d’entraînement.

  • 8 La qualité et la fiabilité du résultat sont calculées à partir du quotient entre la précision et l (...)

55À l’intérieur de chaque liste, les termes sont ordonnés en fonction de la fréquence avec laquelle ils ont satisfait les conditions d’extraction en relations. L’utilisation de ces listes permet d’augmenter le F-score8 des résultats d’environ 5 à 10 % selon le corpus. Ces listes évitent surtout l’apparition de résultats faux positifs qui ne sont pas de vrais résultats souhaités, car ils se rattachent, la plupart du temps, à la partie objective du texte.

4. Méthode statistique

  • 9 Consultables sur : http://www.cs.cornell.edu/home/llee/papers.html

56Pour la méthode statistique, nous utilisons une technique d’apprentissage automatique qui se base sur les travaux de Pang et al. (2002) et Pang et Lee (2004, 2005)9. Nous l’avons adaptée aux corpus de langue française. Nous l’avons testée d’une part sur les threads du corpus sur le tourisme, et d’autre part sur les textes des corpus de DEFT’07. Pang et Lee (ibid.) proposent deux axes de classification possibles, soit dans l’opposition subjectif-objectif, soit dans la distinction des opinions subjectives dans l’opposition positif-négatif.

57Pang et Lee (ibid.) améliorent la classification de l’axe positif-négatif en supprimant d’abord du texte toutes les phrases objectives et en faisant la classification seulement sur la partie subjective. Cette extraction correspond dans leurs expérimentations à 60 % du texte original. Nous n’avons pas retenu cette façon de faire car nous ne disposions pas d’un corpus d’entraînement ayant des parties subjectives et objectives bien distinctes. Nous avons choisi de faire la séparation de texte subjectif-objectif à l’aide de la méthode symbolique (voir, ci-dessus, 3.), qui permet d’obtenir finalement des résultats plus nuancés. Les extraits peuvent être vus comme de bons résumés du texte au niveau des sentiments qu’ils expriment.

58La méthode statistique se base sur des n-gram de caractères. Pour les projets sur la langue française (le tourisme, les jeux vidéo et DEFT’07) nous avons choisi n = 12. Comme pour la méthode symbolique, un indice de confiance est attribué aux textes. Il permet de comparer le résultat avec celui de la méthode symbolique pour en conclure le résultat final avec la méthode hybride. Pour l’entraînement des textes, les techniques de support vector machines (SVM) et de naive bayes (NB) ont été utilisées. Les résultats sont légèrement meilleurs avec NB, mais ceci reste négligeable.

59Des expérimentations ont été faites avec un des corpus de DEFT’07 qui contient des critiques de livres et de films, en prenant seulement la/les première(s) et/ou la/les dernière(s) phrase(s) du message. Nous sommes partis de l’hypothèse que le jugement de l’auteur dans une critique de livre ou de film se trouve la plupart du temps en début ou en fin du message, la place du milieu étant vraisemblablement occupée par le résumé du livre ou du film. Les résultats de classification positif ou négatif avec cette technique sont meilleurs qu’en prenant le message en entier. Pourtant, cette technique n’a finalement pas été retenue, car elle ne sera pas facilement reproductible sur des messages provenant d’autres domaines que la critique de film et de livre, où il n’y a pas forcément un résumé au milieu du message.

60L’entraînement du module statistique est donc réalisé uniquement sur les phrases de chaque thread qui ont été sélectionnées par la méthode symbolique, qui contiennent donc des sentiments, et selon les valeurs de leur classe (positive ou négative) attribuées à chaque corpus par l’annotation manuelle. Les résultats sont ensuite confrontés aux résultats de la méthode symbolique pour donner un résultat final pour chaque message.

5. Sybille, la méthode hybride

61La méthode hybride est une combinaison des deux méthodes précédentes (voir, ci-dessus, 3. et 4.). Elle prend en entrée les sorties des deux autres méthodes et calcule d’après les indices de confiance de chaque résultat une moyenne qui sera traduite en positif ou négatif.

62La classification définitive est calculée avec les deux méthodes symbolique et statistique. Les résultats respectifs sont confrontés pour obtenir une classification finale. La pondération exacte varie selon plusieurs facteurs, notamment la précision de l’annotation manuelle et la taille du corpus.

63La méthode statistique permet de faire une première fouille dans les textes pour obtenir les messages positifs et négatifs. Ensuite, l’utilisateur qui a configuré la grammaire peut modifier et améliorer celle-ci pour obtenir de meilleurs résultats. Le travail prend alors la forme d’un cycle où les résultats s’améliorent constamment.

64L’analyse du thread se fait au niveau des phrases et permet d’améliorer le résultat en ajoutant ou supprimant par exemple des mots à la liste de termes. Ceci a l’avantage de montrer exactement quelles phrases du document expriment un sentiment.

65C’est une approche qui permet de garder la robustesse de l’apprentissage automatique de la méthode statistique et d’orienter en même temps la base de l’entraînement sur une configuration manuelle de la méthode symbolique. Ceci permet de corriger de façon significative les erreurs de l’apprentissage automatique et d’intégrer les spécificités du cahier des charges, c’est-à-dire les particularités de chaque corpus (à l’aide de lexiques et de listes de termes différents selon le domaine d’application).

66Pour conclure, les figures 2 et 3 ci-après montrent l’interface graphique du système Sybille, ici dans le domaine des imprimantes. Sur la figure 2, en haut à droite, il y a un champ (1) dans lequel l’utilisateur peut faire une recherche de messages qui contiennent un mot de son choix ; sinon, il peut ne choisir que les messages positifs ou négatifs (2). Une autre façon de faire une recherche serait de se limiter aux messages qui n’évoquent qu’une marque précise (3) ou, en dessous, un domaine d’application plus spécialisé (4) ou, encore, un mot précis d’un domaine. On offre aussi l’option de sélectionner un forum donné parmi tous ceux qui ont été analysés. Les options de recherche peuvent être combinées à volonté pour limiter le nombre de réponses souhaitées. La figure 3 montre en détail la relation de sentiment qui est indiquée avec ses arguments (5), la phrase qui contient le sentiment et un lien (external link) (6) vers le thread entier qui permet de visualiser le contexte.

Figure 2 : L’interface graphique Sybille, ici pour le domaine des imprimantes.

67Un champ de texte (1) permet à l’utilisateur de faire une recherche de messages qui contiennent un certain mot ; il peut également ne choisir que les messages positifs ou négatifs (2). Une autre façon de faire une recherche serait de se limiter aux messages qui n’évoquent qu’une marque précise (3) ou, en dessous, un domaine d’application plus spécialisé (4) ou un mot d’un domaine. Toutes ces options peuvent être combinées à volonté pour limiter le nombre de réponses souhaitées.

Figure 3 : Exemple détaillé d’une relation de sentiment positif.

68Au centre, il y a la phrase qui contient le sentiment ; la relation avec ses arguments est présentée à gauche (5). Un lien (6) renvoie au site d’origine pour situer la phrase dans son contexte.

6. Évaluation

  • 10 http://deft07.limsi.fr/

69DEFT’0710 (le Défi Fouille de Texte) est une campagne d’évaluation dont le thème était en 2007 la classification de textes d’opinion, présents dans différents types de textes. Plusieurs groupes de recherche (laboratoires universitaires ou entreprises privées) ont pu tester leurs systèmes de classification sur les mêmes textes. Dans la phase initiale, chaque groupe inscrit a reçu les deux tiers de chacun des quatre corpus différents qui avaient comme sujet des critiques de films et de livres, des tests de jeux vidéo, des relectures d’articles scientifiques et des notes de débats parlementaires. Pour les trois premiers corpus, une note à trois valeurs (positif, moyen ou négatif) a été attribuée à chaque texte par le comité des organisateurs, une note à deux valeurs seulement (positif ou négatif) pour le dernier corpus.

  • 11 http://deft07.limsi.fr/actes.php#palma

70Après un certain temps pendant lequel chaque groupe a mis au point son ou ses systèmes de classification, un troisième tiers de chaque corpus a été envoyé pour faire les tests dont les résultats ont dû être soumis quelques jours plus tard. Dix équipes ont participé à l’édition 2007, CELI France est arrivée à la troisième place11, les deux premières équipes sont issues de laboratoires de recherche universitaires.

71La grammaire de l’analyseur a été paramétrée pour répondre aux besoins des différents corpus DEFT’07, du point de vue lexical mais aussi pour résister aux fautes d’orthographe répétitives. Le point le plus important à modifier a été la classification du message entier qui peut contenir plusieurs sentiments avec une seule valeur globale, et en particulier l’introduction de la notion de sentiment moyen. Dans notre approche standard, au niveau des phrases, les sentiments positifs ou négatifs. Il n’est pas nécessaire d’utiliser des sentiments moyens dans le domaine du tourisme, dans la mesure où la taxonomie utilisée (voir, ci-dessus, 3.4.) permet de nuancer suffisamment.

72Les sentiments moyens pour DEFT’07 n’ont pas été extraits à l’aide de mots dans le lexique avec un trait moyen, mais d’après des structures de phrase. Par exemple, à une phrase qui contient un sentiment positif et un sentiment négatif coordonnés par mais est attribué un sentiment moyen à la place :

Ce jeu est amusant au début mais ennuyant la deuxième semaine.

73Quelques mots clés (surtout des adverbes comme malgré, pourtant, etc.) sont utilisés pour aider à classifier un texte qui contient des phrases avec des sentiments positifs et négatifs (voir les travaux de Sándor, 2005). Le texte entier est alors classé comme moyen.

7. Conclusion

74Dans cet article, nous avons présenté comment le traitement automatique du langage naturel peut améliorer la qualité d’un système d’extraction de sentiments. Nous avons décrit une méthode symbolique avec une grammaire adaptée au domaine des textes, et une méthode d’apprentissage automatique. L’évaluation de notre système de classification Sybille a montré que la combinaison des méthodes symbolique et statistique donne des résultats plus précis que chacune des méthodes employée séparément.

75L’intérêt de la méthode hybride repose sur la prise en compte des contextes d’application de ses résultats. Il est bien connu que la méthode purement symbolique a souvent pour le client un coût d’entrée plutôt élevé. Cette considération est liée au temps de configuration, de repérage ou de création de lexiques spécifiques, de taxonomies, etc.

76L’utilisation d’une méthode hybride permet, au contraire, de minimiser les coûts de configuration, en réduisant une partie du travail à l’annotation de textes, une tâche qui dans la plupart des cas peut être réalisée par le client lui-même. Les algorithmes d’apprentissage automatique sont alors en mesure de donner des premiers jugements au niveau du texte entier.

77Ce qui est le plus important, c’est qu’avec ce type de système statistique on peut ajouter, selon la méthode exposée dans cet article, une couche symbolique au fur et à mesure, de plus en plus importante dès que les exigences d’une application deviennent plus précises. On peut, par exemple, superposer une couche d’identification de jugement, qui permet d’avoir une visibilité sur les jugements sans devoir lire le texte dans son entier. On peut identifier certains patrons sémantiques qui sont d’importance capitale pour une application donnée et qui doivent avoir la priorité sur les résultats statistiques (par exemple le souci de sécurité exprimé par les internautes sur un certain modèle de voiture).

78Les exemples pourraient être multipliés. Ce qui apparaît intéressant c’est que la démarche hybride est importante non seulement pour des raisons scientifiques de performance (le meilleur résultat entre les technologies que nous avons adoptées) mais, aussi et surtout pour des raisons de développement et d’acceptation par le marché. Le dernier point s’explique par le fait qu’une partie du travail (l’annotation de textes) peut être faite en amont par le client lui-même.

Anhänge

Annexes

Le tableau 2 ci-dessous décrit le schéma général du processus de traitement. Un corpus de textes d’entraînement différents d’un corpus de textes de test est indispensable.

Tableau 2 : Le schéma général du processus.

Les règles de grammaire se basent sur les relations extraites par la grammaire de base comme le sujet et l’objet d’un verbe, ou le modifieur d’un nom, d’un verbe ou d’un adjectif, ou encore la coordination. Pour changer l’attribut d’une relation on efface l’attribut actuel et ajoute le nouvel attribut souhaité.

La règle suivante extrait une relation de sentiment quand un adjectif marqué avec le trait « sents » est l’objet d’un verbe dont le sujet ne porte pas le trait « no-sents ».

 % % Le parc est très agréable.
if (OBJET [spred : 1](*2 [cond : 0, fut : 0, subj : 0], *1 [adj : 1, sents : 1, positif : 1]) & SUJET(*2, *3 [no-sents : 0 ]))
--> SENTIMENT[positif= 1](*1, *3).
La polarité d’une relation de sentiment déjà extraite est inversée par le modifieur négatif pas (porteur du trait psneg).
 % % Un hôtel pas agréable.
if (^SENTIMENT[positif : 1](*1 [adj : 1, positif : 1], *2) & MADJ(*1, *3 [psneg : 1]) & ~ MADV(*3, *4 [psneg : 1 ]))
--> SENTIMENT[negatif= 1, positif= 0](*1, *2).
Une relation de coordination provoque une nouvelle relation de sentiment avec le deuxième argument de la première relation. Un test vérifie que cette relation n’est pas déjà extraite par une autre règle.
 % % La ville est vraiment moche et affreuse.
if (COORD(*10, *1 [sents : 1, negatif : 1], *2) & SENTIMENT(*2, *3) & ~ SENTIMENT(*1, *3))
--> SENTIMENT[negatif= 1](*1, *3)

Figure 4 : Extrait de la grammaire.

Anmerkungen

1 Pour ce qui concerne nos propres corpus, ils sont encodés en UTF-8 et nous n’avons effectué aucun nettoyage. Tous les corpus sont disponibles au format XML.

2 D’après ce que nous avons pu observer, ces messages sont heureusement en minorité dans les corpus et ne modifient pas les résultats de façon significative.

3 L’attribution d’un sentiment global au message entier est utilisée dans des contextes spécifiques comme, par exemple, pour l’évaluation DEFT’07 (voir, ci-dessous, 6.). Sinon nous n’attribuons pas de sentiment global mais gardons les sentiments attribués à chaque phrase.

4 http://protege.stanford.edu/

5 http://bionlp.sourceforge.net/Knowtator/index.shtml

6 Sauf les pseudo-sentiments concernant les prix et conseils introduits par notre équipe comme gratuit, etc.

7 Un bootstrap est un petit programme d’amorçage qui permet d’en lancer un plus gros.

8 La qualité et la fiabilité du résultat sont calculées à partir du quotient entre la précision et le rappel, la précision étant le nombre des résultats corrects obtenus par rapport à tous les résultats obtenus, et le rappel étant le nombre des résultats corrects obtenus par rapport à tous les résultats corrects.

9 Consultables sur : http://www.cs.cornell.edu/home/llee/papers.html

10 http://deft07.limsi.fr/

11 http://deft07.limsi.fr/actes.php#palma

Abbildungsverzeichnis

Bildunterschrift Tableau 1: Extrait de la taxonomie utilisee pour l’annotation manuelle.
URL http://books.openedition.org/ugaeditions/docannexe/image/7137/img-1.jpg
Datei image/jpeg, 356k
Bildunterschrift Figure 2 : L’interface graphique Sybille, ici pour le domaine des imprimantes.
URL http://books.openedition.org/ugaeditions/docannexe/image/7137/img-2.jpg
Datei image/jpeg, 83k
Bildunterschrift Figure 3 : Exemple détaillé d’une relation de sentiment positif.
URL http://books.openedition.org/ugaeditions/docannexe/image/7137/img-3.jpg
Datei image/jpeg, 58k
Bildunterschrift Tableau 2 : Le schéma général du processus.
URL http://books.openedition.org/ugaeditions/docannexe/image/7137/img-4.jpg
Datei image/jpeg, 126k

Der Text und andere Elemente (Illustrationen, importierte Anhänge) stehen unter OpenEdition Books License, sofern nicht anders angegeben.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search