Précédent Suivant

Chapitre 2. Les controverses autour du sentiment analysis

Note de l’éditeur

Cet ouvrage est en vente au format numérique (pdf/Epub) et sur support papier.


Texte intégral

1La réputation du sentiment analysis n’est plus à faire dans les milieux familiers du web ou des études de l’opinion, ce fut un des buzz de l’année 2009 et les offres commerciales se sont multipliées, comme nous venons de le voir, en profitant de cette vague d’attention pour des méthodes finalement pas si nouvelles. Mais avec le buzz, avec la réputation, viennent aussi les controverses entre thuriféraires de cette « innovation radicale » et critiques féroces de cette « arnaque ». Arguments scientifiques parfois, polémiques souvent, forgés tous les deux sans doute sur des a priori qu’il convient d’examiner ici. Car ces critiques ou attentes sont souvent malgré tout justifiées et méritent examen pour mieux spécifier ce qu’il est raisonnable d’attendre des méthodes d’opinion mining et de sentiment analysis.

Controverse 1 : le langage humain est trop complexe pour une machine

2La critique n’est pas nouvelle, elle aurait même des accents platoniciens de méfiance vis-à-vis de la technique, à ceci près que Platon étendait cette critique de l’artifice aux techniques rhétoriques des sophistes, ce qui finalement mettrait le langage dans le même panier que la technique, pourrait-on dire. L’argument est connu mais sa généralité empêche souvent de voir en quoi il peut être juste et en quoi il peut être trompeur. L’irréductibilité du langage à tout traitement automatique prend tout d’abord des accents humanistes, qui considèrent comme une évidence que les machines n’ont rien d’humain, proposition assez risquée car des humains sont présents à toutes les étapes de leur fabrication, même si un bon assemblage finit par produire cet effet d’autonomie de la technique. En fait, il s’agit ensuite d’adopter une posture politique pour empêcher que la mécanisation/numérisation n’accapare le monde, et nous réduise à être « commis » par la technique, comme le disait Heidegger. Il est vrai que la pratique ordinaire des serveurs vocaux aurait de quoi faire s’indigner le moins humaniste des utilisateurs, qui subit cette impression de parler à un mur plutôt qu’à une machine, qui contraint le client à suivre ses catégories alors que sa requête est, par définition, unique pour lui et qu’il est incapable de parler la langue de ces catégories qu’on lui impose. L’expérience des systèmes de traduction automatique a fait suffisamment rire pendant longtemps pour que l’on puisse inverser les rôles et se satisfaire dans ce cas de la supériorité indiscutable du traducteur humain sur la machine. Et même si les progrès dans ce domaine sont notoires, le passif accumulé à travers ces expériences quotidiennes ne peut que renforcer les préjugés. L’argument serait ici celui de l’expérience pratique qui démontrerait que les machines qui exploitent le langage sont soit insupportables de rigidité soit incapables de subtilité.

3Ces critiques de principe portent avec elles une sensibilité forte qui indique bien à quel point nous touchons à quelque chose d’anthropologiquement critique (la machine pourra-t-elle parler un jour ?). Rappelons que l’informatique et sa philosophie elle-même, pourrait-on dire, sont nées de ce test fait par Turing pour qui la seule preuve de l’intelligence de la machine résidait dans l’interprétation faite par des humains de ses réponses comme issues ou non d’un humain. Qu’importaient donc les détours et les méthodes pour calculer cette réponse : du moment qu’elle « avait l’air » intelligente pour un humain, le cobaye du test, elle était intelligente. Ce qui est à la fois audacieux théoriquement et redoutablement efficace sur le plan opérationnel puisque cela détache, comme toute opération moderne, le traitement du langage de tout présupposé métaphysique sur le caractère spécifiquement humain du langage. Désormais, on admet que l’on peut « faire comme si » du moment que le résultat est pertinent et c’est ce que l’informatique sait faire mieux que tout autre. Le détour que constitue la technique, qui « fait faire autrement »1, peut devenir tellement « bien fait » qu’on ne saura plus reconnaître un message humain d’un message produit par une machine. Et l’on s’abstient d’y porter un jugement ou d’en faire un prérequis moral, ce qui donne la force de frappe et l’audace de l’informatique qui s’attaque à tous les aspects du langage au fur et à mesure. De ce point de vue, le Traitement Automatique du Langage (NLP, Natural Language Processing) a connu un tel succès qu’il est en venu quasiment à phagocyter toute la linguistique et, pour faire carrière de linguiste, il vaut mieux désormais avoir avec soi des alliés puissants que sont les ordinateurs qu’un beau formalisme théorique qui ne serait pas calculable immédiatement sur les plus beaux corpus. Mais au sein de ce TAL, des extensions se sont petit à petit produites qui visent à formaliser et à calculer ce qui restait d’indicible ou de « vraiment humain », telles les émotions ou les sentiments que nous analysons ici.

4Auparavant, les analyseurs ont pu dominer les problèmes posés par les lexiques, par la syntaxe puis par la sémantique dans certains contextes contrôlés, en s’appuyant sur des corpus standards de textes servant de tests. Mais tout cela devait se faire au sein d’une langue, et hors situation d’élocution ou d’interlocution. La capacité de traduction automatique reste encore largement insuffisante pour prétendre avoir résolu les problèmes mais dans ce cas, il est plutôt fait appel à des outils de traduction assistée, qui combinent les compétences humaines et les capacités de calcul inégalées des ordinateurs. Puis les situations les plus routinisées de dialogue ont été traitées avec les résultats que l’on sait pour les serveurs vocaux pour enfin aboutir à la formalisation d’interactions plus sophistiquées, utilisant le cadre théorique des actes de langage par exemple. Les résultats n’ont cependant pas été vraiment à la hauteur comme l’avaient déjà montré en leur temps les limites du Communicator de Winograd et Flores2. Il est en revanche plus aisé de traiter en profondeur certains indices des expressions langagières pour y déceler des intentions telles que des jugements ou des sentiments. Si cette opération est rendue compliquée en situation orale de face à face, où le paralinguistique est omniprésent (ton, mais aussi mimiques), l’affaire est nettement plus aisée, lorsque la situation repose sur un échange écrit, Car l’informatique n’analyse le langage, on l’oublie souvent, qu’à l’aide du traitement de chaînes de caractères. C’est cela le détour propre à cette technique, qui peut reconnaître toute entité de langage dans la mesure où elle apparaît sous forme de trace reconnaissable par l’informatique qui est elle-même fondée sur l’écriture, mais une écriture de code. C’est d’ailleurs là toute la performance informatique qui justifie en partie les critiques et les méfiances : l’informatique ne traite que du langage qu’elle réduit par nécessité à du code. C’est-à-dire à un système de signification fondée sur l’équivalence bi-univoque de l’indice (la trace écrite) et du sens (ce qui est ici un abus de langage car ce sens, pour un algorithme, est entièrement précatégorisé et formaté pour engager une autre séquence d’action).

5Cette distinction entre langage et code informatique est essentielle car elle permet de comprendre les confusions entretenues entre les deux ordres de réalité. C’est parce que l’informatique réduit tout matériel linguistique à du code qu’elle le rend calculable et qu’elle peut par approximation, statistique ou autre, restituer une partie de l’intelligibilité des expressions recueillies. Mais c’est aussi parce qu’elle réduit le langage à du code qu’elle butera toujours sur du « manque-à-signifier » puisque le langage ne fonctionne pas du tout selon les mêmes principes. Il n’est pas un code mais une grille de composition de correspondances entre indice (le son) et sens qui ne sont jamais bi-univoques. Le langage est donc équivoque ou impropre, par construction, pourrait-on dire, puisque des combinaisons imprévues sont toujours possibles en situation avec une grille, une analyse qui repose sur quelques principes seulement (relations entre les faces du signe son/sens et axes de segmentation/combinaison et de différenciation/sélection)3.

6Dès lors, il est juste de dire que le langage est trop complexe pour une machine à condition de préciser que la complexité n’y est pour rien : il s’agit de deux réalités (le code informatique et la combinatoire formelle du langage) qui ne sont en rien équivalentes, sans parler des problèmes de langues (enjeux de différences et d’interactions sociales) et de discours (enjeux de désirs et d’intentions). Pourtant, c’est grâce à la puissance de ses algorithmes, grâce à ce détour génial qui consiste à tout réduire à un même code, que l’informatique permet de calculer par approximation des significations qui sont finalement assez pertinentes pour un observateur humain, celui du test de Turing, qui ne peut faire la différence. Grâce à sa faiblesse de construction, l’informatique gagne en puissance de calcul et peut tout calculer et « faire comme si » elle traitait directement des significations alors qu’elle ne connaît au fond que des chaînes de caractères. Pour l’analyse de sentiment, ce point est très important, car cela veut dire qu’il faut s’attendre à beaucoup en termes de puissance de calcul d’entités et d’expressions simples mais que les significations ne seront jamais contrôlables que par des humains. L’avantage de cette puissance de calcul et des techniques de TAL, c’est qu’elles ne laissent rien de côté potentiellement, aussi bien le texte que le contexte, aussi bien les textes objectifs que les textes subjectifs, mais leur risque c’est de faire croire que leur puissance épuise le sens et que leurs résultats peuvent être pris à la lettre, sans connaître les conditions de leur production et donc les nécessaires réductions qui ont rendu le matériau linguistique calculable. Il ne faut pas craindre la puissance de l’informatique mais craindre le chèque en blanc qu’on lui ferait pour réaliser le travail à la place des interprètes humains.

Controverse 2 : les techniques d’analyse automatique du sentiment ne sont pas encore au point

7Le buzz fait autour d’une innovation ou d’une méthode innovante comme l’analyse du sentiment produit des effets contradictoires. En effet, comme les promesses sont souvent abusives, il est aisé de profiter de la moindre faiblesse pour démolir toute l’argumentation, voire pour refuser de prendre en compte la question. Et il est vrai que les observations sur l’offre disponible sur le marché sont parfois désolantes sur le plan de l’honnêteté intellectuelle, dans la mesure où l’argumentaire commercial vise à masquer délibérément tous les choix a priori encapsulés dans le système de traitement des matériaux langagiers, pour présenter cela comme une boîte noire. Le moindre expert d’analyse de l’opinion au sens classique, au-delà du fait qu’il se sent menacé par ces systèmes automatisés, peut aisément montrer tout le travail qu’il reste à faire pour réduire la prolifération des contextes d’énonciation et des formes linguistiques en quelques formules calculables.

8La critique porte aussi de ce fait sur la possible automatisation par principe qui revient à la controverse 1 mais ici il s’agit moins d’une question de principe que du fait que les outils manquent de maturité. Il faut en effet noter que l’analyse automatique du sentiment est un champ d’investigation récent sur le plan académique (moins de dix ans) mais que les outils commercialisés n’ont pas attendu la validation scientifique pour se lancer sur le marché, ce qui, après tout,peut être tout à fait légitime, si l’on sait vendre des approches par approximations suffisamment correctes pour être utiles (et le critère n’est plus le même à ce moment). Les travaux académiques ont veillé à constituer des corpora stabilisés pour tester de façon comparative la robustesse des méthodes nouvelles qui pourraient émerger4. Mais ce n’est pas le cas pour ces outils commerciaux qui n’ont jamais été validés par aucune agence de certification bien évidemment. Les corpora utilisables sont de toute façon issus d’outils qui n’ont pour la plupart pas encore été massivement adoptés et sont eux-mêmes récents. Or, les performances obtenues par ces techniques sont souvent en lien direct avec les outils et les sources utilisés au départ. C’est toute une chaîne de traitement qui doit être validée sur le plan opérationnel alors que les seules validations académiques portent sur des maillons très précis de la chaîne, en ne faisant pas varier par exemple les sources et les corpora eux-mêmes pour rendre la comparaison réalisable toutes choses étant égales par ailleurs. Le problème provient en fait de l’accessibilité si attirante des données du web et de la relative facilité avec laquelle on peut développer des robots pour les rapatrier dans des bases de données. On peut alors appliquer les traitements linguistiques classiques, ou plus incertains comme l’analyse de sentiment, mais on fait alors comme si toute la chaîne précédente d’acquisition n’était pas cruciale, dans les sources, dans les types de données et de métadonnées et dans les outils utilisés pour structurer la base de données.

9La quantité de maillons faibles dans la chaîne du traitement est déjà importante dans la phase de constitution des corpora, et pour certains, cela suffit à invalider la faisabilité actuelle de l’analyse de sentiment. Lors de l’analyse de sentiment elle-même, la réduction du champ des questions est devenue parfois caricaturale (positif/négatif/neutre), condition pour son automatisation rapide et pour sa visibilité commerciale. Agréger des matériaux aussi riches autour de variables aussi simplistes semble une contradiction ou tout au moins un abus de langage. La controverse s’organise donc autour du constat suivant : l’analyse automatique du sentiment fonctionnera probablement un jour mais ne fonctionne pas encore car les techniques ne sont pas au point. L’analyse de sentiment est en effet un domaine récent qui nourrit des attentes mais est encore loin d’être une technologie mature.

Controverse 3 : l’analyse du sentiment, ça fonctionne très bien

10Nous avons vu précédemment que le traitement automatique du langage dit naturel ne fonctionnait que par approximations et sur des bases qui évacuent la spécificité du langage comme impropriété pour le rendre calculable et univoque au bout du compte. Mais si l’on admet ces limites et si l’on ne prétend pas expliquer le langage à travers ces outils, on peut fort bien approcher une restitution du sens de plus en pertinente. La complexité du sentiment comme donnée langagière est sans doute l’une des plus périlleuses pour les traitements automatiques, avec l’humour. En effet, l’opinion ou le goût ne sont pas seulement tributaires de la complexité du langage déjà évoquée, mais aussi de la dynamique sociale d’une part et désirante d’autre part. Nous n’évoquerons que rapidement ici la dimension sociale de l’opinion qui suppose toute une chaîne de médiations pour la faire émerger. Et lorsque l’on exprime une opinion, y compris spontanément, on se marque et on se démarque nécessairement d’autres groupes sociaux. La logique de la distinction si bien décrite par Bourdieu fonctionne ici à plein, soit pour faciliter les expressions toujours divergentes comme on le voit souvent sur les forums du web, soit au contraire pour renforcer l’opinion dominante, la doxa, quand bien même on pense exprimer ainsi quelque chose de très personnel. Les méthodes d’exploitation des données d’opinion sur le web donnent ainsi une cartographie des divergences et des contrastes dans l’espace des sites et des auteurs et dans le temps et il reste important dans les résultats de maintenir cette diversité présente, contre les supposées moyennes. Si les techniques fonctionnent très bien actuellement, c’est avant tout parce qu’elles se permettent d’écraser cette diversité sociale pour restituer des tendances massives, prenant en compte ainsi les effets médiatiques eux-mêmes voire les amplifiant. Si l’objectif consiste à récupérer seulement ces grands agrégats d’opinion et à les suivre dans le temps, on peut dire dès lors que les techniques sont mûres et opérationnelles.

11Mais plus complexe encore, l’expression d’une opinion ou d’un goût (et nous verrons la différence dans la partie consacrée aux SHS) ne peut se comprendre sans faire référence au désir, même exprimé sous la forme restreinte d’une préférence comme le disent les économistes. Juger, évaluer, apprécier, c’est toujours mettre sous forme discursive, c’est-à-dire langagière, un penchant, une préférence, une hiérarchie d’attraction pour un point de vue, un produit, un homme politique, etc. Or, la constitution de ces préférences, si elles relèvent de la logique de la distinction (et de l’agrégation) que nous venons de voir, suppose un élan, une énergie désirante qui est entièrement dépendante du désir, voire de la pulsion. Évaluer, c’est toujours produire de la valeur en étant prêt à sacrifier un prix pour un bien et rendre ainsi commensurables des biens, pour faire pencher la balance d’un côté ou d’un autre : trop coûteux ou trop attirant. Or, ce modèle de la valeur est lui-même fort complexe car les humains que nous sommes ne produisent jamais d’équivalence aussi simple : ils sont capables d’éthique, c’est-à-dire de sacrifier un prix sans équivalence réelle avec un bien, pour se l’autoriser sans limites par exemple ou à l’inverse pour se l’interdire alors qu’il serait aisément disponible. Cette capacité éthique gêne les modèles économiques car elle perturbe les calculs d’équivalence simple. Elle rend aussi complexe l’analyse des expressions de jugement, d’opinion ou de goûts, car elles sont elles-mêmes soumises à cette règle, à cette capacité. Que dire qui ne soit pas trop coûteux, que puis-je m’autoriser à dire ou que dois-je m’interdire de dire ? Ce qui transparaît alors sur le web sont des expressions traversées par ces tendances : des opinions critiques violentes, car on peut « se lâcher » sur le web (on s’autorise tout notamment en situation d’anonymat) ou des expressions très policées et mesurées (pour gagner en réputation ou ne pas trahir mes propres appartenances ou mes vraies préférences). Rien ne peut au bout du compte permettre de garantir la sincérité de ces expressions, non pas à cause du statut de média du web, mais parce qu’il n’existe aucune sincérité qui ne soit elle-même « allégorie » dès lors qu’elle s’exprime (c’est-à-dire toujours une façon de « dire autrement »). L’on dit souvent que les émotions véritables sont indicibles : c’est assez juste, car leur mise en forme de discours oblige déjà à les formater non seulement selon les contraintes du langage mais selon les règles de son auto-contrôle, qui peuvent être très variées. La préférence est une forme extrêmement réductrice du traitement de la capacité de jugement, l’expression de la préférence l’est encore plus, doublement pourrait-on dire. Mais c’est à cette condition que le sentiment analysis fonctionne, ne l’oublions pas. Ce qui donne à la fois les raisons de sa performance mais aussi la marge de progression si l’on voulait prétendre approcher un peu mieux les mécanismes de production d’un jugement, d’une opinion ou d’un goût à partir de leurs expressions.

12Le choix réducteur du sentiment analysis doit être fait en connaissance de cause mais il peut légitimement être fait pour des raisons opérationnelles diverses. Toute la question et tout l’enjeu éthique, cette fois-ci pour les chercheurs et pour les prestataires, doivent résider dans leur capacité à expliciter quelles réductions ils se sont autorisés à faire. Les sociétés de sondage ont procédé à la définition de ces règles déontologiques progressivement à travers par exemple leurs modalités de redressement (souvent contestées cependant), il serait indispensable, lorsqu’on touche à un tel domaine que le sentiment analysis, que tous les « redressements » et approximations de toutes sortes qui sont tolérés soient publiés pour pouvoir éventuellement être révisés ou discutés.

Controverse 4 : l’analyse du sentiment, ça fonctionne trop bien

13Les chercheurs en particulier peuvent être légitimement surpris de constater comment des questions complexes qu’ils décomposent et mettent à l’épreuve depuis des années semblent soudainement résolues par les offres commerciales de sentiment analysis. Le packaging des offres réalisé par le marketing, porté par une demande considérable de suivi de ce continent improbable qu’est le web 2.0, permet de produire des boîtes noires dont les composantes ne sont jamais décrites. La critique est alors compréhensible lorsque des annonces spectaculaires sont faites à travers des dashboards (tableaux de bord) tous aussi affinés et pilotables à souhait apparemment, alors qu’en réalité, les algorithmes ont éliminé tous les énoncés problématiques et toutes les sources incertaines. Cet effet boîte noire est cependant extrêmement performant sur le plan commercial et correspond souvent à ce que les clients, c’est-à-dire les marques, attendent. Et surtout, les professionnels du secteur apprennent de fait aux chercheurs à vivre avec des approximations, qui ne sont pas satisfaisantes scientifiquement certes, mais qui donnent suffisamment d’indices pour orienter une stratégie, car toutes ces méthodes sont orientées action et très peu analyse en profondeur des processus d’influence en jeu. Les visées sont donc bien différentes et il convient de l’admettre d’entrée. Cela n’empêche pas de perfectionner sans cesse les algorithmes, de traiter au fur et à mesure les verrous que l’on connaît. Tout le problème est plutôt alors d’ordre éthique dans la présentation faite aux clients, qui pour certains d’entre eux, risquent d’être déçus et de devenir méfiants vis-à-vis de toute analyse linguistique de masse du web.

14L’atout essentiel des outils proposés tient à leur capacité de traitement automatique et les critiques, comme nous venons de le faire précédemment, ne manquent pas de souligner le caractère fallacieux des promesses d’automatisation de tous ces traitements du langage dit naturel. Cependant, être conscient des limites de cette automatisation et de la nécessaire combinaison avec une expertise humaine à tous les stades ne doit pas conduire à rejeter totalement toute tentative d’automatisation. Certaines phases de recueil des corpus sur les sources ou de nettoyage des pages sont dans tous les cas dépendantes de la capacité des robots à les exécuter correctement (et ce n’est pas si simple), sinon le temps de travail exigé pour un traitement à la main entraînerait des coûts insupportables. Mais, sur ces phases aussi, le développement des algorithmes mérite d’être contrôlé étroitement et testé avant de leur abandonner toutes ces tâches. La documentation précise de ces processus reste une ressource essentielle pour partager les tenants et aboutissants des choix faits et, ainsi, pour pouvoir les réviser.

15Mais dans le traitement du langage, si nous avons plaidé pour des avancées théoriques qui seules permettraient d’éviter le piège de certaines évidences d’un langage-étiquetage et de prendre à bras le corps les données limites les plus récalcitrantes à l’automatisation, il faut aussi admettre que la puissance de l’informatique tient précisément à son détour, à sa capacité à traiter autrement le processus humain de représentation langagière. De même que les avions, s’ils ont cependant des ailes, ne sont pas obligés de battre des ailes, tout traitement technique du langage permet de faire apparemment la même chose en utilisant des ressources et des procédures totalement différentes des sens et des neurones humains. Cette banalité doit permettre de replacer la puissance de l’automatisation à sa juste place. À condition d’accepter ce détour et les approximations qu’elle entraîne nécessairement, et à condition de ne surtout pas prétendre dupliquer ou mimer des processus du langage humain, il est possible d’exploiter les algorithmes de TAL et ici d’opinion mining en examinant jusqu’où leurs résultats sont pertinents. Les tests de sentiment analysis mettent par exemple en avant à quel point les humains eux-mêmes se trompent souvent sur leurs interprétations des jugements exprimés dans les corpus ou tout au moins que les logiciels d’analyse de tonalité ne se trompent pas plus. Ce qui suffit à satisfaire souvent le client apparemment, mais qui ne garantit pas la qualité pour autant. En revanche, cela devrait servir de leçon de modestie sur les résultats à attendre de tout processus dit automatisé. L’approximation contrôlée est une vertu que l’on reconnaît aux sondages, qui, même s’ils produisent des artefacts, dès lors qu’ils sont répétés avec les mêmes règles, peuvent enregistrer un écho d’un phénomène probable à analyser. C’est exactement dans cet esprit que l’automatisation d’une grande part des processus d’analyse en opinion mining comme en sentiment analysis peut devenir acceptable, sachant que tout le travail reste en effet à faire. Le « quick and dirty » est certes une méthode orientée business pour une bonne part, elle est aussi une méthode pour approcher des phénomènes qui dans tous les cas, en l’état des théories linguistiques et de leur opérationnalisation informatique, ne seraient jamais appréhendés. Ainsi, comme nous le verrons, faire appel à un dictionnaire qui fixe la tonalité des termes (le General Inquirer), indépendamment de leur contexte d’énonciation, peut sembler naïf, positiviste ou encore cynique, mais peut cependant constituer un point de départ intéressant pour faire un premier traitement du corpus, et cela d’autant plus lorsque ce corpus est focalisé sur un objet bien précis avec des conventions de description et d’expression de jugement qui ont fini par être partagées.

Notes de bas de page

1 J. Gagnepain, 1994, Leçons d’introduction à la théorie de la médiation, Anthropo-logiques, no 5, Louvain-la-Neuve, Peeters (BCILL).

2 Winograd et Flores avaient prétendu pouvoir automatiser la reconnaissance des actes de langage dans des interactions de coopération mais avaient dû en fait demander aux locuteurs de caractériser explicitement leurs actes de langage selon des catégories fondées par la théorie mais plutôt incompréhensibles dans une pratique langagière. Mais surtout, ils obligeaient ainsi les interlocuteurs à expliciter ce qu’ils disaient, en adoptant une posture méta sur leurs propres énoncés, ce qui contredisait directement la théorie même des actes de langage, qui affirme que le langage fait par lui-même, devient opérateur d’actions, sans avoir à faire appel à d’autres ressources.

3 J. Gagnepain, 1994, op. cit.

4 Cf. encadré « Défi fouille de textes », chapitre 5.

Précédent Suivant

Le texte seul est utilisable sous licence Creative Commons - Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International - CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.