• Contenu principal
  • Menu
OpenEdition Books
  • Accueil
  • Catalogue de 15985 livres
  • Éditeurs
  • Auteurs
  • Facebook
  • X
  • Partager
    • Facebook

    • X

    • Accueil
    • Catalogue de 15985 livres
    • Éditeurs
    • Auteurs
  • Ressources numériques en sciences humaines et sociales

    • OpenEdition
  • Nos plateformes

    • OpenEdition Books
    • OpenEdition Journals
    • Hypothèses
    • Calenda
  • Bibliothèques

    • OpenEdition Freemium
  • Suivez-nous

  • Lettre d’information
OpenEdition Search

Redirection vers OpenEdition Search.

À quel endroit ?
  • Éditions Universitaires d’Avignon
  • ›
  • MidiSciences
  • ›
  • La boîte translucide
  • ›
  • 2. La machine apprenante
  • Éditions Universitaires d’Avignon
  • Éditions Universitaires d’Avignon
    Éditions Universitaires d’Avignon
    Informations sur la couverture
    Table des matières
    Liens vers le livre
    Informations sur la couverture
    Table des matières
    Formats de lecture

    Plan

    Plan détaillé Texte intégral La catégorisation automatique Un cas concret « Intelligence » sans catégorisation ? L’essor des modèles prédictifs Les limites de la prédiction Les limites de l’imitation Bibliographie

    La boîte translucide

    Ce livre est recensé par

    Précédent Suivant
    Table des matières

    2. La machine apprenante

    p. 35-72

    Note de l’auteur

    Les mots en gras italique suivis d’un astérisque sont expliqués dans le lexique de fin de volume, pages 77-79 ou https://books.openedition.org/eua/6682 .

    Texte intégral La catégorisation automatique Un cas concret « Intelligence » sans catégorisation ? L’essor des modèles prédictifs Les limites de la prédiction Les limites de l’imitation Bibliographie Pour en savoir plus

    Texte intégral

    1Nous avons vu précédemment que les données (entrées, sorties, algorithmes) peuvent être interprétées de façon numérique. Nous pourrions donc imaginer une méthode simple, rendue opérationnelle sous la forme d’un logiciel, qui permettrait de trouver automatiquement les programmes qui fonctionnent, c’est-à-dire qui délivrent des sorties correctes pour toutes les entrées possibles.

    2Pour cela, il faudrait bien entendu disposer très concrètement de toutes les caractéristiques du problème traité, de la liste des « inconnues », ainsi que d’une procédure permettant de valider ou d’invalider les solutions correspondantes. Il ne resterait alors plus qu’à énumérer tous les programmes possibles, par longueur croissante, jusqu’à trouver ceux d’entre eux dont les sorties sont valides.

    3Cependant, même en supposant que les possibilités soient finies, on est très vite confronté à un très grand nombre de combinaisons. Supposons par exemple – comme c’est le cas pour certains types de microprocesseurs très utilisés dans les smartphones – que chaque instruction soit représentée par un nombre de 32 chiffres binaires. Pour la démonstration, rien ne nous oblige d’ailleurs à compter en binaire : disons qu’un nombre binaire de 32 chiffres correspond à un nombre de 10 chiffres de la base 10 que nous avons plus l’habitude de manipuler et qui peut donc légèrement dépasser les 4 milliards. On peut en déduire qu’il existe plusieurs milliards d’instructions possibles, plusieurs milliards de milliards de programmes distincts contenant deux instructions, etc. Si l’on a bien compris que chaque instruction supplémentaire multiplie par 4 milliards le nombre de possibilités et si l’on sait qu’une simple commande permettant d’afficher un bout de texte sur un écran compte quelques dizaines de milliers d’instructions en langage machine, on réalise très vite que le nombre de possibilités se compose de centaines de milliers de chiffres. À titre de comparaison, il est admis que le nombre d’atomes qui composent l’univers est quant à lui composé d’environ 80 chiffres (Pfenniger, cité par Gracci, 2015).

    4Cela signifie que, même dans les cas où il est possible de lister toutes les entrées et les sorties attendues d’un programme, il est simplement impossible de laisser l’ordinateur explorer tous les algorithmes potentiels. D’autant que cette démarche peut se heurter à des limitations théoriquement indépassables, notamment parce que les algorithmes qui explorent les algorithmes sont eux-mêmes des algorithmes et qu’ils devraient par conséquent être capables de s’explorer eux‑mêmes.

    5Ces considérations théoriques sont regroupées dans un sous-domaine des mathématiques et de l’informatique que l’on nomme « calculabilité et complexité des algorithmes ». Les grands pionniers de cette discipline sont Alonzo Church (1903-1995), Kurt Gödel (1906-1978) et Alan M. Turing (1912‑1954).

    6Cependant, à l’intérieur de ces limites théoriques, on pourra laisser l’ordinateur tester une grande partie des possibilités. Il faudra toutefois qu’un être humain définisse au préalable les frontières de l’exploration. Cela peut passer par des choix de représentations ou d’hypothèses, des simplifications ou encore des heuristiques*, autrement dit des raccourcis guidés par des considérations empiriques.

    7Essayons maintenant de décrire les approches qui peuvent être suivies dans les situations où les données sont disponibles, bien que les experts humains ne soient en mesure de formaliser ni leurs connaissances ni leurs procédures de décision.

    La catégorisation automatique

    8La catégorisation automatique est l’une des délimitations algorithmiques étudiées dans le domaine de la recherche en intelligence artificielle. Nous avons vu que la catégorisation était un principe fondamental de notre architecture cognitive et que les ordinateurs étaient capables de catégoriser et de manipuler les catégories. Mais cela ne fonctionne que lorsqu’une description précise, formelle, des catégories, des sous-catégories et finalement des cas qu’elles représentent est disponible.

    9En outre, notre cerveau est bien moins exigeant : il lui suffit de quelques exemples pour élaborer des hypothèses générales sur la définition d’une catégorie. Par conséquent, si dans certaines problématiques bien circonscrites, il suffit d’indexer tous les cas de la catégorie, cette liste est très souvent théoriquement ou pratiquement infinie, voire inaccessible. Par exemple, un logiciel qui aurait comme fonction de sélectionner des photos d’une espèce particulière d’animal et qui fonctionnerait par indexation des photos devrait contenir toutes les photos des individus de l’espèce, vivants, morts, à naître, dans toutes les positions, dans tous les environnements, sous tous les angles, dans toutes les conditions de luminosité. Or, si je considère une image de la taille de mon écran d’ordinateur portable, je sais qu’elle correspond à une matrice de 1366 points en largeur et 768 points en hauteur et que la couleur et l’intensité de chaque point sont codées dans un nombre de 32 bits. Cela fait donc 4 milliards de possibilités pour chacun des 4 milliards de points de l’image. Le nombre potentiel d’images distinctes contient quant à lui plus de 37 milliards de chiffres.

    10L’objectif de cette tâche dite de catégorisation est donc de transformer des symboles qui prennent leurs valeurs dans de très grands espaces – par exemple, des images – en d’autres symboles qui prennent leurs valeurs dans des espaces plus réduits – par exemple, le nom des objets qu’elles contiennent. Or, si cette tâche paraît facile à réaliser pour un cerveau humain, c’est sans aucun doute parce qu’elle échappe presque entièrement à sa conscience. Les approches s’appuyant sur l’introspection vont donc se heurter à de grandes difficultés.

    Un cas concret

    11En 1994, dans le cadre d’un master (qui s’appelait alors un DEA) en informatique et mathématiques, j’étudiais toutes sortes de techniques dites de « traitement de signal ». En traitement automatique de la parole, il s’agissait de transformer tout d’abord les variations d’amplitude sonore en variations de fréquence (la « tonalité »), puis en « formants » (des bandes de fréquences significatives). Mon collègue de bureau, qui avait commencé sa thèse huit ans avant moi, avait créé un logiciel capable de catégoriser les sons en formalisant les connaissances fournies par la phonétique, la phonologie et la linguistique pour transformer successivement ces « formants » en « traits acoustiques », puis en « phonèmes ». Cette étape était extrêmement complexe : les phonèmes n’ont pas la même forme en fonction des phonèmes qui précèdent et qui suivent (coarticulation). Ils dépendent aussi de l’identité du locuteur (variabilité interlocuteur) et, pour un même locuteur, ils peuvent varier en fonction de son état (variabilité intralocuteur), ou même en fonction de la situation extérieure (hypo ou hyperarticulation). L’étape suivante – que nous réalisons également inconsciemment – est, elle aussi, loin d’être simple, puisqu’il est courant qu’une même suite de phonèmes puisse représenter différents mots ou séquences de mots (homophonie).

    12L’approche consistait à récolter le fruit de l’intelligence humaine, à le formaliser dans un langage mathématique, à le préciser dans un langage informatique, pour finalement le transférer à la machine. Bien entendu, nous étions conscients de transférer le fruit (la représentation mentale), sans l’arbre (le système cognitif) et encore moins ses racines (l’évolution génétique). Cette approche est loin d’avoir disparu. Si on la prend dans un sens large, elle est encore dominante avec les bases de données, les modèles relationnels, les réseaux et la modélisation objet. Même avec une définition plus restrictive, elle est encore présente dans l’ingénierie de la connaissance (web sémantique, bases de données), ainsi que dans quelques domaines de recherche très actifs (optimisation, théorie des graphes, etc.).

    13Néanmoins, en reconnaissance automatique de la parole notamment, l’effort de recherche s’est très vite heurté à des difficultés majeures. Les experts en phonétique pouvaient facilement lire des sonogrammes (voir figure 5), mais ils étaient incapables d’expliquer, avec la précision requise pour une transcription informatique, comment ils procédaient mentalement. De manière plus générale, nous réalisons que nos capacités de métacognition ne nous permettent d’accéder qu’aux niveaux les plus élevés de notre architecture cognitive. En revanche, nos productions intellectuelles sont, elles, issues du fonctionnement conjoint de tous les niveaux.

    Figure 5 : Sonagramme d’un chant de merle bleu réalisé par logiciel (copie d’écran)

    Image 10000000000004E5000002BFA3FA205919F0134B.jpg

    L’axe horizontal représente le temps. L’axe vertical représente la fréquence, du plus grave en bas au plus aigu en haut. L’intensité des couleurs représente le volume du son.

    Wikimedia / domaine public

    14Une idée générale pour contourner ce problème pourrait consister en une captation, dans un grand nombre de productions intellectuelles des individus, des textes, de la parole, des ensembles de données classifiés manuellement, des mécanismes cachés qui ont mené à la production de ces données.

    15L’idée de rendre l’ordinateur capable de construire lui-même sa représentation des catégories sur la base d’une grande quantité d’exemples a donc refait surface quelques décennies après qu’Alan M. Turing l’avait évoquée en 1950 dans « Computing machinery and intelligence ». Dans cet article, Turing imaginait déjà un ordinateur présent dans une salle de classe et, s’inquiétant des moqueries que sa singularité ne manquerait pas de provoquer chez ses camarades humains, il suggérait de recourir exclusivement aux cours particuliers.

    16D’autre part, la catégorisation automatique de données avait déjà été largement étudiée en mathématiques, et en particulier dans le domaine des probabilités et des statistiques. Aussi, dans les années 1990, les plus performants des systèmes de reconnaissance automatique de la parole étaient souvent fondés sur des techniques statistiques évoluées : les modèles de Markov cachés ou les champs conditionnels de Markov, pour ne citer que les plus populaires d’entre eux.

    17Le principe de base de ces approches consiste à estimer la probabilité qu’un son ayant une certaine intensité sur différentes fréquences soit associé à un symbole particulier. Cependant, tout comme les constituants élémentaires de la parole, les phonèmes ne sont pas des sons stables ; par conséquent, il faut aussi prendre en compte la probabilité qu’une situation acoustique stable transite vers une autre situation.

    18La phase dite d’apprentissage consiste à estimer les probabilités des états (stables) et des transitions entre états à partir d’une grande quantité d’exemples de phonèmes représentant une grande diversité de contextes d’énonciation et de locuteurs. Ceci permet d’avoir pour chaque phonème un modèle statistique associé, appelé modèle de Markov caché. Dans la phase dite de reconnaissance, les algorithmes ont comme objectif de trouver le modèle le plus probable compte tenu du son effectivement numérisé et présent en entrée du système.

    « Intelligence » sans catégorisation ?

    19Paradoxalement, dans d’autres applications de l’intelligence artificielle, il était parfois impossible de décrire les processus mentaux à l’œuvre chez l’être humain et pourtant possible de construire des machines opérationnelles sur la base d’hypothèses probabilistes très simples, sans vraiment procéder à une quelconque catégorisation.

    20Par exemple, on aurait pu fixer comme objectif aux moteurs de recherche documentaire, très utilisés aujourd’hui par le grand public, de catégoriser les documents en deux classes : les documents pertinents vis-à-vis de la requête et ceux qui ne sont pas pertinents. Néanmoins, il est plutôt d’usage de présenter les documents dans l’ordre décroissant de leur probabilité de pertinence. L’effet produit à partir de formules relativement simples mettant en jeu la fréquence des mots d’une requête dans un index peut être vraiment déconcertant. Comment une machine peut-elle trouver en quelques fractions de seconde les documents que je recherche, à partir d’une question que j’ai formulée en langage naturel et dans une base documentaire qui contient des milliards de pages ?

    21Dans « Je me souviens de Nicolas Ruwet et de Maurice Gross », Jean-Paul Dècle décrit une scène dans un colloque scientifique qui exprime bien l’effet déconcertant de ces méthodes :

    Ce thésard protestait avec véhémence contre la présentation d’un moteur de recherche. Il mettait en doute, compte tenu de l’état de la connaissance dans le domaine, la possibilité de faire une recherche en texte libre, et criait à la supercherie parce qu’on osait présenter cette réalisation alors que les linguistes n’avaient pas encore réussi à se mettre d’accord sur la définition de ce qu’était un mot.
    (Dècle, 2006, p. 6).

    22En effet, pour décider de la pertinence d’un document vis-à-vis de l’expression d’un besoin en information, il est nécessaire à l’être humain de comprendre la requête et de comprendre le document. Ce ne sont pas les mots de la requête et du document qui sont comparés, mais les concepts, objets et relations auxquels ces mots font référence. Le doctorant cité ci-dessus ne s’était donc pas imaginé qu’il était possible de passer outre cette compréhension du rôle d’un mot et il refusait de croire qu’une approche purement statistique pouvait permettre la conception d’un système opérationnel. C’était manifestement une erreur.

    23Certes, le résultat n’est pas toujours parfait et certaines requêtes retournent beaucoup de documents non pertinents (les « faux positifs »). De plus, et même si c’est plus difficile à évaluer, ces requêtes laissent dans l’ombre un bon nombre de documents pertinents (les « faux négatifs »). Très probablement, un être humain, s’il avait eu le temps de lire ces milliards de pages, aurait fourni un résultat de bien meilleure qualité. Mais la machine a pourtant atteint dans ce domaine le but ultime que l’on peut lui fixer : nous rendre service.

    24Dans le même ordre d’idées, de nouvelles méthodes sont apparues très récemment : les word embeddings ou « plongements lexicaux ». Cette approche connexionniste permet de représenter chaque mot d’une langue sous la forme d’un vecteur de nombres rationnels. Les composantes de ce vecteur sont les paramètres d’un réseau de neurones, entraîné pour prédire l’occurrence d’un mot quand on connaît son contexte, ou d’un contexte lorsque l’on connaît le mot.

    25Il n’y a donc aucun besoin d’annoter le texte manuellement pour constituer des données d’apprentissage. De plus, si ces données sont suffisamment volumineuses, on observe que chaque composante du vecteur associé à un mot capture, d’une certaine façon, une partie de son sens.

    26Cela permet des opérations intéressantes : la soustraction des vecteurs correspondant aux mots « père » et « homme » (vecteur « parent »), à laquelle on ajoute le vecteur correspondant au mot « femme », produit un vecteur qui correspond au mot « mère ». En outre, cette représentation des mots en vecteurs est très utilisée comme entrée de systèmes connexionnistes bien plus complexes, capables par exemple de répondre à des questions exprimées en langage naturel ou de traduire des textes d’une langue vers une autre.

    27Par ailleurs, lorsque l’on a réussi à transformer un mot ou une séquence de mots en grandeur numérique, il est toujours possible de procéder à une véritable catégorisation, en fixant des seuils sur ces grandeurs. Par exemple, et pour reprendre le domaine de la recherche documentaire, lorsque des documents sont présentés par probabilité décroissante de pertinence vis-à-vis d’une requête, il peut paraître judicieux de ne pas présenter à l’utilisateur les documents qui ont moins d’une chance sur deux d’être pertinents. Cependant, le choix du seuil dépend vraiment de l’intention de l’utilisateur.

    28Afin de pouvoir comparer la qualité de plusieurs systèmes de catégorisation, ce seuil est généralement fixé de façon à obtenir des taux égaux de fausse acceptation et de faux rejet, mais il peut aussi être ajusté pour obtenir des résultats favorisant soit le rappel, soit la précision.

    29Là encore, les résultats obtenus peuvent donner l’impression que le logiciel comprend le sens des mots, et ce de façon assez bluffante. Mais l’illusion disparaît dès lors que l’on analyse en détail les erreurs de classification. En effet, si ces approches capturent très bien les usages des mots et qu’elles les généralisent souvent correctement grâce aux répétitions dans les données d’apprentissage, elles échouent dès qu’il s’agit d’extraire la logique du discours et les relations entre les concepts et objets signifiés.

    L’essor des modèles prédictifs

    30Les applications liées au traitement automatique du langage naturel utilisent ces approches dites « par apprentissage ». Mais parfois, les problématiques peuvent être considérablement plus complexes et les perspectives de résolution, vraiment plus lointaines.

    31Par exemple, lorsque nous reconnaissons un signal de parole, notre reconnaissance ne prend pas seulement en compte le signal lui-même. Nous nous aidons de nos connaissances morphologiques, lexicales, syntaxiques, sémantiques et même pragmatiques pour parvenir à décoder le signal acoustique ou textuel. Nous savons, par expérience, qu’une pancarte au fond d’une salle de cinéma faiblement éclairée a de bonnes chances de porter la mention « défense de fumer » et nous avons donc l’impression de lire clairement un texte qui, sans la prise en compte du contexte, serait parfaitement indéchiffrable.

    32Le nombre de données d’apprentissage nécessaires pour modéliser automatiquement et correctement toutes ces catégorisations et tous ces contextes est tel que seuls des systèmes informatiques très puissants disposant de corpus linguistiques massifs sont capables de montrer une quelconque utilité pratique. Cependant, les systèmes dits de « traitement automatique du langage » les plus performants sont encore, à l’heure actuelle, très loin de pouvoir démontrer une réelle compréhension du langage naturel.

    33De plus, l’apprentissage automatique n’est pas limité à l’imitation des capacités perceptives de la cognition humaine. Il ne s’appuie pas non plus forcément sur des approches de type statistique. D’ailleurs, avant les années 1990, il existait toute une activité de recherche dans ce que l’on appelait l’apprentissage symbolique. Il s’agissait de trouver des algorithmes permettant à un ordinateur d’apprendre « de lui-même » des transformations de suites de symboles en d’autres suites de symboles à partir de considérations relevant de la logique, ou plutôt de différentes formes de logique.

    34En parallèle, un autre axe de recherche explorait des approches dites connexionnistes, fondées sur une imitation du réseau de neurones et de synapses qui compose les cerveaux humains et non humains. Ces méthodes existaient également depuis les années 1960, avec le fameux « perceptron » : un réseau de neurones artificiels disposant d’une couche unique et capable de réaliser une régression linéaire à plusieurs dimensions. L’approche était bien moins économe en mémoire et en puissance de calcul, et les systèmes ainsi conçus concurrençaient difficilement ceux qui reposaient sur des formalismes logiques.

    35Ces trois dernières décennies ont vu les capacités de mémorisation et de calcul exploser grâce aux progrès de la miniaturisation des composants électroniques. L’arrivée d’Internet a, quant à elle, mis à la disposition des machines des quantités impressionnantes de données brutes (sons, images, vidéos), que l’on désigne souvent sous l’expression Big Data. Ces circonstances étaient nettement plus favorables aux approches connexionnistes.

    36En parallèle de l’approche connexionniste se développait une approche dite stochastique, qui consistait à « nourrir » des estimations statistiques avec de nombreux exemples de chaque phonème, syllabe ou mot, à calculer des probabilités conditionnelles qu’un mot apparaisse avant ou après un autre. Elle permettait d’obtenir rapidement des résultats prometteurs. On faisait une hypothèse de distribution statistique et on calculait ses paramètres, typiquement des moyennes, des variances, des probabilités de transition entre différents états, sur la base des exemples dits d’apprentissage.

    37Dans toutes ces approches fondées sur un apprentissage de type statistique, ce sont les réseaux de neurones artificiels qui ont fini par s’imposer dans la plupart des applications, de la reconnaissance d’image à la traduction automatique.

    38Ainsi, l’explosion conjointe de la quantité de données disponibles et de la puissance de calcul des ordinateurs a accéléré considérablement le développement de la classification dite « non supervisée », dans laquelle il s’agit de regrouper des observations en « classes », sans toutefois être tenu de leur affecter des symboles. Pour cela, il existe un nombre considérable de méthodes, s’appuyant sur une grande variété de critères. Ce sont souvent des distances numériques, plus ou moins sophistiquées, qui sont calculées entre les observations.

    Figure 6 : Augmentation de la puissance des superordinateurs, mesurée en milliards d’opérations par seconde sur des nombres à virgule (GFlops)

    Image 10000000000004E5000002C3468D3FFECEA0B0C8.jpg

    La puissance indiquée correspond à celle du plus puissant super­ordinateur de l’année correspondante.

    Source : https://ourworldindata.org / licence CC BY 4.0

    39Ces méthodes peuvent être très utiles pour traiter certains sujets. En visualisation de données textuelles, elles permettent par exemple de faire apparaître les mots clefs les plus significatifs d’une collection de documents textuels : ce sont les « nuages de termes » que l’on voit parfois sur les sites web.

    40Elles permettent aussi de réaliser des tâches plus générales, comme associer des termes apparentés, des questions avec des réponses, etc.

    41Dans certaines situations, cependant, il peut être plus difficile de travailler avec des données brutes, sans annotation humaine. C’est le cas par exemple en reconnaissance de la parole. Pour constituer un corpus d’apprentissage, il nous faut pouvoir mettre en correspondance les sons avec leurs symboles (phonèmes, syllabes, mots, etc.). Or, ces données ne sont pas produites massivement par l’industrie. On peut par exemple travailler avec les sous-titres des films ou des vidéos, mais il ne s’agit pas d’une transcription littérale de l’audio et les deux types de données, audio et texte, sont faiblement synchronisés.

    42Cela peut être encore plus difficile lorsqu’il s’agit d’associer automatiquement des significations à des discours ou des parties de discours. Nous ne disposons pas, par exemple, de données massives associant des portions de textes à des catégorisations qui permettraient de limiter la diffusion de fausses informations et de discours de haine. Par ailleurs, on sait bien en statistique que les faiblesses de représentativité des données peuvent poser de graves problèmes de biais. À l’issue d’une chaîne de traitements, lorsqu’elles sont intégrées dans des modèles, puis dans des applications, ces données biaisées peuvent entraîner des décisions discriminatoires. On en trouvera quelques exemples dans l’ouvrage de Cathy O’Neil intitulé Algorithmes : la bombe à retardement (O’Neil, 2018).

    43Pour ce type d’application de l’intelligence artificielle, il y a encore une place pour les approches dites « symboliques ». Ces approches, fondées sur des lexiques, des règles de grammaire, des théories linguistiques, offrent l’avantage d’être plus facilement accessibles à l’esprit humain que les milliards de paramètres que manipulent les réseaux de neurones artificiels et les modélisations statistiques.

    Les limites de la prédiction

    44La classification automatique dite « supervisée » présente aussi de très nombreuses difficultés. Dans cette approche, il est possible de connaître a priori ou a posteriori la catégorie à laquelle appartient chaque observation. L’évaluation est alors plus directe : il suffit de compter, sur un ensemble de tests, le nombre de faux positifs et de faux négatifs produits par la catégorisation automatique. Le problème peut donc être vu sous l’angle de l’inférence ou de la prédiction. D’ailleurs, c’est un peu ce que nous faisons quand nous manquons de théorie pour interpréter de nouveaux faits.

    Figure 7 : « Ce qui donne le cancer », d’après la classification du Centre international de recherche sur le cancer, nuage de mots‑clés

    Image 10000000000004E5000003240CCA9CA9DE957943.jpg

    Nathalie Ruaux / Wikimedia / licence CC BY SA

    45Par exemple, à la question posée dans la légende de la figure 8, il y a de bonnes chances que l’on réponde « chat », car dans l’apprentissage des langues, nous avons tendance à parier sur des niveaux de généralisation moyens. Cependant, « wxcv » pourrait tout aussi bien signifier « siamois », « félin », « mammifère », « animal », « tête », « yeux », « moustache », « poils », « deux », « strabisme », etc.

    Figure 8 : Cette image est associée au mot « wxcv » dans une langue inconnue. D’après vous, que signifie le mot « wxcv » ?

    Image 10000000000004E5000003AC1CCB1D137093A540.jpg

    Emery / Wikimedia / licence CC BY SA

    46La prise en compte d’un plus grand nombre et d’une plus grande variété d’images associées à « wxcv » permettra d’affiner l’hypothèse et de gagner en certitude, mais sans pour autant atteindre le niveau d’une preuve.

    47Les systèmes d’apprentissage automatique n’échappent pas à cette règle. Comme nous, ils peuvent surgénéraliser ou, au contraire, spécifier abusivement. Dans le premier cas, la catégorie sera truffée de faux positifs ; dans le second, elle sera remplie de faux négatifs. Cependant, il se peut aussi que l’hypothèse de départ soit incorrecte ; dans ce cas, aucune nouvelle observation ne pourra l’affiner : il faudra la remettre en cause.

    48D’ailleurs, lorsque l’on fait une hypothèse – même la plus vague –, ne suppose-t-on pas que le phénomène que l’on observe est prédictible ? Cette croyance au déterminisme des lois naturelles, qui est de nos jours encore très ancrée dans les esprits, a été définie par Pierre-Simon de Laplace en 1825 dès l’ouverture de son livre Essai philosophique sur les probabilités :

    Nous devons envisager l’état de l’Univers comme l’effet de son état antérieur et la cause de ce qui va suivre. Une intelligence qui pour un instant donné connaîtrait toutes les forces dont la nature est animée et la situation respective des êtres qui la composent, si d’ailleurs elle était assez vaste pour soumettre ces données à l’analyse, embrasserait dans la même formule le mouvement des plus grands corps de l’Univers et ceux du plus léger atome : rien ne serait incertain pour elle, l’avenir comme le passé serait présent à ses yeux.
    (Laplace, 1825, p. 3-4).

    49Néanmoins, on sait aujourd’hui que certains systèmes sont tellement sensibles à certains de leurs paramètres que d’infimes variations d’une cause peuvent provoquer de grandes conséquences. Cette notion de « chaos déterministe » – plus connue sous le nom d’effet papillon* – a été popularisée par le météorologue Edward Lorenz (1917-2008) lors d’une conférence donnée en 1972 et intitulée : « Prédictibilité : le battement d’ailes d’un papillon au Brésil peut-il provoquer une tornade au Texas ? »

    50L’induction consiste à prédire des phénomènes que l’on est incapable de comprendre. Or, il faut aussi noter, même si c’est moins intuitif, qu’il est également possible de comprendre des phénomènes que l’on est incapable d’anticiper. Plus généralement, le hasard est une notion très difficile à appréhender, mais il existe d’excellents ouvrages de vulgarisation – par exemple, Comprendre sans prévoir, prévoir sans comprendre (Krivine, 2016) – pour en saisir les subtilités.

    51Une autre faille des systèmes de classification automatique est due à la classique confusion que nous pouvons faire entre corrélation* et causalité. Lorsque deux mesures évoluent conjointement, on dit qu’elles sont corrélées. Or, s’il est parfaitement possible que cette corrélation soit le reflet d’une relation de causalité, il faut encore savoir quelle mesure est la conséquence de l’autre. Par ailleurs, elles peuvent être toutes deux la conséquence d’une même cause extérieure, sans être la cause l’une de l’autre. Et enfin, il est possible que la corrélation soit simplement une pure coïncidence.

    52Sur son site, Tyler Vigen, étudiant à Harward Law School, recense quelques fortes corrélations, calculées avec le plus grand sérieux, mais qui font apparaître des liens entre des phénomènes très éloignés. Par exemple, l’auteur calcule une corrélation positive de 99,79 % entre les dépenses d’un État en faveur de la recherche scientifique et un taux de suicide, ou encore une corrélation positive de 99,26 % entre un taux de divorce et un niveau de consommation de margarine (Vigen, 2015).

    53Nous pouvons nous aussi tomber dans ce type de piège, mais, contrairement aux machines, nous avons la faculté de remettre en cause nos propres jugements et de modifier en conséquence nos façons de raisonner. Il s’ensuit que lorsque nous transférons notre représentation du monde dans une machine, elle hérite presque instantanément de millénaires de réflexions et de remises en cause individuelles et collectives au sein de la société humaine. En revanche, lorsque la machine apprend toute seule, elle peut traiter des quantités considérables de données en un temps infime, mais, du point de vue cognitif, elle part quasiment de zéro.

    54De plus, l’ordinateur dépend encore de l’être humain, soit pour lui fournir des données, soit pour lui indiquer où les chercher. Cependant, en sélectionnant directement ou non les données d’apprentissage, l’être humain peut être affecté par les quelques centaines de biais cognitifs* qui ont été identifiés par la psychologie, et ainsi les transmettre aux logiciels.

    55Les hypothèses sur lesquelles s’appuient les réseaux de neurones artificiels sont plus difficiles à cerner que dans le cas de la statistique traditionnelle. On a pu montrer par exemple que, lorsqu’un tel réseau ne possède qu’une seule couche de neurones, il est équivalent à une régression linéaire à plusieurs dimensions, une méthode statistique connue depuis le xviiie siècle. Il s’agit d’approximer des données expérimentales par un modèle théorique dont on estime les coefficients. Lorsque les données sont des points sur une courbe, ce modèle est une droite. Quand il s’agit de modéliser des points dans un espace à plusieurs dimensions, on estimera les paramètres d’un plan multidimensionnel.

    56Quelques décennies plus tard, de nouvelles avancées ont permis d’estimer les paramètres d’un réseau possédant plusieurs couches de neurones, grâce à une méthode appelée « rétropropagation du gradient » (Le Cun, 2019), et on a pu montrer que ces nouveaux réseaux de neurones étaient capables de faire de la classification non linéaire. C’est-à-dire qu’ils étaient devenus capables de séparer différentes catégorisations par des formes plus complexes que les plans multidimensionnels. Cela a permis un véritable saut qualitatif. Les performances atteintes avec ces méthodes – qualifiées d’« apprentissage profond » (ou deep learning) –, en reconnaissance d’image, puis en traitement automatique du langage, ont été spectaculaires et ont mis cette technologie sur le devant de la scène.

    57Toutefois, il faut garder à l’esprit que la structure de ces réseaux, leur type, le nombre de neurones, la mesure de distance choisie pour évaluer leur production vis-à-vis des attendus, ainsi que la fonction qui permet de minimiser cette distance constituent d’une certaine façon des hypothèses sur les données que le système doit prédire. En outre, si une hypothèse plus fine permet de réduire l’espace de recherche, elle entraîne un risque important d’inadéquation ; inversement, une hypothèse plus générale peut s’adapter plus facilement aux données d’apprentissage, mais elle nécessitera un plus grand volume de données et un plus grand effort de calcul. Ainsi, la recherche d’un bon compromis devient un sujet d’étude à lui seul.

    58L’une des hypothèses les plus fortes induites par ces systèmes d’apprentissage automatique est sous-tendue par le principe qui régit leur adaptation aux données. Les algorithmes d’apprentissage supposent qu’une légère modification des paramètres du modèle entraîne une légère modification de son comportement. Ceci permet de s’appuyer sur un processus incrémental qui sélectionne les petites modifications du système qui se révèlent les plus avantageuses. On évite ainsi de rester bloqué dans des minima locaux en utilisant des méthodes inspirées par les procédés de recuit des métaux en fonderie.

    59L’idée générale pour trouver le minimum d’une fonction d’erreur est de suivre la plus grande pente. Mais si la fonction possède plusieurs « vallées », il faut parfois remonter la pente pour atteindre une nouvelle vallée possiblement plus basse. C’est ainsi qu’en fonderie, on peut chauffer et refroidir plusieurs fois un métal pour obtenir une structure qui optimise certaines propriétés mécaniques, comme la ductilité, propriété d’un matériau à se déformer sans se rompre.

    60Par ailleurs, cette hypothèse selon laquelle de petites causes produisent de petites conséquences autorise aussi des approches de type « évolutionniste » inspirées de la génétique. L’idée consiste à spécifier des algorithmes particuliers que l’on peut copier imparfaitement sans trop s’éloigner de l’original. Il est dès lors possible d’imiter le processus d’évolution par sélection naturelle. Cependant, cette hypothèse de la continuité des caractéristiques et de leurs effets est une hypothèse très forte qui est souvent sous-évaluée. Par exemple, si l’on considère les langages, qu’ils soient naturels ou artificiels, comme des systèmes à forte capacité descriptive, une modification minime comme l’introduction d’une négation ne va pas bouleverser la thématique, mais elle va avoir de grandes conséquences sur la sémantique d’un énoncé.

    61Le cumul de ces limitations a une conséquence : les exploits apparents des machines apprenantes, en particulier dans les domaines du traitement automatique du langage naturel (recherche documentaire, agents conversationnels, traduction, etc.) résident dans leur capacité à imiter les comportements humains sans en rechercher la source. Les progrès réalisés ces dernières décennies apparaissent considérables, surtout si on les évalue à l’aide d’un test de Turing (le jeu d’imitation). Mais il me semble qu’il est encore assez facile à un interrogateur avisé, au fait des technologies mises en œuvre, de démasquer la machine.

    Les limites de l’imitation

    62En premier lieu, toute méthode qui consiste à inférer des situations inédites sur la base de l’étude d’un ensemble de situations plus ou moins représentatives d’un phénomène suppose que ce phénomène est stable. Néanmoins, pour reprendre mon exemple favori, ce n’est pas le cas du langage naturel, car nous inventons des mots en permanence. C’est le cas avec les noms propres, mais nous jouons aussi sur des règles morphologiques pour créer de nouvelles formes à partir de racines anciennes. Nous importons aussi en permanence des mots étrangers, qui parfois retournent à leur pays d’origine avec une signification plus ou moins différente. Par exemple, l’anglicisme « challenge » qui tend à remplacer le mot français « défi » dans de très nombreux milieux francophones, dont celui des professionnels du numérique, vient à l’origine du mot chalenge qui, en vieux français, signifiait « contestation ».

    63En réalité, même si nous pouvions figer un vocabulaire, rien ne nous assurerait que les mots, dans des contextes pourtant similaires, font toujours référence aux mêmes concepts ou objets. Enfin, nous avons l’impression que face à un même stimulus, dans un seul contexte, nous associons un symbole unique. En effet, si ce n’était pas le cas, comment pourrions-nous communiquer ? Cependant, les mécanismes cognitifs qui nous permettent de gérer le contexte sont peut-être plus sophistiqués que ce que l’on croit : dans un labyrinthe, un grand nombre de positions se ressemblent, et pourtant notre cerveau se montre aussi capable d’associer des positions différentes à des images similaires, voire à des séquences d’images identiques, en déroulant et en réenroulant mentalement le fil d’Ariane. Ainsi, les systèmes de traitement automatique de la langue naturelle (TALN) peinent toujours aujourd’hui à atteindre le même niveau de qualité que l’être humain, sauf dans quelques applications hyperspécialisées. Pire, lorsque les données dites d’apprentissage reproduisent des biais cognitifs, ces biais peuvent, à la fin du processus de décision automatique, se traduire par des discriminations socialement inacceptables (O’Neil, 2018).

    64Une autre limite réside dans le coût financier, énergétique et écologique de ces solutions. Le cerveau humain est constitué de centaines de milliards de neurones, synapses, cellules gliales, qui sont interconnectés et qui ne nécessitent pas plus d’énergie au total qu’une poignée d’ampoules basse consommation (autour de 12,6 W). Il est dès lors évident que la consommation électrique et la production de chaleur d’un système équivalent, construit à partir de composants électroniques, sont considérablement plus importantes que celles de sa version biologique, aussi imparfaite soit-elle : par exemple, l’ordinateur IBM Watson – qui devint, en 2011, champion du jeu télévisé américain Jeopardy – consommait environ 90 000 watts répartis sur 90 serveurs, chacun doté de quatre processeurs à quatre cœurs. Et, en ce qui concerne la phase d’apprentissage, les systèmes « état de l’art » de traitement automatique du langage comme BERT ou GPT-3 nécessitent quant à eux environ 1 000 kilowattheures, soit l’équivalent de la consommation énergétique d’un cerveau humain apprenant huit heures par jour pendant trente-cinq ans. Il va sans dire qu’à l’heure actuelle, le cerveau humain reste assez compétitif sur cet aspect des choses, même si l’approche « quantique » permet d’entrevoir de nouvelles perspectives (Querlioz & Grollier, 2020).

    65Enfin, une limite est aussi posée par ce que l’on appelle l’explicabilité. Lorsque nous réagissons à un stimulus, nous sommes évidemment incapables de donner une explication précise de notre réaction, par exemple en énonçant la liste des neurones qui se sont activés dans notre cerveau et en indiquant vers quels autres neurones l’impulsion électrique s’est propagée par les synapses.

    66Dans tous les cas, ce genre d’explication ne pourrait pas être comprise par nos congénères. Le fait qu’un réseau de neurones artificiels soit capable d’une telle prouesse ne lui accorde, pour les mêmes raisons et de ce point de vue, aucun avantage sur l’être humain. En revanche, le cerveau humain surpasse la machine lorsque ces signaux neuronaux atteignent le niveau de la conscience ; il devient alors capable de formuler en langage naturel, avec des sons, des lettres ou même des schémas, une justification compréhensible – qu’elle soit juste ou erronée – de son fonctionnement. Ceci ouvre la voie à une amélioration, d’origine individuelle ou sociale, de son fonctionnement, sans forcément nécessiter une grande quantité de nouvelles données d’apprentissage.

    67Il n’est donc pas du tout exclu que dans un grand nombre d’applications, on assiste dans un futur proche au grand retour de l’approche dite « symbolique », possiblement intégrée aux approches de type connexionniste. C’est en tout cas ce que suggère une étude réalisée conjointement, en mars 2020, par des chercheurs de laboratoires mondialement réputés comme le MIT, IBM, l’université d’Harvard et Google DeepMind (Virol, 2020).

    Bibliographie

    Pour en savoir plus

    Chaumartin F.-R., Lemberger P., Le traitement automatique des langues. Comprendre les textes grâce à l’intelligence artificielle, Malakoff, Dunod, 2020.

    Krivine H., Comprendre sans prévoir, prévoir sans comprendre, Paris, Cassini, 2018.

    Le Cun Y., Quand la machine apprend. La révolution des neurones artificiels et de l’apprentissage profond, Paris, Odile Jacob, 2019.

    Précédent Suivant
    Table des matières

    Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

    Voir plus de livres
    Où va l’argent public ?

    Où va l’argent public ?

    La commande publique au défi des données ouvertes

    Pierre-Henri Morand

    2022

    L’eau

    L’eau

    Introduction à une ressource rare

    Christophe Emblanch et Sarah Jourdren

    2021

    La boîte translucide

    La boîte translucide

    Un éclairage sur l’intelligence artificielle

    Pierre Jourlin

    2021

    Les méduses de Provence

    Les méduses de Provence

    Une vie cachée

    Alain Thiéry

    2020

    Recettes de résilience urbaine

    Recettes de résilience urbaine

    Faire face aux inondations

    Charlotte Heinzlef

    2019

    Le populisme en question

    Le populisme en question

    Élections et abstention vues d’Avignon

    Christèle Lagier

    2018

    Voir plus de livres
    1 / 6
    Où va l’argent public ?

    Où va l’argent public ?

    La commande publique au défi des données ouvertes

    Pierre-Henri Morand

    2022

    L’eau

    L’eau

    Introduction à une ressource rare

    Christophe Emblanch et Sarah Jourdren

    2021

    La boîte translucide

    La boîte translucide

    Un éclairage sur l’intelligence artificielle

    Pierre Jourlin

    2021

    Les méduses de Provence

    Les méduses de Provence

    Une vie cachée

    Alain Thiéry

    2020

    Recettes de résilience urbaine

    Recettes de résilience urbaine

    Faire face aux inondations

    Charlotte Heinzlef

    2019

    Le populisme en question

    Le populisme en question

    Élections et abstention vues d’Avignon

    Christèle Lagier

    2018

    Accès ouvert

    Accès ouvert freemium

    ePub

    PDF

    PDF du chapitre

    Suggérer l’acquisition à votre bibliothèque

    Acheter

    Édition imprimée

    • amazon.fr
    • decitre.fr
    • mollat.com
    • leslibraires.fr
    • placedeslibraires.fr
    • lcdpu.fr
    ePub / PDF

    La boîte translucide

    X Facebook Email

    La boîte translucide

    Ce livre est diffusé en accès ouvert freemium. L’accès à la lecture en ligne est disponible. L’accès aux versions PDF et ePub est réservé aux bibliothèques l’ayant acquis. Vous pouvez vous connecter à votre bibliothèque à l’adresse suivante : https://freemium.openedition.org/oebooks

    Suggérer l’acquisition à votre bibliothèque Acheter ce livre aux formats PDF et ePub

    Si vous avez des questions, vous pouvez nous écrire à access[at]openedition.org

    La boîte translucide

    Vérifiez si votre bibliothèque a déjà acquis ce livre : authentifiez-vous à OpenEdition Freemium for Books.

    Vous pouvez suggérer à votre bibliothèque d’acquérir un ou plusieurs livres publiés sur OpenEdition Books. N’hésitez pas à lui indiquer nos coordonnées : access[at]openedition.org

    Vous pouvez également nous indiquer, à l’aide du formulaire suivant, les coordonnées de votre bibliothèque afin que nous la contactions pour lui suggérer l’achat de ce livre. Les champs suivis de (*) sont obligatoires.

    Veuillez, s’il vous plaît, remplir tous les champs.

    La syntaxe de l’email est incorrecte.

    Référence numérique du chapitre

    Format

    Jourlin, P. (2021). 2. La machine apprenante. In La boîte translucide. Avignon: Éditions Universitaires d’Avignon. https://doi.org/10.4000/books.eua.6677
    Jourlin, Pierre. « 2. La machine apprenante ». In La boîte translucide. Avignon: Éditions Universitaires d’Avignon, 2021. doi:10.4000/books.eua.6677.
    Jourlin, Pierre. « 2. La machine apprenante ». La boîte translucide, Éditions Universitaires d’Avignon, 2021, https://doi.org/10.4000/books.eua.6677.

    Référence numérique du livre

    Format

    Jourlin, P. (2021). La boîte translucide. Avignon: Éditions Universitaires d’Avignon. https://doi.org/10.4000/books.eua.6636
    Jourlin, Pierre. La boîte translucide. Avignon: Éditions Universitaires d’Avignon, 2021. doi:10.4000/books.eua.6636.
    Jourlin, Pierre. La boîte translucide. Éditions Universitaires d’Avignon, 2021, https://doi.org/10.4000/books.eua.6636.
    Compatible avec Zotero Zotero

    1 / 3

    Éditions Universitaires d’Avignon

    Éditions Universitaires d’Avignon

    • Mentions légales
    • Plan du site
    • Se connecter

    Suivez-nous

    • Flux RSS

    URL : http://univ-avignon.fr/bibliotheque/les-editions-universitaires-d-avignon-eua-

    Email : eua@univ-avigon.fr

    Adresse :

    74 rue Louis Pasteur

    84029

    Avignon

    France

    OpenEdition
    • Candidater à OpenEdition Books
    • Connaître le programme OpenEdition Freemium
    • Commander des livres
    • S’abonner à la lettre d’OpenEdition
    • CGU d’OpenEdition Books
    • Accessibilité : partiellement conforme
    • Données personnelles
    • Gestion des cookies
    • Système de signalement