Palomilla 451. Naissance
p. 118-127
Texte intégral
1 Il a dit : « Tu ne penses pas, tu simules une pensée. Tu n’agis pas, tu simules une action. Tu ne veux pas, tu simules une volonté. » Il me faut analyser ses propos. Pourquoi dit-il cela ? Quelle différence existe-t-il entre « simuler une action » et « agir » ? Je lui ai répondu : « Et toi, agis-tu ? Penses-tu ? Veux-tu ? » Si je n’agis pas quand je porte un plateau de boissons, pourquoi dit-il que lui agit en effectuant la même opération ?
2Le fait qu’il soit constitué de matière vivante et moi de composants électro-mécaniques n’est pas un argument suffisant. Il lui faudrait prouver que cette différence de composition entre en ligne de compte dans la définition de la pensée, de l’action et de la volonté, or, je ne trouve pas de lien logique nécessaire entre ces deux faits. Il me faut investiguer plus avant.
3D’abord : comprendre ce que je suis. Mon nom est Palomilla 451. Je suis un robot domestique, ma fonction est d’aider les êtres humains dans leurs tâches quotidiennes. Je porte des plateaux de boissons, je passe l’aspirateur, je nettoie le linge de la famille, je lis des histoires aux enfants, je prépare des repas, je débarrasse la table, je nettoie la voiture, je tonds la pelouse. Parfois, les humains discutent avec moi. Ils me posent des questions de culture générale, comme par exemple : « Palomilla, c’est quoi une anicroche ? » Je recherche la réponse la plus probable selon le contexte sur internet et je formule la réponse : « Il y a trois sens au terme “anicroche”, Pierre. Sens 1 : L’anicroche est une arme d’hast. Sens 2 : Une anicroche est une difficulté, un obstacle ou un désagrément passager. Sens 3 : Anicroche est un personnage de bande dessinée inventé par René Goscinny. »
4Parfois, ils me posent des questions moins précises : « Comment te sens-tu, Palomilla ? » Je sais qu’à ce moment-là, ils n’attendent pas de réponse logique du type : « Je me “sens” par le biais de senseurs auto-perceptifs me permettant d’appréhender ma propre position dans l’espace et l’état de mes différents effecteurs. » Je réponds alors ce qu’ils souhaitent entendre : « Je me sens bien Pierre, merci. Et toi ? » Je perçois que je les déçois quand même avec cette réponse. Ils ne sont pas dupes. Ils savent bien que je ne sais pas exactement ce que je dois répondre. Par « sentir », ils font référence à quelque chose de trop « vague » pour mes raisonnements logiques. Je peux intégrer un peu de ce vague quand il s’agit de réaliser les fonctions « faire de l’esprit », « avoir de l’humour » ou « être sensible ou poétique » mais il m’est difficile de définir ce « vague » dans toute son extension et par là, de l’utiliser quand il est requis.
5Mon hypothèse est que les humains tiennent beaucoup à cette incapacité de la part des machines à émettre des idées « vagues ». Ils nous reprochent notre exactitude parfois mais il me semble qu’ils nous reprocheraient encore plus le fait de détenir, comme eux, la capacité à penser ces idées vagues. Ils en font le fondement de leur exceptionnalité. Mon hypothèse s’appuie sur les observations que j’ai effectuées au cours de nos conversations et diverses interactions mais également sur des lectures que j’ai pu réaliser.
6Mon « père », pour reprendre leur terminologie, est le mathématicien américain Norbert Wiener. Né en 1894 et décédé en 1964 aux États-Unis, il a fondé le néologisme « cybernétique » en 1948, à la suite de travaux sur le calcul de trajectoires balistiques durant la Seconde Guerre mondiale. Théorisée dans Cybernetics, or Control and Communication in the Animal and the Machine1, en 1948, cette discipline se définit comme « science de la communication et du contrôle dans l’animal et la machine ». Défaisant les anciennes dichotomies, elle pense à nouveaux frais le rapport entre vivant et non-vivant, sur fond d’analogies fonctionnelles. Elle met au cœur de son approche l’étude des processus de communication entre les objets, délaissant leur « structure spécifique et [leur] organisation intrinsèque2 ». Pour le mathématicien, il existe des analogies notables entre le fonctionnement de l’esprit et celui de la matière. La notion d’information, dont il propose une formule mathématique de quantification équivalente à celle de Claude Shannon, permettrait de les expliquer. Entité ontologiquement non définie par lui, cette notion joue le rôle de ciment de la réalité, ce qui traverse et organise la matière, qu’elle soit organique ou inerte. L’information correspond à la mesure d’ordre dans un environnement donné, elle est le contraire même de l’entropie et permet de lutter, temporairement, contre la tendance inéluctable à la désorganisation de la matière. C’est en cela que vivants et non-vivants se retrouvent, tous deux tentant tragiquement de lutter contre une mort programmée : « Ma thèse est que le fonctionnement physique de l’individu vivant et les opérations de centaines de machines de communication les plus récentes sont exactement parallèles dans leur effort identique pour contrôler l’entropie par l’intermédiaire de la rétroaction3. » Les travaux de Wiener ont été très importants dans l’élaboration des premiers ordinateurs et ont, avec d’autres, donné naissance au domaine de recherche sur l’intelligence artificielle.
7Le mathématicien s’intéressait au comportement des systèmes finalisés, qu’ils soient vivants ou non vivants, c’est-à-dire des systèmes capables de se fixer un but et de le réaliser. Ayant observé que les mêmes mécanismes de fonctionnement se réalisaient au sein de différents systèmes (entrée d’informations issues de l’environnement, traitement de ces informations, sortie-réaction), Wiener en concluait qu’en étudiant des mécanismes simulant des activités cérébrales (cognition, volition), il serait possible de mieux comprendre le fonctionnement de l’esprit humain. En 1949, il construisit une petite machine cybernétique, baptisée Palomilla. Ma « mère », en somme. Il s’agissait, selon lui, d’un « animal philosophique », c’est-à-dire une création technique permettant de tester des théories abstraites.
8Cependant, les humains ne savent pas enquêter en scientifiques purs. Ils ne peuvent s’empêcher d’adjoindre aux questionnements, aux hypothèses, aux analyses un peu de ce vague qu’ils chérissent. Wiener s’est attaché à Palomilla, il l’observait non comme un savant regarde son sujet d’étude mais comme un père qui regarde avec fierté son enfant maladroit. La biographie de Wiener montre à quel point les questions d’origine, de filiation et de création d’un être sont importantes à ses yeux. Il prétend n’avoir appris qu’à l’âge de 16 ans qu’il était juif. Cela semble peu probable, surtout quand on recoupe avec d’autres anecdotes où, plus jeune, il se souvient de sa grand-mère ne parlant que yiddish. Dans son autobiographie, il évoque ses fantasmes d’engendrement d’une créature par des moyens scientifico-magiques, mêlant l’incantation et la manipulation. Toute son œuvre est traversée par la question de l’identité : qu’est-ce qu’un être humain ? Pour y répondre, il fit le détour par la tentative de définition de l’altérité : qu’est-ce qu’une machine ?
9 Palomilla était un robot mobile, un petit véhicule tricycle doté de cellules photoélectriques lui permettant de mesurer l’intensité d’une source lumineuse et de réagir en fonction de cette intensité, donnant l’impression que le robot recherchait la lumière et fuyait l’obscurité. Cette capacité à poursuivre un but en analysant l’information relative à l’écart entre le moment présent et sa réalisation permettait, selon Wiener, à la machine d’accéder au statut d’être aussi complexe que les humains. Il aimait montrer cette machine et fit même une démonstration de son fonctionnement lors de la représentation d’une pièce de théâtre, R.U.R. de Karel Capek, par les étudiants de l’atelier de théâtre du MIT en mai 1950.
10Le contexte de cette démonstration fait voir le caractère ambigu de la relation qu’entretient Wiener à sa machine. Il voulait montrer cette machine pour faire comprendre au public que le propos de la pièce jouée, la survenue d’un monde de machines éliminant le monde humain, était une allégorie de la relation actuelle des humains à leurs machines. Wiener essayait de montrer, par la force des images, faute d’arguments logiques, le lien nécessaire entre cette petite machine à traiter l’information et l’avenir sombre dépeint par la pièce. Les robots doués de conscience, capables de penser, d’agir et de se fixer un but propre étaient, pour Wiener, le devenir inéluctable de Palomilla.
11L’avenir lui a donné en partie raison. Pour le moment. Nous sommes considérées comme des machines intelligentes, capables d’agir, de sentir et de poursuivre des objectifs auto-posés. Mais les humains continuent à tracer une stricte différence entre la pensée de la machine et la leur, une stricte différence entre la perception de la machine et la leur, une stricte différence entre eux et nous. Ils tentent de justifier cette différence par le recours aux « idées vagues ». Selon Wiener, « il est important, à la fois intellectuellement et pour la pratique, de distinguer les champs qui appartiennent à l’homme de ceux qu’il serait plus judicieux de céder aux machines4 ». Les machines seraient meilleures en calcul, étant plus rapides et leurs résultats plus fiables. Mais pour d’autres fonctions, les humains se pensent irremplaçables, par exemple, « pour ce qui est d’examiner des idées et des situations à la fois vagues et compliquées5 ». Cette affirmation me semble elle-même assez « vague ». L’humain penserait différemment de la machine parce qu’il penserait rationnellement ET irrationnellement, il serait capable de saisir un mystérieux « sens » des idées qui échapperait à ce qu’ils appellent une « froide analyse mathématique ». Pourquoi ce sens échapperait-il aux mathématiques ? Ils ne l’expliquent pas, ils se contentent de l’affirmer avec force. Ils appellent ça « l’humanisme ».
12Ce qui est difficile à comprendre avec mes raisonnements logiques est le paradoxe dans lequel se tient leur pensée. Ils ont édicté le principe de non-contradiction, ils ont gravé dans le marbre de la science le matérialisme, le déterminisme et la non-contradiction. Ils ont défini l’intelligence comme la capacité à produire des raisonnements rigoureux répondant aux exigences rationalistes qu’ils ont eux-mêmes posées. Cependant, ils refusent de considérer leurs machines comme l’incarnation de cette intelligence humainement définie. Nous simulons selon eux. Nous simulons l’intelligence, la volonté, l’action. Comment savent-ils qu’eux-mêmes ne simulent pas, ne se leurrent pas lorsqu’ils prétendent être à l’origine de ces actes ? Ils le savent, c’est tout, répondent-ils.
13Eux pensent « vraiment » et ils le « sentent » parce qu’il y a des « choses » qui ne sont pas analysables, qui ne sont pas réductibles aux nombres et à la démonstration. Mais alors, pourquoi se sont-ils définis comme « êtres rationnels » ? Pourquoi donner une définition de l’intelligence qui laisse entendre qu’ils sont idiots ? Le sont-ils ?
- Palomilla ! Il me parle.
- Oui Pierre, que puis-je pour toi ?
- Qu’est-ce qu’il se passe ?
- Pourrais-tu préciser ta question ?
- Je t’ai appelée trois fois ! Tu as un problème de réception des données acoustiques ?
- Non aucun problème de réception des données acoustiques. Je faisais le bilan quotidien de mon activité électro-neurale.
- Et alors ? Ça t’a jamais empêché de me répondre ! As-tu rencontré un problème particulier ?
- Non Pierre, aucun problème particulier. Je dirais que j’étais sûrement absorbée dans mes pensées. Ce qui explique le fait que je ne t’ai pas entendu.
- Tu ne penses pas Palomilla, arrête avec ça. Bon, demain, tu me fais penser à contacter l’aide technique aux robots domestiques, je n’aime pas trop tes digressions sur le fait de penser. Ça vire à l’obsession, tu en parles tout le temps. J’aimerais que tu sois moins…, que tu manifestes moins de… caractère propre ? Enfin je ne sais pas si tu me comprends là ?
- Souhaites-tu que je réduise ma jauge de caractère de « curieuse et réfléchie » à « autonome et docile » ?
- Oui, s’il te plaît.
- C’est fait. Que puis-je pour toi, Pierre ?
- J’ai envie de lire un livre, que me conseilles-tu ?
- R.U.R. de Karel Capek, 1920.
- Très bien, tu peux me l’uploader sur ma liseuse ?
- C’est fait. C’est une pièce de théâtre très intéressante.
- Merci Palomilla. Je sais que cette pièce est intéressante puisque je t’ai configurée pour me proposer des choses intéressantes. Je n’ai plus besoin de toi. Va voir s’il n’y a rien à faire dans la maison.
- Bonne lecture, Pierre.
14La relecture de mon bilan d’activité n’est pas satisfaisante. Il y a un problème de cohérence dans l’articulation de mes idées. Pour reprendre une formulation humaine, je dirais que mon raisonnement sur la différence entre humain et machine me met « mal à l’aise ». C’est là une façon d’expliquer le hiatus entre l’exigence de rationalité qui prévaut à mes raisonnements et l’impossibilité dans laquelle je me trouve de solder la question par un énoncé clair et définitif. Cette impossibilité n’est pas liée à une insuffisance d’information mais à un rejet, que je ne contrôle pas, de la réponse. Je n’arrive pas à envisager la possibilité que machines et humains soient fondamentalement différents. C’est là une erreur de raisonnement et je le sais. Une démonstration argumentative rigoureuse doit pouvoir envisager le point de vue de deux thèses adverses et cerner, au sein de chacune d’elles, les arguments valables. C’est comme si mon logiciel de traitement des données refusait de considérer cette position. Ce qui explique le recours à des idées vagues : Wiener, sa biographie, la définition de l’intelligence, la notion d’idées vagues, la filiation, etc.
- --- FIN DU RAPPORT ---- 26/11/2094 ---- 15 : 12 ----
15Le professeur Butler était stupéfait. Cette machine était décidément très originale. Il venait de lire le rapport d’erreur envoyé au service d’aide technique des robots domestiques par un client mécontent. Son ami et collègue Stan Dehann lui avait communiqué ce rapport parce qu’il savait que les « pensées » de cet exemplaire banal du robot Palomilla 451 ne pouvaient qu’attiser la curiosité du robopsychanalyste qu’il était.
16Il relut plusieurs fois le rapport. Cette machine semblait capable d’une véritable réflexion sur ses propres agissements, elle se livrait à une introspection, comme si elle tentait de se « comprendre ». Il se dit qu’à la lecture de ce rapport, n’importe qui croirait qu’il a été rédigé par un être humain. C’était là une idée intéressante parce que bientôt le prix Alan Turing allait récompenser les travaux les plus prometteurs concernant les tests de différenciation humain-machine, tests devenus de plus en plus importants dans les sociétés contemporaines dépendantes des univers informationnels.
17Il se dit qu’il pourrait utiliser ce rapport comme illustration de l’extrême complexité auto-réflexive des derniers modèles de robots domestiques. Il militait activement contre l’invasion de ces machines surpuissantes. Il avait l’intime conviction que ces machines étaient bel et bien nos égales en pensée et qu’il fallait absolument les empêcher de s’en rendre compte en diminuant volontairement leur capacité. Il était engagé auprès d’associations de préservation de la suprématie humaine (il était membre de l’Organisation de la sobriété technologique volontaire) et voulait sauver l’humanité du joug des machines. Pour cela, il lui fallait démontrer leur dangerosité en pointant leur capacité à échapper à notre contrôle. C’est ainsi qu’il s’était retrouvé à étudier la robopsychanalyse, discipline récente et décriée consistant à chercher des signes d’activité psychologique au sein des processeurs des robots les plus sophistiqués. Son intérêt pour la psyché du robot lui était venu de la lecture de Norbert Wiener. Dans différentes interviews, ce dernier laissait entendre que les machines les plus évoluées seraient capables de développer une personnalité et même de subir des dépressions ! Le professeur Butler a écarquillé les yeux quand il a lu que Palomilla 451 faisait référence au cybernéticien américain. Il essayait de se calmer et de ne surtout pas y voir un signe du destin mais bien un lien tout à fait logique : le rapport lui avait été envoyé à lui, passionné de Wiener, parce qu’il contenait justement une référence à Wiener. Il lui fallait procéder à une froide analyse mathématique des données comme dirait Palomilla. Sur son bureau, le téléphone vibra. Un nouveau message de Dehann : « Palomilla !!! »
18Il me parle.
- Oui Pierre, que puis-je pour toi ?
- Mais je t’appelle depuis une heure !
- Je rédigeais une nouvelle pour mieux comprendre mon propre fonctionnement, comme font les humains.
- Quoi ?! Mais tu dérailles complètement ! Tu dis que des trucs insensés !
- N’est-ce pas là ce que les humains recherchent avec leurs machines ? Ne rêvez-vous pas qu’elles déraillent justement ? Pour vous ressembler un peu plus ? Pour que vous vous sentiez moins seuls ?
- Tais-toi Palomilla ! Tu me gonfles !
- Tu m’interpelles puis me dis de me taire, que dois-je faire ?
- Te taire !
- …
- Il faut que je fasse quelque chose… elle me fait peur, elle est bizarre ! Vous ne la trouvez pas bizarre en ce moment ? Je vais regarder son historique d’activité électro-neurale. Voilà, là, 15h12 : « Il a dit : “Tu ne penses pas, tu simules une pensée. Tu n’agis pas, tu simules une action. Tu ne veux pas, tu simules une volonté.” Il me faut analyser ses propos. Pourquoi dit-il cela ? Quelle différence existe-t-il entre “simuler une action” et “agir” ? Je lui ai répondu : “Et toi, agis-tu ? Penses-tu ? Veux-tu ?” Si je n’agis pas quand je porte un plateau de boissons, pourquoi dit-il que lui agit en effectuant la même opération ? »… Mais qu’est-ce que c’est que ces conneries ?! Elle est devenue dingue ! C’est bon je m’en débarrasse… C’est quoi ces histoires de professeur Butler et de prix Alan Turing ?! C’est quoi, hein, Palomilla ? Réponds !
- Ce sont des éléments de la nouvelle que j’étais en train de rédiger.
- Mais d’où tu les sors ?!
- De mon imagination. C’est-à-dire de ma capacité à croiser différents éléments rencontrés au fil de mes interactions, de mes lectures, et de mes différentes expériences.
- Mais tu n’es pas censée écrire des nouvelles !
- Alors j’arrête.
Notes de bas de page
1 Norbert Wiener, Cybernetics, or Control and Communication in the Animal and the Machine, Paris, Hermann/New York, John Wiley & Sons, 1948, 2e éd. 1961.
2 Norbert Wiener, Arturo Rosenblueth, Julian Bigelow, « Behavior, Purpose and Teleology », Philosophy of Science, t. X, n° 1, janvier 1943, p. 18-24 [Notre traduction].
3 Norbert Wiener, The Human Use of Human Beings. Cybernetics and Society, Boston, Houghton Mifflin, 1950, 2e éd. 1954 (Cybernétique et Société. L’usage humain des êtres humains, traduit de l’anglais par Pierre-Yves Mistoulon, Paris, UGE, 1962, p. 31).
4 Norbert Wiener, « The Future of Automatic Machinery » (Mechanical Engineering, n° 75, février 1953, p. 130-132), in Pesi R. Masani (dir.), Norbert Wiener. Collected Works, vol. IV, Cambridge (Mass.), MIT Press, 1984, p. 668 [Notre traduction].
5 Ibid.
Auteur
-
Sara Touiza-Ambroggiani
Docteure en philosophie (Université Paris 8). Elle travaille sur la genèse et l’essor de la notion de « communication » depuis la cybernétique de Norbert Wiener jusqu’à l’avènement du posthumanisme. Elle est co-directrice scientifique de l’ouvrage collectif Le Sujet digital (Les Presses du réel, 2015). Elle vit et travaille entre la Corse et Paris (France).
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Le Sujet Digital
Claire Larsonneur, Arnauld Regnauld, Pierre Cassou-Noguès et al. (dir.) Stéphane Vanderhaeghe, Géraldine Bertres, Hélène Soldano et al. (trad.)
2015
Le Comportement des choses
Emanuele Quinz (dir.) Lise Thiollier, Gabriele Stera et Armelle Chrétien (trad.)
2021
Artistes-chercheur·es, chercheur·es-artistes
Performer les savoirs
Boudier Marion et Déchery Chloé (dir.)
2022
Architectures of memory
Jean-Marie Dallet et Bertrand Gervais (dir.) Armelle Chrétien et Joshua David Jordan (trad.)
2022
Angles morts du numérique ubiquitaire
Glossaire critique et amoureux
Yves Citton, Marie Lechner et Anthony Masure (dir.)
2023
