Base de données (opacité et biais)
p. 32-36
Texte intégral
« La boîte noire agit comme un système technique complexe, qui ne peut être décodé que par les spécialistes qui l’ont programmée »
(Flusser, 2015, p. 76).
1Tout ce que nous savons de la boîte noire est qu’elle fonctionne lorsqu’on l’actionne. Mais nous ne savons pas comment, réduits que nous sommes à n’être que les fonctionnaires ou les opérateurs de ces appareils, comme le souligne Vilém Flusser. L’opacité de la boîte calculatrice constitue sans doute l’angle mort le plus souvent dénoncé du numérique : quelque chose s’opère et transforme le monde, sans que notre regard puisse pénétrer les secrets de cette opération. Au-delà de son opacité épistémologique, la black box a également bon dos d’un point de vue éthique, nous confortant dans l’idée selon laquelle nous ne pourrions être jugé·es responsables pour quelque chose que nous ne comprenons pas. Les artistes sont les pourchasseur·ses les plus assidu·es de cet angle mort, en nous aidant parfois à voir ce qu’il y a dans la boîte – mais aussi en dessous, derrière et au-delà de ces systèmes techniques opaques. Elles et ils invitent pourtant à aiguiser cet angle mort, en pointant plus précisément ce qui reste inquestionné (la constitution des bases de données, datasets) derrière nos interrogations communes (sur les algorithmes-boîtes noires)
2Cet « effet black box » est un enjeu important du deep learning (apprentissage profond), technologie à l’origine des performances spectaculaires de ce que l’on nomme abusivement « intelligence artificielle », notamment dans le domaine de la reconnaissance d’images. Si l’on interroge les expert·es, elles et ils expliqueront probablement la manière dont les réseaux de neurones profonds sont organisés en dizaines de couches, qui reçoivent des données étiquetées, se voient attribuer des pondérations et des seuils, pour être capables de classer des données d’une manière qui ne peut pas encore être entièrement expliquée (Crawford, 2021, p. 7).
3Le fait que ces approches d’apprentissage profond soient souvent ininterprétables (elles filtrent l’information à tel point que leur chaîne de raisonnement ne peut être inversée), y compris par les ingénieur·es qui les ont créées, confère à ces systèmes une aura très particulière, à travers laquelle l’IA apparaît comme un pouvoir occulte qui ne peut être étudié, connu, ou contrôlé politiquement. Dans l’opinion, déplore Matteo Pasquinelli, la rhétorique de la boîte noire est devenue un prétexte générique selon lequel les systèmes d’IA « ne sont pas seulement insondables et opaques, mais également alien et hors de contrôle » (Joler & Pasquinelli, 2020, p. 4). Or cette technique d’obscurcissement par mystification est souvent employée pour justifier l’inévitabilité d’un phénomène, avec pour résultat d’empêcher tout débat public informé et tout examen critique.
4La boîte noire est au cœur de l’illusionnisme et, comme le rappelle Matteo Locci, la dissimulation est structurelle aussi bien dans les spectacles de magie que dans les enseignements des business schools et des stratégies corporate.
La magie sur scène a toujours dû être dissimulée, tandis que le spectateur suppose percevoir quelque chose : la lévitation, la disparition, la transformation ne sont, à l’évidence, rien que des illusions. Le travail derrière le trick, les heures passées à s’entraîner, les assistants cachés, la routine, les messages subliminaux, la vérité derrière les mensonges, et toutes ces choses que personne ne peut voir, et sans lesquelles, ce ne serait plus de la magie. (2020, p. 113)
5Être capable de voir un système équivaut parfois à la capacité de savoir comment il fonctionne et de comprendre comment le gouverner. Or, dans le cas de l’IA, écrit Kate Crawford, « il n’y a pas une boîte noire unique à ouvrir, pas de secret à exposer, mais une multitude de systèmes de pouvoir entrelacés » (2021, p. 12). Ces systèmes sont les produits de structures sociales et économiques plus larges, avec de profondes conséquences matérielles.
6 L’IA n’est ni artificielle, ni intelligente, elle est à la fois incarnée et matérielle, faite de ressources naturelles, de carburant, de travail humain, d’infrastructures, de logistiques, d’histoires et de classifications. Ce sont ces différentes couches de matérialité et d’historicité que l’artiste Anna Ridler tente de mettre au grand jour. Dans son installation vidéo Mosaïc Virus, elle recourt aux GAN pour générer des tulipes qui se métamorphosent en d’étranges formes et motifs, variant en fonction des cours du Bitcoin. Davantage que les formules de computation qui gouvernent les métamorphoses des tulipes, son travail aide à repérer un angle mort plus profond dans les opérations effectuées par le moyen du numérique – celui qui se loge dans le matériau même sur lequel opèrent les algorithmes : les bases de données.
7Anna Ridler a entrepris de constituer elle-même la base de données qu’elle utilise pour entraîner ses algorithmes, plutôt que d’utiliser des jeux de données préexistants, qui seraient autant de boîtes noires opaques. Les données d’entraînement sont les fondations sur lesquelles sont construits les systèmes contemporains d’apprentissages automatiques. Composés de grands ensembles d’images, ils sont au cœur de la façon dont les systèmes d’IA reconnaissent et interprètent le monde. Les tulipes artificielles d’Anna Ridler sont le résultat d’un algorithme d’apprentissage automatique que l’artiste a entraîné sur 10 000 images de tulipes qu’elle a collectées elle-même, photographiées et catégorisées laborieusement à la main durant une saison aux Pays-Bas. Pour Ridler, constituer elle-même son jeu de données est devenu l’acte créatif décisif, avec pour effet de souligner l’humanité qui est derrière chaque décision prise par une IA.
Même quelque chose d’aussi simple qu’une tulipe est difficile à ranger dans des catégories, écrit-elle. Est-ce qu’elle est blanche ou rose pâle ? Orange ou jaune ? Si ceci est si difficile pour quelque chose d’aussi simple qu’une fleur, imaginez la difficulté à décrire quelque chose d’aussi complexe que le genre ou l’identité. (Ridler, 2018)
8Anna Ridler pointe l’un des problèmes récurrents soulevés par les systèmes d’IA lorsque l’on passe de la reconnaissance d’images d’objets à la reconnaissance de personnes, ou à celle d’émotions. Dans leur exposition Training Humans, la chercheuse Kate Crawford et l’artiste Trevor Paglen donnaient à voir pour la première fois les collections d’images de visages humains de différentes époques utilisées pour entraîner les systèmes de reconnaissance faciale, révélant comment les humain·es sont représenté·es, interprété·es et codifié·es dans ces vastes ensembles de données, et surtout comment les systèmes technologiques récoltent, labélisent et utilisent ce matériel. Paglen et Crawford ont ainsi mis à jour ce qui se passe lorsque des systèmes techniques sont entraînés sur des données problématiques, en mettant notamment en lumière l’existence d’étiquettes racistes et sexistes dans ImageNet, l’une des bases de données d’images les plus utilisées.
9Avec l’application ImageNet Roulette, devenue virale, ils proposaient aux internautes de télécharger un selfie qui était ensuite analysé par une IA entraînée sur la catégorie « person » de ImageNet, afin de voir l’étiquette associée à leur image. La manière dont l’IA classe les personnes est rarement rendue visible à celles et ceux qui sont catalogué·es à leur insu. Chacun·e a ainsi pu voir de première main comment, en fonction de sa race, de son genre ou de ses traits physionomiques, une personne se trouvait assimilée à un dealer de drogue, un chef d’entreprise ou une prostituée. Crawford et Paglen appellent à faire attention aux vrais dommages que les systèmes d’apprentissage automatique peuvent perpétuer et comment les couches de préjugés, de racisme et de misogynie passent ainsi d’un système à un autre. Suite à l’émoi suscité par l’œuvre, ImageNet a retiré plus de la moitié des 1,2 million d’images incriminées, ainsi qu’un grand nombre d’étiquettes inappropriées.
10Ces classifications, inévitablement chargées de valeur, nous obligent à voir le monde d’une certaine manière tout en prétendant être scientifiquement neutres – parce qu’« automatiques », et donc apparemment exemptes de biais subjectifs. Or, « les systèmes d’IA sont construits pour voir et intervenir dans le monde, selon des manières qui bénéficient en priorité aux États, aux institutions et aux entreprises qu’elles servent », comme le rappelle Kate Crawford dans son Contre-Atlas de l’IA ; « Quand ils sont appliqués dans des contextes sociaux comme la police, la justice, la santé ou l’éducation, ils peuvent reproduire, optimiser et amplifier des inégalités structurelles » (2022, p. 211).
11Par ailleurs, la constitution même de ces vastes ensembles de données s’accompagne d’un « pillage généralisé des espaces publics », capturant les visages des personnes dans la rue pour entraîner les algorithmes de reconnaissance faciale, ingérant leurs contributions sur les réseaux sociaux pour construire des modèles de langage prédictifs, extrayant les photos personnelles de sites sur lesquels les internautes déposent leurs souvenirs. Cette pratique, qui considère Internet comme une ressource naturelle que l’on pourrait exploiter sans limites, sans demander de consentement préalable, est devenue tellement commune qu’il viendrait à peu de personnes dans le champ de l’IA l’idée même de la questionner. C’est précisément ce à quoi s’emploient l’artiste, chercheur et développeur Adam Harvey et le développeur Jules Laplace, dans le cadre de Megapixels, un projet d’investigation, avec lequel ils montrent l’usage abusif qui est fait de ces photographies partagées sur Internet, sous des licences souvent très permissives, pour les exploiter comme jeu de données biométriques servant à développer les logiciels de reconnaissance faciale.
12Par exemple, l’université de Duke a filmé à leur insu plus de 2 000 étudiants tandis qu’ils se déplaçaient sur le campus et a publié les résultats sur Internet. Harvey et Laplace ont démontré que le jeu de données DukeMTMC (pour multitarget, multicamera facial recognition) a été utilisé par le gouvernement chinois pour entraîner les systèmes de surveillance de minorités ethniques. Ce jeu de données et d’autres ont été retirés suite aux recherches de Harvey et Laplace, qui ont récemment mis à disposition du public un moteur de recherche (Exposing.ai) permettant de vérifier si les photos de particuliers, publiées sur Flickr, ont été utilisées pour développer la reconnaissance faciale.
13Si ces œuvres ont contribué à ouvrir le débat et à prendre en considération les problèmes éthiques soulevés par l’IA, l’idée selon laquelle tout devrait être assujetti à la logique de la prédiction statistique et de l’accumulation de profit – ce que Donna Haraway qualifie d’informatics of domination – est, elle, rarement remise en question.
Références
14Flusser, V. (2015). Flusseriana, An Intellectual Toolbox. Univocal Publishing.
15Crawford, K., Paglen, T. (2019). Excavating AI. https://excavating.ai
16Crawford, K. (2022). Contre-Atlas de l’Intelligence artificielle. Zulma.
17Harvey, A., Laplace, J. (2021). Exposing.ai. https://exposing.ai
18Joler, V., Pasquinelli, M. (2020). The Nooscope Manifested, AI as Instrument of Knowledge Extractivism. https://nooscope.ai/
19Locci, M. (2020). Critical Conjuring, The magical guide to distractions, misdirections and political manipulation. https://www.atisuffix.net/esci
20Ridler, A. (2019). Mosaic Virus. http://annaridler.com/mosaic-virus
Auteur
-
Marie Lechner
Après avoir été journaliste à Libération en charge des cultures numériques, a été responsable de programmes artistiques à la Gaîté Lyrique et co-commissaire des expositions Computer Grrrls (2018) et dernièrement House of Mirrors : AI as Phantasm (2022). Elle enseigne à l’École supérieure d’art et de design d’Orléans.
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Le Sujet Digital
Claire Larsonneur, Arnauld Regnauld, Pierre Cassou-Noguès et al. (dir.) Stéphane Vanderhaeghe, Géraldine Bertres, Hélène Soldano et al. (trad.)
2015
Le Comportement des choses
Emanuele Quinz (dir.) Lise Thiollier, Gabriele Stera et Armelle Chrétien (trad.)
2021
Artistes-chercheur·es, chercheur·es-artistes
Performer les savoirs
Boudier Marion et Déchery Chloé (dir.)
2022
Architectures of memory
Jean-Marie Dallet et Bertrand Gervais (dir.) Armelle Chrétien et Joshua David Jordan (trad.)
2022
Angles morts du numérique ubiquitaire
Glossaire critique et amoureux
Yves Citton, Marie Lechner et Anthony Masure (dir.)
2023