Vers une gouvernance responsable des systèmes d’IA organisée autour de la gestion des risques
p. 419-445
Texte intégral
1Depuis 2020, la stratégie de l’Union Européenne (UE) en matière de données1 vise à créer un environnement propice au développement d’une économie innovante, compétitive et durable fondée sur les données. Cette approche stratégique préfigure la création d’un futur Marché Unique de la donnée au sein duquel les données circuleraient librement dans le respect des valeurs et des droits fondamentaux de l’UE et d’un ensemble de principes juridiques et de droits individuels protégeant ces données dans leurs usages (ex : RGPD2, Directive données ouvertes3). Cette stratégie annonce des évolutions juridiques importantes (ex : DGA4, DMA5, DSA6, Data Act7) qui devraient faciliter l’accès à de vastes ensembles de données exploitables. Avec cette approche politique globale, l’UE souhaite notamment favoriser l’innovation dans le domaine de l’Intelligence Artificielle (IA), un champ de recherche développant des outils permettant de valoriser des ensembles variés de données à l’aide de systèmes automatisés performants, égalant ou surpassant les performances des êtres humains dans l’accomplissement de certaines tâches très laborieuses. Compte tenu de l’opportunité que représentent les technologies d’IA pour améliorer l’efficacité globale des processus existants, celles-ci pourraient grandement contribuer à la réalisation des objectifs de développement durable définis par l’Organisation des Nations Unies à l’horizon 20308. Investir dans le domaine apparaît donc comme une opportunité pour les entreprises, voire comme une nécessité pour rester compétitif à l’échelle internationale. Depuis quelques années déjà, les investissements dans l’IA s’accélèrent9 et devraient croître dans les années à venir10, alors même que les règles applicables au développement et à l’utilisation des technologies d’IA restent encore mal établies, souvent disparates et confuses dans leur articulation. Une telle insécurité juridique, susceptible de freiner le développement et l’utilisation des systèmes d’IA (SIA), ainsi que la nécessité de maximiser leurs bénéfices économiques et sociétaux, ont notamment poussé la Commission Européenne à publier une Proposition de Règlement établissant des règles harmonisées concernant l’Intelligence Artificielle (ci-après PRIA)11. Celle-ci est basée sur des rapports d’expertises techniques, juridiques et éthiques menés notamment en Europe et sur des retours de consultations publiques. Elle s’inscrit dans un ensemble d’initiatives stratégiques de l’UE12 destiné à la positionner en tant qu’acteur de premier plan au niveau mondial et à faire en sorte que l’IA soit développée, mise sur le marché et utilisée de façon responsable, en adéquation avec les valeurs éthiques, les libertés et les droits défendus dans l’UE. Un cadre juridique harmonisé est de nature à favoriser à la fois la confiance des professionnels et des citoyens dans ces nouvelles technologies et les investissements publics ou privés. La PRIA pose donc les bases d’un nouveau marché européen de l’IA. Elle s’insèrera dans l’acquis juridique de l’UE et complètera les textes existants en adressant les problématiques spécifiques à l’IA, pour assurer, in fine, un haut niveau de sécurité des produits et services nécessaire à leur libre-circulation dans l’UE. L’approche est fondée sur le risque et établit une série de mesures destinées à organiser la gestion des risques liés à l’IA. Par là même, la PRIA fait la part belle aux activités d’évaluation des risques et à la procédure de mise en conformité, favorisant ainsi une responsabilisation des opérateurs13 impliqués dans le développement, la mise sur le marché et l’utilisation des SIA. La PRIA fait explicitement référence14 aux travaux relatifs à l’éthique de l’IA, en particulier à l’avis du Groupe Européen d’Éthique des sciences et des nouvelles technologies15, aux Lignes directrices européennes pour une IA de confiance16 et pour l’évaluation des SIA17 adoptées par le Groupe d’Experts de Haut Niveau sur l’IA [HLEG on AI] et aux résolutions du Parlement Européen, notamment celle concernant un cadre pour les aspects éthiques de l’IA18. Ces documents ont inspiré la PRIA et sont à considérer en complément des dispositions juridiques proposées. Ils explicitent les valeurs de l’UE qui doivent être défendues face aux risques des SIA, et identifient les réflexions à intégrer dans le cycle d’innovation. Les dispositions de la PRIA respectent ces attendus et prolongent, en droit, cette approche éthique qui, bien que non-contraignante, permet d’aller plus loin dans l’analyse des impacts potentiels de ces technologies. Quelles sont les mesures proposées afin d’encadrer la gestion des risques liés à l’IA dans l’entreprise ? Comment intégrer l’évaluation de la conformité des SIA à des exigences éthiques dans la gouvernance des entreprises ? Quelles en seront les conséquences sur l’organisation de celles-ci ? Dans cet article, nous analyserons les règles de la PRIA relatives au développement et l’utilisation de SIA dans l’UE, et plus précisément aux mesures de gouvernance des risques et au rôle attendu de l’entreprise. Nous traiterons les dispositions de la PRIA à l’aune des recommandations éthiques européennes de façon à percevoir le futur cadre applicable à l’IA dans son ensemble. Ce faisant, nous mettrons en évidence les bouleversements que les nouvelles exigences éthiques et réglementaires entraîneront au sein même des entreprises et identifierons certaines questions ouvertes à ce jour. Afin d’illustrer le ressenti et les besoins des entreprises au regard de ces exigences, nous présenterons les résultats d’une enquête réalisée au cours de l’été 2021 auprès des entreprises membres de l’Association Occitanie Data19, établie à Toulouse, et dont l’une des missions est de sensibiliser les acteurs de l’économie de la donnée aux enjeux de l’IA, tant sur le plan éthique que sur le plan juridique. Nous adopterons la terminologie de la PRIA et aborderons donc un SIA comme « un logiciel qui est développé au moyen d’une ou plusieurs des techniques et approches énumérées à l’Annexe I et qui peut, pour un ensemble donné d’objectifs définis par l’homme, générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit ». L’Annexe I inclut les systèmes auto-apprenants (le machine learning), les systèmes logiques, symboliques, et les systèmes statistiques, pouvant opérer seuls ou de façon intégrée à un autre dispositif. Il s’agit donc d’une approche large, bienvenue compte tenu des évolutions rapides du domaine. Toutes les entreprises concernées par la PRIA n’ont pas les mêmes obligations en fonction de leur rôle dans la chaîne allant du développement à l’utilisation des SIA. Dans cet article, nous nous concentrerons sur les obligations à respecter par les acteurs en bout de chaîne : les entreprises innovant dans le domaine des SIA (I) et celles utilisant ou souhaitant utiliser des SIA dans leur activité, dans leur plan de transformation numérique20 (II).
I. Gouvernance éthique attendue des entreprises fournissant des SIA
2La PRIA définit un fournisseur de SIA comme celui qui « développe ou fait développer un SIA en vue de le mettre sur le marché ou de le mettre en service sous son propre nom ou sous sa propre marque, à titre onéreux ou gratuit21 », peu importe sa taille22 et sa nature privée ou publique. C’est sur lui que pèsera la majorité des nouvelles obligations de la PRIA23, dès lors qu’il sera établi sur le territoire de l’UE ; qu’il sera établi dans un pays tiers tout en déployant un SIA dans le marché de l’UE ; que ses utilisateurs seront situés dans l’UE ou que l’utilisation du SIA pourra impacter des personnes physiques situées dans l’UE (ce dernier cas ne concernant que les SIA à haut-risque, nous reviendrons sur cette notion)24. Comme avec le RGPD pour la protection des données personnelles, la PRIA comporte un mécanisme d’application extraterritoriale fondé sur la nécessité de protection des intérêts publics et privés qui pourraient être mis en danger par les SIA provenant de l’étranger. Il est néanmoins utile de noter l’exclusion du secteur militaire du champ d’application de la PRIA. Que prévoit la PRIA pour les entreprises qualifiées de fournisseurs ? Quels besoins expriment ces derniers au regard de la PRIA ?
A. Éthique de la conception et rôle attendu des fournisseurs de SIA
3L’objectif principal du fournisseur de SIA doit être de s’assurer qu’il développe et met sur le marché une technologie sûre, fiable et éthique. Pour cela, la PRIA distingue 3 catégories de SIA en fonction des risques liés à leurs utilisations. De cette classification découlent des règles plus ou moins strictes pour les fournisseurs. Le Titre II de la PRIA distingue les utilisations de l’IA qui créent 1) un risque inacceptable, 2) un risque élevé et 3) un risque faible ou minimal. Les systèmes de catégorie 1 sont purement et simplement interdits. Il s’agit des SIA dont l’utilisation est incompatible avec les valeurs défendues par l’UE, notamment en raison des violations des droits fondamentaux qu’elle entraîne, ce qui inclut, en particulier, des technologies ou pratiques à fort potentiel de manipulation des personnes, qui utilisent des techniques subliminales, ou qui exploitent les vulnérabilités de groupes spécifiques afin de déformer matériellement leur comportement d’une manière susceptible de leur causer, à eux ou à une autre personne, un préjudice psychologique ou physique. La PRIA indique d’ores et déjà quelques exemples de SIA entrant dans cette catégorie25, et dégage des critères juridiques permettant de les identifier26. Les SIA de catégorie 2 sont ceux qui présentent un haut risque27 à l’usage. Ils sont fortement réglementés et devront faire l’objet d’une surveillance accrue de la part des fournisseurs et des autorités compétentes qui seront désignées au niveau des États Membres et de l’UE. Il s’agit ici des SIA dont l’utilisation présente des risques importants pour la santé, la sécurité ou les droits fondamentaux des personnes protégés au titre de la Charte des Droits Fondamentaux de l’UE (CDFUE)28, ceci incluant des risques « d’incidents graves29 ». Afin d’assurer leur maîtrise, la PRIA prévoit une évaluation pré- et post-mise sur le marché. Pour faciliter le travail de qualification des fournisseurs, l’Annexe III de la PRIA liste certaines utilisations relevant de domaines sensibles, inscrivant dès lors automatiquement le SIA dans la catégorie 2. Les SIA de catégorie 3 incluent l’ensemble des systèmes n’étant pas qualifiés dans l’une des autres catégories, et qui présentent un « faible risque » ou « risque minime ». Ils sont autorisés30 et disposent d’un régime juridique simplifié. Qu’ils soient à haut-risque ou non, la PRIA prévoit des exigences de transparence spécifiques concernant tous les SIA destinés à interagir avec des êtres humains, les SIA utilisés à des fins de reconnaissance d’émotions ou de reconnaissance biométrique et les SIA qui génèrent ou manipulent du contenu31. Enfin, la PRIA encourage l’adoption de Codes de Conduite32 pour le développement, le déploiement et l’utilisation des SIA de catégorie 3 et incite à se conformer au Règlement en vue d’une gouvernance responsable. Avec cette classification, il apparaît que la finalité, la fonction et les fonctionnalités, comme la destination du SIA seront des éléments cruciaux dans la qualification juridique faite par le fournisseur. Qualifier demandera donc à l’entreprise d’évaluer a priori les risques que présente un SIA à l’utilisation. Cette évaluation devra être répétée régulièrement afin d’éliminer d’éventuels risques nouveaux ou d’en garantir a minima la maîtrise, tout au long du cycle de vie du SIA. C’est ici qu’entrent en jeu les pratiques dites d’évaluation « éthique dès la conception » du SIA, avant sa mise sur le marché ou son déploiement. Cette étape importante est assez nouvelle pour les fournisseurs mais ne doit pas être négligée car elle peut emporter des décisions stratégiques cruciales. D’ailleurs, cette évaluation spécifique est désormais intégrée dans les procédures d’accès aux financements de projets de recherche Européen dans le cadre des appels d’offres de type Horizon Europe ou ERC33. Les étapes de cette évaluation (ou plutôt de ce cycle d’évaluations) sont de mieux en mieux documentées. Les lignes directrices Européennes du HLEG pour une IA de confiance identifient et détaillent d’ores et déjà les exigences liées aux 7 grands principes directeurs de l’évaluation éthique des SIA (cf. Fig.1). Certains projets européens récents sont venus compléter ces dernières avec des recommandations pratiques pour aider les fournisseurs à traduire cette approche dans la gouvernance des SIA qu’ils développent, mettent sur le marché ou en service dans l’UE.

Fig.1 : principes directeurs européens de l’évaluation éthique dès la conception de système d’IA
4L’approche « éthique dès la conception » vise donc à diriger les développements technologiques vers des valeurs prédéfinies. Si les grandes valeurs éthiques sont définies de manière générale dans les travaux européens sur l’IA évoqués précédemment, elles doivent faire l’objet d’une appropriation et de développements spécifiques au niveau de l’entreprise, au sein même de son organisation et en lien avec ses collaborateurs. Cette réflexion doit être menée de la même manière si le fournisseur intègre dans son SIA une composante provenant d’un fournisseur tiers, y compris lorsque celui-ci est établi hors de l’UE. Pour structurer une évaluation éthique, le projet européen SIENNA34 vient préciser 6 étapes constitutives de cet exercice, déclinables dans les processus de développement, de mise sur le marché et de mise en service des SIA, y compris en robotique, qu’il paraît intéressant de considérer.
5Dans un premier temps, il s’agira de spécifier les finalités du SIA (ex : reconnaître les émotions humaines ; détecter une caractéristique physiopathologique; prédire un comportement social ; permettre à un robot d’effectuer une tâche de nettoyage...) et sa destination, c’est à dire « l’utilisation à laquelle un SIA est destiné […], y compris le contexte et les conditions spécifiques d’utilisation », telles qu’elles seront précisées « dans les informations communiquées […] dans la notice d’utilisation, les indications publicitaires ou de vente, ainsi que dans la documentation technique35 ». Cette définition du périmètre du SIA permet de pouvoir en questionner ses limites, fonctionnalités et attributs au regard des valeurs pertinentes en jeu et d’en remodeler certains éléments si nécessaire, au cours de sa conception. Les valeurs de référence permettant une première évaluation sont ensuite à identifier au regard des lignes directrices (ex : recommandations du HLEG, d’organes spécialisés nationaux...) et textes juridiques applicables (ex : RGPD), lesquels peuvent varier en fonction du SIA (ex : un SIA destiné à une utilisation médicale n’aura pas à répondre aux mêmes exigences qu’un SIA dans le secteur bancaire ou dans le domaine des ressources humaines). Cette première étape nécessite dès le départ une approche collective et interdisciplinaire au sein de l’entreprise. Les concepteurs, porteurs de projet en IA et leurs proches collaborateurs, comme les ingénieurs sont à mobiliser, au même titre que les équipes juridiques internes. Solliciter des intervenants spécialisés dans des disciplines particulièrement pertinentes pour la destination du produit (ex : sociologue, psychologue, médecin…) est recommandé. De même il est recommandé, si possible, de solliciter des potentiels utilisateurs finaux ou des groupes représentatifs de ces derniers, ceci s’avérant souvent utile dans la conception du SIA. L’analyse des questions posées ainsi que les solutions retenues devraient être débattues de façon inclusive et consensuelle, et documentée.
6Dans un deuxième temps, il s’agira de préciser le type de SIA en transformant les réponses trouvées aux interrogations soulevées dans la première étape en exigences à respecter dans la conception du SIA. Ces exigences peuvent être techniques ou organisationnelles mais doivent être adaptées au SIA, permettre l’élimination ou la réduction des risques et être durable en termes de ressources financières ou humaines demandées. Une analyse du rapport coût-bénéfice peut être nécessaire. Les éléments de la garantie d’un contrôle humain du système doivent être pris en compte (cf. II.B.).
7Dans un troisième temps, le SIA entre dans un cycle de conception dit de haut niveau (high-level design) au cours duquel l’architecture du système est modélisée puis théoriquement établie.
8Dans un quatrième temps, il s’agit d’organiser la collecte des données de fonctionnement du SIA et d’en assurer la préparation. Les SIA sont souvent très tributaires des données acquises pour être performants. Un processus entier consistera à organiser la collecte, la vérification, la sélection, le nettoyage, la construction, l’intégration et le formatage des données afin que celles-ci permettent au SIA d’accomplir les objectifs fixés. Ceci nécessite de respecter la règlementation sur la protection des données à caractère personnel (RGPD) et de pratiquer une analyse d’impact sur la protection des données36 (AIPD), en particulier lorsque le SIA servira des activités de profilage ou de prise de décisions automatisées37, et d’assurer une protection de la vie privée dès la conception et par défaut38. Il s’agira aussi de contrôler et d’éliminer les éventuels biais existants ou introduits dans les données d’entraînement, de validation et de test. Les pratiques de gouvernance des données39 définies dans la PRIA, doivent permettre que les jeux de données utilisés soient représentatifs, exempts d’erreur, complets et possèdent les propriétés statistiques appropriées à la destination du SIA40. Une fonction d’enregistrement de certaines actions liées au fonctionnement du dispositif devra être intégrée41. Les principes de FAIR data management42 permettant l’ouverture des données relatives au SIA seront à considérer dans une démarche éthique de partage à des fins de réutilisations, en particulier en recherche.
9Dans un cinquième temps, le SIA entre dans l’étape de conception détaillée et de développement. Il est à ce stade fonctionnel mais reste expérimental. Cette phase inclut, pour les logiciels d’IA, la programmation et le codage. Pour les éléments matériels du système (hardware), comme les robots par exemple, cela inclut la phase de production. L’interopérabilité du système doit être prise en compte.
10Dans un sixième temps, il s’agit de réaliser les cycles de tests et d’évaluations du SIA en confrontant son comportement à divers environnements, plus ou moins contrôlés, et d’apprécier ses résultats par rapport aux objectifs et exigences originalement fixés. En d’autres termes, cette étape vise à évaluer la performance du SIA, et d’en assurer l’explicabilité.
11Cette proposition de modèle d’approche éthique dès la conception du SIA et des évaluations qu’elle sous-tend part d’un effort d’abstraction pour spécifier progressivement des règles et mesures afin de les traduire dans la pratique43. Dans chaque étape il s’agira de se demander quelle serait une « mauvaise utilisation raisonnablement prévisible » du SIA, définie par la PRIA comme « l’utilisation d’un SIA d’une manière qui n’est pas conforme à sa destination, mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes ». Le fournisseur devra évaluer les risques présentés par son SIA afin de prévoir des mesures techniques ou organisationnelles qui permettront de les éliminer ou de les mitiger de façon acceptable, c’est-à-dire d’en assurer une gouvernance adéquate. La PRIA intègre bien les préoccupations éthiques existantes et formule, en ce qui concerne les SIA de catégorie 2, des exigences juridiques en termes de gouvernance des risques (article 9), de gouvernance des données des SIA (article 10), de documentation technique (articles 11 et 18) et de traçabilité, de transparence (article 13), de contrôle humain (article 14), de robustesse, d’exactitude et de cybersécurité (article 15). Le rôle des autorités compétentes qui seront désignées par les États Membres de l’UE, des financeurs et des comités d’éthique, dans l’appréciation des garanties offertes par le fournisseur, sera déterminant.
12À l’issue de cette évaluation, le fournisseur devra procéder à un marquage CE des SIA à haut-risque (catégorie 2). Ce marquage résulte d’une évaluation de leur conformité aux exigences susmentionnées. Pour certains de ces SIA, l’évaluation devra être réalisée par un organisme notifié indépendant reconnu par les autorités compétentes44, 45 (ex : les SIA d’identification biométrique visés à l’Annexe III point 1 qui ne mettraient pas totalement en œuvre des normes harmonisées). Les SIA visés à l’Annexe III, points 2 à 8, pourront eux faire l’objet d’une autocertification sur la base d’une évaluation de la conformité effectuée en interne, chez le fournisseur46. Par ailleurs, la PRIA prévoit que la conformité à ses exigences sera présumée si le SIA respecte les normes harmonisées47 existantes tout en précisant que, concernant certains SIA à haut-risque, celles-ci devraient être complétées par des spécifications communes48 à venir. Tout marquage pourra être contesté et il existera certaines dérogations à l’obligation d’évaluation de la conformité dans des cas très limités49. Précisons néanmoins que lorsqu’un SIA sera le composant d’un produit final qui serait exempté de certification par un autre acte législatif, cette exemption ne vaudra pas pour les exigences de la PRIA. Enfin, l’enregistrement du SIA déployé dans l’UE dans une base de données européenne50 participera à la transparence envers les utilisateurs, les autorités compétentes et organismes notifiés.
13Le fournisseur devra continuer à évaluer la conformité du SIA après son déploiement pour réajuster ses caractéristiques et fonctionnalités au besoin, toujours dans le respect du principe de transparence51, en particulier lorsque des modifications substantielles seront apportées au SIA, celles-ci déclenchant une nouvelle procédure d’évaluation de la conformité52. Ces obligations de gouvernance « post-marketing53 » sont bienvenues et rappellent les mesures de surveillance actuelles pour assurer la qualité et la sécurité des produits de santé. Le plan de surveillance devra être proportionné aux risques du SIA et fera partie de la documentation technique exigée par la PRIA. Le fournisseur aura l’obligation de notifier les autorités de surveillance du marché des incidents graves et dysfonctionnements de son système constituant une violation des droits fondamentaux des personnes. En définitive, la gouvernance éthique des SIA pourra s’intégrer dans un système de gestion de la qualité des produits d’IA.
14Les infractions au Règlement pourront être lourdement sanctionnées et les produits retirés du marché. Il est intéressant de noter que la responsabilité du fournisseur à l’égard de la gouvernance des SIA peut être transférée au fabricant de produits intégrant le système fourni54. Le fabricant sera alors soumis, dans les mêmes termes, aux obligations imposées au fournisseur par la PRIA. Les importateurs et distributeurs de SIA auront, eux, des obligations administratives et de veille de conformité spécifiques55.
15L’intégration de ces nouvelles règles dans l’organisation actuelle des entreprises innovantes reste un enjeu de taille. Il est donc utile de s’intéresser dès à présent aux besoins que cette proposition suscite.
B. Besoins des fournisseurs de SIA en termes d’organisation
16À titre liminaire, il convient de préciser que tous les fournisseurs de SIA ne sont pas sensibilisés de la même manière à la future réglementation. En France par exemple, que ce soit par intérêt pour la réflexion éthique ou par volonté d’anticiper de futures normes, certains collectifs d’entreprises numériques se sont très tôt saisis des enjeux éthiques liés aux SIA. Ils ont fait l’effort de se réunir afin de faire l’état des lieux des pratiques et des problématiques existantes, de définir des notions de référence, et de synthétiser les meilleures pratiques. Les entreprises appartenant à ces collectifs ont donc un léger avantage en termes de méthodes et d’outils permettant de respecter les futures règles. Par exemple, en juillet 2021, Numeum (née de la fusion entre Syntec Numérique et Tech’in France) a publié un Guide pratique pour des IA éthiques56 contenant des recommandations à l’attention des « offreurs de solution en IA ». Celles-ci portent sur la mise en place d’une gouvernance de l’IA au niveau de l’entreprise et sur l’évaluation du risque éthique d’un projet grâce à une grille de mesure de sa sensibilité et l’application de principes éthiques à chaque étape du cycle de vie d’un SIA (compréhension du besoin, conception, développement, production). Quant aux entreprises qui n’ont pas encore été sensibilisées à ces enjeux, la situation varie entre les grandes entreprises et les moyennes, petites et très petites entreprises57. En effet, l’enquête d’Ekitia (ex-Occitanie Data) révèle que les grandes entreprises interrogées avaient toutes connaissance de la PRIA. De plus, grâce à leurs moyens et à la maturité de leurs services juridiques, elles seront certainement rapidement en capacité de la mettre en application. Au contraire, les PME paraissent être dans une situation plus problématique. Elles n’investissent pas toujours en priorité dans la création d’un service juridique et, lorsqu’elles en sont dotées, les juristes sont souvent polyvalents (gestion des contrats avec les collaborateurs, gestion administrative, mise en conformité …) de sorte que la veille en matière de réglementation relative aux nouvelles technologies n’est pas forcément une priorité. Ces éléments, couplés à un certain manque de visibilité des communications de la Communication Européenne, ne favorisent pas l’anticipation de la future réglementation par les PME. En effet, une entreprise doit avoir conscience des normes auxquelles elle est, et sera, soumise, afin d’en anticiper l’impact sur ses activités et projets et de maîtriser les interactions entre ces normes58, ce qui n’est pas évident. Par exemple, concernant la PRIA, certaines entreprises ont exprimé un besoin de clarification sur les interactions de celles-ci avec le RGPD (notamment avec le principe d’information des personnes concernées sur les finalités du traitement au moment de la collecte de leurs données personnelles, avec le principe de minimisation des données personnelles, et avec le principe de limitation de la durée de conservation des données personnelles)59, 60. Par ailleurs, puisqu’il est aujourd’hui essentiel que les entreprises soient en capacité de mesurer l’impact sociétal des technologies qu’elles développent, l’interaction avec des professionnels des sciences humaines et sociales apparaît très importante et devrait être mieux intégrée dans les processus d’innovation en IA.
17Concernant les procédures d’évaluation de la conformité des SIA à haut-risque, il est intéressant de noter que les Annexes I et III, énumérant respectivement les technologies concernées par la PRIA et les SIA de catégorie 2, pourront être révisées périodiquement par la Commission après consultation des parties-prenantes. Cette approche, qui pourrait être perçue comme une source d’insécurité juridique, permet néanmoins l’adaptabilité et la résilience de la future réglementation. Cependant, afin d’éviter de freiner l’innovation, l’obligation de consultation des parties-prenantes (incluant les entreprises, de toute taille) avant toute modification sera essentielle d’après les entreprises interrogées, lesquelles expriment une volonté de participer. En outre, la sécurité juridique de la PRIA pourrait être améliorée par une classification plus détaillée des différentes technologies et niveaux de risques61.
18Selon l’enquête d’Ekitia, la quasi-totalité des entreprises répondantes considèrent l’obligation des fournisseurs d’évaluer la conformité des SIA à haut-risque avant leur mise sur le marché comme indispensable. Elles se disent aussi prêtes à suspendre ou retirer leur SIA du marché dès lors que son utilisation engendrerait un risque pour les droits fondamentaux, pour la sécurité des systèmes d’information ou pour la performance d’un système de production. Une minorité d’entre elles évaluent déjà la conformité de leurs SIA à des exigences éthiques en confiant cette mission à un délégué à la protection des données (DPD) ou à des ingénieurs62. Les autres estiment qu’en termes organisationnel cela serait certes contraignant, mais faisable, et envisagent pour la plupart de déléguer cette mission à une entité externe. Concernant celles qui n’envisagent pas de le faire à l’avenir, elles n’en perçoivent pas l’intérêt pour deux raisons : soit leurs SIA ne traitent pas de données personnelles, soit la prise de décision automatisée n’a pas d’impact sur une prestation ou un droit individuel.
19Concernant le système de certification des SIA à haut-risque, un flou demeure quant à l’identification de la procédure à suivre : autocertification ou certification par un organisme notifié. En effet, la PRIA distingue la procédure à suivre en fonction de la mise en œuvre d’une évaluation basée sur des normes harmonisées et des spécifications techniques communes63. Or, force est de constater l’absence de critères et de métriques harmonisés permettant de mesurer la qualité des données ainsi que la qualité des modèles d’apprentissage64. Notons néanmoins que de tels standards sont en cours d’élaboration : en France, dans le cadre du Programme d’Investissements d’Avenir du Plan France Relance, le Gouvernement a chargé l’Association Française de Normalisation (AFNOR) de faciliter la création de normes consensuelles et cohérentes à l’échelle mondiale65 (sa feuille de route est attendue en février 2022). Dans le domaine médical, la Haute Autorité de Santé a pris les devants et propose une méthodologie descriptive en vue de l’évaluation des SIA qualifiés de dispositifs médicaux66. En outre, on peut questionner l’absence de processus de certification pour les SIA entrant dans la catégorie 3). Bien que leurs risques soient supposés faibles ou minimes, une approche de précaution voudrait a minima prévoir un contrôle de cette qualification au travers d’une évaluation pré-marketing, et pourquoi pas, un marquage selon une procédure simplifiée. De manière générale, pour des raisons évidentes de partialité, l’auto-certification des SIA de catégorie 2) est critiquable, ce d’autant que l’enquête menée par Ekitia révèle un réel besoin d’accompagnement des entreprises sur les questions éthiques et juridiques, y compris en termes de bonne gouvernance des SIA, et un manque de guides de bonnes pratiques. La PRIA prévoyant des bacs-à-sable règlementaires67 pour l’innovation en IA semble aller dans le bon sens en répondant à un besoin fort d’investissement dans les espaces d’expérimentation qui seront essentiels pour permettre aux PME de développer leurs innovations68, si tant est que les moyens disponibles en permettent un large accès. Si la priorité d’accès donnée aux PME69 est appréciable, on regrettera que le détail des critères et conditions d’accès à ces environnements de développement et de test collaboratifs soient remis à des actes d’exécution, tant ces espaces apparaissent importants pour faciliter la conformité des SIA dès la conception et les approches innovantes collectives vertueuses70.
20Concernant la surveillance continue des SIA mis sur le marché, la BDVA se questionne quant aux situations pouvant donner lieu à un retrait du produit, et aux critères permettant d’estimer que le produit n’est pas suffisamment performant71.
21Dans l’enquête d’Ekitia, un fournisseur de SIA a indiqué ne pas se sentir concerné par l’évaluation de la conformité à des exigences éthiques. Pour lui, l’éthique du SIA dépendant essentiellement du contexte dans lequel il est utilisé, l’évaluation éthique devrait être assurée par l’utilisateur dudit SIA. Cependant, si l’éthique doit en effet être appliquée à l’utilisation d’un système d’IA, cela n’empêche pas que la conception et le développement de ce système doivent être menés dans le respect d’exigences éthiques spécifiques préparant une utilisation responsable, en tant que première garantie (cf. section I.A.). En effet, le fournisseur n’a pas une connaissance fine du terrain et des contextes dans lesquels les utilisateurs vont introduire le SIA et ne pourront pas en avoir la maîtrise, à l’inverse de l’entreprise utilisatrice. Cette complémentarité de l’éthique de la conception et de l’éthique de l’utilisation est bien prise en compte dans la PRIA qui délimite les obligations des différents acteurs de la chaîne de valeurs72. Ainsi, en complément des obligations des fournisseurs, sont détaillées les obligations des utilisateurs de SIA.
II. Gouvernance éthique attendue des entreprises utilisatrices d’un SIA
22La PRIA arrive au bon moment car le marché est en plein essor et beaucoup d’entreprises utilisent déjà des SIA dans leur activité, certaines en utilisant probablement sans le savoir, à diverses fins (analyses de données massives, relation client via chatbots, recrutement, gestion des ressources consommables d’une entreprise...)73, 74, les SIA les plus souvent mentionnés par les acteurs visant à aider la prise de décision humaine75 fondée sur des données probantes, dignes de confiance. Alors que la technologie se diffuse, la conscience du public se construit peu à peu et certaines études76 montrent que les appréciations varient d’un pays à l’autre, d’une application à l’autre, la plupart des répondants envisageant des bouleversements sociétaux majeurs dans les 20 prochaines années du fait de l’introduction de SIA dans tous les secteurs d’activité humaine. Certains risques sont bien perçus (ex : augmentation des inégalités sociales et économiques, perte d’autonomie de l’humain) et la confiance du public reste à bâtir. Dès lors, il est nécessaire d’encadrer les usages des SIA pour en maximiser les bienfaits, éviter leurs impacts négatifs, améliorer leur acceptabilité sociétale et éviter leur rejet. Les nouvelles obligations pesant sur les fournisseurs visent à ce que les utilisateurs de SIA à haut risque bénéficient d’une garantie juridique de conformité à la législation et aux valeurs européennes. La notion « d’utilisateur » avancée par la PRIA est néanmoins assez spécifique. Elle vise « toute personne physique ou morale, autorité publique, agence ou autre organisme utilisant sous sa propre autorité un SIA, sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnel ». Les consommateurs, utilisateurs finaux d’un SIA, bien qu’exclus de la notion, devraient, in fine, bénéficier de cette approche réduisant les risques d’atteinte à leur sécurité et à leurs droits fondamentaux. Que prévoit la PRIA pour les entreprises utilisatrices de SIA ou qui souhaitent y avoir recours ? Quels besoins sont exprimés par ces dernières ?
A. Éthique de l’utilisation et rôle attendu des entreprises utilisatrices de SIA
23La gouvernance responsable des SIA ne s’arrête pas au stade de la conception : elle englobe son cycle de vie, ses usages et ses conséquences77, engageant ainsi la responsabilité de l’utilisateur professionnel et, dans une certaine mesure, de l’utilisateur final ou consommateur. Si l’utilisation ou l’introduction d’un SIA dans les processus de l’entreprise promet des bénéfices en termes économiques ou de gestion, elle comporte également des risques à ne pas négliger. La notion d’éthique de l’utilisation des SIA implique un cycle d’évaluations et de réflexions propres relatives à la planification, à l’acquisition, au déploiement et à la surveillance de leur introduction dans l’entreprise78. Dès lors, la gouvernance et l’évaluation éthique préalable à l’utilisation de SIA de catégorie 2) est prévue par la PRIA79 et doit être conçue dans l’esprit des requis appliqués aux fournisseurs, c’est-à-dire dès la conception du projet, avec une approche fondée sur le risque et centrée sur l’humain. Certaines étapes sont alors nécessaires.
24Dans un premier temps, l’entreprise utilisatrice devra identifier les finalités et motifs justifiant le recours à un SIA afin d’en apprécier l’opportunité, à l’aune les coûts et bénéfices, en termes d’éthique et d’impact socio-économique du projet. Les mêmes référentiels de valeurs (cf. Fig.1) sont utilisables à cette fin. À ce stade, la concertation et l’implication des personnels directement ou indirectement impactés sont fortement recommandés pour planifier au mieux l’introduction du SIA et considérer les préoccupations, attentes et requis qui y sont liés. Il s’agira de questionner les tâches visées par l’automatisation via l’IA, en particulier lorsque des fonctions d’infrastructures critiques seraient concernées. La décision qui sera prise engagera l’entreprise vis-à-vis de ses relations et activités internes et externes.
25Dans un second temps, la sélection d’un SIA devra se faire de manière responsable. Il s’agira d’abord de vérifier l’existence d’un marquage CE pour les SIA à haut risque qui seraient éligibles au plan de transformation numérique. La lecture attentive de la documentation technique liée au SIA qui doit être disponible pour l’utilisateur (obligation du fournisseur80) est une étape fondamentale. Cette dernière doit en effet comporter des informations claires et précises définies en Annexe IV de la PRIA, en particulier sur le fournisseur, sur la destination du SIA, sur son interopérabilité, sa durée de vie et ses éventuels besoins de maintenance ou de mise à jour, ainsi qu’une notice d’utilisation et/ou des instructions d’installation. S’ajoute à ce contenu général un ensemble d’informations détaillées nécessaires au respect de la transparence imposée au fournisseur portant en particulier sur la logique du SIA, sur le modèle de fonctionnement retenu et les algorithmes utilisés, sur les éventuels composants tiers, sur ce que le SIA est censé optimiser, sur ses performances et limites, sur les sources de risques prévisibles pour la santé et la sécurité, les droits fondamentaux des personnes ainsi qu’une description des systèmes de gestion des risques nécessaires à son utilisation (ex : contrôle humain). Des spécifications relatives aux données d’entrée du système seront à apprécier, comme toute autre information sur les données d’entraînement, de test et validation fournies. À cet égard, le respect des dispositions de la PRIA sont à compléter avec les exigences en matière de protection des données personnelles issues du RGPD et des droits nationaux sectoriels (ex : droit médical). Il s’agira en particulier, pour les traitements de données personnelles présentant un risque élevé pour les droits et libertés des personnes, de réaliser une AIPD. Une telle évaluation peut avoir eu lieu au moment du développement du SIA, mais doit être renouvelée dans le contexte spécifique de l’utilisateur pour répondre à ses obligations légales de responsable du traitement au sens du RGPD. L’appréciation des risques d’un SIA doit se faire au regard de la documentation technique, mais surtout par rapport au contexte d’utilisation et aux contraintes présentes ou raisonnablement prévisibles. Ainsi, un SIA, bien qu’autorisé pour être mis sur le marché, pourra faire l’objet d’une mauvaise utilisation de la part de l’entreprise dans un contexte donné, d’une utilisation imprévue, contre-indiquée par le fournisseur, voire interdite par la Règlementation applicable au cas d’usage. La PRIA prévoit donc que l’utilisateur du SIA puisse être requalifié juridiquement en tant que fournisseur de SIA s’il prend la liberté de changer la destination du SIA à haut risque ou d’effectuer des modifications substantielles de ses fonctionnalités. Il en ira de même s’il (re)distribue un SIA sous sa propre marque81. À l’issue de cette évaluation l’entreprise peut établir une liste d’exigences éthiques et des procédures associées de mise en œuvre dans son contexte spécifique. En tout état de cause, le respect de ces éléments doit pouvoir engager la responsabilité de l’entreprise.
26La surveillance de l’utilisation du SIA relève en principe de la responsabilité de l’utilisateur. Il y aura autant de modalités de gestion des risques que de types d’organisations, de moyens disponibles et d’applications potentielles82, 83 des SIA. Ceux visés à l’Annexe III de la PRIA sont particulièrement illustratifs des « hauts risques » qui pèsent sur leurs usages et qu’il s’agit d’endiguer. Par exemple, l’utilisation de SIA dans le domaine de l’emploi, de gestion de la main d’œuvre, de recrutement, d’attribution des tâches, de promotions ou de licenciements sont éminemment concernés par les risques de discrimination et de fort impact sociétal. Lorsque l’utilisation d’un tel SIA est envisagée, c’est à l’entreprise utilisatrice que revient l’obligation d’informer les personnes concernées. L’Article 22 du RGPD prémunit déjà les salariés, comme les consommateurs, contre des décisions individuelles qui seraient prises à leur insu uniquement sur la base d’un processus automatisé. Ce dernier offre en effet un droit individuel de la personne concernée de ne pas faire l’objet d’une telle décision et une obligation pour l’utilisateur du dispositif (responsable du traitement des données personnelles) de garantir une possible intervention humaine dans la prise de décision. Cet article est complété par les dispositions obligeant à informer les personnes concernées par ces systèmes décisionnels de façon, claire, intelligible, concise et explicite, au moins des informations utiles concernant la logique sous-jacente, ainsi que l’importance et les conséquences prévues de ce traitement pour cette personne84. La PRIA vient réaffirmer cette articulation règlementaire. En France, les entreprises utilisatrices pourraient aussi s’inspirer de la loi pour une république numérique85 qui depuis le 1er juillet 2020 oblige l’administration à être transparente sur les algorithmes86 utilisés afin de prendre des décisions individuelles.
27Enfin, la PRIA comporte une série d’obligations de transparence spécifiques pour les utilisateurs de certains SIA87, qui viennent compléter les obligations de transparence imposées aux fournisseurs. Ainsi, l’utilisateur d’un « système de reconnaissance des émotions ou d’un système de catégorisation biométrique » informe « du fonctionnement du système les personnes physiques qui y sont exposées ». Cette obligation ne s’applique pas lorsqu’un tel SIA est autorisé par la loi à des fins de prévention, de détection ou d’enquête pénale. Il en va de même pour l’utilisation de SIA « qui génère ou manipule des images ou des contenus audio ou vidéo présentant une ressemblance avec des personnes, des objets, des lieux ou d’autres entités ou événements existants et pouvant être perçus à tort comme authentiques ou véridiques (hypertrucage) », pour lesquels il faudra préciser que les contenus ont été générés ou manipulés artificiellement. À l’exception légale précitée s’ajouteront ici des possibilités d’usages de ces SIA à des fins artistiques ou scientifiques « sous réserve de garanties appropriées pour les droits et libertés des tiers ».
28Bien que la chaîne de responsabilité proposée par la PRIA entre les grands acteurs d’un SIA reste encore à éprouver, on voit bien que la responsabilité de l’utilisateur s’inscrit dans une logique de renforcement de la gouvernance, de l’évaluation et de la surveillance des SIA à haut risque qu’il intègre à ses activités. Les mécanismes classiques de responsabilité civile (ex : droit de la consommation) pourront certainement être mobilisés afin de permettre une protection adéquate des droits individuels au regard de l’utilisation d’un SIA88, 89, même si certains ajustements pourraient être nécessaires.
29Certaines questions demeurent et les entreprises concernées font état de premiers besoins pour être en mesure de respecter la future règlementation et adopter une gouvernance éthique et responsable.
B. Besoins des utilisateurs de SIA en termes d’organisation
30La planification et l’évaluation stratégique de l’opportunité d’introduire un SIA dans l’entreprise est une décision stratégique nécessitant une approche éthique qui pourrait s’inscrire dans la démarche de Responsabilité Sociale de l’Entreprise (RSE)90, 91. Une telle décision doit notamment être prise collectivement et documentée par les différents acteurs de la gouvernance de l’entreprise, après une phase de test en conditions réelles du SIA avant déploiement généralisé.
31En premier chef, les applications de l’IA dans l’entreprise questionnent l’organisation du travail. Pour prévenir et réduire au minimum les risques à l’utilisation, il est essentiel que tous les SIA à haut-risque utilisés dans une entreprise soient référencés et fassent l’objet d’une supervision humaine. À ce titre, la PRIA impose « un contrôle effectif par des personnes physiques pendant la période d’utilisation du SIA », et indique que ce contrôle humain sera considéré comme effectif dès lors que la personne qui en est responsable est en mesure d’assurer plusieurs fonctions. D’abord le contrôleur humain doit avoir la possibilité d’appréhender totalement les capacités et les limites du SIA et être en mesure de surveiller correctement son fonctionnement (afin de pouvoir détecter et traiter dès que possible les signes d’anomalies, de dysfonctionnements et de performances inattendues). Le contrôleur doit avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux résultats produits par le SIA, et être en mesure d’interpréter correctement les résultats du système, tout comme de décider de ne pas utiliser le système ou de passer outre le résultat fourni par le SIA. Enfin, il doit être capable d’intervenir sur le fonctionnement du SIA au moyen d’un bouton d’arrêt ou d’une procédure similaire92. Pour assurer un tel contrôle, et afin de développer la vigilance critique des utilisateurs finaux, l’entreprise utilisatrice devrait mettre à leur disposition les ressources nécessaires à l’acquisition pérenne des compétences susmentionnées. En ce sens, elle devrait notamment prioriser la formation continue de ses salariés et de ses usagers dès lors qu’ils seraient des utilisateurs finaux du SIA. Il est en effet essentiel que ces derniers aient conscience des capacités des SIA qu’ils utilisent, conservant ainsi le recul nécessaire pour se détacher des préconisations du SIA dans le cas où elles ne seraient pas cohérentes. L’enjeu ici est d’offrir aux salariés une formation spécifique à l’utilisation de chaque SIA qu’ils seront amenés à utiliser dans leur activité et, le cas échéant, de permettre une adaptation de leur poste de travail ou encore d’envisager leur reclassement. De manière générale, la formation continue des salariés paraît d’autant plus importante que « la durée de vie moyenne d’une compétence business est passée de trente ans en 1984 à cinq ans en 201493. Ceci est indépendant de l’IA, mais prouve qu’il devient encore plus vital aujourd’hui qu’hier de se soucier de l’acquisition de compétences94 ».
32En complément, l’entreprise devrait se doter de méthodologies, d’outils et de procédures permettant d’assurer une surveillance (et une réaction) humaine adaptée au fonctionnement des SIA, ce qui est particulièrement important concernant les SIA qui évoluent au fil de leur utilisation. Dans certains cas, il s’agira d’assurer un contrôle humain permanent, avec des cycles de veille faisant intervenir un ou plusieurs contrôleurs sur le terrain. Des exercices critiques devraient être organisés. Des mécanismes complémentaires de contrôle pourraient être mis en place au niveau de l’entreprise, en s’inspirant, par exemple, de la récente méthodologie de garantie humaine des SIA utilisés dans le secteur médical développée par l’initiative Ethik-IA95, qui prône la mise en place de collèges de garantie humaine dans les établissements de santé (composés de concepteurs du SIA, de médecins, de professionnels paramédicaux et de représentants de patients). Leur mission essentielle consiste à assurer une révision des décisions médicales partiellement automatisées pour porter un regard humain sur les options thérapeutiques préconisées ; ils se réunissent périodiquement pour sélectionner, de manière aléatoire, des dossiers traités par le SIA afin de les traiter eux-mêmes et ainsi comparer les résultats, l’objectif étant notamment d’opérer des corrections si nécessaire. De tels organes de contrôle pourraient également intervenir en cas de doute sérieux sur la fiabilité d’un résultat critique, avant que ne soit prise une décision. S’il n’est pas toujours possible de faire appel à des décisions collégiales, il apparaît primordial de protéger l’action humaine intervenant dans une démarche de précaution, à l’encontre d’un SIA, pour ne pas risquer à terme d’engendrer une passivité « forcée » du contrôleur humain paralysé par la peur d’une lourde sanction. Bien entendu, le rôle des juges sera très important pour apprécier l’ampleur de la responsabilité humaine dans de tels cas, en fonction des circonstances, des moyens mis à disposition du contrôleur humain et des potentiels dommages engendrés. À ce titre, certaines réflexions en cours portent sur la possibilité d’offrir aux utilisateurs de SIA des mécanismes d’assurance96.
33Une partie du succès de l’utilisation des SIA dépend également de la confiance que placent en eux les salariés et les partenaires sociaux des entreprises, ainsi que les clients. Ceux-ci devraient donc être inclus au plus tôt dans la régulation du déploiement et des usages des SIA de l’entreprise, et continuer d’être impliqués post-déploiement (ex : enquêtes de satisfaction clients des services utilisant un SIA). Au sein de l’entreprise, plusieurs thématiques de négociations obligatoires permettent d’intégrer des questions relatives aux SIA dans le contexte du dialogue social97. C’est notamment le cas de l’égalité professionnelle entre les genres, de la qualité de vie au travail, des mesures visant à éviter les discriminations, de l’insertion professionnelle des travailleurs handicapés et du droit à la déconnexion98. Pour les entreprises d’une certaine taille, le dialogue social est également obligatoire sur les thématiques suivantes : la gestion des emplois et des parcours professionnels et la performance collective de l’entreprise99. Pour encourager les entreprises dans cette voie, l’Accord-Cadre Européen sur la Numérisation100 propose une méthodologie pour aider les employeurs, les salariés et leurs représentants à se saisir du sujet des transformations numériques, notamment sur les questions de compétences numériques, de sécurisation de l’emploi, de droit à la déconnexion, sur le principe du contrôle humain de l’IA, le respect de la dignité humaine et la surveillance, de façon à effectuer des évaluations collectives d’ordre éthique101. Ces évaluations pourraient avoir un effet normatif pour l’entreprise et amener à modifier les conventions collectives par exemple.
34Les entreprises utilisatrices de SIA devraient être attentives à la gouvernance responsable des données. Cela inclut de respecter les droits des personnes (salariés, collaborateurs, clients ou usagers, tiers), d’assurer la confidentialité des données et la cybersécurité du SIA dans ses environnements opérationnels. Il s’agit aussi de se doter ou d’impliquer le DPD dans l’ensemble des activités susceptibles d’impliquer des questions sur la vie privée, afin qu’il tienne à jour un registre de traitement des données personnelles collectées par l’entreprise conformément au RGPD. Un registre d’activité lié au fonctionnement du SIA102 devra également être mis en place et protégé. À cet égard la PRIA ne crée aucun officier chargé de la gestion de la gouvernance des SIA, laissant le soin aux opérateurs de désigner un agent assurant ces fonctions. Compte tenu de l’ampleur de la tâche dans certains contextes, la désignation d’un délégué à la gouvernance des SIA ou d’un Chief AI ethics officer et la constitution d’équipes dédiées à l’élaboration et la mise en œuvre des politiques, procédures et actions évoquées dans cet article pourrait être envisagée, comme le recours à un comité d’éthique indépendant103. Si l’entreprise ne dispose pas de personnes qualifiées à cette fin en interne, il serait possible pour elle d’externaliser ces tâches.
35Pour conclure, la PRIA, comme elle-même l’indique, impose des restrictions nécessaires et proportionnées à la liberté d’entreprise et à la liberté des arts et des sciences « pour des raisons impérieuses d’intérêt général liées à la santé, à la sécurité, à la protection des consommateurs et à la protection d’autres droits fondamentaux » dans le développement et l’utilisation de SIA à haut risque. La PRIA s’inscrit dans le prolongement de réflexions éthiques en fixant des règles de gouvernance à même de renforcer l’effectivité des droits acquis et la spécificité des valeurs européennes, de la conception à l’utilisation des SIA. Ce faisant, elle soutient la responsabilité numérique des entreprises complétant l’approche du RGPD et de la RSE. La Commission Européenne a d’ailleurs précisé que celles-ci devaient affirmer leur responsabilité sociale en contractant de leur propre initiative des engagements allant au-delà des exigences réglementaires et conventionnelles auxquelles elles doivent de toute façon se conformer104. Ceci engloberait leurs engagements de gouvernance éthique des SIA. Toujours est-il que les mesures prévues encouragent à moderniser les organisations au regard des enjeux sociétaux des SIA. L’application de ces règles par les entreprises posera des défis et aura un coût, mais gageons que cela fera la différence sur les offres technologiques proposées ailleurs dans le monde, et que, in fine, cela améliorera la durabilité des SIA. La PRIA sera débattue prochainement au Parlement Européen puis au Conseil, chacun ayant la possibilité de proposer des modifications. Néanmoins, le texte définitif ne devrait pas fondamentalement changer. En tout cas, il marquera une nouvelle étape dans l’histoire juridique d’une Union se voulant garante d’une innovation raisonnée et responsable au service des citoyens, au bénéfice de l’humain et de l’environnement.
Notes de bas de page
1 Communication de la Commission, Une stratégie européenne pour les données, COM(2020)66 final, 19.02.2020.
2 Règlement (UE) 2016/679 du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données), OJ L 119, 4.5.2016, p. 1-88.
3 Directive (UE) 2019/1024 du 20 juin 2019 concernant les données ouvertes et la réutilisation des informations du secteur public, OJ L 172, 26.6.2019, p. 56-83.
4 Proposition de Règlement sur la gouvernance européenne des données (Acte sur la Gouvernance des Données ou Data Governance Act), COM/2020/767 final, 25.11.2020.
5 Proposition de Règlement relatif aux marchés contestables et équitables dans le secteur numérique (Législation sur les Marchés Numériques ou Digital Markets Act), COM/2020/842 final, 15.12.2020.
6 Proposition de Règlement relatif à un marché intérieur des services numériques (Législation sur les Services Numériques ou Digital Services Act) et modifiant la directive 2000/31/CE, COM/2020/825 final, 15.12.2020.
7 https://www.europarl.europa.eu/legislative-train/api/stages/report/current/theme/a-europe-fit-for-the-digital-age/file/data-act.
8 Pour plus de détails : https://www.un.org/sustainabledevelopment/fr/objectifs-de-developpement-durable/
9 Statista, 2021. Technology & Telecommunications. Software. Global total corporate artificial intelligence (AI) investment from 2015 to 2020. Published by Shanhong Liu, 16 April 2021.
10 IDC, 2021. IDC Forecasts Improved Growth for Global AI Market in 2021. Worldwide AI Software Forecast, 2021-2025. 23 February 2021. https://www.idc.com/getdoc.jsp?containerId=prUS47482321.
11 Proposition de Règlement établissant des règles harmonisées concernant l’Intelligence Artificielle (Législation sur l’Intelligence Artificielle) et modifiant certains actes législatifs de l’union, COM(2021) 206 final 2021/0106(COD), Bruxelles, le 21.4.2021.
12 https://ec.europa.eu/newsroom/dae/items/709089/en.
13 Article 3(8) de la PRIA : « opérateur » : le fournisseur, l’utilisateur, le mandataire, l’importateur et le distributeur. Pour les définitions précises de chaque terme, cf. article 3 de la PRIA.
14 Considérants 5 et 16 de la PRIA.
15 EGE Statement on artificial intelligence, robotics and ‘autonomous’ systems, March 2018.
16 HLEG on AI, Lignes directrices en matière d’éthique pour une IA digne de confiance, 2019.
17 HLEG on AI, Liste d’évaluation pour une IA digne de confiance (ALTAI) aux fins de l’auto-évaluation, 2020.
18 Résolution du Parlement européen du 20 octobre 2020 concernant un cadre pour les aspects éthiques de l’intelligence artificielle, de la robotique et des technologies connexes, 2020/2012(INL).
19 L’enquête d’Occitanie Data (futur GIP « Ekitia ») a reçu 13 réponses d’entreprises de taille variée (6 très petites entreprises, 2 petites entreprises, 3 moyennes entreprises et 2 très grandes entreprises) représentant divers secteurs d’activités (services numériques, études et conseil, formation, mobilité, électronique et électricité, culture, santé, environnement, et formation). Cette enquête n’est pas représentative de la situation des entreprises européennes mais permet d’illustrer le présent article.
20 La transformation numérique est le phénomène de mutation qui se caractérise par l’adoption des technologies émergentes dans les domaines de l’IA, du machine learning, de la blockchain, de l’Internet des Objets et de la robotique. Portés par l’évolution de la puissance de calcul, de la mémoire et des capacités de traitement des données, ces domaines émergents aident les entreprises à générer plus efficacement de la valeur. Corcentric. Qu’est-ce que la transformation digitale et comment l’accélérer ? 18 août 2021.
21 Articles 3(2) et 28 de la PRIA.
22 Article 3(3) de la PRIA : « Petit fournisseur » : Un fournisseur qui est une micro ou petite entreprise au sens de la recommandation 2003/361/CE de la Commission.
23 Article 16 à 25 de la PRIA.
24 Considérants 10 à 12, articles 2 et 4 de la PRIA.
25 Article 5 de la PRIA.
26 Est interdite l’utilisation de techniques subliminales pour altérer substantiellement le comportement d’une personne ou exploiter les vulnérabilités d’un groupe de personnes donné au risque d’entraîner un préjudice physique ou psychologique à cette personne ou à un tiers. Sont aussi interdits les SIA visant à évaluer ou à établir un classement des personnes [ex: scoring] mis en place à des fins générales par les autorités publiques ou pour leur compte, et les systèmes d’identification biométrique à distance “en temps réel” [ex: reconnaissance faciale] dans les espaces accessibles au public à des fins répressives, sauf exceptions strictement nécessaires, justifiées par l’intérêt public, et sous autorisation judiciaire.
27 Article 6(1) et (2) et Annexe II et Annexe III de la PRIA : L’article 6(1) concerne les systèmes d’IA à haut-risque qui sont des composants de sécurité des produits. Concernant ces derniers, les exigences de la PRIA seront intégrées dans la législation sectorielle existante en matière de sécurité des produits (dont la liste figure en Annexe II) afin de garantir la cohérence.
28 Conseil de l’UE, Conclusions de la présidence – La charte des droits fondamentaux dans le contexte de l’intelligence artificielle et du changement numérique, 11481/20, 2020.
29 Article 3(44) de la PRIA : « incident grave » : tout incident entraînant directement ou indirectement, susceptible d’avoir entraîné ou susceptible d’entraîner : (a) le décès d’une personne ou une atteinte grave à la santé d’une personne, à des biens ou à l’environnement, (b) une perturbation grave et irréversible de la gestion et du fonctionnement d’infrastructures critiques.
30 Par exemple, la PRIA « [...] autorise l’utilisation libre d’applications telles que les jeux vidéo ou les filtres anti-spam reposant sur l’IA. La grande majorité des systèmes d’IA relèvent de cette catégorie. Le projet de règlement ne prévoit pas d’intervention dans ce domaine, car ces systèmes ne représentent qu’un risque minime, voire nul, pour les droits ou la sécurité des citoyens ». Communiqué de presse, Une Europe adaptée à l’ère du numérique : La Commission propose de nouvelles règles et actions en faveur de l’excellence et de la confiance dans l’intelligence artificielle, europa.eu, 21 avril 2021.
31 Article 52 de la PRIA.
32 Considérant 81, article 69 de la PRIA.
33 European Commission, EU Grant - How to complete your self-ethics assessment, V2, 13 July 2021.
34 P. Brey, P. Jansen, J. Maas, B. Lundgren, A. Resseguier, SIENNA D4.7 An Ethical framework for the development and use of AI and robotics technologies, public deliverable from the SIENNA project, awaiting approval from the European Commission. 2020. https://sienna-project.eu/digitalAssets/915/c_915554-l_1-k_sienna-ethics-by-design-and-ethics-of-use.pdf
35 Article 3(12) de la PRIA.
36 Article 35 du RGPD.
37 Article 22 du RGPD.
38 Article 25 du RGPD.
39 Article 10(2) et (6) de la PRIA.
40 Article 10(3) et (4) de la PRIA.
41 Article 12 et 20 de la PRIA.
42 European Commission. Guidelines on FAIR data management in Horizon 2020 program, V3, 26 July 2016.
43 Le projet détaille plus avant une méthodologie pratique pour aider les fournisseurs à réaliser l’évaluation éthique suivant cette approche. Voir : P. Brey et al. SIENNA D4.7, 2020, op. cit.
44 Article 43 et Annexe VII de la PRIA.
45 Pour des raisons de cohérence avec la législation existante en matière de sécurité des produits, les évaluations de la conformité des SIA utilisés en tant que composants de sécurité de produits seront effectuées par des tiers déjà établi dans le cadre de la législation sectorielle appropriée en matière de sécurité des produits (dont la liste figure en Annexe II de la PRIA).
46 Article 43 et Annexe VI de la PRIA.
47 Article 40 de la PRIA.
48 Article 41 de la PRIA.
49 Article 47 de la PRIA.
50 Article 51 de la PRIA.
51 Article 21 et 22 de la PRIA.
52 Article 43(4) de la PRIA.
53 Considérant 78, article 61 et 62 de la PRIA.
54 Article 24 de la PRIA.
55 Articles 26 et 27 de la PRIA.
56 Disponible ici :http://ai-ethical.com/guide-pratique/
57 Enquête « L’entreprise et l’IA » menée par Occitanie Data au cours de l’été 2021.
58 En ce sens, l’Annexe II à la PRIA fixe 19 actes législatifs de l’UE interagissant avec cette dernière. Force est de constater que la connaissance du contexte normatif dans lequel s’inscrivent de nouvelles normes et technologies est complexe mais essentielle.
59 Pour plus de détails, voir le retour de la « Big Data Value Association » (BDVA) (partenaire privé de la Commission Européenne sur les questions d’IA rassemblant 200 structures) relatif à la PRIA : https://www.occitaniedata.fr/wp-content/uploads/2021/08/BDVA-Feedback-AI-Regulation_Final.pdf
60 En France, la CNIL a publié un ensemble de ressources consacrées à la prise en compte du RGPD dans le cycle de vie des sytèmes d’IA. https://www.cnil.fr/fr/intelligence-artificielle-ia.
61 G. Chassang, M. Thomsen, P. Rumeau, F. Sedes, A. Delfin. An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices. AI Communications, 1 January 2021,1-26.
62 Sur ce point, il a été surprenant de constater que les entreprises ayant déjà mis en place une gouvernance et une évaluation éthique de leurs systèmes d’IA étaient des petites entreprises. Malgré leur bonne connaissance de la future réglementation, sur les deux très grandes entreprises répondantes, aucune n’a encore mis en place une gouvernance éthique des systèmes d’IA ou soumis les systèmes d’IA fournis et utilisés à des évaluations éthiques, et une seule envisage de le faire à l’avenir.
63 Article 40 et 41 de la PRIA.
64 Pour plus de détails, voir le retour de la BDVA relatif à la PRIA, op. cit.
65 Pour plus de détails :https://normalisation.afnor.org/actualites/intelligence-artificielle-normalisation/.
66 HAS, Un nouvel outil pour l’évaluation des dispositifs médicaux embarquant de l’intelligence artificielle, octobre 2020.
67 Article 53 de la PRIA.
68 Pour plus de détails, voir le retour de la BDVA relatif à la PRIA, op. cit.
69 Article 55(1)(a) de la PRIA.
70 L’article 54 de la PRIA fournit cependant une base juridique autorisant à réutiliser des données personnelles pour développer des SIA d’intérêt public.
71 Pour plus de détails, voir le retour de la BDVA relatif à la PRIA, op. cit.
72 Chapitre 3 de la PRIA.
73 Eurostat, Artificial intelligence in European Enterprises, 13 April 2021.
74 S. Azouaoui, Ces entreprises où l’intelligence artificielle est déjà au boulot ! Capital.fr, Mag. Management, 20 Mars 2020.
75 The Global Partnership on AI (GPAI), Rapport du Groupe de travail sur l’avenir du travail, novembre 2020. Ce groupe international a récemment produit un catalogue recensant, dans 8 pays, 53 cas d’utilisation de l’IA en milieu professionnel, regroupés en 3 catégories : les SIA produisant de nouvelles connaissances ; les SIA améliorant la gestion des ressources humaines ; et les SIA modifiant la division du travail entre l’homme et la machine. Comme dans l’enquête d’Occitanie Data, il ressort de ce rapport que, parmi les 53 cas d’utilisation identifiés, c’est la fonction d’aide à la décision qui est la plus mentionnée.
76 R. Hamlyn. SIENNA D4.5 Public views on artificial intelligence and robots across 11 EU and non-EU countries, 2020.
77 En termes d’impacts négatifs contextuels, par exemple au niveau des restructurations internes suscitées par l’automatisation de certaines tâches, au niveau de l’embauche, des clients et, plus largement, au regard de la société et l’environnement.
78 P. Brey et al. SIENNA D4.7, 2020, op. cit. p. 37-40.
79 Article 29 de la PRIA.
80 Articles 11 et 18 de la PRIA.
81 Article 28 de la PRIA.
82 P. Jansen, S. Broadhead, R. Rodrigues, D. Wright, P. Brey, A. Fox, N. Wang, SIENNA D4.1: State-of-the-art Review: Artificial Intelligence and robotics (V.04), 2019.
83 O. Ezratty, Les usages de l’intelligence artificielle, Éd. 2019, Novembre 2019.
84 Articles 12, 13(2)(f) et 14(2)(g) du RGPD.
85 Loi n° 2016-1321 du 7 octobre 2016 pour une République Numérique, JORF n° 0235 du 8 octobre 2016.
86 Voir notamment le Guide Etalab : https://guides.etalab.gouv.fr/algorithmes/guide/#_1-a-quoi-servent-les-algorithmes-publics.
87 Article 52 de la PRIA.
88 European Parliament, Artificial Intelligence and Civil Liability, Study requested by the JURI committee, Policy Department for Citizens’ Rights and Constitutional Affairs, DG for Internal Policies, PE-621.926, July 2020.
89 Ex : dans le domaine de la santé: J. Brosselet, C. Jaegy, L. Daniele, Responsabilité civile et intelligence artificielle, Atelier clinique juridique, Université Paris Descartes, Juin 2019.
90 Selon la norme ISO 26000, la RSE est “la responsabilité d’une organisation vis-à-vis des impacts de ses décisions et activités sur la société et l’environnement, se traduisant par un comportement éthique et transparent qui contribue au développement durable, y compris à la santé et au bien-être de la société.”
91 En France, la Plateforme RSE considère que les enjeux éthiques liés au numérique sont une nouvelle dimension de la RSE. https://www.strategie.gouv.fr/infographies/responsabilite-numerique-entreprises-enjeux-donnees-environnementaux-sociaux.
92 Article 14 de la PRIA.
93 HubInstitute et IBM, Rapport “L’IA au service de l’entreprise augmentée”, 2018.
94 C. Dehaese, IA et robots : disparition de nos emplois ou nouvelles compétences pour le futur, Le regard d’un acteur de la formation professionnelle, Dalloz Droit Social, 2021, p. 120.
95 Initiative citoyenne et académique visant à proposer une série d’outils pour un regard humain sur les algorithmes en santé.
96 European Parliament, Artificial Intelligence and Civil Liability, July 2020, op. cit.
97 Selon l’Organisation Mondiale du Travail, le dialogue social inclut tout type de négociation, de consultation ou simplement d’échange d’informations entre les représentants des gouvernements, des employeurs et des travailleurs selon des modalités diverses, sur des questions relatives à la politique économique et sociale présentant un intérêt commun.
98 Articles L2242-1, L2242-17 à 19 du code du travail. Sans accord, ces négociations périodiques sont annuelles.
99 Articles L2242-2, L2242-20 et 21 du code du travail concernant les entreprises de plus de 300 salariés, ou les entreprises européennes ayant une entreprise en France de plus de 150 salariés. Sans accord, ces négociations ont lieu tous les trois ans.
100 Adopté le 22 juillet 2020 dans le cadre de l’article 155 du Traité sur le Fonctionnement de l’Union Européenne.
101 M-C. Amauger-Lattes, Le dialogue social : outil de régulation de l’intelligence artificielle dans l’entreprise, Dalloz Droit Social, p. 146.
102 Considérant 46 et Article 12 de la PRIA.
103 CNIL, Rapport sur les enjeux éthiques des algorithmes et de l’IA, Recommandation opérationnelle n° 6, 15 décembre 2017.
104 Communication de la Commission Européenne, Livre Vert, Promouvoir un cadre européen pour la responsabilité sociale des entreprises, COM(2001)366, 18 juillet 2001.
Auteurs
Juriste,
Inserm CERPOP, UMR1295, Université Paul Sabatier Toulouse 3, Equipe BIOETHICS.
Chaire Unesco « Ethique, Science et Société » (E2S), Université Fédérale de Toulouse.
GT éthique du numérique et de la robotique.
Juriste,
Inserm CERPOP, UMR1295, Université Paul Sabatier Toulouse 3, Equipe BIOETHICS.
Cheffe de projet junior « Ethique des usages des données » – Occitanie Data / Ekitia
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Qu’en est-il du code du commerce 200 ans après ?
États des lieux et projections
Corinne Saint-Alary-Houin (dir.)
2008
Qu'en est-il de la simplification du droit ?
Frédérique Rueda et Jacqueline Pousson-Petit (dir.)
2010
La réorientation européenne de la TVA à la suite du renoncement au régime définitif
Francis Querol (dir.)
2014
Regards critiques sur quelques (r)évolutions récentes du droit
Tome 1 : Bilans et Tome 2 : Réformes-Révolutions
Maryvonne Hecquard-Théron et Jacques Krynen (dir.)
2005