1Les techniques d’intelligence artificielle (IA) ont pénétré dans notre vie quotidienne et des questions éthiques liées à l’utilisation et la mise en œuvre de ces technologies apparaissent. Les progrès des capacités d’autonomie, de décision et d’action des systèmes informatiques ou robotiques nous conduisent à repenser les questions liées à la responsabilité des sujets humains (informaticiens, développeurs, vendeurs, etc.) et des systèmes informatiques eux-mêmes ; et les rapports1 nationaux ou internationaux mettent de plus en plus en évidence ces questionnements, montrant qu’ils sont par nature transverses à de multiples disciplines.

2Le domaine de la santé est à l’heure actuelle confronté à l’émergence de la robotique médicale, de l’assistance au diagnostic, des logiciels de prévention et de facilitation de parcours de santé, et des objets connectés pour le suivi informatisé et à distance de patients2. La spécificité de ce domaine, où les gestes techniques ont une incidence directe sur des sujets humains, pose la question du respect de la dignité du patient, de la confidentialité des informations médicales et de lien de confiance que le praticien doit entretenir avec le patient. Au-delà des questions d’ordre juridique et déontologique, des questions d’ordre éthique spécifiques à l’intelligence artificielle se posent. Ils prennent encore une nouvelle dimension dans le cas des réseaux d’objets connectés car, si la multiplication et la diversification d’objets connectés déployables à un coût raisonnable dans des environnements domestiques ouvrent des perspectives pour le suivi en temps réel des patients, ces dispositifs introduisent une distance entre le praticien et le patient, communiquent des données personnelles médicales* et font interagir des acteurs dont les rôles et les objectifs sont parfois bien différents.

Une typologie des systèmes intelligents

De l’automatisation à l’autonomie : une question de point de vue

3Un système « intelligent » est un système capable de prendre des décisions au regard d’un but donné, et nous y distinguons les systèmes automatisés des systèmes autonomes. Si l’objectif est le même, c’est-à-dire remplacer la prise de décision humaine sur des tâches bien définies, ils diffèrent sur l’intervention du concepteur dans la définition de décisions qu’ils doivent prendre.

4« Un système automatisé est un système qui prend ses décisions en se fondant sur un processus défini pas-à-pas par un concepteur humain » (Truszkowski et al., 2010). Un scanner est un système automatique qui décide toujours des mêmes actions à effectuer de manière prévisible pour une reconstruction des images anatomiques en trois dimensions. Les décisions ont été prédéterminées par un concepteur qui a identifié les cas de fonctionnement nominaux et de défaillance. « Un système autonome a la capacité d’agir en fonction de ces buts, perception et connaissances, sans intervention humaine » (2010, p. 277). Par exemple, un système de diagnostic de cellules cancéreuses entre dans cette catégorie s’il utilise un réseau de neurones entraîné sur des données. En effet, dans ce cas, les décisions à prendre n’ont pas été spécifiées explicitement par le concepteur. Toutefois, un système autonome n’est pas libre de ses décisions. Elles sont contraintes par les informations à disposition du système, par le temps de calcul qui lui est alloué et par le pouvoir expressif des langages utilisés par ses algorithmes. De même, un système autonome n’est pas libre de ses buts : il est toujours nécessaire qu’un concepteur humain en définisse les objectifs ou la manière dont le système doit se les fixer.

5Nous nous intéresserons uniquement aux systèmes autonomes car ce sont eux qui s’appuient sur des méthodes issues de l’intelligence artificielle. En effet, aussi sophistiqués soient-ils, les systèmes automatiques (comme des robots de chirurgie téléopérés disposant d’auto-stabilisation) ne posent pas plus de questions éthiques que celles que pose tout outil.

Des systèmes intelligents en interaction avec l’humain

6Un système autonome prend toujours ses décisions au sein d’un environnement, impliquant directement ou non des sujets humains. Nous distinguons alors les systèmes supervisés des systèmes non supervisés.

7Un système supervisé (par exemple un système de diagnostic médical) interagit durant son fonctionnement avec un opérateur humain qui s’assure de la conduite des opérations et peut éventuellement en prendre partiellement ou totalement le contrôle. Le système et l’opérateur sont dans une relation de coopération, et l’opérateur est entraîné pour interagir avec le système et dispose d’une connaissance sur les cas particuliers qu’il pourrait rencontrer. Un système non supervisé (par exemple un assistant vocal) interagit durant son fonctionnement avec un utilisateur humain. Ce dernier utilise les fonctions de haut niveau du système pour atteindre un objectif qui lui est propre, sans avoir nécessairement une connaissance du fonctionnement interne du système.

8Les réseaux d’objets connectés pour le suivi des patients à domicile prennent la forme d’une collection d’instruments (piluliers, balances, oxymètres, glucomètres, etc.) généralement connectés à une plate-forme de type tablette ou smartphone. Ce réseau interagit à la fois avec le patient, qui n’a pas connaissance du fonctionnement interne du système, et avec le personnel médical, entraîné à lire les données, les alertes et les décisions du réseau. Ainsi, ces dispositifs sont à la fois supervisés et non supervisés ; et les problématiques éthiques seront donc différentes selon les points de vue.

Les systèmes multi-agents : distribution et hétérogénéité

9Les systèmes autonomes ne sont pas nécessairement composés d’un seul bloc, mais de plusieurs sous-systèmes autonomes qui interagissent entre eux. Les entités individuelles de ces systèmes sont des agents autonomes et les systèmes eux-mêmes des systèmes multi-agents (Müller et Fisher, 2014, p. 27-53). De par la nature distribuée et parfois décentralisée de tels systèmes, ils restent généralement fonctionnels en cas de défaillance d’un des agents, mais il est peut alors être difficile de prouver ou analyser leur fonctionnement global. Les systèmes multi-agents peuvent aussi être hétérogènes, signifiant que les agents n’ont pas nécessairement la même architecture interne, ne s’appuient pas sur les mêmes algorithmes et n’agissent pas pour le compte des mêmes opérateurs ou utilisateurs.

10Les réseaux d’objets connectés entrent dans cette catégorie. Tous les objets individuels ne s’appuient pas sur la même architecture ou peuvent avoir des mécanismes de prise de décision propres. Certains peuvent être capables d’opérations spécifiques, par exemple en étant des agents spécialisés dans tel ou tel type de diagnostics. De tels agents peuvent être en interaction avec différents acteurs (concepteurs, vendeurs, utilisateurs) dont les intérêts ne pas sont pas convergents.

Différentes étapes de décision, différentes questions éthiques

11Quels que soient les systèmes autonomes, prendre une décision implique de s’appuyer sur un modèle représentant la situation courante et décrivant les éléments à prendre en considération, et d’avoir un mécanisme qui pèse le pour et le contre des décisions possibles, de leurs conséquences et des objectifs à atteindre. Ces étapes constituent un processus abstrait pouvant se fonder sur des algorithmes multiples (Balke et Gilbert, 2014, p. 13). Par exemple, un système autonome de diagnostic de cellules cancéreuses peut s’appuyer sur un réseau de neurones pour identifier différents éléments sur une image médicale, puis s’appuyer sur un arbre de décisions fondé sur une théorie logique pour décider si l’image présente ou non une tumeur et à quel stade de développement.

Acquisition et construction d’un modèle

12Décider nécessite de s’appuyer sur une description de la situation dans laquelle la décision se prend. Par exemple, pour décider d’une alerte à lancer, un réseau d’objets connectés doit se représenter l’état de santé du patient et, selon que cet état est défaillant ou non, la décision ne sera pas la même. Le réseau doit alors être capable d’identifier cet état en se fondant sur un modèle qui traite les données brutes qu’il reçoit. La construction de ce modèle, préalable à toute prise de décision, soulève en elle-même des questions éthiques.

13Au-delà des enjeux sur le traitement des données personnelles*, le consentement et le respect de la vie privée des patients – problème général d’ordre légal et de sécurité des systèmes d’information –, le principal problème en intelligence artificielle est celui de la correction des modèles, qu’ils soient construits au préalable par des experts ou appris automatiquement. Si les modèles construits par des experts sont plus sensibles à l’incomplétude, les modèles appris, en reposant sur des masses de données importantes, sont plus aisément soumis aux biais de représentation et aux problèmes de variables cachées. Le premier correspond au fait que des données particulières sont sur- ou sous-représentées et que le modèle appris ne correspond pas à la réalité. Le second est lié au fait que les algorithmes d’apprentissage identifient des liens de corrélation et non pas des liens de causalité.

14Dans le cas des réseaux d’objets connectés, les données d’un patient peuvent être rares et leur collecte soumise à l’action du patient lui-même. Par exemple, la température n’est pas prise en permanence, les piluliers ne sont employés qu’à un moment précis ou le patient doit explicitement donner la composition de ses repas. Il convient aussi de s’interroger sur la fiabilité des données issues des objets connectés car il ne faut jamais exclure l’hypothèse d’une défaillance ou d’une mauvaise manipulation de la part du patient.

De la prise de décision proprement dite

15Une décision est toujours associée à des critères, qu’ils soient explicites ou implicites. La construction de ces critères peut alors reposer sur un modèle du patient qui lui est propre. Par exemple, la tolérance à la douleur ou le seuil de bradycardie varie en fonction des patients. Se pose alors la question de la modélisation des objectifs et de l’agrégation des critères qui les caractérisent. Or, agréger des critères peut revenir à les ordonner et à les pondérer.

16De plus, une décision se prend à l’aune de ses conséquences. Par exemple, la décision de prescrire un traitement ayant des effets secondaires handicapants ne sera pas la même selon que le praticien envisage les conséquences du traitement à court ou à long terme. Une seconde problématique est alors celle de la modélisation des conséquences d’une décision. Ces conséquences peuvent être nombreuses ou inconnues des concepteurs du système. Elles peuvent elles-mêmes entraîner d’autres conséquences (et ainsi de suite). Être exhaustif est alors impossible et cela implique qu’un choix de modélisation doit être opéré, et ce choix pose toujours question. Même si les conséquences à long terme des décisions ont été considérées, encore faut-il que le système ait le temps de les évaluer. Par exemple, un robot chirurgical autonome doit être capable de décider de ses actions en temps réel. Cela introduit une forme de dilemme entre le temps passé à calculer une décision risquant d’empêcher toute prise de décision effective et le risque de ne pas prendre le temps de calculer une décision correcte.

De l’usage des décisions et de l’intervention humaine

17Enfin, les décisions se prennent en interaction avec au moins un être humain. Pour un système supervisé, un opérateur peut parfois en prendre le contrôle, laissant une porte d’entrée à des décisions humaines. Pour un système non supervisé, la décision peut avoir un impact sur un utilisateur sans ce que cela soit explicitement représenté dans les mécanismes de décision.

18Une première question concerne le contexte dans lequel la décision est prise. En intelligence artificielle, le contexte est pratiquement toujours réduit à la situation. Or, il ne correspond pas seulement à la situation dans laquelle est prise la décision à un instant donné, mais à l’histoire qui a conduit à cette situation, aux normes sociales qui la sous-tendent, tout comme aux relations parfois inconscientes qu’entretiennent entre eux les sujets humains impliqués. Deux situations similaires peuvent avoir des contextes différents. Par exemple, deux patients peuvent avoir un état de santé semblable en termes de constantes vitales à un instant donné, mais l’un des deux peut avoir une histoire personnelle difficile avec le personnel médical tandis que le second a reçu une formation médicale et a des rapports simplifiés avec les praticiens. Ne pas prendre en compte le contexte peut conduire à la minoration de la situation individuelle des sujets humains impliqués dans la décision.

19Il se pose aussi la question de la soumission à la machine et de la délégation du consentement éclairé. Une décision prise par un système autonome pourrait être considérée comme acceptable, non pas parce qu’elle est une bonne décision, mais parce qu’il s’agit précisément d’un système autonome qui l’a prise et non un sujet humain. Ce questionnement est d’autant plus important que des expérimentations (Malle et al., 2015, p. 117-124) réitérées (Voiklis et al., 2016, p. 775-780) ont montré que les utilisateurs humains avaient plus tendance à blâmer les décisions purement utilitaristes du type « sacrifier une personne pour en sauver plusieurs » lorsqu’elles étaient prises par un autre humain que par un robot, et plus tendance à blâmer les robots qui ne prenaient pas ces décisions que les humains.

Répondre aux interrogations éthiques liées aux systèmes autonomes

20Au-delà de la réponse du législateur ou de comités d’éthique, quelles réponses aux questions d’éthique peuvent venir de l’intelligence artificielle elle-même ? Une des réponses possibles est de fournir des outils pour expliquer les décisions des systèmes autonomes. Une seconde réponse est de concevoir des systèmes autonomes capables de comportements pouvant être qualifiés d’éthiques.

De l’explicabilité des systèmes autonomes

21S’il n’existe pas de consensus sur la définition formelle d’une explication, la littérature s’accorde sur ses objectifs. Une explication a pour vocation d’identifier les liens de causalité entre les entrées et les décisions du système, d’identifier si une décision est forcée par un événement indésirable ou un manque d’autres solutions, ou encore d’exhiber des mesures permettant d’évaluer la qualité d’une décision (Doshi-Velez et al., 2017). Nous pouvons distinguer deux types d’approches pour produire automatiquement des explications : les approches externes, qui vont observer le système autonome à expliquer, et les approches internes, qui vont concevoir le système autonome autour de la production d’explications. Chaque approche, qu’elle soit externe ou interne, présente des avantages et des inconvénients. Il est donc intéressant de ne pas les opposer, mais de les penser complémentaires.

22Les approches externes analysent un système autonome en observant son comportement pour ensuite en proposer une explication. Elles simulent des entrées dans le système expliqué, en observent les résultats et produisent ensuite une analyse statistique ou reconstruisent un arbre de décision (Singh et al., 2016, p. 1-5). Ces approches sont particulièrement pertinentes lorsqu’il s’agit d’expliquer des systèmes autonomes incapables de produire des représentations de haut niveau de leur propre comportement, comme c’est le cas pour la majorité des réseaux de neurones ou pour les systèmes multi-agents.

23Les approches internes ont pour objectif de concevoir des systèmes autonomes dotés d’une propriété de réflexivité, c’est-à-dire capables d’observer leur propre comportement, de raisonner dessus et de produire des explications formalisées (Moulin et al., 2020, p. 169-222). Ces approches cherchent alors à produire les explications non pas a posteriori, mais durant le processus de raisonnement, et à se servir de ces dernières pour décider. Une méthode intéressante consiste à utiliser un modèle d’argumentation formelle (Fan et Toni, 2015, p. 1496-1502). Cette technique représente explicitement les avantages et inconvénients de chaque décision et calcule des ensembles de décisions acceptables selon une certaine sémantique. Une décision est alors supportée par une structure hiérarchique d’arguments qui peut être utilisée pour produire des explications.

De l’introduction de l’éthique dans les systèmes autonomes

24Des travaux en intelligence artificielle se sont intéressés à la conception de systèmes autonomes éthiques. « Un système autonome éthique est un système autonome dont le processus de décision intègre de manière explicite des valeurs et des principes éthiques ainsi qu’un arbitrage entre ces valeurs et les buts du système dans son domaine d’application » (Boissier et al., 2015). Il existe deux types d’approches.

25L’éthique par raisonnement s’attache à modéliser des théories éthiques spécifiques (raisonnement aristotélicien ou kantien, modélisation de la responsabilité morale, etc.) par des logiques déontiques capables de représenter des normes3 ou des logiques non-monotones capables de remettre en cause leurs déductions (Berreby, 2015, p. 532-548). Ceci permet une représentation explicite des principes éthiques interprétable par un humain. Toutefois, aussi explicites soient-ils, ces modèles supposent toujours des hypothèses, des simplifications et des choix. Il convient donc d’accompagner la modélisation du raisonnement éthique d’une réflexion elle-même éthique afin, en particulier, de bien comprendre la démarche et d’en identifier les limites.

26L’éthique par apprentissage, de son côté, s’appuie sur des mécanismes d’apprentissage pour fonder une théorie en accord avec des observations données par des experts (Anderson et al., 2006, p. 56-63). Le caractère éthique d’une action est généralement quantifié par des poids qui sont agrégés puis comparés à un critère de décision. Si, dans un cadre utilitariste, la quantification est pertinente et justifiée, elle ne l’est pas toujours dans un cadre déontologique (par exemple pour évaluer le respect de la vie privée ou de la dignité d’un patient). Enfin, il convient de faire attention à ces méthodes car elles s’appuient sur des mécanismes de généralisation et l’éthique s’accommode souvent mal des généralisations hâtives.

Explicabilité et éthiques dans les réseaux d’objets connectés

27Les approches d’explicabilité et d’intégration de l’éthique dans les systèmes autonomes se heurtent à de nouvelles problématiques lorsqu’elles doivent être mises en œuvre sur des réseaux d’objets connectés.

28Dans le cas de réseaux d’objets hétérogènes qui disposent de capacités de décision autonome, comment produire des explications alors que certaines parties de la décision ont été influencées par d’autres décisions ? Quand bien même il existerait une technique permettant d’expliquer le comportement individuel des objets, comment utiliser ces explications indépendantes pour construire une explication globale du comportement du système ? La question est d’autant plus épineuse dans le cas où les objets connectés ne sont pas en mesure de fournir des explications.

29Au niveau de la prise de décision éthique, la plupart des travaux s’intéressent uniquement à l’échelle du comportement individuel des agents. Or, dans un système multi-agent, sans coordination entre les agents, contraindre un comportement individuel ne garantit pas la cohérence de cette contrainte au niveau collectif. Par exemple, si chaque objet d’un réseau était capable de décider individuellement du bien-fondé d’une alerte, il faudrait encore que les objets puissent décider collectivement du bien-fondé de cette décision. Si tous les objets du réseau n’étaient pas capables de ce comportement, comment s’assurer alors qu’un objet connecté « éthique » le soit toujours lorsqu’il sera en interaction avec d’autres objets connectés hétérogènes ?

Conclusion

30L’autonomie des systèmes « intelligents » pose aujourd’hui des questions éthiques, tant dans leur développement que par leurs usages. Le domaine médical est particulièrement sensible à ces questions en raison de ses problématiques de respect de la dignité du patient, de confidentialité des informations médicales et de construction d’un lien de confiance entre le praticien et son patient. Nous avons proposé une lecture des systèmes « intelligents » en termes d’autonomie, de supervision, de distribution et d’hétérogénéité, ces deux dernières caractéristiques étant constituantes des réseaux d’objets connectés qui sont aujourd’hui de plus en plus envisagés dans les applications d’e-santé. Nous avons mis en lumière certaines problématiques éthiques résultant de chaque étape de la prise de décision autonome. Si de nombreux travaux proposent des voies prometteuses tant en matière d’explicabilité que de capacité à intégrer une dimension éthique dans les processus de décision, le cas des réseaux d’objets connectés pose toujours des questions car, sans coordination sur les explications et l’éthique elle-même, l’hétérogénéité de ces réseaux risque de mettre à mal toute tentative de mise en œuvre de ces concepts.