1 1) Les algorithmes* aident les responsables publics à prendre des décisions concernant les citoyens. N’y a-t-il pas un risque de déresponsabilisation de ces décideurs publics avec la généralisation de procédures peu maîtrisées ?

2 Isabelle Falque-Pierrotin : Il s’agit en effet de l’une des questions éthiques les plus fondamentales posées par ces algorithmes. Le juge ou le médecin de demain parviendront-ils à préserver leur faculté de choix face aux recommandations d’une machine susceptible d’être perçue comme infaillible ? Le débat public sur les algorithmes que la Commission nationale de l’informatique et des libertés (CNIL) a animé en 2017, en collaboration avec une soixantaine de partenaires, a permis de faire un état des lieux des modèles prescriptifs1, parfois extrêmement fiables, pouvant servir d’aide à la décision dans des champs aussi variés que la justice, la santé ou la sécurité nationale. La puissance publique semble déterminée à se saisir elle aussi des promesses de l’outil algorithmique, notamment sous son jour le plus attrayant au travers des techniques de « machine learning* ». Dans un climat budgétaire très tendu, face à la contestation de la légitimité ou de l’efficacité de l’action publique, l’intelligence artificielle* (IA) apparaît comme une « solution miracle ». Elle esquisse l’hypothèse à moyen terme d’un État plus présent et plus efficace que jamais, mobilisant moins de ressources et de personnel.

3Le risque de déresponsabilisation du décideur public dans ce contexte est réel et il appelle à un devoir de lucidité. Il convient d’éviter que l’objectivité et le prestige pouvant être accordés à l’outil technique n’évacuent toute forme d’appréciation humaine. Après la transition vers les outils numériques et les services en ligne, le renforcement de la protection des données personnelles grâce au Règlement général sur la protection des données (RGPD) et aux délégués à la protection des données personnelles (ou data protection officers – DPO2) dont se dotent progressivement les acteurs publics, un changement de culture est nécessaire au sein des administrations pour piloter correctement l’utilisation de l’IA. Le décideur public doit être formé à ces nouveaux outils, en mesurer les avantages mais aussi les limites.

4Pour remplir ce devoir de lucidité, les responsables publics devront tâcher de délimiter ce que l’algorithme permet et ce qu’il ne permet pas ; dissocier là où il apporte toute sa valeur ajoutée de là où l’intelligence humaine restera précieuse ; en somme, distinguer les formes de délégation de tâches qui sont répétitives ou celles qui sont fondées sur un corpus de règles bien établies, de celles pour lesquelles le pacte collectif n’est pas arrêté, celles qui sont avant tout relationnelles, celles pour lesquelles la solution algorithmique n’est pas la bonne réponse. Une telle typologie est naturellement difficile à établir. Il faut aller pas à pas et ne pas confier d’un bloc, au nom d’une pseudo-infaillibilité de la machine, n’importe quelle procédure publique à une solution d’IA.

5Enfin, lorsqu’un système algorithmique sera déployé, il s’agira de faire preuve de vigilance. C’est l’un des principes clés mis en lumière par la CNIL dans son rapport publié en décembre dernier : nos sociétés dans toutes leurs composantes, les responsables publics y compris, doivent organiser l’état d’alerte nécessaire face aux effets inattendus potentiellement préjudiciables des algorithmes (discriminations, erreurs dans des prises de décision cruciales, etc.). Seule cette vigilance nous permettra de contrer la dilution des responsabilités susceptible d’accompagner le développement d’une technologie impliquant une chaîne d’acteurs aussi protéiforme (concepteurs, administrations, entreprises, utilisateurs finaux etc.).

6 2) Le jugement moral, l’intuition, la créativité, l’affect, entre autres, fondent une grande partie des relations humaines et de la communication. La généralisation des procédures algorithmiques semble installer les relations de service dans un cadre « déshumanisé ». La conséquence de cette évolution n’est-elle pas une perte de sens à la fois pour le décideur et pour le citoyen ?

7 I. F.-P. : L’utilisation de modèles algorithmiques très perfectionnés, capables de traiter de vastes quantités d’informations, peut – il est vrai – permettre aux administrations d’optimiser leurs ressources, d’accélérer leur action, voire de repérer des tendances jusqu’ici invisibles ou réduire certains taux d’erreurs. D’un strict point de vue de l’efficacité, de l’optimisation, il y a fort à parier que la machine est plus efficiente que l’homme. Mais, que cette observation ne nous trompe pas, les algorithmes les plus à la pointe ne sauraient aujourd’hui éclipser l’homme dans l’exercice de la chose publique ! René Char disait que « toute l’autorité, la tactique et l’ingéniosité ne remplacent pas une parcelle de conviction au service de la vérité ». Alors que n’existe aujourd’hui aucune conscience robotique, envisager une IA qui aurait des convictions constitue purement et simplement une vue de l’esprit. Les fantasmes qui prolifèrent dans l’espace public ne doivent pas faire oublier le précieux besoin de compétences et de responsabilisation humaines pour gouverner et administrer.

8Sans même en attendre autant de la machine, il convient aussi de relativiser la pertinence des algorithmes pour « augmenter » les décideurs dans des tâches bien moins « ambitieuses ». Les exemples ne manquent pas pour démontrer à quel point passer d’un raisonnement par la règle à un fonctionnement par l’exemple, ce qui est sous-jacent aux algorithmes de deep learning*, peut susciter des effets préjudiciables : discriminations démultipliées, décisions absurdes etc. L’humain fait ici souvent mieux. En outre, en mettant son individualité au profit d’un cas donné, le décideur peut parfois envisager des solutions apparemment aberrantes qui seront les bonnes. En matière de justice par exemple, la délibération des jurés (et la confrontation de points de vue divers) n’a rien de cosmétique ; elle constitue une composante à part entière du jugement. Faire fi de ce constat, en pensant pouvoir « coder » tous les processus de décision, ne serait pas un pari gagnant. Une société du « tout-automatisé », du « tout-prédictif », n’apparaît pas comme un modèle viable3.

9Dans ce cadre, plutôt que de se sentir concurrencé, le décideur doit se former à interagir, à bien utiliser ces procédures algorithmiques. Les décideurs doivent pouvoir assimiler, parmi le spectre de leurs tâches, les raisons pour lesquelles ils ont parfois intérêt à être accompagnés par l’IA. L’algorithme peut à certains égards donner plus de sens à leur action, par exemple en leur permettant de consacrer plus de temps pour des activités à forte exigence intellectuelle ou pour des interactions avec leurs administrés ; en somme, en leur donnant l’opportunité de prendre du champ, de la hauteur. Ils doivent tout autant comprendre que, dans l’exercice de certaines autres tâches, ils devront rester maîtres et démontrer la richesse de l’intervention humaine, érigée comme un principe clé dès la loi « Informatique et libertés » de 1978.

10Le sens de cette évolution devra évidemment aussi pouvoir être saisi par nos concitoyens. Plusieurs exemples d’actualité – le système « Admission Post-Bac » notamment, qui a cristallisé le malaise autour de ladite « déshumanisation » – ont révélé qu’organiser une forme de transparence devient chaque jour plus nécessaire. De manière générale, le développement de l’IA doit s’opérer en prenant en considération un certain rapport des individus à la technique. Les citoyens ne souhaitent pas que les relations avec les services publics s’inscrivent dans un cadre entièrement déshumanisé. Il est de notre ressort de faire en sorte que cela ne soit pas le cas. La loi dite « République numérique* » y participe déjà par plusieurs dispositions visant à accroître la transparence des algorithmes publics. Pour éviter une perte de sens pour l’utilisateur final, d’autres pistes doivent être approfondies telles que la formation des citoyens à ces outils qui les « calculent », ou encore le développement de systèmes algorithmiques plus « compréhensibles », par le renforcement des droits déjà existants et l’organisation d’une forme de médiation avec les utilisateurs.

11En définitive, l’enjeu sera de démontrer que la technique ne suffit pas à changer le monde mais que les hommes restent déterminants, comme décideur ou citoyen.

12 3) Les algorithmes amélioreraient nos quotidiens, mais en utilisant des données liées à nos actions passées. Comment, dans ce contexte, faire reconnaître nos désirs et en particulier nos éventuels souhaits de rupture alors que le futur que les algorithmes nous proposent est enchaîné à notre passé ?

13 I. F.-P. : Tout d’abord, précisons que ce « futur » que les algorithmes nous proposent est toujours aujourd’hui pour partie celui que certains choix humains ont d’abord préfiguré. Qu’il s’agisse du choix des critères dans l’hypothèse d’un algorithme « classique » ou des données sélectionnées pour faire fonctionner l’algorithme « apprenant », nous ne sommes jamais entièrement dépossédés de la définition de notre futur. L’Algorithme n’est pas, du moins à ce stade, une sorte de génération spontanée. Dès lors, une large partie des systèmes algorithmiques mis à disposition des citoyens ou des professionnels pourraient tout à fait être programmés d’une manière autre, en favorisant par exemple l’ouverture de l’individu à des contenus culturels ou informationnels plus variés ; du recruteur à des recommandations d’embauche plus disruptives, etc.

14Il subsiste néanmoins que, de manière générale, l’algorithme tend aujourd’hui plutôt à enfermer. Son intérêt principal est en effet de mieux « faire parler » les profils constitués à partir de nos données personnelles, qui sont bel et bien révélatrices d’un passé, afin de mieux nous orienter. Ces modèles prédictifs analysent des informations sur la personne dans tout ce qui la compose par la collecte massive de données, et pourraient ainsi exacerber la capacité des technologies à nous résumer à un alter ego numérique appauvri parce que construit principalement sur une extrapolation du passé. Nous serions condamnés à reproduire les mêmes comportements, à ne fréquenter que des objets et opinions conformes à nos goûts, cela au détriment d’une vraie liberté de choix.

15De surcroît, cette personnalisation à outrance peut avoir des conséquences collectives préoccupantes, mettant en danger certains pactes collectifs, à commencer par la préservation d’un espace informationnel pluriel. Chaque individu ne recevant que des informations correspondant à ses centres d’intérêt, voire à un profil établi sur lui selon des critères obscurs, la notion d’espace public tend à se diluer, se fragmenter au profit d’une multitude d’espaces privés. Les algorithmes de personnalisation des réseaux sociaux et moteurs de recherche pourraient ainsi menacer cet espace vital pour notre démocratie.

16Je crois que ce débat sur la possible « reproduction du même » par les algorithmes est un enjeu politique et philosophique majeur dans nos sociétés, ces sociétés de contrôle comme les caractérise Gilles Deleuze, qui tendent à nous assigner une place, une catégorie d’appartenance. Il convient de s’insurger et de résister à de telles viscosités qui nous condamnent à n’être que des rouages d’un dispositif dont la finalité globale nous est extérieure. Pour résister, tous les leviers doivent être mobilisés, de la formation, au travail sur la transparence des algorithmes, à la mobilisation de nouveaux droits comme le droit à l’oubli ou au déréférencement. De façon générale, nous devons réintroduire de l’analogique dans nos vies numériques, créer des fuites de données, des contestations internes et externes sur les résultats du traitement de celles-ci afin que nous ne soyons pas prisonnier de notre double numérique.

17 4) La généralisation des systèmes algorithmiques et du big data* semble aboutir à installer une primauté de l’information sur la communication. Ce nouveau paradigme fonde en partie un modèle économique particulier dans lequel les producteurs des informations participent de manière souvent inconsciente à la création de valeur. Cette valeur profite-t-elle finalement aux citoyens ?

18Qu’elle leur profite, c’est certain : les citoyens bénéficient de services numériques toujours plus personnalisés, constamment améliorés, utiles à bien des égards dans leur quotidien. Nous sommes donc tous gourmands de ces outils. Mais le « retour sur investissement » pouvait toutefois jusqu’ici apparaître comme hautement insuffisant.

19Le RGPD fournit ici une réponse ambitieuse, celle d’accentuer significativement la transparence et la maîtrise auxquelles les individus peuvent prétendre sur les usages faits de leurs données personnelles. La nouvelle réglementation en vigueur depuis le 25 mai 2018 renforce leurs droits, et contient certaines dispositions très inventives pour rééquilibrer leurs relations de pouvoir avec ceux qui traitent leurs données personnelles, pour permettre la prise de conscience chez les citoyens de la valeur de leurs données. C’est le cas notamment du droit à la portabilité, qui permet à chacun de récupérer une partie de ses données dans un format lisible pour pouvoir, le cas échéant, les réutiliser auprès d’autres acteurs économiques.

20Le RGPD exprime donc une forte volonté de redonner à l’individu une capacité de maîtrise de sa vie numérique. C’est une étape majeure dans la construction de la société numérique, exprimant une nouvelle maturité. Par ce texte, l’Europe fait le choix d’une voie de croissance éthique et durable, considérant que la confiance des utilisateurs est au cœur du développement économique. Face à la mondialisation et à ses compétiteurs, elle affirme également des choix éthiques forts, une société de liberté dans laquelle l’information n’est pas captée ou monopolisée par certains mais dans laquelle chaque personne garde des droits sur l’utilisation de ses données.

21Il faut bien sûr que ce pari soit gagnant et qu’il produise les résultats opérationnels escomptés. L’effet de souffle de cette ambition se fait déjà sentir et se traduit par une capacité d’influence normative de l’Europe unique sur le sujet. La Californie a adopté récemment une loi s’inspirant du modèle européen ; le Japon vient de signer un accord d’adéquation avec l’Europe afin de favoriser les transferts de données ; l’Argentine travaille à une loi.

22Nous verrons dans les prochaines années si la démarche européenne a pu accoucher d’un standard mondial.

23 5) Une nouvelle « culture décisionnelle » basée sur des algorithmes et des dispositifs intégrés d’acquisition de données de toutes sortes peut certainement améliorer le fonctionnement des services publics, mais avec quelles conséquences, finalement, pour la démocratie et les libertés individuelles ?

24 I. F.-P. : Avec les algorithmes et l’IA, l’humanité entre dans une nouvelle phase de son développement. C’est une responsabilité collective de faire les choix qui permettront de tirer tous les bénéfices de l’IA, sans évacuer l’homme. À ce stade nouveau pour nos sociétés contemporaines, c’est désormais tout un dispositif technique qu’il s’agit de maîtriser, de telle sorte à ce qu’il puisse être compatible avec nos exigences démocratiques. Dans un tel contexte et, afin que l’individu devienne un citoyen numérique avec des droits au sein d’une communauté, qu’il reste une personne investie d’une vraie autonomie de décision, il semble nécessaire d’inventer une nouvelle génération de droits et de principes. Après les droits-libertés, les droits patrimoniaux et les droits sociaux, la mutation en cours appelle à une quatrième génération de « droits-systèmes » ayant vocation à organiser l’univers numérique.

25Les principes de loyauté et de vigilance, que la CNIL a proposés à l’issue d’un grand débat public pluri-acteurs, peuvent représenter les premiers de ces droits régissant les relations que nous allons dans les prochaines années entretenir avec l’infrastructure numérique qui conditionne de plus en plus nos vies. Le secteur public ne devrait ainsi déployer des algorithmes qu’à condition qu’ils soient loyaux, c’est-à-dire que leurs critères n’entrent pas trop frontalement en opposition avec certains grands intérêts collectifs, par exemple la préservation d’un égal accès à l’offre de service public et d’une égalité de traitement des administrés. Ensuite, nous devrions organiser méthodologiquement la vigilance, l’état de veille permanente de nos sociétés à l’égard de ces objets techniques mouvants. Responsables publics mais aussi développeurs, entreprises, citoyens doivent prendre conscience de leur appartenance à une chaîne, et se responsabiliser en conséquence.

26À ces deux premiers principes dégagés par la CNIL s’ajoute également le principe de transparence des algorithmes et de l’IA déjà mis en avant par la loi sur la République numérique de 2016.

27La CNIL entend proposer en octobre 2018, au sein de la Conférence internationale des commissaires à la protection des données et de la vie privée (ICDPPC) un projet de déclaration sur l’intelligence artificielle qui pourrait participer à l’adoption à l’échelle internationale de tels principes.