Mes chers collègues, nous débutons la dernière séquence d'auditions de notre mission en accueillant M. Jean-Gabriel Ganascia, professeur à l'université Pierre-et-Marie-Curie, chercheur en intelligence artificielle et président du comité d'éthique du Centre national de la recherche scientifique (CNRS), que nous remercions d'avoir accepté de venir s'exprimer devant nous.

L'intelligence artificielle, porteuse de nombreuses promesses dans le domaine de la santé notamment, soulève également de nombreux enjeux, non seulement en tant que troisième acteur venant s'insérer dans la relation bilatérale entre un médecin et son patient, mais aussi du point de vue des données de santé qui alimentent sa méthode d'apprentissage. Votre expertise sur ce sujet nous sera particulièrement utile, afin d'appréhender au mieux ces différents enjeux, dans la perspective de la révision de la loi de bioéthique.

Je vous donne maintenant la parole pour un court exposé d'une dizaine de minutes, que nous prolongerons par un échange de questions et de réponses.

Je vous remercie de votre invitation. Je vais vous présenter un exposé sur les enjeux éthiques émergents liés au développement de l'intelligence artificielle et de ses applications au domaine médical. Comme vous l'avez souligné, l'intelligence artificielle occupe aujourd'hui une part de plus en plus importante dans l'activité médicale.

Je diviserai mon propos en deux parties, la première visant à rappeler brièvement le spectre des applications de l'intelligence artificielle au secteur de la santé, la seconde envisageant les questions éthiques suscitées par ces applications.

Les applications de l'intelligence artificielle au secteur de la santé sont relativement nombreuses et ne se limitent pas à l'utilisation de l'apprentissage machine sur de grandes masses de données, techniques qui, bien que très populaires actuellement, masquent l'ampleur des applications de l'intelligence artificielle au domaine de la santé.

Je vais donc vous présenter toute une série d'applications, que je vais détailler brièvement, sans entrer toutefois dans des considérations trop techniques. Je pourrai bien évidemment répondre par la suite à vos questions concernant ces différentes applications.

L'aspect le plus évident, qui s'inscrit dans la continuité de dispositifs existant antérieurement, concerne les éléments en lien avec le stockage des informations et des données, dans le cadre de systèmes d'information présents dans diverses organisations, dont les hôpitaux, et susceptibles de se généraliser à d'autres institutions de santé. Cela concerne plus largement tout ce qui a trait à la recherche d'informations. Il y a sept ans, un programme réalisé par la société IBM l'avait emporté sur les meilleurs candidats du jeu télévisé américain Jeopardy. Ce dispositif, dénommé Watson, est un système de recherche d'informations, considérablement développé depuis, avec des applications dans différents secteurs, notamment bancaires et médicaux, ce qui soulève de nombreuses questions. Les informations traitées peuvent par exemple concerner des articles médicaux, pour aider les médecins à se tenir au courant des derniers résultats, ou les évolutions de la législation, de plus en plus complexe.

Le second élément en lien avec le stockage concerne les banques de données, qui jouent un rôle de plus en plus important, avec des aspects éthiques majeurs. Effectuer de l'apprentissage sur de grandes masses de données suppose en effet que les informations nécessaires soient stockées quelque part : il peut s'agir de banques de données de dossiers de patients, mais aussi de protéines ou autres types de molécules.

Après le stockage, le deuxième grand volet renvoie aux systèmes d'aide au diagnostic. Nous disposions par exemple, dans les années 1980, de ce que l'on qualifiait alors de « systèmes à base de connaissances », ou « systèmes experts ». La difficulté tenait en partie au fait qu'il fallait, pour que ces systèmes puissent fonctionner, construire les connaissances nécessaires, par un dialogue avec les experts. Aujourd'hui, se développe l'idée que ces connaissances pourraient se construire automatiquement, par apprentissage machine. Cela recouvre de nombreuses applications possibles, partant par exemple d'images réalisées dans le domaine de la radiologie ou de la dermatologie. L'an dernier, un article montrait comment, en partant de photographies de grains de beauté prises avec des téléphones portables, le système pouvait effectuer des diagnostics de mélanomes plus fiables que ceux de 21 dermatologues. J'y reviendrai, car sont liés à ces systèmes diagnostics des enjeux éthiques qui me semblent importants.

Le troisième grand volet est celui de la robotique chirurgicale. Cela concerne l'ensemble des dispositifs qui vont aider le chirurgien à procéder à des interventions. L'expression « robotique chirurgicale » est d'ailleurs trompeuse, car elle laisse supposer l'intervention de robots. Or il ne s'agit pas de robots au sens classique, car ces systèmes ne disposent d'aucune autonomie : ils permettent seulement de réaliser des téléopérations, c'est-à-dire des actions à distance, offrant au chirurgien la possibilité d'une position beaucoup plus confortable que celle qui serait la sienne sur le patient lui-même.

Il convient également de mentionner ici la question des prothèses, qui font appel à de l'intelligence artificielle : on peut penser aux organes artificiels, aux membres bioniques directement connectés sur les nerfs, qui commandent des actionneurs grâce à de l'intelligence artificielle. Il s'agit bel et bien de robotique. Les exosquelettes entrent aussi, d'une certaine manière, dans ce champ.

Un type de prothèse particulier me semble par ailleurs soulever des questions éthiques sur lesquelles nous reviendrons : il s'agit de tout ce qui relève des implants, notamment des implants neuronaux et neurocognitifs, et de la stimulation cérébrale transcrânienne.

Certains systèmes concernant la surveillance des patients font également appel à de l'intelligence artificielle, avec la possibilité d'utilisation de capteurs permettant un suivi en permanence, à l'hôpital ou à domicile. Ainsi, un bracelet électronique fixé au bras d'une personne atteinte d'une maladie d'Alzheimer à un stade débutant pourra lui permettre de rester en situation d'autonomie beaucoup plus longtemps, ce qui sera positif pour elle. Vous imaginez toutefois les questions éthiques que cela peut soulever par ailleurs.

Il convient également de mentionner, dans cette énumération et en lien avec la surveillance des patients, la question des objets connectés. Beaucoup de personnes vivent aujourd'hui avec des objets qui enregistrent en continu leur activité ; on pense notamment aux stimulateurs cardiaques, dont des centaines de milliers de personnes sont équipées en France. Il peut aussi s'agir d'objets qui, à domicile, peuvent être connectés. Il existe par exemple des respirateurs artificiels pour les patients souffrant de syndrome d'apnée du sommeil ; or, pour des raisons que l'on peut comprendre, les assurances sociales souhaitent savoir qui utilise effectivement ces respirateurs, qui ont un coût non négligeable. Cela nécessite d'enregistrer ce que font les patients la nuit, ce qui constitue une intrusion considérable dans leur vie privée.

Lié à ces objets connectés, citons également le crowdsourcing : ce terme, qui n'a pas de traduction simple en français, est un néologisme américain créé à partir des termes outsourcing et crowd, signifiant respectivement « externalisation » et « foule » : il s'agit donc de faire travailler une quantité considérable de gens à distance. Cela existe aujourd'hui sur Internet, avec par exemple Amazon Mechanical Turk (AMT), plateforme web permettant de faire travailler des gens à distance, pour des salaires assez faibles. Cela peut avoir des aspects très positifs, avec les sciences participatives et le fait de demander à toute la population de contribuer à l'activité scientifique par l'observation d'étoiles ou d'espèces animales. Dans le domaine médical, cela peut se traduire par le fait que des patients disposent sur eux de capteurs qui, de façon active ou passive, vont transmettre de l'information sur leurs activités. Vous imaginez, bien entendu, toutes les questions que cela peut poser. Ces aspects liés à l'acquisition de données sont vraiment un point central, en lien avec les techniques d'apprentissage permettant ensuite d'exploiter ces données.

Le dernier élément concerne les sources d'information parallèles. Il existe en effet sur le web énormément de sites d'informations médicales, qui ne sont pas nécessairement vérifiées par des autorités médicales. Cela place parfois les médecins dans des situations délicates.

Je vais à présent, à partir de ce large spectre d'activités, envisager les questions éthiques qu'elles soulèvent.

Les questions les plus classiques dans le domaine médical concernent la protection de l'intimité, de la vie privée. Les données concernées sont en effet extrêmement personnelles, puisqu'elles portent sur la santé, les médicaments que l'on prend, le rythme de vie de chacun. Jusqu'à quel point faut-il protéger la vie privée ? Peut-on véritablement anonymiser les données, c'est-à-dire en bénéficier tout en rompant le lien avec la personne qui en est à l'origine ? Il s'agit là de questions ouvertes et délicates, sur lesquelles portent de nombreuses recherches. Il faut savoir qu'aucune méthode ne permet d'anonymiser des données de façon absolue : en effet, même en supprimant le nom, il est possible, par croisement, de retrouver la source des informations.

La question de la vie privée doit toujours être mise en balance avec les bénéfices que l'on peut tirer de ces données, d'une part pour la science médicale, dans la mesure où les données de patients vont permettre de faire de l'induction pour trouver des causes et des corrélations entre des facteurs et des maladies, d'autre part pour l'individu lui-même, car le fait de donner certains éléments personnels, par exemple sur des contre-indications, sera gage pour lui d'une plus grande sécurité lors de la prescription de traitements.

De grandes quantités d'informations sont ainsi appelées à être stockées et pourront, si elles sont mal utilisées, se retourner contre les patients. Les assurances pourraient-elles par exemple avoir accès à ces données ? Vous percevez bien l'ampleur des problèmes que cela soulève.

La deuxième question éthique renvoie aux prothèses, qui sont extrêmement utiles pour soigner, pour réparer des déficiences, mais qui pourraient aussi être utilisées pour augmenter les capacités humaines. La frontière entre la réparation et l'augmentation est difficile à définir. Sans doute vous souvenez-vous d'Oscar Pistorius, cet athlète qui a défrayé la chronique parce qu'il avait, à la place des pieds, des lames de métal qui lui permettaient de courir très vite. Mais peut-être ignorez-vous le cas de Jennifer Bradshaw, Australienne souffrant de la même affection qu'Oscar Pistorius et dont une jambe avait été remplacée par une lame ; comme elle rêvait de courir très vite, elle a demandé à son médecin de lui couper l'autre jambe. Cela vous donne une idée des questions qui vont se poser.

Toujours dans le domaine des prothèses, je souhaiterais revenir sur le sujet des implants, en particulier des implants neuronaux, neurocognitifs, avec toutes les applications qui peuvent en être faites aujourd'hui et tous les risques de manipulation psychique liés à leur utilisation. Je crois d'ailleurs que le rapport du Comité consultatif national d'éthique pour les sciences de la vie et de la santé (CCNE) sur la révision de la loi de bioéthique comporte un chapitre entier consacré à cette question. Il s'agit d'un aspect extrêmement important. Je viens par exemple de lire un article publié par une équipe de l'université d'Oxford, qui explique que l'on va pouvoir implanter dans le cerveau des dispositifs électroniques permettant d'augmenter nos capacités intellectuelles. Si cela devait se réaliser, les conséquences en seraient certainement tout à fait catastrophiques, car il serait alors possible de manipuler des individus et des foules en plaçant dans leur cerveau ce que l'on voudrait. Je pense toutefois que, d'un point de vue technique, nous en sommes fort heureusement encore très loin.

J'ai évoqué dans la première partie de mon exposé les éléments concernant le diagnostic : cela soulève bien évidemment la question de la responsabilité dans la prise de décision. Peut-être avez-vous lu le livre Homo deus, ouvrage grand public à succès de l'auteur israélien Yuval Noah Harari, dans lequel il explique que nous allons avoir, d'ici quelques années, des dispositifs automatiques capables d'anticiper très rapidement nos réactions et qui permettront, dans le domaine médical, un diagnostic plus fiable que celui effectué par un médecin. Les assurances pourront alors tout à fait indiquer aux médecins qui prendraient des décisions autres que celles suggérées par le système automatique qu'ils encourraient alors un risque engageant leur responsabilité. Le danger est donc que les machines prennent des décisions à la place des hommes. Il s'agit d'une question centrale. Je pense qu'il faut s'opposer à cette évolution, pour de multiples raisons. Si le diagnostic du mélanome effectué automatiquement peut par exemple être plus fiable que celui fait par un médecin, la question de la prise en charge ultérieure du patient demeure bien évidemment de la responsabilité des médecins. Sans doute convient-il de prendre des précautions dans ce domaine.

Je souhaiterais aborder à présent la question de l'apprentissage machine : je crois que cette notion pose un certain nombre de questions d'ordre épistémologique, sur les conditions d'application des techniques. Cet apprentissage fonctionne essentiellement par induction, c'est-à-dire par un raisonnement logique allant du particulier au général. Il existe un axiome général de l'induction, l'axiome d'uniformité, identifié par les logiciens, dont John Stuart Mill, depuis plusieurs centaines d'années : pour que l'induction soit légitime, il faut que les exemples d'apprentissage à partir desquels elle est effectuée soient de bons représentants des situations d'application. Il faut bien évidemment s'assurer que ce qui est induit correspond vraiment à des corrélations, à distinguer des causalités. Il existe par exemple une corrélation entre les crèmes solaires et les cancers de la peau : cela signifie-t-il que les crèmes solaires provoquent le cancer de la peau ? Bien évidemment non ; ce résultat est simplement dû au fait que les gens qui utilisent des crèmes solaires s'exposent en général au soleil et que le soleil peut provoquer des cancers de la peau. Malheureusement, lorsque l'on effectue de l'apprentissage machine avec de grandes quantités d'exemples, on n'est pas en mesure de s'assurer de l'absence de cofacteurs comme ceux-ci.

La deuxième question est celle des explications : si l'on veut que des systèmes d'intelligence artificielle puissent contribuer à la décision médicale, il faut que le médecin soit en mesure de comprendre la décision proposée par la machine, ce qui implique de construire une petite histoire reliant les caractéristiques d'un patient aux éléments de la prise de décision. Cela fait actuellement l'objet de recherches. L'apprentissage profond fonctionne très bien avec les données dites « non structurées », les images ; mais lorsque l'on est en présence de données structurées, cela requiert la mise en oeuvre d'autres techniques d'apprentissage, qui nécessitent vraiment de disposer d'explications.

Peut-être certains d'entre vous se souviennent-ils du professeur Jean Bernard, très grand médecin, qui eut une influence considérable dans les années 1980 et 1990. J'avais eu la chance de le rencontrer, car il avait souhaité s'entretenir avec moi lorsque j'avais publié un petit ouvrage sur l'intelligence artificielle. Il pensait que l'on allait, avec ces machines, être en mesure de s'affranchir des dogmes, des idées préconçues qui biaisent les inductions des médecins et des scientifiques. Nos discussions avaient été très enrichissantes. Je lui avais par exemple expliqué que, contrairement à sa supposition, les machines n'empêchaient pas les dogmes liés aux biais sur les données, aux représentations. Cette question est bien évidemment toujours d'actualité.

Je terminerai en évoquant la question de l'autorité. Le fait qu'il existe des sites publics d'information qui diffusent énormément de connaissances, vraies ou fausses, sur les maladies, peut conduire à une mise en cause du savoir médical. Cela peut être positif, dans le sens où le patient devient véritablement acteur de sa santé, mais aussi avoir des effets négatifs, dans la mesure où cela ouvre la porte à la diffusion, par divers groupes de pression, d'informations fallacieuses. Je citerai, à titre d'illustration, les débats sur la vaccination : il existe dans notre pays énormément de réticences vis-à-vis de la vaccination, alors même que tous les spécialistes en soulignent les bienfaits, notamment au niveau collectif. Il faut expliquer à la population que les gens ne se vaccinent pas uniquement pour eux-mêmes, mais aussi pour les autres. On sait par exemple que le vaccin contre la grippe est assez peu efficace chez les personnes âgées, qui sont les plus vulnérables au virus ; il faut donc que les jeunes se vaccinent pour éviter de contaminer leurs aînés.

Je vous remercie.

Merci à vous pour cette présentation très intéressante et bien structurée, qui nous a permis de mieux comprendre les enjeux liés à l'intelligence artificielle.

Je souhaiterais vous soumettre deux questions. La première concerne les inégalités susceptibles d'apparaître ou de se creuser avec le recours à l'intelligence artificielle dans le domaine médical, en termes d'accès à l'information ou aux soins. On pourrait en effet imaginer que des fractures se développent au sein de la population. S'agit-il selon vous d'un enjeu ?

Le second point a trait au consentement. Seriez-vous favorable à une évolution des modalités du recueil du consentement des individus à l'utilisation de leurs données, afin de s'assurer qu'il soit véritablement éclairé ? Comment garantir cela face à l'utilisation d'algorithmes dans les parcours de soin ?

La question des inégalités est très importante. J'ai omis de l'aborder, mais elle figurait dans mes notes. On peut craindre en effet que les applications de l'intelligence artificielle au secteur médical, en particulier lorsqu'il s'agit d'applications coûteuses comme les prothèses, ne bénéficient qu'à une partie de la population. Il sera important de veiller à ne pas creuser la fracture sociale. Il s'agit d'un enjeu majeur de cohésion sociale.

Il faut toutefois considérer aussi les bénéfices que nous pourrons tirer de ces techniques, notamment en termes de médecine prédictive. On peut espérer que l'intelligence artificielle permette d'anticiper les maladies et, avant même que les symptômes n'apparaissent, de prévenir leur survenue. Ce sont là des aspects tout à fait nouveaux, qui sont en train de se développer. Indépendamment de la fracture sociale, on peut donc escompter, en matière de politique générale de santé, des bénéfices tout à fait considérables liés à l'utilisation de l'intelligence artificielle.

La question du consentement éclairé est extrêmement problématique. Les dossiers de consentement que les patients sont invités à lire et à signer, avant une intervention chirurgicale ou parce qu'ils vont participer à une expérimentation médicale, comptent souvent plusieurs dizaines de pages, écrites en petits caractères, dans des termes incompréhensibles, y compris par des spécialistes. J'avais échangé à ce sujet avec M. Hervé Chneiweiss, président du comité d'éthique de l'Institut national de la santé et de la recherche médicale (INSERM), qui partage l'idée selon laquelle il s'agit là d'une question très importante. Si l'on veut que le consentement soit véritablement éclairé, il faut, lorsqu'est élaborée la description du protocole destinée à permettre le recueil du consentement des personnes, prendre en compte les capacités cognitives moyennes de la population et avoir conscience que l'on ne s'adresse pas à des experts. Il faut que ces textes aient une visée explicative et ne soient pas seulement des documents juridiques permettant de se couvrir vis-à-vis de tous les risques. Si vous pouviez avoir une action en ce sens, celle-ci serait vraiment la bienvenue, car l'enjeu est essentiel.

Concernant les algorithmes proprement dits, il importe, me semble-t-il, de rappeler ce dont il s'agit. Ce mot suscite en effet des frayeurs qui, à mon sens, ne sont pas justifiées. Un algorithme est une méthode de résolution d'équations. Ce terme vient du nom du mathématicien persan al-Khawarizmi, qui a vécu au IXe siècle après Jésus-Christ, époque où, bien évidemment, les ordinateurs n'existaient pas. Je me souviens avoir participé à une table ronde au ministère de l'économie et des finances, sur le thème « Gouverner par l'algorithme ; gouvernés par l'algorithme ». Il faut tout d'abord savoir qu'il n'existe pas un, mais des algorithmes. Cet intitulé laissait par ailleurs entendre que les algorithmes allaient nous dominer. Or je crois qu'il faut renverser la question : heureusement qu'il existe des algorithmes. Une constitution est un algorithme, c'est-à-dire une séquence d'opérations logiques qui indiquent, dans chaque situation, ce qu'il convient de faire. Les algorithmes en tant que tels sont très positifs. L'aspect problématique réside dans l'utilisation de machines se servant de très grandes masses de données de façon opaque, sans être en capacité de fournir des explications. Il faut faire en sorte que la machine soit un partenaire, capable d'expliciter les critères pris en compte pour chacune des décisions, afin que l'homme puisse ensuite faire des choix. Il faut vraiment insister sur ce point, qui est vrai dans le domaine médical, mais aussi dans de nombreux autres secteurs. On peut par exemple imaginer qu'un banquier refuse de vous accorder un prêt au motif que votre score est inférieur à 0,75 : il faut alors qu'il soit en mesure de vous expliquer les raisons de ce refus. Êtes-vous trop âgé ? Avez-vous des revenus insuffisants ? Il est essentiel de mettre cela en oeuvre pour le futur.

Merci pour votre éclairage. Nous avons tous conscience que la révolution numérique va profondément modifier les comportements humains, comme en leur temps les révolutions engendrées par l'avènement de l'imprimerie ou de l'agriculture. Certaines des évolutions induites pourraient être opportunes ; d'autres regrettables. Il nous importe donc de contrôler quelque peu ces utilisations. Vous avez cité le professeur Jean Bernard, qui fut le premier président du CCNE. À ma connaissance, la France est le premier pays au monde à légiférer sur l'éthique de l'intelligence artificielle. Il existe, dans de nombreux pays, des règlementations, un encadrement, mais nous allons pour la première fois introduire dans la loi des recommandations éthiques relatives à ce domaine. Il s'agit d'un moment important et il nous est suggéré, afin de suivre ces évolutions dans la durée, de créer un comité d'éthique spécifiquement dédié à l'intelligence artificielle, distinct du CCNE. Quelle est votre opinion à ce propos ? Vous semble-t-il préférable de créer une instance consacrée à ce sujet ou d'intégrer cet élément comme une nouvelle compétence au sein du CCNE ?

Le mot « bioéthique » a initialement été employé par un auteur allemand au début du XXe siècle et impliquait à l'époque l'ensemble du monde vivant. Depuis, son sens a dérivé, jusqu'à le réduire à la seule espèce humaine, détachant ainsi artificiellement l'homme de l'écosystème dans lequel il est immergé et dont il est dépendant. Devons-nous, selon vous, nous préoccuper davantage de l'éthique de l'utilisation de l'intelligence artificielle pour l'ensemble du monde vivant ou importe-t-il avant tout de considérer ses applications à l'humain ?

Vous avez évoqué les objets connectés, dont vous savez mieux que moi comment ils sont proposés aux uns et aux autres, puisque, sans que l'on s'en rende compte, les caractéristiques individuelles de chacun d'entre nous sont transmises, répertoriées, analysées, et donnent lieu ensuite à des propositions d'ordre commercial, ciblées en fonction des sites consultés, des requêtes faites ou des achats effectués. Ainsi, nous nous voyons proposer régulièrement à l'achat, de façon quelquefois insistante, des objets connectés souvent superflus, mais adaptés à notre personnalité, notre mode de vie. Les enjeux commerciaux sont considérables. Comment protéger nos concitoyens de ces abus commerciaux ?

Parmi les éléments entrant dans le périmètre de l'intelligence artificielle, figurent les dispositifs basés sur l'intelligence rationnelle, les systèmes auto-apprenants, mais aussi les robots dits « affectifs ». Ces derniers ont-ils d'après vous vocation à combler véritablement certaines déficiences et situations de misère affective ou vont-ils au contraire accroître l'isolement social des personnes qui y auront recours ? Il est même question, au Japon, de robots sexuels. Comment imaginez-vous un meilleur contrôle de ces évolutions ? Il n'est pas question de verser dans la prohibition, mais d'avoir une certaine évaluation, une forme de contrôle et de formuler, à l'attention notamment de la jeune génération, des recommandations sur ce qui est opportun et sur ce qui pourrait s'avérer dangereux.

L'intelligence artificielle n'est pour l'instant pas capable, à ma connaissance, d'effectuer de vrais bonds technologiques. On donne souvent l'exemple d'un ordinateur qui analyserait la bougie : il n'inventera jamais l'ampoule électrique, mais se contentera de concevoir des bougies de plus en plus performantes. Pensez-vous que l'intelligence artificielle sera un jour capable d'effectuer ces sauts de créativité, ce qui lui confèrerait alors une puissance très importante, voire redoutable ?

Mon dernier point concerne les modifications que tout cela induit dans les comportements humains. Pardonnez-moi d'être quelque peu caricatural, mais on entend parfois dire que l'on observe chez les jeunes générations, nées avec les technologies numériques, une modification de leurs capacités mentales, qui leur permet de surfer avec aisance sur une grande quantité d'informations, souvent non validées par ailleurs, mais qui se traduit aussi par une diminution de leur mémoire, de leurs capacités en calcul mental, etc. Comment accompagner ces modifications afin qu'elles ne soient pas trop défavorables aux prochaines générations ? Faut-il envisager un suivi de ces évolutions en temps réel, afin de pouvoir rectifier la trajectoire si l'on se rend compte qu'elle s'éloigne de ce qui semble le plus opportun ?

Je vous remercie de toutes ces questions.

Serait-il souhaitable de disposer d'un comité d'éthique du numérique, prenant en compte non seulement les questions d'intelligence artificielle, mais de façon plus générale toutes les transformations sociales liées au numérique et leurs conséquences éthiques ? Je crois qu'il serait important de disposer d'une telle instance, dans un champ qui dépasse celui du CCNE. Le numérique transforme l'ensemble de la société. Il induit tout d'abord une réingénierie des objets : ainsi, un objet peut avoir l'apparence d'une montre, mais faire en réalité également office de téléphone, d'ordinateur. Il en va de même pour les voitures, les chaussures, les vélos, désormais dotés de capteurs. Au-delà des objets, la trame du tissu social se modifie elle aussi. Si l'amitié sur les réseaux sociaux reste, comme dans l'Antiquité, un lien d'affinité particulier entre des individus, elle revêt aussi désormais bien d'autres dimensions. Il en va de même pour la réputation : il existe ainsi en Chine un score de réputation. Le système bancaire utilise aussi des scores pour décider de l'attribution de prêts par exemple. La notion de confiance se modifie également. Je pense donc qu'il serait bon qu'un comité spécifique puisse réfléchir aux questions éthiques suscitées par les développements du numérique.

Vous avez soulevé par ailleurs la question de l'extension de la réflexion éthique autour du numérique à l'ensemble du monde vivant, conformément à la définition originelle de la bioéthique. Je crois que les questions d'environnement qui se posent aujourd'hui devraient conduire à envisager l'ensemble des enjeux éthiques liés à la fois au devenir de l'humain et à celui de l'environnement dans lequel il s'inscrit. L'une des questions qui se posent aujourd'hui, très rarement soulevée, concerne le fait que le numérique n'est pas du domaine du virtuel, mais participe bel et bien de l'univers matériel : il faut savoir par exemple que certaines applications du numérique conduisent à une déperdition d'énergie considérable et à une augmentation consécutive de l'effet de serre. Si le bitcoin était étendu à une masse monétaire importante, cela aurait des effets désastreux du point de vue écologique. On a par exemple calculé que s'il était étendu à la masse monétaire du dollar, cela correspondrait, en consommation électrique, à l'équivalent de la consommation d'un pays comme la France. Il est donc important, ainsi que vous le suggérez, de considérer les questions éthiques au sens large, en ne se limitant pas à l'humain.

Vous avez ensuite évoqué la question de la logique commerciale liée à l'internet. Cela m'apparaît vraiment comme un aspect central. Le modèle économique des grands acteurs de l'internet s'est construit au départ sur l'idée de la gratuité : l'utilisateur ne payait pas pour le service rendu. Le fait d'effectuer une requête sur Google n'est pas payant ; pour autant, il existe bel et bien une contrepartie, dans la mesure où l'entreprise, en échange du service rendu, utilise vos données. Ces sociétés font ainsi partie des plus grandes régies industrielles et sont au centre d'une économie marchande qui pose énormément de problèmes. Cela utilise de l'intelligence artificielle : le modèle économique de Google fonctionne par exemple sur la publicité ciblée. Le principe est de cerner qui vous êtes, à partir des sites que vous consultez et des requêtes que vous effectuez, afin de vous proposer des produits et services adaptés à votre profil et d'obtenir ainsi un taux de retour plus satisfaisant. Il s'agit là d'un changement majeur qui s'est opéré ces dernières années. Il faudrait que les pays, notamment européens, essaient de fonder des modèles différents, évitant tout intrusion dans la vie privée des utilisateurs. Il me semble important, dans cette optique, de promouvoir des dispositifs respectant un certain nombre de critères éthiques. Je pense notamment à des systèmes comme le moteur de recherche européen Qwant, qui s'engage à ne pas aspirer les requêtes, donc à respecter la vie privée en ne fondant pas son modèle économique sur l'exploitation des données individuelles. Je crois qu'il faudrait encourager et soutenir de telles initiatives.

L'Etat doit-il édicter des normes, ou est-il envisageable de procéder autrement ? J'ai pour ma part une certaine réticence à l'égard des normes, dont la mise en oeuvre est généralement un processus très lourd, faisant intervenir les grands acteurs, lesquels ont évidemment tendance à défendre leurs propres intérêts. Je pense donc qu'il serait préférable que se développe une réflexion au sein de l'ensemble de la société, qui pourrait conduire à l'émergence d'une demande sociale et de labels, attribués et vérifiés par des institutions indépendantes qui s'assureraient par exemple qu'un dispositif n'aspire pas les données individuelles pour les exploiter à des fins marchandes.

Vous avez également soulevé la question de la robotique affective. Comme vous l'avez indiqué, certains aspects de l'intelligence artificielle s'attachent à simuler le raisonnement rationnel, tandis que d'autres essaient plutôt de reproduire les émotions, avec toutes les questions que cela peut poser. Ne risque-t-on pas, par exemple, de déléguer à ces robots la charge de s'occuper des personnes âgées ? Cette perspective est absolument effrayante. Mais il existe aussi des aspects positifs : un robot affectif permet aux personnels soignants d'être plus disponibles. Sans doute savez-vous que les personnes atteintes de démence sénile sont insupportables pour leur environnement car elles posent sans cesse la même question. On peut ainsi imaginer un dispositif capable de répondre à ces patients, dégageant ainsi du temps pour que les professionnels vaquent à d'autres tâches. Il s'agit là d'une question ouverte. Je crois qu'il faut, d'une façon plus générale, considérer que les dispositifs d'intelligence artificielle sont des systèmes sociotechniques : cela signifie qu'ils ne sont pas uniquement des objets techniques, mais sont aussi couplés à une organisation sociale. Il importe donc de parvenir à penser le couplage des deux dimensions. J'ai évoqué précédemment les dispositifs permettant de suivre à distance les déplacements de personnes atteintes d'un début de maladie d'Alzheimer : cela peut être très positif si, derrière ce système, des gens suivent ces mouvements, tout en s'engageant à ne rien en divulguer afin de protéger l'intimité de la personne concernée, et peuvent intervenir s'ils constatent un problème. Il faut selon moi que, derrière chaque objet technique soit pensée l'organisation sociale qui va les accompagner. Dans le cas contraire, on s'engagerait dans un avenir plutôt cauchemardesque. Il me paraît important d'appréhender cette notion d'environnement social des objets techniques dès leur conception.

Je souhaiterais à présent revenir sur la question de la rupture épistémologique et du changement de paradigme. J'ai évoqué brièvement dans mon exposé les techniques d'apprentissage machine. Aujourd'hui, on procède essentiellement à de l'apprentissage supervisé : cela consiste à partir d'exemples, dont chacun se voit attribuer une étiquette. Il est alors possible, sur le fondement de ces exemples, de généraliser. Cet apprentissage est très limité. Il existe également d'autres techniques d'apprentissage : on peut par exemple imaginer des systèmes qui apprennent en regardant les traces d'exécution de leurs programmes et essaient, sur cette base, de s'améliorer. Bien évidemment, la question reste ouverte de savoir si une machine pourrait être capable de changer la représentation, les éléments de description, ce qui constituerait une rupture épistémologique. Aujourd'hui, cela nous semble très improbable. Pour l'instant, les machines restent dans un paradigme donné : elles ne font qu'utiliser les descripteurs qui leur ont été fournis. Qu'en sera-t-il dans le futur ? Je ne puis évidemment pas répondre à cette question. Je puis seulement vous dire que nous en sommes pour l'instant extrêmement loin, même si des travaux ont été menés sur ces questions dès le début de l'intelligence artificielle.

D'aucuns affirment que les machines vont bientôt, grâce à leurs capacités d'apprentissage, être beaucoup plus intelligentes que nous et prendre le pouvoir. Peut-être avez-vous par exemple entendu un certain médecin expliquer qu'elles allaient avoir un quotient intellectuel (QI) supérieur au nôtre. La notion même de QI pose des problèmes en soi : il s'agit d'une mesure tout à fait discutable. Quant à l'idée de QI d'une machine, elle est absurde, car elle suppose que les machines dites « intelligentes » le sont réellement. Or il faut bien comprendre ce qu'est l'intelligence artificielle : il s'agit d'une discipline scientifique ayant pour objectif de mieux comprendre l'intelligence en la décomposant en fonctions cognitives élémentaires et en simulant chacune d'entre elles. Des progrès considérables ont été effectués dans ce domaine au cours des dernières années, mais on ne fabrique pas pour autant des objets intelligents. L'utilisation du terme « intelligence » dans ce contexte est assurément source de confusion, et il est important de bien préciser ce dont il s'agit.

Votre dernière question portait sur la modification des capacités cognitives et des comportements humains, en lien avec le numérique. La question est ouverte. Il se trouve que je siège, en compagnie de scientifiques de diverses disciplines, au conseil scientifique de l'observatoire des mémoires : la question de savoir si notre mémoire va diminuer du fait des machines nous est régulièrement posée. Cette interrogation est ancienne. Dans l'Antiquité, Phèdre de Platon met en scène Socrate s'inquiétant de ce que l'écriture risque de conduire à amoindrir la mémoire individuelle. L'idée que les supports externes de mémoire pourraient faire perdre certaines facultés aux humains n'est donc pas neuve. La même question se pose aujourd'hui avec les outils numériques. Que disent les études menées dans ce domaine ? Dans certains pays, comme la Finlande, on suit depuis très longtemps une cohorte à ce sujet, avec réalisation régulière de tests. Serait-il intéressant de procéder de même en France ? Cela fournirait certainement des éléments d'information très utiles. Faut-il dès à présent craindre des pertes de capacités cognitives ? Il semblerait que les capacités de maintien de l'attention aient évolué. Les compétences en calcul mental ont de même certainement décru, mais c'est antérieur au développement de l'intelligence artificielle. Je crois pour ma part que le danger vient essentiellement non pas de l'intelligence artificielle, mais des jeux vidéo et des situations d'addiction qu'ils entraînent ; s'ils peuvent conduire à une augmentation de l'agilité, ils sont aussi susceptibles d'entraîner une diminution d'autres capacités cognitives et un isolement individuel.

Pour conclure, je souhaiterais insister sur le fait que le problème actuel du numérique tient à ce que nos sociétés sont de plus en plus inégalitaires. Le numérique est d'un côté une formidable chance, car il offre aux personnes qui ont une certaine éducation la possibilité d'accéder à une multitude d'informations, quasiment gratuitement. Il faut s'en réjouir. En revanche, il ne faut pas nier l'existence d'inégalités de connaissances, de compétences : tout le monde n'est pas capable de tirer profit de cet ensemble d'informations et de savoirs. Il s'agit là de l'enjeu majeur pour le futur. En 2000, lorsque les chefs d'État et de gouvernement européens s'étaient rencontrés à Lisbonne, ils avaient dressé le constat que nous entrions dans une société de la connaissance et fait part de leur volonté que l'Europe soit leader dans ce domaine, en développant l'enseignement et la recherche. Il s'agissait assurément d'un bon diagnostic. Or, dix-huit ans plus tard, on observe que l'Europe a plutôt régressé dans le monde. Il convient donc aujourd'hui de nous interroger sur notre capacité à mettre en oeuvre les programmes de formation et de recherche qui permettraient à l'Europe de se développer dans la société du futur.

Merci pour cet exposé passionnant. Face aux dangers que vous évoquez, comment concilier progrès et humanité ? Comment gérer les aspects de mondialisation, sachant que si une avancée technologique n'est pas effectuée ou mise à disposition dans notre pays, d'autres pays, au bout du monde, s'en chargent ?

Vous évoquiez les risques d'une société inégalitaire : on parle aujourd'hui d'un nouvel illettrisme. J'en viens à croire que l'on induit des concepts faux dans la société. Le terme d'« intelligence artificielle » lui-même l'illustre. Il en va de même pour la notion d'égalité.

J'ai également été très intéressée par votre réflexion sur le consentement éclairé. Bien que n'étant pas juriste, il me semble qu'en droit le consentement ne justifie pas l'acte. Il va de soi que le fait qu'une femme soit consentante pour être battue ne justifie pas les coups qui lui seraient portés. Les dossiers de consentement visent surtout, apparemment, à protéger les chirurgiens en termes assurantiels, afin que les patients ne puissent pas porter plainte en cas d'échec ou tout du moins puissent obtenir réparation. On m'explique aujourd'hui que s'il y a consentement d'un côté et demande de l'autre, alors tout va bien. Cela me fait dire que l'éthique aurait cédé la place à une société de contrats. Quelle différence fait-on entre un consentement éclairé pour réparer et un consentement pour faire ce qui est aujourd'hui interdit ?

L'analyse critique qu'il convient de faire de tous les nouveaux défis qui s'offrent à nous en matière d'intelligence artificielle suppose un certain degré de connaissance. Quelles collaborations avez-vous avec l'Education nationale et plus généralement toutes les instances concourant à la parentalité ou à l'accompagnement des familles ? Je pense qu'un travail pourrait être effectué sur cet aspect, en lien avec la prévention des risques que vous avez mentionnés.

Comment concilier progrès et humanité ? Mon domaine de recherche concerne précisément la simulation des raisonnements éthiques sur les machines et la manière de mettre de l'humain dans les décisions automatiques. Il est tout à fait possible d'introduire des critères en référence à des valeurs humaines dans la prise de décision des machines. Je travaille également sur les « humanités numériques », c'est-à-dire sur le fait d'essayer d'utiliser l'intelligence artificielle pour construire de nouveaux opérateurs d'interprétation, permettant de mieux comprendre les oeuvres humaines. Cela peut, d'une certaine façon, donner naissance à un nouvel humanisme, faisant écho à la capacité, qui était apparue à la fin du Moyen Âge, de relire les oeuvres des Anciens. Nous avons par exemple développé un laboratoire d'excellence avec les équipes de littérature de la Sorbonne, dans lequel nous essayons de relire les oeuvres de façon différente, en repérant les influences sur de très grands corpus de textes, en lien avec la Bibliothèque nationale de France. L'intelligence artificielle permet des travaux passionnants et ne conduit pas nécessairement à une déshumanisation.

Il ne faut toutefois pas nier les risques que vous évoquez. La mondialisation est souvent un argument que l'on nous oppose, en soulignant que les limites que nous nous imposons dans nos travaux n'existent pas nécessairement ailleurs et que, dans d'autres pays, les équipes ne prennent pas autant de précautions et feront ainsi ce que nous refusons de faire. Je crois qu'il est important de bien comprendre le contexte actuel. L'établissement de normes ne me semble pas nécessairement positif, mais si l'on parvient à construire une demande sociale forte en Europe, se traduisant par le développement de labellisations, alors les populations des autres pays du monde pourront s'y intéresser. Nous aurions alors un rôle d'exemplarité. On peut faire de l'éthique un avantage concurrentiel.

La question d'un nouvel illettrisme et l'introduction de concepts faux est aussi un vrai problème. Nous vivons dans une société de l'information. Or cette dernière est toujours susceptible d'être détournée ; des rumeurs et toutes sortes de fausses nouvelles peuvent circuler. Il est important d'essayer de lutter contre cette tendance. C'est toutefois très difficile, dans la mesure où il faut veiller à ne pas entraver la liberté d'expression, tout en caractérisant ce que seraient des attaques informationnelles injustifiées. Il s'agit d'une question majeure. Quinze prix Nobel ont signé la semaine dernière, à l'initiative de Reporters sans frontières, un appel invitant à prêter une attention toute particulière aux problèmes de diffusion de l'information. Dans le monde passé, les limitations étaient celles imposées par un État autoritaire, qui gommait certaines informations et empêchait leur diffusion. Aujourd'hui, la situation est différente, car nous sommes confrontés à la propagation d'informations fausses, qui contribuent à noyer l'information en créant une surabondance de données.

Je pense que la question essentielle en matière de consentement est celle du consentement non éclairé. Ce risque est grand aujourd'hui, car tous les individus ne sont pas en capacité de comprendre et de tirer les conséquences de ce qu'ils sont invités à signer. Je suis tout à fait d'accord avec vous sur le fait que le consentement ne justifie pas l'acte ; mais quand bien même il le justifierait, cela n'irait pas sans soulever de questionnements.

Relever les défis liés à l'intelligence artificielle implique, comme vous le soulignez, une prise de conscience de l'ensemble de la société, à l'école notamment. Nous avons ainsi commencé à tisser quelques liens avec l'Éducation nationale. Un programme d'informatique, à l'élaboration duquel j'ai quelque peu participé, est en train de se mettre en place à l'attention des élèves de seconde, afin de leur expliquer ce que sont les réseaux sociaux, les moteurs de recherche, l'intelligence artificielle. Je crois que l'éducation a un rôle important à jouer, à l'échelle de l'ensemble de la société. Il faut développer une formation permettant à nos concitoyens de comprendre les enjeux du numérique, de s'en saisir, d'en débattre. Cette réflexion appartient à tous. Il n'existe pas de déterminisme technologique. Il faut veiller à construire une société à notre mesure et être en capacité, collectivement, de faire des choix pour l'avenir. Je pense qu'il faut que des formations soient proposées à tout âge de la vie, car les compétences requises pour exercer la plupart des métiers sont en constante évolution. On ne peut imaginer que les études initiales fournissent le seul et unique bagage disponible pour effectuer la totalité d'un parcours professionnel. Il est important d'actualiser ses connaissances, de développer ses compétences tout au long de la vie. Je suis universitaire et je pense que l'université a un rôle majeur à jouer dans ces transformations de la société pour le futur.

Au nom de mes collègues, je vous remercie, monsieur Ganascia, pour cette audition très éclairante.