Intervention de Laurence Devillers

Je travaille effectivement depuis trente ans sur l'intelligence artificielle. Ma thèse portait sur l'utilisation du perceptron multicouche, des réseaux de neurones qui sont les ancêtres de ce que l'on appelle actuellement l'apprentissage profond ou deep learning, qui n'est donc pas nouveau. Les fondamentaux et les concepts utilisés sont toujours les mêmes. Le changement ne tient pas tant à la modification des algorithmes qu'à la capacité de calcul : pouvoir traiter un nombre gigantesque de données permet d'obtenir des performances que l'on ne pouvait imaginer précédemment. L'intelligence artificielle est un pharmakon : comme l'eau, cela permet de soigner ou d'empoisonner.

Je m'exprime sur plusieurs sujets liés à l'interaction avec la machine, aux algorithmes utilisés dans les robots dits « agents conversationnels » ou chatbots, aux bénéfices et aux risques qu'ils présentent. Je suis évidemment favorable à la technologie – on ne peut m'accuser du contraire puisque j'ai fondé ma carrière sur l'idée que l'on peut construire des machines intéressantes pour le bien commun : pour la santé, l'éducation, le transport et un grand nombre de tâches ou d'applications différentes. Mais je m'interroge d'abord sur la prise en compte des risques liés à ce domaine de la science.

Pour cette raison, je suis sortie de mon laboratoire il y a deux ans pour écrire un livre intitulé Des robots et des hommes : mythes, fantasmes et réalités, avec l'idée de démystifier et de rendre accessibles au plus grand nombre les informations relatives à ces systèmes qui ne sont pas robustes et qui ne sont pas ce qu'ils prétendent être. Je considérais que ces sujets d'ordre éthique devaient être pris en considération de façon urgente. Je suis sortie de mon laboratoire indignée, parce que les chercheurs ne le font pas suffisamment alors que c'est aussi l'un des aspects de leurs travaux de recherche. L'éthique n'arrive pas après que l'on a conçu un objet ou une fonctionnalité : la conception même de la recherche doit être éthique – c'est ce que l'on appelle ethics by design. Cela signifie qu'il faut tenir compte d'informations sur les répercussions que pourrait avoir ce type d'objet pour la santé ou pour l'accompagnement des personnes âgées. C'est le point de vue que je défends.

Si l'on reprend l'idée des réseaux de neurones, qui sont actuellement les systèmes les plus puissants, tant pour établir un diagnostic médical que pour faire de la reconnaissance des formes qui permettrait de construire un robot compagnon pour les personnes âgées, capable de reconnaître des objets et des personnes, sachez qu'une moitié du résultat est liée aux données et l'autre moitié aux algorithmes. Quelle est la part de l'humain dans tout cela ? Au départ, on construisait des « systèmes experts », dont les règles étaient définies par des experts ; maintenant, on utilise des systèmes qui construisent leurs connaissances à partir des données. Où est l'humain dans le choix des données et dans l'optimisation et l'évaluation de l'algorithme ? Il est encore extrêmement présent. Aussi est-il très gênant de lire un peu partout que ces machines apprennent seules et qu'elles sont créatives.

Elles n'apprennent pas seules, parce que l'on utilise des algorithmes dits supervisés ; la supervision provient des étiquettes que l'on ajoute à certaines formes. C'est aussi l'homme qui décide de mettre en oeuvre cet algorithme et qui en choisit les paramètres. On a vu les dérives de machines fabriquées par Microsoft par exemple, capables d'apprendre en continu et se mettant à débiter des propos racistes : parce que le système n'était pas complètement verrouillé, il apprenait avec une semi-supervision qui permettait à la machine de créer des choses seules. Ces objets, qui peuvent apprendre d'une certaine manière, avec une certaine liberté donnée par les humains, doivent être contrôlés en continu.

La créativité des machines est une créativité laborieuse. Par essais-erreurs, on trouve des choses certes intéressantes et nouvelles, et c'est créatif, mais la machine est incapable de s'en rendre compte : on ne peut pas créer un système qui permet de se rendre compte de la nouveauté puisque, par principe, on construit des modèles à partir de données qui existent déjà. Il n'y donc aucune possibilité de créer quelque chose de nouveau et de s'en apercevoir.

J'ai commencé à travailler en 2000 à l'affective computing, technologie née au Massachusetts Institute of Technology en 1997. J'ai été parmi les premiers à construire cette communauté de recherche autour de trois technologies : le fait de détecter les émotions dans le comportement des humains ; le fait d'interpréter ces informations pour générer une stratégie différente et répondre différemment à toute personne ; l'expressivité de ce que l'on donne comme résultat – qui peut être : « Je vous aime » ou « Vous êtes formidable »…

Je suis sortie de mon laboratoire pour dire exactement cela, après avoir fait de nombreuses expérimentations à l'hôpital Broca et dans des maisons de retraite, auprès de patients âgés, avec ce genre de machines munies, donc, de capacité émotionnelle. Il y a une forte projection des capacités humaines sur ces machines : si vous prenez des machines différentes mais dotées du même logiciel, l'une étant dans un meuble, l'autre un « R2-D2 » brillant et la troisième ressemblant à un être humain, la machine qui ressemble à l'être humain semblera plus intelligente – et l'on va pousser cela très loin. Ainsi, parce que j'ai écrit un livre sur les robots, je reçois des messages au sujet des robots aspirateurs – les seuls que les gens aient chez eux pour l'instant. Mes correspondants m'expliquent que leur robot aspirateur est assez autonome et va se recharger seul, et me demandent : « Que pense le robot quand il s'arrête au milieu de mon salon ? ». Il y a urgence à vulgariser, à expliquer et à faire manipuler ces outils.

Je travaille actuellement sur « démystifier et alerter ». Les peurs sont nombreuses. Or, la « super-intelligence » est une absurdité et les scientifiques doivent être suffisamment explicites pour faire comprendre qu'il est impossible qu'une machine, dans l'état où elle est construite maintenant, dégage une certaine conscience ou une pensée. C'est d'autant plus vrai que l'on est très loin de savoir ce que sont la conscience et le substrat de la pensée : on sait seulement qu'il y a un cerveau et qu'il est forcément utile.

Je suis atterrée d'entendre des collègues faire des conférences sur le brain computer interaction, expliquant que, sans plus parler, je pourrais transmettre par la pensée des informations qui piloteront une machine. Il y a là un bluff. Il est possible de le faire, et c'est très bien pour une personne handicapée qui veut faire se mouvoir son fauteuil roulant en avant et en arrière. Comment ce système fonctionne-t-il ? C'est une forme d'apprentissage dans laquelle on associe un mouvement de la machine à une figure géométrique de couleur à laquelle on va penser, et l'on entraîne la machine, avec des capteurs non invasifs, à récupérer ces signaux après apprentissage. En général, les fonctions sont peu nombreuses : il peut y en avoir quatre – un carré rouge, un rond jaune… –, ce qui rend possible la détection des différences entre les quatre signaux, et le déclenchement d'une action de ce type, qui donne un truc « magique ». La semaine dernière, au Forum Big Bang Santé, qui était par ailleurs extraordinaire, j'ai vu quelqu'un faire cette démonstration au grand public : un jeune garçon s'était entraîné à penser à un rond rouge et des capteurs transmettaient cette impulsion à un objet placé sur la table, le faisant se déplacer.

Il ne faut pas présenter ce genre d'expérience sans donner d'explications. Ne pas expliquer, c'est laisser entendre que l'on sait décrypter le cerveau et que la parole n'est plus nécessaire ; on va directement vers la télépathie. Or, on sait très bien que par le langage, on est dans l'élaboration de la culture, du savoir commun. Si l'on imaginait un système dans lequel nous serions tous en télépathie, comment pourrions-nous nous exprimer ensemble, écrire ensemble et augmenter nos connaissances ? Sachant les investissements faits par les « GAFA » en ces matières, j'alerte sur ces problèmes. Et quand je lis dans le journal Le Monde, il y a quelques jours, que ce sont principalement les GAFA qui élaborent l'éthique relative à ces systèmes, je m'offusque également, car cela signifie que ce sont les créateurs des systèmes qui les évaluent. Où est la déontologie ?

Je considère d'autre part que l'on donne pour place un strapontin à la robotique dans le futur texte relatif à la bioéthique en ne prenant pas suffisamment en compte les répercussions que ces objets peuvent avoir sur notre santé, alors qu'il y a également urgence à ce sujet. Il est important de comprendre que ces systèmes fonctionnent différemment de l'esprit humain. Or, nous les comparons toujours à l'humain. Ces machines ont des performances extrêmement utiles et puissantes pour reconnaître des cellules cancéreuses dans des images, pour détecter des infrasons et des ultrasons que moi, humain, je n'entends pas, et elles peuvent, sur la base de ces informations, faire des calculs et trouver des résultats qui ne sont pas à ma portée. Il faut apprendre à utiliser cela. On peut, grâce à ces machines, voir l'intérieur de son corps : j'ai vu dernièrement un système qui permet de voir son bébé dans son ventre ; imaginez l'interaction que cela permet !

Je travaille beaucoup sur l'idée de coévolution humain-machine. Nous construisons des machines à une vitesse exceptionnelle sans prendre le temps d'expliquer à tout le monde à quoi elles servent – et cela vaut partout. En Chine aussi, on va droit dans le mur : rappelez-vous ce jeune homme qui, accepté dans une faculté de médecine, s'en est finalement vu refuser l'accès parce que son père n'avait pas payé ses impôts. On voit se mettre en place un code moral qui aura des répercussions dans tous les domaines. Quand on voit, dans les campagnes chinoises, des jeunes garçons et des jeunes filles laissés isolés de l'éducation des parents et qui n'ont plus comme ressources éducatives que les réseaux sociaux, on assiste à une forte dérive. On ne soupçonne pas à quel point c'est important.

Un mot sur les émotions. On pense que c'est pour demain. Or, déjà, Sophia, conçu par Hanson Robotics, robot prétendument empathique qui comprendrait l'humanité, a été présenté à l'ONU comme capable de répondre devant un hémicycle de personnalités politiques. Je m'insurge, encore une fois, car ce sont des dialogues prescrits : cette machine n'a pas d'autonomie et il est absurde de penser la laisser parler devant un tel hémicycle, absurde de penser lui donner des droits, des devoirs et une personnalité juridique. Ce serait dangereux, parce que derrière tout cela, quelqu'un a conçu le programme qui fait que la machine se comporte ainsi. Il y a une part de liberté et d'imprévisibilité dans ces machines qui fait qu'on leur attribue des capacités qu'elles n'ont pas. Il faut l'apprendre à tout le monde.

L'aspect positif de ces robots est qu'ils peuvent aider des gens affectés par une maladie dégénérative et repliés sur eux-mêmes. Ces systèmes peuvent beaucoup apporter, il ne faut pas occulter. Mais, à l'inverse, je vais être entourée d'objets qui me traqueront, détecteront mes émotions et mon comportement avec des indices extrêmement fins dont je n'ai même pas conscience. Ils en tireront des déductions et auront peut-être des stratégies vis-à-vis de moi, dans tous les domaines, que ce soit pour ma santé, pour me conseiller politiquement ou pour me vendre des objets. Là encore, il y a urgence à mieux comprendre vers quoi on se dirige.

Ce qui est mis en avant par le Comité national consultatif d'éthique (CCNE) sur le numérique est gravement insuffisant au regard des dangers. Je ne suis pas la seule à le dire : lisez le livre de Cathy O'Neil, Algorithmes : la bombe à retardement. Ce livre, connu dans le monde entier, sera disponible en version française à partir du 7 novembre. Tout le monde doit le lire. Cathy O'Neil, issue de l'univers Google, montre que ces applications rendent la société plus injuste et plus discriminante. Mais on peut faire autrement. On peut créer du lien social et une meilleure répartition des ressources grâce à l'intelligence artificielle, c'est certain. On peut vivre mieux, se comprendre mieux, c'est certain aussi. Mais pour cela, il faut savoir réguler, comprendre, démystifier, éduquer et créer des comités d'observation de ces usages, puisque l'éthique n'est pas statique ; c'est d'un processus dynamique que l'on a besoin, et de chercheurs pluridisciplinaires travaillant continûment sur ces objets et leurs usages, avec des comités d'éthique.

Enfin, je travaille actuellement sur le nudging, autrement dit la « manipulation douce » amplifiée qui arrivera par le biais de tous ces objets. Vous savez ce que cela a déjà donné en politique ; vous verrez qu'avec ces objets qui détectent vos affects à longueur de journée, on sera encore « meilleur » sur ce plan.

Parce que l'on doit réfléchir à ces questions au niveau international, je suis impliquée dans des comités d'éthique nationaux et internationaux ainsi que dans IEEE, société savante internationale qui vise à développer la technologie au profit de l'humanité. J'essaie de pousser à une meilleure définition de ce qu'est le nudging par ces objets qui embarqueraient de l'affect. Je suis en contact avec des chercheurs de nombreux autres pays qui ont compris l'urgence avant nous, puisque l'on ne voit rien arriver à ce sujet en France, même en santé, contrairement à ce qui se passe au Canada, en Angleterre et au Japon. Je rencontrerai dans les prochaines semaines des académiciens des sciences, des politiques et des chercheurs qui jugent ces questions importantes. Elles doivent vraiment le devenir pour tous, car l'intelligence artificielle, la robotique et ce monde artificiel touchent aux questions de santé, d'éducation, de transports, de politique et d'influence dans toute la société.