Intervention de Laurence Devillers

Réunion du jeudi 25 octobre 2018 à 9h55
Mission d'information sur la révision de la loi relative à la bioéthique

Laurence Devillers, professeure à l'Université Paris IV Panthéon-Sorbonne, chercheuse au laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur du Centre national de la recherche scientifique (CNRS) :

Ce qui concerne l'intelligence émotionnelle, dite affective computing en anglais, qui est mon domaine de recherche, ne marche pas bien du tout en ce moment ; malgré cela, les start-up fleurissent déjà dans ce domaine. Dernièrement, Amazon a même déposé un brevet pour un système visant à détecter l'état émotionnel des personnes isolées et tristes en vue de leur fournir des ersatz d'humanité par un marketing ciblé. Je trouve cela insupportable. Je ne sais comment on peut faire pour que ces sociétés cessent d'exploiter ces possibilités alors que la technologie mise en oeuvre n'est ni robuste ni évaluée et qu'il n'y a aucun cadre permettant de refuser des objets qui arrivent au sein des foyers pour soigner ou suivre des malades et qui devraient être contrôlés. On a toute latitude de concevoir ces objets selon des critères librement fixés, et l'on peut très bien, par exemple, concevoir une machine qui se déconnecte au bout d'un temps donné. On peut aussi imaginer une machine qui se présente comme une machine, et non pas comme Sofia, Nadine ou Alexa. Vous constaterez que l'on donne surtout des prénoms féminins à ces objets – et la représentation de la femme par ces machines est déplorable ; il faut dire que 80 % des concepteurs de ces machines sont des hommes.

Je ferai une incise sur les robots sexuels qui arrivent sur le marché et qui vont déstabiliser aussi l'entité familiale et les relations humaines. On commence à le voir au Japon, où l'on trouve un chatbot nommé Gatebox, qui montre un hologramme représentant une jolie jeune fille animée. Ce succédané d'être humain ne détecte pas les émotions, il fait seulement acte de présence : l'être humain projette ses émotions sur l'objet qui lui prodigue des conseils et lui donne du « mon chéri ». Et quand il part travailler, la « chose » lui envoie des textos… L'attention de l'individu est donc captée en permanence, sans que ses émotions soient forcément traitées par cet « objet » qui ressemble à ces jeux qui isolent les enfants, devenus dépendants, du monde réel.

Pourquoi ne pas étudier les dérives déjà observées au Japon pour mieux comprendre ce qu'il faudrait faire ? Il est urgent de créer des observatoires de ces usages, où des chercheurs travailleront aux moyens de mettre des freins et d'évaluer où l'on va. Je travaille sur un projet intitulé Bad Nudge, à Paris-Saclay, dans lequel j'ai embarqué des juristes et des économistes du comportement. Nous essayons de comprendre quelles sont les métriques de manipulation utilisées : comment, par exemple, une machine insistera pour vous faire parler de sujets que vous n'auriez peut-être pas évoqués spontanément, comment elle entre dans votre intimité. Le défi est de réussir à fabriquer un objet intelligent capable de faire passer le test de Turing à ces différentes machines – et qui, de plus, doit toujours s'adapter, parce qu'il y a une accélération permanente de ce que l'on peut faire avec des objets numériques. Il faut prendre garde à ne pas se faire enfermer. Cela signifie que le réseau ne doit pas être totalement couvert. C'est ce qui fait peur, d'ailleurs, dans le fait que la médecine va nous aider tout le temps : si je suis sans cesse sous contrôle – de la ville, de la machine, du robot aspirateur, d'une puce sous-cutanée… – je ne sais pas bien dans quel monde je vais vivre au prétexte de mon bien-être et de ma santé. Vous avez bien exprimé la nature de cette dérive. Personne, actuellement, n'a de réponses exactes ; en revanche, nous avons des pistes d'actions possibles sur les algorithmes, sur la surveillance de ces systèmes. Mais surveiller des systèmes avec d'autres systèmes, est-ce un empilement et une fuite en avant ? Il faut évidemment garder des êtres humains dans ces boucles de surveillance. Cela suscite de nouveaux métiers dont on ne parle pas : éthicien, entraîneur de données, surveillant de la coévolution humain-machine, etc. Je rappelle que l'homme s'adaptera à ces machines et que ces machines s'adapteront à lui. Je vous en donne un exemple significatif : on a montré que la taille de l'hippocampe – la zone de la mémoire – n'est pas la même chez les chauffeurs de taxi selon qu'ils ont mémorisé toutes les rues des villes où ils travaillent ou qu'ils ont délégué leur mémoire à un système de navigation satellitaire embarqué.

S'agissant des objets émotionnels en médecine, je suis récemment intervenue dans des congrès consacrés à la réanimation et je pense que l'on pourrait faire beaucoup pour mieux comprendre la zone de coma et ce qu'est la vie en observant, avec des objets et des médecins dans la boucle, ce qui se passe au cours de ces transitions pendant lesquelles des gens reviennent à la vie, des patients qui ont eu un accident vasculaire cérébral (AVC) retrouvent la mémoire. Il faut, pour cela, faire travailler ensemble des neuroscientifiques, des ingénieurs et des gens capables de maîtriser les réseaux de neurones et les machines les plus performantes en intelligence artificielle, des psychologues, des médecins et des psychiatres. Notre force, c'est cet univers interdisciplinaire, et nous avons une force supplémentaire en Europe, qui est la présence insistante de la philosophie dans nos mémoires et dans notre histoire.

Je dis toujours qu'une machine n'est qu'une machine parce qu'elle n'a pas de conatus, pas d'appétit de vie. Et pour montrer à quelqu'un que c'est une machine, je la démonte en petits morceaux puis je la reconstruis, et elle « revit »… au sens de la machine. On doit apprendre à désosser les objets, à en faire des objets plus petits et à les réparer. Alors on les considèrera à nouveau comme des machines. C'est pourquoi j'ai proposé la création d'un observatoire interdisciplinaire où travaillent ensemble des chercheurs qui font des thèses de bon niveau, avec une possibilité de laboratoire ouvert à la société, où des citoyens et des classes pourraient venir à certains moments, pour aider à mieux comprendre ces différents sujets, ce qui se produit le jour où l'on y regarde d'un peu plus près et où l'on n'a pas peur.

Aucun commentaire n'a encore été formulé sur cette intervention.

Cette législature étant désormais achevée, les commentaires sont désactivés.
Vous pouvez commenter les travaux des nouveaux députés sur le NosDéputés.fr de la législature en cours.