Intervention de Raja Chatila

L'exigence d'explicabilité est importante, car elle ne va pas de soi. Un cadre devra être élaboré et il faudra poser un impératif de transparence, d'abord de la part de l'entité qui exploite le système – je ne parle pas de son concepteur. Elle devra expliquer comment son système fonctionne, sans remettre en question, bien entendu, la protection de la propriété industrielle ou intellectuelle. Si le système fonctionne sur des bases de données d'apprentissage, elles devront être accessibles, afin que l'on puisse vérifier qu'il n'a pas été affecté de biais. Si un certain nombre de valeurs, de priorités, ont été choisies pour être prises en compte dans les décisions du système, elles devront, elles aussi, être connues.

Mais à qui devra-t-on expliquer ces algorithmes ? Aux spécialistes ? Aux patients ? À une autorité de certification ou de contrôle ? Dans tous les cas, l'exigence d'explicabilité nécessitera la transparence et les systèmes déployés devront pouvoir être certifiés. Les agences de certification devront donc se saisir des informations, tout comme les professionnels amenés à comprendre pourquoi la décision a été prise. Dans le domaine médical, c'est le médecin qui devra être le destinataire de l'explicabilité, à charge pour lui de transmettre, ensuite, les informations au patient.

S'agissant des robots androïdes, il sera difficile de légiférer sur leur développement : le cadre serait trop difficile à définir. En revanche, ne pas légiférer sur la notion de personnalité juridique me semble très important, et ce pour deux raisons : d'une part, la confusion possible entre l'être humain et la machine, quelle que soit la forme de celle-ci ; d'autre part, le risque de dédouaner le concepteur de ses responsabilités. Dans la mesure où ce dernier déploie un système, il doit, comme pour tout système technologique, être tenu pour responsable de ses conséquences et de ses dysfonctionnements. Et il le sera plus facilement si des standards industriels sont déterminés, visant à garantir le respect de ces exigences. Je suis donc d'avis de ne pas légiférer sur la notion de personnalité juridique.

Par ailleurs, si ces questions se posent sur un plan international, négocier des traités sera extrêmement compliqué. Le niveau européen est beaucoup plus aisé à envisager.