Intervention de Cédric Villani

Je suis favorable à la certification, mais avec certaines réserves. Il ne faut pas se méprendre. Rappelons que l'intelligence artificielle recouvre un ensemble très disparate d'algorithmes. J'ai insisté sur l'apprentissage statistique, qui fonctionne par l'exemple. Mais il ne faut pas oublier les algorithmes de systèmes experts, qui ont connu leur heure de gloire voici quelques décennies et reposent davantage sur la logique, en transcrivant en algorithmique un savoir-faire humain, une compétence acquise. Il existe une troisième catégorie d'algorithmes qui se fonde sur l'exploration des possibles et va jouer un rôle de plus en plus important, associé à la simulation dans certaines situations. Cela a par exemple fait la gloire de la société DeepMind et de son algorithme AlphaGo, qui écrase les meilleurs spécialistes humains au jeu de go. Ces programmes ne font en rien appel aux exemples et doivent tout à l'exploration.

En médecine, cependant, on reste très attaché soit aux systèmes experts, soit aux exemples. Dans le cadre d'une éventuelle certification d'un algorithme reposant sur les exemples, l'algorithme en soi s'efface devant le problème de la qualité de la base de données. La question la plus importante est de savoir comment est constituée celle-ci, de s'assurer qu'elle ne comporte pas de biais, qu'elle est aussi large que possible et recouvre bien le domaine concerné. Permettez-moi de vous faire part d'un exemple caricatural, mais inspiré d'une histoire vraie : imaginez un algorithme conçu pour distinguer, à partir d'une image médicale, une tumeur bénigne d'une tumeur maligne, et calibré à partir d'une banque de données issue pour partie d'un service dans lequel on traite les tumeurs les plus graves, et pour une autre partie d'images de tumeurs bénignes, collectées un peu partout. Très rapidement, l'algorithme va apprendre non pas à distinguer les tumeurs malignes des tumeurs bénignes, mais à reconnaître la provenance des images qui lui sont soumises, à partir de signes imperceptibles. C'est un peu comme si, dans le domaine militaire, l'on entraînait un algorithme à distinguer les chars utilisés en Sibérie des chars utilisés par les États-Unis : très vite, l'algorithme apprendra à reconnaître si l'image comporte ou non de la neige, plutôt qu'à se concentrer sur l'étude de la forme du char. La question essentielle ici est donc de savoir si la base de données a été bien pensée pour éliminer les biais. Dans certains cas les biais sont inévitables ; il faut alors voir ce qui a été mis en oeuvre pour les supprimer.

Il existe des algorithmes pour lesquels il est possible d'effectuer une certification en bonne et due forme. La France est d'ailleurs leader en la matière, en particulier via les travaux de l'Institut national de recherche en informatique et en automatique (INRIA), pour vérifier qu'un algorithme est absolument conforme à ce qui est attendu de lui et qu'il donnera dans tous les cas la bonne réponse. En pratique, sur des codes issus de situations réelles, venant de l'industrie, ces techniques ne sont pas applicables sur la totalité du code, car les vrais codes sont très grands, sans cesse mouvants, et la combinatoire des possibles est immense. Il n'est alors pas possible d'exiger une telle vérifiabilité.

Dans un tel contexte, quelle pourra être la certification proposée ? Il pourra d'abord s'agir d'un certificat apporté par une agence d'experts, qui aura à coeur d'appliquer un certain nombre de méthodes de vérification. Pour certains pans vitaux de l'algorithme, on pourra mettre en oeuvre des techniques de vérification, en instruisant sur la manière dont la base de données a été constituée, en effectuant des tests, en introduisant de fausses données dans l'algorithme afin de voir comment il se comporte, etc. Il faudra utiliser un ensemble disparate de méthodes pour aboutir à une certification. La certification pourra aussi prendre la forme de normes de qualité sur la façon dont le système a été conçu, dont le code a été rédigé. Les grands acteurs américains du secteur, qui doivent actuellement résoudre des problèmes de confiance dans leur rapport aux citoyens, ont commencé à mettre en place de telles procédures, non seulement pour effectuer un contrôle interne, mais aussi pour afficher des guides de bonnes pratiques vis-à-vis de l'extérieur.

Pour lutter contre les algorithmes défectueux, il sera important qu'un comité indépendant travaille non sur la question de savoir si tel ou tel algorithme est bien réalisé, mais sur le principe de son usage. C'était l'une des principes recommandations, en matière d'éthique des algorithmes, de notre rapport sur l'intelligence artificielle. Nous préconisions en effet la mise en place d'un comité indépendant, sur le modèle de l'actuel Comité consultatif national d'éthique pour les sciences de la vie et de la santé (CCNE). Je continue à recommander que cette instance soit, à terme, distincte du CCNE, ce qui n'exclut pas des saisines communes, ni sans doute des membres communs aux deux comités, dans la mesure où certaines questions relèvent à la fois de l'intelligence artificielle et de la bioéthique. En revanche, d'autres problèmes n'ont rien à voir avec la biologie : ils relèvent purement de l'éthique des algorithmes et font intervenir des savoir-faire très différents. Il est cependant envisageable d'inscrire, dans la loi de bioéthique à venir, une solution transitoire dans laquelle, au sein du CCNE, serait mis en place un nouveau collège chargé de gérer ces questions d'intelligence artificielle. Cette option présenterait l'avantage de permettre un transfert de savoir-faire efficace sur la façon dont doit fonctionner un comité d'éthique indépendant, mais aussi d'afficher clairement, vis-à-vis des citoyens, que l'on a bien perçu l'urgence d'une réponse appropriée. Pour autant, je continue à penser que sur le long terme, un comité d'éthique de l'intelligence artificielle, indépendant, séparé, permettra de répondre à la diversité des enjeux dans ce domaine, comme l'ont exposé de façon emblématique des ouvrages tels que celui de Catherine O'Neil sur les dérives possibles de l'intelligence artificielle. Cela permettra aussi d'afficher le fait que l'on prend ces questions très à coeur, et pas seulement en matière de bioéthique.

Au plan technique, le rapport sur l'intelligence artificielle se prononçait en faveur de la mise en place d'une sorte de corps d'inspecteurs assermentés pour explorer les algorithmes, qui auraient vocation à être renouvelés régulièrement afin d'être parfaitement au fait des technologies et de leurs avancées.

Votre deuxième question portait sur l'explicabilité. Il s'agit de comprendre, lorsqu'un algorithme a rendu son verdict, pourquoi il s'est prononcé de la sorte. Le but n'est pas de disposer du détail du calcul effectué, mais d'un ensemble de raisons compréhensibles par un humain. Il faut en quelque sorte extraire d'un océan de données les quelques facteurs qui ont le plus joué pour faire pencher la balance du diagnostic d'un côté ou d'un autre. Cette explicabilité est en partie subjective. Elle doit également – et c'est difficile – être compréhensible et vérifiable par un cerveau humain. Cette problématique se posera par exemple au médecin lorsque, face à un diagnostic suggéré par l'algorithme, il souhaitera vérifier, à partir de ses propres connaissances, qu'il partage cet avis. Ce sera également important pour des raisons de responsabilité. Il est essentiel de ne pas tout déléguer aux machines et de laisser la responsabilité à l'humain, que ce soit dans le domaine médical ou dans celui de la mobilité. A la fin des fins, il faudra qu'un ou des humains soient responsables, avec éventuellement un partage des responsabilités. Le fait que l'algorithme ne soit pas explicable rendra plus fragile cette notion de responsabilité.

Pour autant, il faut aussi avoir conscience que le critère principal pour qu'une technologie soit adoptée, tant par les patients que par les experts, est son efficacité. En pratique, cela prime sur l'explicabilité. De la même manière, nous conduisons des véhicules non parce que nous savons parfaitement comment ils fonctionnent, mais parce qu'ils ont été testés par des gens auxquels nous faisons confiance et expérimentés par beaucoup d'autres.

Il est important de continuer à mener des recherches sur cette question de l'explicabilité, sans pour autant la considérer comme un facteur limitant, impératif, sine qua non de l'acceptabilité des algorithmes.

Les algorithmes auto-apprenants ne sont pas antinomiques de l'explicabilité : ce n'est pas parce que l'algorithme a déterminé tout seul, au fur et à mesure des données disponibles, la façon dont il fonctionne, que l'on ne parviendra pas à l'expliquer. Les recherches en explicabilité consistent précisément à essayer de retrouver a posteriori les facteurs ayant le plus joué. Par analogie, c'est comme si vous-même, système complexe, aviez agi dans telle situation d'une façon incompréhensible y compris par vous, et que votre psychanalyste parvenait, au bout d'un certain nombre de séances, à vous faire comprendre a posteriori la logique qui vous animait de façon inconsciente. Il s'agit de même de déterminer a posteriori les raisons pour lesquelles un algorithme a rendu tel ou tel verdict.