Intervention de David Gruson

Je m'exprimerai à titre personnel, dans le sillage du rapport auquel j'ai eu l'honneur de contribuer avec Claude Kirchner, et dans la ligne des recommandations portées par Serge Uzan et l'Ordre des médecins, notamment Jacques Lucas, qui avaient permis de faire la liaison avec le travail du CCNE. J'y ajouterai une coloration juridique à partir de ce qu'est le projet de loi aujourd'hui et je vous dirai ce pour quoi je pense que le point d'équilibre trouvé dans ce projet est sans doute le bon. J'y ajouterai une note plus économique sur la fabrication de l'innovation.

Depuis la mi-juillet, j'ai rejoint le groupe Jouve, une entreprise au capital français avec des data centers sur le territoire national. Comme le disait très bien Claude Kirchner, il y a aussi un enjeu sur le maintien d'un écosystème de production de l'innovation sur le territoire national et européen. En phase avec « Ethik IA », nous avons dit au CCNE qu'il serait non éthique de bloquer l'innovation – c'est sans doute un principe fondamental à avoir en tête. Une logique de surréglementation, dans l'environnement déjà le plus protecteur au monde depuis l'entrée en vigueur du Règlement général sur la protection des données (RGPD), risque de créer un effet de complexité sur le développement d'innovations. L'innovation en IA médicale se développe très vite et, dans un contexte où le numérique rend les systèmes de santé de plus en plus poreux entre eux, le risque est évident que nos concitoyens et les professionnels se tournent vers des solutions conçues hors du cadre du RGPD et dont nous ne pourrions pas garantir le caractère éthique a priori. C'est pour cela que l'article 11 du projet de loi me semble traduire un très bon point d'équilibre. En effet, il met en œuvre assez directement des recommandations qui avaient été formulées par le CCNE et dont nous avions discuté avec Jean-Louis Touraine et les membres à la mission d'information, avec l'idée d'un devoir d'information préalable du patient avant l'application d'un traitement qui s'appuierait sur une base de recommandations algorithmiques. C'est la traduction du principe d'une garantie humaine de l'IA. C'est un beau principe. Serge Uzan l'a formulé avec des mots empreints d'éthique médicale. Je vais vous en donner une lecture un peu plus juridico-opérationnelle.

Le principe de garantie humaine repose sur l'idée qu'il faut établir un certain degré de supervision humaine, non à chaque étape du processus, au risque de bloquer la capacité d'innovation algorithmique, de perfectionnement informatique, mais à des points critiques. Le repérage des points critiques du processus implique d'inscrire ce principe de garantie humaine dans la loi puis de le décliner opérationnellement – ceci peut prendre la forme d'un dispositif de pilotage de la qualité – en travaillant sur la construction d'outils permettant de repérer quels sont, au cas par cas, les points critiques. Par exemple, avec les équipes de l'institut hospitalo-universitaire Imagine de l'hôpital Necker, nous avons essayé de construire un prototype de référentiel de bon usage de l'IA appliqué aux données génomiques qui repère une série de points sensibles. À charge ensuite pour l'autorité de régulation, la Haute Autorité de Santé (HAS), d'émettre des recommandations pour faire partager l'intérêt de ces lignes de conduite et recommandations de bonnes pratiques pour l'application de la garantie humaine dans l'usage des algorithmiques.

Grâce au travail qui a été porté par la mission d'information de l'Assemblée, par les institutions, le Conseil de l'Ordre des médecins, le CCNE, etc., le message se diffuse. La notion de garantie humaine de l'IA est reprise dans des cercles académiques, ainsi que par la Commission européenne et désormais l'Organisation mondiale de la santé (OMS), qui a réuni un groupe de travail sur l'éthique appliquée de l'IA. Quand je discute de ce sujet dans un cercle académique ou opérationnel, mes interlocuteurs trouvent cette notion – qui a son origine en France – empreinte de beaucoup de pragmatisme. Ils ne la lisent pas sous un sceau réglementariste mais ils la voient au contraire comme quelque chose qui traduit à la fois un besoin de régulation positive et un besoin de pragmatisme dans le soutien au développement de l'innovation.

Le principe de garantie humaine donnera aussi une partie de la réponse à ces questionnements qu'évoquait le professeur Uzan sur la boîte noire qu'est l'algorithme. Il est vrai que nous ne comprenons pas trop ce qu'il se passe dedans, et pourtant ça marche. De la même manière, quand je conduis ma voiture, je ne sais pas trop comment elle fonctionne ; par contre, je sais dire quand elle ne fonctionne pas.

Dans l'innovation, il faut bien distinguer l'amont et l'aval de l'autorisation. Pour l'amont, la Cour de Justice de l'Union européenne a parfaitement déterminé qu'il faut appliquer le régime de l'autorisation de mise sur le marché d'un dispositif médical : dans une décision de décembre 2017, elle a assimilé un logiciel d'aide à la prescription, un algorithme d'aide à la décision médicale, à un dispositif médical, qui doit donc suivre toutes les étapes prévues par la réglementation, y compris des contrôles portant sur le système informatique lui-même et des tests d'explicabilité pour répondre au questionnement sur la partie « boîte noire » de l'IA. Pour l'aval, une fois la labellisation obtenue, il faut assurer la récurrence des contrôles techniques, comme pour tout dispositif médical ou toute innovation thérapeutique. Par ailleurs – c'est là que la garantie humaine a toute sa force concrète –, la garantie humaine peut se déployer par des mécanismes de supervision impliquant un regard des professionnels et des patients, des utilisateurs. Nous avons porté l'idée d'un « collège de garantie humaine ». Cela peut paraître abstrait, mais soyons pratiques : à l'échelle d'un CHU comme La Pitié Salpêtrière, l'on pourrait très bien, une fois l'algorithme mis en service, impliquer un collège associant des professionnels utilisateurs, médicaux, paramédicaux, mais aussi des patients pour faire remonter d'éventuels événements indésirables à partir de cadres déterminés, de critères de gravité médicale ou de facteurs de risque, mais aussi de manière aléatoire – le collège pourrait examiner tous les deux ou trois mois, 20 ou 30 dossiers traités par IA auxquels il appliquerait un deuxième regard, humain (« comment aurait-on fait s'il n'y avait pas eu l'IA ? ») Un tel dispositif permet de piloter l'algorithme au fil du temps, de donner de la traçabilité, ce que le projet de loi prévoit à très juste titre. Il permet de maîtriser le risque d'apprentissage et de transformation algorithmique et de laisser l'innovation avancer.

D'un point de vue juridique et opérationnel, l'article 11 atteint un point d'équilibre satisfaisant. Il a même déjà une portée d'exemplarité – il ne faut pas avoir peur du mot – hors du territoire national, au niveau européen. Le secret de la réussite ne portera que sur le développement d'outils opérationnels de suivi et de pilotage de la qualité.