Intervention de Cédric Villani

Je vais tenter de vous proposer une synthèse de synthèses, non sans vous avoir auparavant exprimé à tous des remerciements extrêmement poussés pour votre participation. Je déplore toutefois que l'assemblée ait été, lors de cette deuxième table ronde, exclusivement masculine. Ceci est malheureusement souvent le cas lorsque l'on aborde des sujets comme ceux qui nous rassemblent aujourd'hui. Il s'agit là d'une tendance que nous devons combattre systématiquement.

Ce matin, il a été question du thème très général de l'articulation entre algorithmique et politique, à partir de l'exemple d'APB, avec une ouverture à d'autres secteurs. Ce n'est bien évidemment pas la dernière fois que nous allons aborder ce sujet. Certaines parties du débat ont ainsi à peine été effleurées.

Il a été beaucoup question des garde-fous que le politique doit donner à l'algorithme, mais peu de ce que l'algorithme est susceptible d'apporter au politique. Or tel est bien le cas, dans différents domaines.

Nous avons aussi vu que venaient avec l'algorithme des motifs variés, des buts, comme l'efficacité ou l'équité, mais qu'il existait aussi des bonnes pratiques que le politique devait garder en tête, dont le fait de garder le sens des responsabilités des choix décisionnels. L'exemple d'APB a parfaitement montré que, sur certains sujets, il n'était pas évident de déterminer qui avait le pouvoir de décider, la responsabilité de la décision, et que la chaîne de commandement humain, par rapport à l'algorithme, n'était pas explicitée.

A également été évoquée la question de l'information, et des compétences, à tous les niveaux, chez les différents acteurs. L'accent a été mis sur l'importance de disposer d'organes pouvant mettre des garde-fous, ainsi que sur de grands principes relatifs à l'utilisation de ces systèmes. Des institutions comme la CNIL sont essentielles. J'ai ainsi noté quelques mots clés, rappelés de façon très efficace par M. Max Dauchet, et attendus aussi bien de la part de l'administration que de l'algorithme.

Il a également été souligné à plusieurs reprises que ces questions évoluaient, au fur et à mesure des transformations des algorithmes, et de nos attentes. Beaucoup de nos réflexes ne sont ainsi pas adaptés à ce genre de situation. L'exemple cité par M. Gérard Berry était très clair de ce point de vue : alors que l'on dépense énormément d'énergie pour vérifier que les médicaments ne sont pas dangereux, la même attention n'est pas portée à la vérification de la dangerosité potentielle de nos logiciels pour la santé.

Divers pièges ont aussi été évoqués. Le premier consiste à se défausser, à se cacher derrière l'algorithme, pour oublier ses responsabilités. Nous avons bien compris, avec M. Victor Demiaux, que le rappel de la CNIL n'était pas basé sur une remise en cause de l'algorithme APB, mais sur la nécessité qu'un humain, en fin de compte, puisse endosser la responsabilité de chaque décision individuelle. Il faut, dans tous les cas, savoir qui est l'humain responsable du choix final. Ceci s'applique aussi au domaine médical, et à de nombreux autres secteurs évoqués ce matin.

Un autre écueil serait de se concentrer sur une discussion trop technique, de se retrancher derrière certaines propriétés mathématiques. Ainsi que l'a expliqué M. Max Dauchet, ce n'est pas parce qu'un algorithme fonctionne bien, selon tel ou tel critère, qu'il faut le choisir. Il importe d'abord de se demander ce que l'on attend avant de voir si un tel algorithme existe. Et si l'on s'aperçoit qu'aucun algorithme ne satisfait à l'ensemble des critères ainsi définis, vient le temps de l'arbitrage, ou de la pondération. Mais la réflexion à mener en premier lieu concerne la définition des attentes, des cadres.

Il convient également, ainsi que nous y a invités M. Jean-Michel Besnier, d'envisager la manière dont tout cela s'inscrit dans une vision du monde, dans des espoirs, ce que ne permet pas une discussion trop technique. Un autre piège serait d'avoir une discussion trop générale, abstraite, n'allant pas au fond des sujets. Nous avons bien vu, avec APB, combien le sujet dépendait de certaines caractéristiques, y compris de questions n'ayant pas été envisagées dès le départ, comme celles liées à la prise en compte du handicap, ou de la situation des Français à l'étranger. Il faut vérifier que l'on a considéré l'ensemble des cas particuliers, et situations possibles.

Au niveau de la méthode, est revenue de façon récurrente l'idée selon laquelle il était important de procéder dans l'ordre, et de faire intervenir l'ensemble des acteurs dans le processus. L'intervention de M. Gérard Berry était particulièrement éclairante quant aux différentes étapes à suivre : il faut d'abord définir les spécifications puis élaborer l'algorithme, écrire le logiciel, procéder à la vérification, et, enfin, à la vérification de la vérification.

L'accent a, par ailleurs, été mis sur l'importance de la formation, et la nécessité de faire intervenir tout le monde dans ces processus, y compris les citoyens, pas seulement en leur fournissant des explications, mais aussi lors des phases de définition des attentes, dans le cadre par exemple de débats publics.

Il a également été souligné, concernant l'articulation entre la loi et la mise en oeuvre, qu'il était important d'avoir certains réflexes. Nous avons aussi bien mesuré à quel point le ministère chargé de l'enseignement supérieur était actuellement dans une situation tendue et adressons à ses équipes tous nos encouragements pour parvenir à mener à bien leur calendrier. Les discussions de la matinée ont également montré qu'il n'existait pas, à ce stade, de consensus sur les solutions à mettre en oeuvre par rapport à APB. Or, nous savons que les équipes travaillent déjà d'arrache-pied à annoncer et mettre en oeuvre la solution dans un calendrier extrêmement resserré, avant même que toute la procédure proposée par M. Gérard Berry puisse être mise en oeuvre. Où sont les spécifications ? Où est le choix de l'algorithme ?

Au-delà de cette question de temps court, voire même d'urgence, se pose aussi la question de la façon de procéder à l'avenir, pour tous les autres problèmes qui ne vont pas manquer de se présenter, et qui seront encore plus délicats que ceux soulevés par APB, qui apparaît finalement comme un cas relativement simple par rapport à bien des algorithmes que nous aurons à gérer dans le futur, qui feront intervenir de l'intelligence artificielle sous différentes formes, qui seront appliqués à des cas de plus en plus difficiles, dans un contexte d'imaginaire et de fantasme de plus en plus développé, avec un climat de compétition internationale exacerbée sur ces sujets. Il s'agira de ne céder ni à la précipitation, ni à l'abandon ou au fatalisme, ainsi que l'a souligné M. Jean-Michel Besnier.

J'aimerais conclure, en soulignant qu'il s'agit d'un débat passionnant, et que cette matinée nous a montré qu'il existait, tant du point de vue de la réflexion intellectuelle que de l'éthique et des valeurs, de nombreux éléments susceptibles de venir le nourrir.