Intervention de Victor Demiaux

La loi Informatique et libertés, dont la CNIL est garante, encadre une large part des algorithmes, mais une partie seulement. Ainsi, tous les algorithmes ne traitant pas de données à caractère personnel ne sont pas du ressort direct de la CNIL. Je pense, par exemple, aux algorithmes boursiers, ou encore à ceux utilisés aujourd'hui dans un contexte de police prédictive, lorsqu'il s'agit d'identifier des zones, ou d'orienter prioritairement des patrouilles policières.

En revanche, pour tous les algorithmes qui traitent de données personnelles, les grands principes de la loi Informatique et libertés s'appliquent : principe de finalité, de proportionnalité, de sécurité, de durée de conservation limitée des données, et de droit des personnes.

Outre ces principes, qui concernent la matière première des algorithmes, la loi Informatique et libertés contient deux dispositions ayant trait aux algorithmes en tant que tels. La première interdit la prise de décision automatisée sur le seul fondement d'un algorithme, sans intervention humaine. Ceci concerne, par exemple, dans le contexte bancaire, le fait d'établir des scores de crédit, ou encore, dans le domaine de l'enseignement, l'orientation d'un bachelier à l'université. Cette disposition répond à un principe éthique extrêmement fort, posé implicitement par le législateur en 1978, consistant à refuser que l'humain puisse être soumis, pour des décisions l'affectant de manière très forte, à la seule décision d'une machine, que l'algorithme soit efficace ou pas, ce qui est une autre question. La deuxième disposition prévoit le droit, pour toute personne concernée, d'obtenir, auprès du responsable de l'algorithme, des informations lui permettant d'avoir accès à la logique de fonctionnement du système. Ce sont notamment ces deux dispositions qui ont motivé la mise en demeure publique adressée par la présidente de la CNIL au ministère de l'enseignement supérieur et de la recherche, dans le cas d'APB.

D'une façon générale, il existe non seulement la lettre de la loi, que je viens de rappeler, mais aussi son esprit, dans lequel s'inscrivent les dispositions, précédemment évoquées, de la loi pour une République numérique, l'idée étant vraiment que la personne, l'administré, n'ait pas le sentiment d'être simplement un objet, d'être traité passivement par les algorithmes, mais soit véritablement en situation de comprendre le traitement qui lui est réservé à travers l'utilisation de ces algorithmes. Cette compréhension est aussi facteur de confiance, donc de succès du déploiement des algorithmes, par la puissance publique en l'occurrence. Il est extrêmement important que ceci soit compris par les responsables publics. En effet, les règles de droit sont une chose, mais la façon dont les administrations vont ensuite se les approprier et les mettre en oeuvre va dépendre de cette conviction que la compréhension des usagers est fondamentale pour bâtir la confiance et le succès des algorithmes pour l'action publique.

J'en viens à présent à deux réflexions plus larges, ne concernant pas seulement les algorithmes traitant de données à caractère personnel. Elles émanent du débat public que la CNIL a organisé cette année sur le thème des algorithmes, conformément à la mission qui lui avait été confiée par la loi pour une République numérique, consistant à organiser une réflexion sur les enjeux éthiques et de société des technologies numériques.

Le premier enjeu est celui de la prévision et de la prévention des « effets de bord » susceptibles d'être générés par la délégation de pans de l'action publique à des algorithmes. Ainsi, l'usage des algorithmes se développe aujourd'hui pour lutter contre la fraude. Cet usage ne doit-il pas être contrebalancé par une utilisation des algorithmes pour repérer, par exemple, le non recours à des aides sociales ? L'idée sous-jacente serait qu'à trop développer les algorithmes dans un seul sens, on pourrait laisser croire qu'ils servent uniquement à contrôler les personnes, alors qu'il pourrait être utile de montrer aux gens qu'ils sont aussi là pour leur rendre service de façon directe.

Un autre type d'effet de bord concerne l'exemple de la police prédictive. Lors du débat public, des chercheurs en sciences sociales ont expliqué qu'il pourrait être plus facile de mettre certains types d'infractions que d'autres en données, c'est-à-dire de les faire traiter par des algorithmes de police prédictive, d'où le risque qu'une focalisation sur des outils de police prédictive puisse aboutir, de façon quasiment insensible, à faire dévier les objectifs de sécurité et de police. Cette question devrait être présente à l'esprit des concepteurs d'algorithmes, mais surtout des responsables de politiques publiques. Ces effets de bord ne sont pas une fatalité ; ils doivent être pris en compte frontalement, de façon à pouvoir être évités.

Le second enjeu est celui d'éviter de laisser les algorithmes diluer la responsabilité des décideurs, ou masquer, sous des abords techniques, ce qui relève d'abord de choix politiques et de problèmes de société. Le cas d'APB est intéressant de ce point de vue, puisque le débat s'est focalisé sur un aspect technique, alors même que les difficultés rencontrées renvoyaient davantage à des grands choix de société, comme la sélection des étudiants ou l'augmentation éventuelle de la capacité d'accueil des universités. On peut ainsi se demander si la tentation ne pourrait pas être grande, pour des responsables de politiques publiques, de se cacher derrière l'algorithme, pour échapper à la fatigue d'exercer la responsabilité, d'avoir à faire des choix, de prendre des décisions et de les assumer. Il est en tout cas nécessaire d'assurer une vraie traçabilité entre la loi, l'administration, et l'articulation de ses décisions dans le code.

Je conclurai en soulignant que les algorithmes au service de l'administration sont des outils extrêmement puissants. Ils impliquent des effets sociaux et politiques très forts, qui ne peuvent être laissés aux experts et aux techniciens, d'où une triple nécessité : nécessité tout d'abord, à tous les stades de leur déploiement, d'une réflexion large et plurielle, impliquant tous les acteurs, depuis le développeur jusqu'au fournisseur de solutions, en passant par les utilisateurs, les administrés, les chercheurs en sciences sociales, qui peuvent participer à la création d'une réflexion intégrée et à la prise en compte de tous les problèmes susceptibles de se poser ; nécessité également de former les acteurs publics à ces enjeux et aux possibles effets de bord ; nécessité enfin d'un effort considérable de clarté de la part de la puissance publique à l'égard des administrés ; elle a tout à y gagner.