– Ces craintes sont liées à l'utilisation d'algorithmes dont, souvent, même les concepteurs ne maîtrisent pas complètement le fonctionnement, de véritables « boîtes noires algorithmiques », qui représentent potentiellement un danger. Les expérimentations menées dans les cours d'appel de Rennes et de Douai au printemps 2017, à l'initiative du ministère de la justice, ont ainsi relevé de nombreux biais de raisonnement de l'algorithme, aboutissant à des résultats aberrants ou inappropriés.
Les professionnels de la justice risquent de perdre la confiance de la société s'ils ne disposent pas d'une expertise et d'une maîtrise suffisante sur ces « boîtes noires » et sur la construction des bases de données qui les alimentent.
Il existe également un vrai défi en termes de ressources humaines pour faire monter en compétence algorithmique les professionnels, et les accompagner dans l'évolution de leur métier.
Si demain la justice est rendue par une machine, n'y a-t-il pas un risque de délitement de ce qui fait le contrat social ? La justice, en tant que système, ne peut se réduire à une instance de décision qui tranche un conflit. Elle est également un chemin humain, voire un moyen de contribuer à la paix sociale. Pour le justiciable, le processus de la justice et l'expérience personnelle qu'il implique sont constitutifs de son action. Enfin, l'une des forces de la justice humaine est sa capacité à évoluer dans sa manière d'interpréter le droit, au fur et à mesure que la société évolue elle-même. Une justice rendue par des algorithmes exclusivement sur la base de décisions passées prend le risque d'aboutir à une standardisation sur un modèle moyen, figé dans le temps.
Que pourrions-nous proposer en tant que citoyens ?