Mais qui les gardera, eux les gardiens ? Sed quis custodiet ipsos custodes ? La formule de Juvénal dans la Satire VI, a une portée bien plus large que son contexte d’origine.

La défaillance d’un logiciel impose la révision de plus de dix mille condamnations

Mais qui les gardera, eux les gardiens ?L’été dernier, le New York Times rapportait que les autorités Danoises avaient lancé un plan pour réviser plus de 10 000 condamnations pénales. Tous les dossiers concernés avaient un point commun. La preuve de la présence de l’auteur présumé du crime et du délit avait été établie sur la base d’une géolocalisation. La police utilisait les données de géolocalisation des opérateurs téléphoniques.Le système d’échange ou de traitement des données comportaient plusieurs anomalies. Dans certains cas, des données étaient perdues en cours de traitement. Les renseignements sur les personnes effectivement présentes étaient incomplètes. Dans d’autres cas, les données de localisation n’étaient pas reliées au bon téléphone. Des personnes étaient donc considérées comme présentes sur les lieux, alors qu’elles ne l’étaient pas. 10 700 verdicts, remontant pour certains à 2012 vont être révisés. Il s’agit de vérifier le rôle joué dans la décision par les indications erronées. Le directeur de la compagnie de téléphone a été interrogé. Il a souligné que le travail de sa société était de gérer un réseau téléphonique, et pas de surveiller les utilisateurs. « Notre métier, c’est de connecter les gens qui ont envie de se parler »…

Mais qui les gardera, eux les gardiens ?

La justice va donc s’efforcer de réparer les erreurs commises. Mais par qui, comment et sous contrôle, le système utilisé avait-il été créé ? A quel moment la défense avait-elle été mise en mesure d’en vérifier la pertinence ? De quels moyens disposent les avocats, pour expertiser les outils employés ? La défense risque de se trouver totalement désarmée et dans l’impossibilité d’agir efficacement.

L’enquête de police est certainement plus facile à pénétrer que le cœur de l’activité judiciaire. Les réticences à l’utilisation de « l’intelligence artificielle » sont moins grandes. La recherche du résultat risque de passer avant les préoccupations éthiques.

Un exemple à l’ENSC

La semaine dernière, j’ai pu assister à l’ENSC à la démonstration d’un logiciel conçu pour assister les enquêteurs. Il s’agit de les aider à utiliser la masse des données qui leur sont accessibles. On connaissait déjà les logiciels qui suggèrent aux forces de police les secteurs dans lesquels les crimes ont le plus de chances d’être commis. Là, il s’agit d’utiliser les possibilités du big data pour aider l’enquêteur à détecter les réseaux maffieux, quand un fait délictueux est commis. La démonstration portait sur le cas d’un vol de voiture dans une grande ville nord-américaine.Les bases de données utilisées étaient celles de l’immatriculation des véhicules, des téléphones portables, de la reconnaissance faciale. Le logiciel s’appuyait aussi sur la lecture automatique des plaques d’immatriculation et les antécédents judiciaires. Par recoupements successifs, l’algorithme finissait par identifier les membres possibles du réseau dont faisait partie l’auteur du vol de voiture…