La preuve par les données. Et la justice comme boite noire.

Le concept de "boîte noire" fut – notamment – utilisé par Wiener dans le cadre de la théorie cybernétique (j'en parlais justement pas plus tard qu'hier).

La cybernétique est à l'origine la "science des machines auto-régulées", machines qui, étant informées sur leurs résultats, peuvent se corriger elles-mêmes. L'exemple le plus "parlant" étant probablement celui du thermostat. La cybernétique affirme également le primat de la "relation" sur le "contenu", lequel "contenu" est une boîte noire inscrutable autrement qu'en termes d'entrées et de sorties.

La première boîte noire fut longtemps celle de notre corps, celle des mécanismes complexes de la biologie, et toute l'histoire de la médecine, des premières dissections de cadavres aux derniers séquançages d'ADN n'a eu pour autre but que d'ouvrir cette boîte noire et d'analyser son fonctionnement. Aujourd'hui, et depuis déjà quelques années, nous disposons d'une connaissance très approfondie de la boîte noire de nos corps. Et c'est à ce moment précis … que nous venons lui greffer d'autres boîtes noires technologiques qui nous replongent dans des abîmes de perplexité.

Mékeskidi ?

Je viens de tomber sur un article passionnant qui relate le fait que pour la 1ère fois, un objet connecté a été utilisé dans le cadre d'un procès en justice. On connaissait déjà des exemples de status facebook, de mails envoyés, ou d'historiques de recherche Google qui avaient été utilisés pour venir alimenter et/ou constituer un stock de preuves. Mais l'histoire est ici différente.

Il s'agit d'une jeune femme victime d'un accident de voiture il y a déjà de cela plusieurs années, à une époque où l'on ne parlait pas du tout d'objets connectés (puisqu'ils n'existaient pas … CQFD), et qui, ne pouvant plus faire son travail normalement, demande donc une indemnisation en justice. Et là … et là ses avocats décident de l'équiper d'un bracelet connecté (FitBit) dont les données permettraient de constituer, aux yeux de la justice, la preuve que son "comportement" et son "activité" sont statistiquement inférieurs ou dégradés par rapport à celle d'un individu "normal". Très exactement l'idée est de montrer que :

"ses niveaux d'activité sont actuellement en dessous de la moyenne de quelqu'un de son âge et de sa profession." 

Jusque là dans ce type de procès, c'était un médecin-expert qui après une visite / observation médicale, rendait ses conclusions.

Mais l'histoire ne s'arrête pas là : les avocats de la jeune femme ne vont pas seulement récupérer les données directement auprès de la société qui commercialise le bracelet connecté FitBit (1ère boîte noire, soumise à toutes les erreurs, dérèglements, détournements d'usage possibles), mais les données de la plateforme "Vivametrica" qui agrège (on ne sait pas comment) des données de santé (venues d'on ne sait où) pour établir des moyennes statistiques à l'échelle de différentes communautés ou populations. Sur le site de Vivametrica on peut lire :

"We create algorithms using biometric sensor data and apply research-proven analysis to measure and predict health status." Et plus loin (je souligne) : "Based on our proprietary methods and knowledge gained through clinical research, Vivametrica is positioned as a leader in wearable sensor data analytics."

Jusqu'ici, dans ce genre de cas, il fallait avoir recours à une interprétation clinique (posée par un médecin) de l'état du plaignant. C'est désormais l'interprétation statistique qui pourrait primer ou rendre nulle la première. Ce glissement de la "clinique" à la "statistique" apparaît surtout comme un formidable et dangereux cynisme.

Du règne de la clinique à celui des cyniques.

Parce que, comme je le rappelais au début de ce billet, on ajoute ainsi à une boîte noire déjà complexe mais tout de même relativement "ouverte" (le corps humain) et à une expertise ou à un diagnostic certes toujours faillible mais tout de même suffisamment encadré et surtout offrant des possibilités de recours, on y ajoute donc deux autres niveaux parfaitement opaques reposant sur l'analyse statistique de données en provenance d'entreprises dont on ne connaît ni ne connaîtra jamais à la fois le corpus réel qu'elles utilisent, les méthodes et algorithmies qu'elles mettent en place, et qui, de surcroît peuvent parfaitement être détournées ou biaisées (sans même parler du fait que l'on peut facilement faire dire à peu près tout et son contraire à des statistiques).

Le deuxième niveau de cynisme – et de risque – n'est pas à chercher bien loin dans l'article. Si les assureurs ne sont pas – encore – en mesure d'obliger les assurés à porter tel ou tel objet connecté, en revanche :

"Insurers wouldn't be able to force claimants to wear Fitbits as part of an “assessment period,” like Muller's client, but they could request a formal court order from whoever holds the data to release it to them."

Et oui, les assureurs peuvent en toute "légitimité" demander à une cour de justice de récupérer les données du "porteur". Données dont, je viens de l'écrire mais je le rappelle une nouvelle fois tant cela m'apparaît surréaliste, données dont personne sauf les sociétés qui les produisent et les collectent n'est en mesure d'attester de l'authenticité, de la complétude et/ou de l'exactitude (là encore dans mon billet d'hier j'insistais sur l'importance et les dangers d'un web "assurantiel").

L'article conclut logiquement par le fait que :

"Wearable devices could become a “black box” for the human body (…) ; several previous court cases have already paved the way for more invasive disclosure of digital information in the court room."

Un algorithme juste ou juste un algorithme ?

Les radars automatiques constituent à l'échelle planétaire (et en tout cas à ma connaissance …) le premier cas d'un processus judiciaire entièrement automatisé et sans aucune intervention humaine : le radar flashe l'infraction, transmet des données à un serveur qui édite l'avis d'infraction et calcule le montant de l'amende avant d'envoyer le tout – toujours sans aucune intervention humaine – au propriétaire du véhicule. On a donc une action de police (le constat) et une action de justice (la condamnation) entièrement automatisées.

L'histoire de ces bracelets ou objets connectés et leur possible utilisation en justice, pose clairement le problème des nouvelles automatisations possibles du processus assurantiel (cf les jeux dangereux d'Axa) mais aussi et surtout des nouvelles automatisations possibles du processus judiciaire intervenant dans des logiques de "réparation".

Ab absurdum, s'il faut rendre la justice sur la base de données produites par des capteurs équipés d'algorithmes de collecte et ensuite traitées par d'autres algorithmes, qui mieux qu'un algorithme pour rendre la justice ? IF "human being Z health Data" < "global Health Data" THEN "injury proof" THEN "reverse money to human being Z". Après tout, et sans même parler des 10 qui nous gouvernent, les algorithmes font déjà tant et tant de choses, pourquoi ne pourraient-ils pas rendre une justice plus équitable ? Plus objective ?

Un problème que, sur un tout autre plan, j'ai déjà soulevé à de nombreuses reprises sur Affordance, soit dans le cadre d'une nécessaire et urgente réflexion sur une éthique de l'automatisation (billet et powerpoint), soit à l'échelle de l'importance vitale de maîtriser les "corpus", quelle que soit la nature desdits corpus : 

"Traditionnellement dans l'histoire des sciences, des corpus sont constitués après que les outils permettant de les explorer et de les circonscrire ont été mis au point. Le mouvement est aujourd'hui inverse avec l'arrivée de gigantesques corpus numériques pour lesquels nous ne disposons parfois d'aucun outil d'exploration et d'analyse ou pour lesquels les universitaires sont obligés de se fier aux méthodologies et outils d'exploration délivrés par les sociétés commerciales détentrices desdits corpus, sans toujours pouvoir maîtriser les règles d'accès, les contraites et limites méthodologiques ou éthiques. L'une des questions centrales de la méthode scientifique au 21ème siècle consiste à savoir comment constituer de nouveaux corpus et comment traiter le gigantisme de ceux mis à disposition.

Individuellement comme collectivement, nous nourrissons  en permanence des monstres calculatoires et industriels qui, dans certains domaines, sont en passe d'être les seuls capables de circonscrire des corpus qui relèvent pourtant du bien commun. Ce qui oblige à repenser totalement la question de l’archive et du rôle de la puissance publique dans la constitution, la gestion et l’accès à cette dernière. A repenser également le rôle et la place d'une science indépendante et citoyenne dans ce déluge de données, tout particulièrement au regard d'une objectivation du champ des web-studies." (source)

A fortiori quand ces corpus ou ces "datasets" sont amenés à avoir valeur de preuve ou force de loi …

On reproche souvent, et probablement parfois à raison, à la justice son" opacité". Mais toute mise en place d'une automaticité judiciaire préfigurerait un déterminisme qui ferait voler en éclats les derniers cadres démocratiques de nos sociétés (et pour ajouter une touche finale à ce tableau flippant, je rappelle, niveau démocratique, que ce sont également des algorithmes – boites noires – qui dans un certain nombre de situations sont de plus en plus fréquemment appelés à se substituer aux processus de vote et de dépouillement).

La judiciarisation des objets connectés sera à coup sûr un des enjeux déterminants des prochaines années, tant du côté des preuves (comme le relate l'article à l'origine de ce billet) que du côté des agressions (comme le vieux fantasme des cafetières tueuses, sans parler des "robots tueurs"), ou de celui du "piratage" des données de preuve ou de la modification assassine des routines algorithmiques pré-programmées.