Code is Law. And Code is Jail.

Dans la lignée de mes récents billets / articles sur les rapport entre la loi et le code je voudrais ici "ramasser" quelques faits.

D'abord mes billets sur le sujet :

• "Le code c'est la loi. Et les plateformes sont des états." Version longue. Version courte.
• "La loi et l'ordre (documentaire)." Version longue. Version presse (publication dans Libé)
• "Lutter contre la haine sur internet. Affordance. Et sa reprise sur Rue89.
• (et peut-être bientôt sur Libé une autre tribune mais c'est secret je peux rien dire pour l'instant, ça va dépendre de si Martin Bouygues est re-mort ou de si Poutine a des remords. Bref, priorité à l'actu 🙂

Maintenant les faits. Dont <Oui je sais ce mot n'existe pas> l'accumoncellement </mais je le trouve joli> a pour but de – vous – prouver qu'il commence à être vraiment urgent de passer à la vitesse supérieure en termes de régulations algorithmiques et de solutions alternatives. Bref de "changer d'angle" si l'on veut trouver une solution efficace à un gros, mais alors vraiment un très très très gros problème. Donc on y va.

Code is Business.

Parfois, la vie c'est simple comme une négociation commerciale. Facebook se plie aux menaces de la turquie et accepte de censurer les caricatures du prophète sur le facebook turc pour ne pas que le gouvernement turc interdise l'accès à Facebook (Erdogan avait d'ailleurs déjà menacé de couper les accès à ces sites pour d'autres raisons).

Code is money.

Dès qu'il s'agit d'ayants-droits ou de majors à la poursuite de contenus possiblement illégaux, on ne s'embarrasse pas d'atermoiements du côté des plateformes, lesquelles sont d'ailleurs le plus souvent liées contractuellement avec lesdites majors. Et l'on se retrouve à faire tourner les milices du code pour supprimer tout un tas de liens, de sites, parfois effectivement illégaux, et parfois parfaitement … légaux.

Code is (Arbitrary) Law

L'auteur (présumé) des attentats de Coppenhague avait eu l'idée, quelques jours avant de commettre son forfait, d'utiliser les nouvelles CGU de Facebook pour transformer son compte en "mémorial" après sa mort en désignant un "légataire" numérique. Deux jours après l'attentat (et la mort du suspect), Facebook a supprimé ce compte pour éviter – en tout cas on le suppose – qu'il ne se transforme en mémoriel djihadiste (Les Inrocks). La question n'est pas de savoir si Facebook a bien fait (il a bien fait) mais de noter l'arbitraire total de telles décisions effectuées sans aucune décision de justice, dans la pénombre des CGU, à la seule discrétion de … d'on ne sait pas trop quoi justement …

Code is Judge.

Twitter et Youtube indiquent supprimer massivement les vidéos et les comptes islamistes. (Libé) Pendant ce temps, en Angleterre, on réfléchit tout à fait sérieusement à mettre en place une justice médiatisée par algorithme. Plus précisément il s'agit, comme l'indique Numérama de "créer un tribunal civil en ligne, avec une première phase de négociations automatisées ou assistées par ordinateur, et un jugement rendu par Internet en cas de conflit persistant." #WTF

Don't Feed The Troll Code

Dans le même temps, le boss de Twitter reconnaît qu'il est "nul" pour lutter contre les pratiques de cyber-harcèlement sur sa plateforme.

"Dans cette note interne et dans un e-mail envoyé ensuite aux salariés par Dick Costolo, le président-directeur général de Twitter considère que « notre échec à traiter ce problème en tant qu'entreprise » est de sa « reponsabilité personnelle » . Il annonce également un changement d'attitude :  « Nous allons commencer à virer ces gens [les harceleurs] et nous assurer que lorsqu'ils lancent ces attaques ridicules, personne ne les entendra. »" (Pixels / Le Monde)

Et l'on peut inférer que cette nullité vaut aussi (cf supra "Code is Judge") pour la lutte contre les islamistes et autres nazis de tout poil. 

Outlaws against the Code.

Résultat des deux points précédents, les islamistes profèrent de nouvelles menaces de mort à l'encontre des dirigeants de Twitter en "représaille" des actions menées par le site pour supprimer les comptes djihadistes. (Numérama) Jack Dorsey à deux doigts de la Fatwa et Daesh qui appelle à le tuer et à cibler l'entreprise Twitter et ses salariés. #JeSuisTwitter.

#CodeIsCharlie. Glaçant paradoxe d'une plateforme supposée simple "hébergeur" se retrouvant la cible. Ceux-là abattus pour avoir publié des caricatures du prophète, et ceux-là menacés de l'être pour ne pas avoir laissé publier des vidéos de décapitation ou pour avoir fermé des comptes Djihadistes. Glaçante réalité aussi que d'attendre d'en arriver là pour reconnaître l'évidence : naturellement Twitter, naturellement Google et YouTube, naturellement Facebook ne sont pas "que" des hébergeurs. Naturellement la réalité est plus complexe, et le statut de ces plateformes plus hybride.

Code is Law for Porno and Ammo.

Par contre, dès qu'on cause porno sur les réseaux, là pour le coup les grandes plateformes ne rigolent plus trop et endossent sans sourciller le rôle d'éditeur.

En mars dernier, Google nous avait déjà fait le coup de la chasse aux publicités pornographiques émanant de sa régie, et ce en termes choisis puisqu'il s'agissait de virer toutes les publicités susceptibles de "promote graphic depictions of sexual acts.", incluant non seulement la "hardcore pornography" mais également toute description de "graphic sexual acts" tels que la masturbation et "les activités sexuelles génitales, anales et orales." Voila.

Et donc depuis peu Google annonce faire la chasse aux contenus "NSFW" (érotico-pornographiques) sur sa plateforme Blogger. (BBCnews & Engadget). La nudité ne sera tolérée que si, je cite : "elle offre un bénéfice public substantiel, par exemple dans des contextes artistiques, éducationnels, documentaires ou scientifiques". (sic) On pourra toujours continuer de poster des photos de gens tout nus mais il faudra alors que le blog soit "privé" et non accessible publiquement. Comme le rappelle l'article de la BBC, Yahoo! avait tenté de faire la même chose sur TumblR mais avait dû faire marche arrière après le bad buzz que la nouvelle avait généré. Non mais c'est vrai quoi, le web sans porno c'est comme un apéro sans alcool. Aucun intérêt.

Même vent d'hygiénisme boutiquier du côté des "armes à feu", priées de disparaître – attention c'est subtil – non pas des jeux disponibles dans l'App Store, mais de la vignette de l'application. L'article de Rue89 rappelle d'ailleurs à juste titre la croisade d'Apple non pas contre la vulgarité, la violence ou la nudité, mais – autre nuance subtile – contre ce qu'Apple estime relever de la violence, de la vulgarité ou de la nudité. Même chose du côté de Facebook avec ses innombrables "nipple gate" touchant aussi bien des campagnes en faveur du dépistage du cancer du sein, des photos d'allaitement, ou … des dessins de presse.

Code is Law. And sometimes platforms are Outlaws.

Si le "code c'est la loi", alors les plateformes sont, de fait, souvent "hors la loi". Et de plus en plus d'états s'efforcent, comme ils peuvent, parfois en vain, parfois avec davantage de réussite, de faire appliquer "leur" loi. Principe de territorialité contre logiques de déterritorialisation. Internet, le "réseau" avait aboli les frontières. Les plateformes les remettent en place. Là non plus aucun jugement de ma part, un simple constat.

Ainsi, les pratiques de Google consistant à croiser les données issues de ses différents services, sans le consentement explicite et éclairé de l'utilisateur sont contraires à la loi Allemande. (CNet) Pas la 1ère fois d'ailleurs que l'Allemagne demande à "vérifier l'algorithme de Google", soupçonné de favoriser les sites issus de son propre écosystème de service ou de sa régie publicitaire (Numérama).

En Italie c'est la DPA (Data Protection Authority), l'équivalent de notre bonne vieille CNIL, qui vient "d'obliger" Google à appliquer les mesures de "privacy" qu'elle préconise afin d'être en accord avec la législation italienne.

Plus loin dans le temps, ce sont les CNIL européennes qui après d'âpres et looooongues négociations avaient fini par convaincre Google, Microsoft et quelques autres d'anonymiser une partie des données conservées – notamment via les cookies ou les adresses IP – après un délai de 9 mois

Code is transparent. States are not (necessary).

A trop stigmatiser le rôle des plateformes, on en viendrait presque à oublier – et ce serait dommage – que les états leurs adressent chaque année de nombreuses demandes pour savoir tout plein de choses sur nous. On le sait grâce à la publication des différents "transparency reports", on sait – ou en tout cas on espère – que c'est pour notre bien, mais l'on ne sait pas toujours si toutes ces demandes sont systématiquement motivées ou appuyées par des décisions de justice.

Code is Business and Algorithms shall respect "cultural values".

Alors là accrochez-vous parce qu'on va passer au niveau stratosphérique du grand n'importe nawak. Le ministre de l'information et des télécommunications iranien (sic) vient de déclarer que l'Iran acceptait d'ouvrir son marché à de grandes firmes et plateformes à condition que celles-ci "accept our cultural rules and policies." (The Guardian) Rappel : depuis l'élection en 2009 d'Ahmadinejad, l'Iran bloque les accès à Facebook, Twitter, Youtube, etc …

Il faut ici se souvenir de ce qui était arrivé à Google lors de la négociation de son implantation en Chine (Microsoft et Yahoo! avaient eu moins de scrupules, ou plus exactement, Google fut plus malin dans sa manière de communiquer sur ses supposés scrupules). Donc bref je vous raconte, en gros la chine dit : "Tu peux venir et proposer ton moteur aux chinois mais on te file une liste de sites, d'adresses et de mots-clés à virer de ton index". Google dit : "Ho ben non quand même c'est pas bien". La Chine dit "Ben alors tu peux oublier le 1er marché de la planète". Google dit : "Oui bon d'accord attendez en fait on a réfléchi, c'est mieux pour les chinois d'avoir accès à un moteur de recherche américain censuré plutôt qu'uniquement à un moteur de recherche chinois censuré." Authentique. D'ailleurs à l'époque (Janvier 2006) ça m'avait déjà bien énervé et je vous avais raconté l'histoire en 4 parties ("Google, Tartuffe et Kim Jong Il" épisode 1, 2, 3 et 4)

Mais ça c'était avant. Avant c'était facile, basique, mathématique, vrai-faux, blanc-noir, zéro et un. Y'a une liste de sites, y'a des mots-clés sensibles, y'a des opposants au régime : tu filtres tout ça et tu nous envoie une copie des mails que s'envoient les opposants au régime. Maintenant, délicieuse époque de subtilité discursive, maintenant il faut que les algorithmes des multinationales américaines "acceptent les règles et les valeurs culturelles" de l'Iran, ou à tout le moins de Mahmoud Ahmadinejad.

Alors vous je sais pas, mais moi, l'idée d'un monde dans lequel près d'un milliard et demi d'êtres humains auraient à choisir ou à être quotidiennement exposés aux croisades anti-porno de Steve Jobs, Serguei Brin et Larry Page d'une part, et aux "valeurs culturelles" de Mahmoud Ahmadinejad d'autre part, ben moi … ça ne m'enchante pas mais alors paaaaaaas du tout. Du tout. Pourtant nous en sommes très exactement là. Oui je sais, vous allez me dire, "mais non, les "valeurs culturelles" iraniennes ne seront "respectées" que sur la partie iranienne de Google ou de Facebook". Ben justement c'est bien ça le problème. Pas qu'il y ait un Facebook ou un Google iranien ou polonais ou ardéchois, mais qu'il n'y ait … pas d'alternative.

Code is Law, and algorithms are racists.

Relevé par InternetActu, cette tribune qui rappelle "l'aveuglement éthique des algorithmes" et qui commence par la (bonne) question suivante : "Un algorithme peut-il être raciste ?" La réponse est malheureusement, "oui". Un algorithme, en lui-même n'est naturellement pas "raciste", pas davantage qu'il n'est "pacifiste", "républicain" ou "démocrate", mais un algorithme a la capacité – c'est même souvent son principal boulot – de créer des catégorisations, des "clusters" permettant de ranger et de classer les individus, en fonction de leurs goûts et de leurs comportements, dans des segments marketing qui peuvent effectivement s'apparenter à de la ségrégation raciale / ethnique / sociale / etc. L'auteur de l'article, qui sait de quoi il parle (il est Vice-Président en charge du Big Data chez CapGemini), donne l'exemple suivant :

"If an email marketing campaign for that same brand of ice cream goes out to a list of 1,000 customers, chosen by an algorithm, and none are from ethnic minorities, is the algorithm racist ? Let’s look at how the calculation is made: The algorithm might start with a million names and attempt to prune that list down to 1,000 by rejecting groups in which 80% of people aren’t interested in the offer, and selecting groups in which 80% are. Fairly crude criteria are employed to segment these groups, some of which could be race or gender-related."

Et, justement, d'en profiter pour faire un rappel à … la loi :

"The European Court of Justice decided that car insurance firms could no longer consider a customer’s gender when calculating premiums."

Rien de nouveau me direz-vous, la presse a déjà révélé des affaires de fichiers bancaires illégaux qui classaient les "clients" en fonction de leur couleur de peau. Oui mais il s'agissait de fichiers gérés par des individus comme vous et moi, pas de procédures automatiquement mises en place par des algorithmes. Oui mais il était possible de "démasquer" ces individus, de "mettre la main" sur ces fichiers, et d'engager un recours en justice. Oui mais même dans le secteur bancaire, sans même invoquer la déontologie (faut pas non plus rigoler), des procédures de contrôle par des tiers restent envisageables. Avec les algorithmes, non (cf supra "Code is Outlaw"). Dans l'exemple cité plus haut, ce sont bien sûr encore des "hommes" qui décident et paramètrent cette liste de "crude criteria" permettant de segmenter les différents groupes de prospects. Mais une fois que c'est fait … Qui peut aller jeter un oeil dans la boîte noire ? Qui peut aller vérifier ?

Dans une récente conférence, Gérard Berry reprenait son laïus sur le thème, "les ordinateurs sont des cons" et expliquait la logique du "bug" de la manière suivante : quand on "programme", on décide d'une liste d'instructions à effectuer mais il est impossible de tester toutes les itérations de cette liste d'instructions (c'est même un peu pour ça qu'on programme et qu'on s'appuie sur les capacités de calcul dont dispose la machine et dont, par définition, nous ne disposons pas). Dès lors l'algorithme va tester toutes les combinaisons et toutes les itérations possibles, parmi lesquelles se trouvent presque nécessairement certains "bugs". Le "bug" est donc en quelque sorte "naturel", presque impossible à éradiquer, et, à ce titre (là c'est plus Gérard Berry qui cause, c'est moi) les itérations "racistes" d'un traitement statistique et algorithmique de données à grande échelle, même si elles relèvent du bug, sont non seulement possibles mais presque … inévitables ! L'auteur de la tribune conclut d'ailleurs :

"Ultimately, the more decisions a company automates—the more data it uses—the more it risks engaging in potentially racist, sexist, or classist marketing."

#CQFD. Parce que les algorithmes surveillent, classent, hiérarchisent en permanence. Parce que les milices du code ont un pouvoir de police et un pouvoir de justice. Parce que les algorithmes sont des boîtes noires. Et que "surveiller, tout en se cachant, est la forme la plus haute de pouvoir."

Code is Vote. And Policies are Politics.

Bruce Schneier signe dans Ars Technica un court article rappelant à quel point la maîtrise du code (et l'opacité desdits codes) de sociétés comme Google ou Facebook les place en situation de bouleverser complètement des processus démocratiques électoraux. Rappel, on sait que Google est déjà et sera de plus en plus en capacité de prédire le résultat d'une élection, et on sait aussi que le même Google est en capacité d'influer sur les résultats d'un vote à l'échelle d'un pays comme l'inde et ce "simplement" en jouant sur l'ordre des résultats affichés pour une population de votants encore indécise. Cela a même un nom, cela s'appelle le SEME : "Search Engine Manipulation Effect". C'est plus "l'économie de l'attention", ce sont les "industries de l'influence". Vous pigez le truc ? Non parce que là il ne s'agit plus du débat de marketing politique sur l'intérêt d'utiliser les réseaux sociaux dans une démarche politico-électorale et autres #bullshits, il s'agit de savoir si demain, nous acceptons de rejouer la nouvelle "Le Votant" d'Isaac Asimov.

Waiting for Godot ? Then Code'n Roll.

Si après ça vous trouvez encore qu'il n'est pas du tout urgent d'ouvrir un débat autour de la transparence des critères algorithmiques apparentés à des processus d'éditorialisation classique … alors c'est que vous êtes fin prêts pour l'étape suivante.

Code is Jail.

La voilà, l'étape suivante. Code is Jail. Mais rassurez-vous. Il y a bien sûr une solution. Elle est évidente, elle crève les yeux, elle relève de l'urgence démocratique. Elle ne solutionnera pas l'ensemble des problèmes, elle n'évitera pas que des dingues postent des vidéos incitant à la haine mais elle permettra au moins d'arrêter de tourner autour du pot, d'arrêter d'attendre que le Code soit Charlie ou Jack Dorsey, d'arrêter de prétendre réguler à la même échelle et au même niveau ce qui relève de trois réalités distinctes (la loi, le code et les CGU), et surtout, surtout, suuuurtout, d'éviter de déléguer entièrement aux industries de l'influence l'avenir électoral de nos démocraties.

La solution ? Je ne peux rien vous dire. J'ai promis l'exclusivité à mes copains de Libé 😉 Dès que l'article sera publié, je ferai une mise à jour de ce billet. Mais si vous cherchez bien, je vous en ai déjà parlé.