(Le titre de cet article fait référence à ce morceau de The Cure, faisant lui-même référence à ce roman d'Albert Camus)
Pour accéder à un service, pour voir une vidéo, ou pour tout autre chose insignifiante j'ai depuis déjà de longues années rempli ces fameux "Captcha", acronyme de "Completely Automated Public Turing Test to Tell Computers and Humans Apart" et qui sont donc autant de "tests" :
"Test requis pour accéder à certains services sur Internet, qui consiste à saisir une courte séquence visible sur une image, afin de différencier les utilisateurs humains d'éventuels robots malveillants."
UX (User Experience) ta mère.
Les Captcha font depuis longtemps partie intégrante de notre "expérience utilisateur". Parfois amusants lorsqu'ils sont détournés, souvent énervants, ils sont omniprésents. On sait depuis longtemps que ces Captcha, loin de leur finalité initiale (distinguer utilisateurs humains de robots malveillants), sont aussi et surtout un moyen d'entraîner des technologies … diverses. Technologies linguistiques principalement où, reconvertis en travailleurs numériques bénévoles, nous "aidons" à affiner d'immenses corpus, nous permettons aux technologies de reconnaissance optique de caractère (OCR) de progresser et donc aux acteurs économiques disposant desdites technologies d'être plus performants.
Nous "aidons" et "entraînons" aussi en permanence les technologies de reconnaissance d'images. Car c'est compliqué pour un algorithme de reconnaître une image, ou de différencier deux images présentant de très fortes similarités. Alors nous aidons et nous entraînons tout cela. En permanence. Au détour d'un nombre toujours plus grand de services. Toujours gratuitement. Sans jamais avoir le choix.
Il y a quelques années de cela, de nouvelles "Captcha" sont arrivées. Sous forme de tableau découpé en 9 ou 12 cases, on y voit des paysages, des immeubles d'habitation, des panneaux de signalisation, et l'on nous demande de "cliquer" sur les cases qui comportent ou ne comportent pas tel ou tel élément.
La guerre algorithmique et l'armée des bits.
Et puis à la faveur d'un article de Gizmodo publié le 6 Mars 2018, on apprend ce dont nous nous doutions déjà vaguement sans y prêter une attention particulière, à savoir que Google collabore avec le département de la défense américain (Department of Defense ou "DoD" ci-après). Comme plein d'autres sociétés au travers de programmes de recherche militaires. Jusque-là donc rien de très nouveau.
Mais nous apprenons aussi que cette collaboration consiste notamment à fournir des technologies d'intelligence artificielle permettant de faire du guidage de drones de combat sur des terrains d'opérations militaires. Cela s'appelle (dans sa première phase en tout cas) le projet Maven.
Jusqu'ici le contrat entre Google et le département de la Défense passait par une société (écran) baptisée ECS Federal, et c'est l'enquête des journalistes de Gizmodo qui a permis de rétablir le lien avec Google.
C'est assez intéressant le projet Maven, c'est plein de "Big Data" et de "machine learning". Extrait :
Je vous laisse traduire et je m'arrête juste sur le petit 1) mentionné :
"Organize a data-labelling effort and develop, acquire, and/or modify algorithms to accomplish key tasks."
Les tâches en question sont donc de mener des opérations militaires contre l'état islamique ("Defeat-ISIS campaign") à l'aide de frappes aériennes menées par des drones. Un peu comme dans le film Good Kill.
Plus précisément comme rappelé sur Atlantico :
"L'objectif initial de Maven selon le Pentagone, étant de fournir in fine à l'armée une "vision informatique avancée", permettant la détection précise et l'identification automatique sur pas moins de 38 catégories d’objets capturées par la caméra en mouvement d'un drone."
You're in the (Google) army now.
Le point commun entre une attaque militaire menée par des drones et l'accès à une vidéo cachée derrière un captcha où il faut reconnaître différents éléments d'une image ? Google. Et notre participation à l'effort de guerre en tant que tâcherons bénévoles et captifs.
Si la plupart des Captchas utilisent des images représentant des panneaux de signalisation, des paysages, des environnements urbains ou montagneux ou désertiques, si l'on nous demande de "reconnaître" des panneaux, des immeubles, des habitations, des voitures, des montagnes et ainsi de suite, c'est aussi pour entraîner des drones de combat, qui eux-mêmes devront ensuite être capables de les reconnaître sur un théâtre d'opération, en (bonne ?) partie grâce à nous. Et ce "aussi" fait toute la différence.
Chaque jour, dans le cadre de ce que l'on nomme le "Digital Labor" nous entraînons donc et nous "améliorons" les technologies embarquées dans des drones militaires qui seront utilisés sur des zones de guerre.
Black Mirror and 1984 weren't supposed to be some manuals.
Naturellement les porte-flingue porte-parole de Google qui sont interrogés, par exemple dans cet article de Bloomberg, indiquent que notre inquiétude est hors-sujet :
"The technology flags images for human review, and is for non-offensive uses only. Military use of machine learning naturally raises valid concerns. We’re actively discussing this important topic internally and with others as we continue to develop policies and safeguards around the development and use of our machine learning technologies."
Comme à chaque fois, nous n'avons d'autre choix que de les croire sur parole – ou pas – lorsqu'une nouvelle fois ils nous disent :
Rassurez-vous, chaque fois que vous nous aidez à labelliser des images, votre force de travail n'est utilisée que pour des usages "non-offensifs". Et pour le reste on y réfléchit. Dormez tranquille et continuez de labelliser. Vous n'avez de toute façon … pas le choix.
Des données détachables.
Furetant dans Simondon sur d'autres sujets, j'avais été frappé par cette idée selon laquelle, dans la philosophie de Simondon, un objet technique est produit lorsqu'il est "détachable". Et j'avais, à l'occasion d'un colloque et d'un chapitre d'ouvrage sur le corps et le numérique, expliqué que la vision du corps mise en avant par le numérique était avant tout celle d'un "objet technique détachable", composé de multiples parties et prothèses elles-mêmes détachables.
J'avais aussi pointé le dualisme non-uniquement sémantique qui existe entre, d'une part, les dynamiques de l'attachement (au sens émotionnel et sentimental) portées par les grands acteurs du numérique pour asseoir leurs logiques virales et pour nous garder captifs de leurs écosystèmes, et d'autre part l'ensemble de ces technologies "détachables".
Des technologies de l'attachement au service d'une vision détachable de nos comportements, de nos sociabilités et de nos corps. La fracture du numérique. La vraie.
L'histoire de Google, des drones militaires, de la guerre et des Captchas est une nouvelle preuve que nos usages sont d'abord perçus et traités par les plateformes comme autant d'éléments "détachables".
Même si, comme cela est très bien rappelé par Jacques Munier à propos de l'oeuvre de Simondon :
"Pour comprendre la nature essentielle d’un objet technique, la relation d’usage n’est pas la plus pertinente car la répétition des gestes estompe la conscience que l’on peut avoir des structures et des fonctionnements internes de la machine."
La trahison des usages.
Si ceci n'est pas une pipe,
alors :
Alors "Ceci n'est pas une captcha qui vous permet d'accéder un service ou de vérifier votre identité mais qui est aussi possiblement utilisée pour entraîner des drones militaires sur des zones de guerre." Après celle des images, la trahison des usages.
Simondon toujours, dans "Du mode d'existence des objets techniques."
Les données d'interaction (reconnaissance d'image dans un Captcha par exemple), brassées par tonnes de Big Data et moulinées dans des processus de Machine ou de Deep Learning, a contrario de "l'impersonnalité" des "machines" de Simondon, possèdent une hyper-personnalisation qui fait que si elles deviennent des instruments pour d'autres hommes, d'autres contextes, d'autres logiques, d'autres algorithmes, elles renvoient à une subjectivité au moins identifiable sinon identifiée.
Lorsqu'un drone reconnaîtra un building pour permettre un tir militaire ou pour tirer lui-même et occasionner des pertes civiles et militaires, il en ira de ma responsabilité individuelle, moi, Olivier Ertzscheid, identifié sous mon compte Gmail au moment où j'ai rempli ces Captchas me demandant de cliquer sur les zones d'une image comprenant un immeuble. Suis-je pour autant "coupable" de ces actions militaires ? Naturellement non. Puis-je en être de quelque manière que ce soit responsable ? Ayons au moins l'honnêteté de ne pas éluder la question.
Le drone et le boson.
En 2015 paraît dans la Physical Review Letters (PRL) un article scientifique qui présente le résultat affiné de la masse du boson de Higgs. Cet article est signé par 5154 auteurs dont les noms s'étalent sur les 24 premières pages de l'article. Il s'agit de la totalité des deux équipes de recherche qui ont planché sur ce sujet moins léger qu'il n'y paraît. La totalité des équipes de recherche. C'est à dire les chercheurs, "seniors" et "juniors" mais aussi les "techniciens" de laboratoire, des ingénieurs de recherche de tous grades et de tous statuts, et probablement aussi en tout cas je l'espère (mais j'avoue n'avoir pas vérifié) des personnels techniques, administratifs, de secrétariat, sans lesquels la coordination de ce projet pharaonique n'aurait jamais pu avoir lieu. Cinq mille cent cinquante quatre auteurs.
Vous voyez où je veux en venir avec mes gros sabots petits bosons ? Et oui. Par son travail, si "trivial" puisse-t-il apparaître, si infime puisse-t-il être à l'échelle de l'ensemble du projet ou de sa finalité, le plus petit ingénieur ou technicien a permis, oui, permis, autorisé, que puisse être enfin affiné le poids de ce qui reste la plus fascinante des particules élémentaires dans l'un des plus ambitieux projets scientifiques de l'histoire des sciences (physiques en tout cas). Sans ces milliers coutumiers de l'anonymat la découverte des quelques dizaines coutumiers des lauriers n'aurait pas été possible.
Alors serons-nous "crédités" comme autant de co-auteurs, co-responsables des prochaines frappes de drones en Syrie, en Irak, au Soudan ou dans un quelconque pays cible puisque nos micro-tâches accomplies et répétées auront, effectivement, permis ces frappes, puisqu'elles les auront "autorisées" ? Est-il en tout cas idiot, futile ou trop prématuré de poser cette question ? Je n'en crois rien.
Pour une téléologie du numérique.
La téléologie c'est, nous dit Wikipédia, "l'étude des causes finales, de la finalité." A l'heure où la start-up nation se prépare à voter une loi aussi scélérate qu'inefficace sur les "Fake News" (dont je vous reparlerai dans un autre article bientôt), tout se passe comme si le rapport à la donnée pouvait s'affranchir de toute finalité, en tout cas de toute finalité autre que marchande pour reprendre l'idée à la con de Gaspard Koenig.
Le droit social des données qui reste pour l'essentiel à penser (on a déjà heureusement quelques bases, par exemple chez Alain Supiot, chez Lionel Maurel ou chez Antonio Casilli) et qui est surtout, hélas, pour l'instant phagocyté par les appétits que suscite la définition d'un droit commercial des mêmes données, ce droit social des données, donc, devra permettre de travailler la question de l'intentionnalité des régimes de captation, de collecte et de réutilisation desdites données. Faute de quoi c'est une nouvelle expropriation qui verra le jour, dans laquelle, comme un hoquet de l'histoire, les travailleurs (de la donnée) se verront une nouvelle fois spoliés du produit de leur travail au seul bénéfice de régimes spéculatifs capitalistiques.
La lutte des classes algorithmiques sera cela : et sous les pavés données, la plage.
Dans ce qui est souvent présenté comme l'article fondateur de la philosophie de l'hypertexte et du web, "As We May Think" de Vannevar Bush, on trouve l'idée que "le chemin compte autant que le lien." C'est à dire en un sens, que le chemin ne peut être entièrement "détaché" du lien. Or c'est cela que nous sommes en train de perdre : ce qui rattache un lien et un chemin, un parcours de navigation, un scénario d'usage, et qui, du fait de cet attachement, lui confère son sens. La perte de l'attachement est une perte de sens. Pour le commerce, c'est redoutablement efficace. Pour nos sociabilités numériques, rien n'est moins sûr.
"Le chemin compte autant que le lien." Et l'usage qui en sera fait compte autant que les données, pourrait-on ajouter.
La question de la traçabilité, mais surtout celle de l'intentionnalité des régimes de collecte est essentielle. Ce qui compte ce n'est pas la chausse trappe dans laquelle nous allons déverser données, opinions et sentiments que nous aurions peut-être mieux fait de garder pour nous ; ce qui compte c'est le chemin qui nous conduit à tomber dans le panneau, ce qui compte ce sont ces "ruses" et ces technologies de la persuasion qui sont d'énièmes avatars de la fabrique du consentement.
Alors oui une nouvelle fois, la question de la traçabilité, mais surtout celle de l'intentionnalité des régimes de collecte est essentielle. Si nous ne voulons pas sombrer dans un monde où tout le monde pourrait être reconnu comme co-responsable ou coupable de frappes militaires en ayant contribué à améliorer la technologie qui les a rendues possibles. Ou pire encore : un monde où tout le monde se foutrait complètement de savoir si ses données et les algorithmes que nous entraînons chaque jour peuvent être utilisés pour nous vendre des crèmes hydratantes, pour visionner des vidéos, ou pour faire la guerre.
Anonyme par excès de données.
Il existe en documentation, l'expression "anonyme par excès d'auteurs" dont je vous épargne les arcanes bibliothéconomiques (sinon cliquez ici et pleurez) et qui, en gros, désigne des ouvrages comprenant trop d'auteurs différents pour pouvoir être rattachés à la responsabilité éditoriale de seulement quelques-uns d'entre eux. Donc on préfère considérer que c'est le titre de l'ouvrage qui va le caractériser plutôt que le nom de l'un de ses auteurs ou co-auteurs (l'expression ne s'applique pas au champ de la littérature scientifique où, comme je l'ai rappelé plus haut avec l'exemple de l'article sur le Boson, les régimes d'autorité sont un peu différents).
Il ne faudrait pas qu'à force de gigantisme dans les processus de collecte des données, à force d'opacité dans leur traitement algorithmique et leur(s) usage(s), et à force de scénarios d'usages toujours plus contraints dont seules quelques grands plateformes maîtrisent et contrôlent les enjeux, il ne faudrait pas que le numérique nous rende anonymes par excès de données ou que nous l'envisagions comme une excuse possible à chaque fois que nous perdons la capacité de tracer ce qui en sera réellement fait. Car ce qui est fait de nos données aujourd'hui, comme hier ce qui était fait de notre force de travail ou de nos impôts, est ce qui façonne nos sociétés, pour le meilleur de ce qui peut relier et émanciper les êtres humains comme pour le pire de ce qui peut les détruire.
La vie n'est pas un jeu vidéo. La révolution ne sera pas télévisée mais la guerre sera télécommandée. 1984 et Black Mirror n'étaient pas supposés être des manuels. Mes données ne sont pas pour leurs algorithmes mercenaires. Je ne travaille pas pour le ministère de la défense américain. Je ne suis pas un soldat de l'IA. Ni un guerrier des données.
Prenons garde à la banalité du mal, qui peut également se tapir dans la trivialité de données dont nous avons perdu l'usage mais dont nous avons contribué à forger l'efficience sans jamais se soucier de leur terrain d'application. Et pour le reste :
"Je refuse la guerre et tout ce qu'il y a dedans. Je ne la déplore pas moi… Je ne me résigne pas moi…Je la refuse tout net avec tous les hommes qu'elle contient, je ne veux rien avoir à faire avec eux, avec elle. Seraient ils 995 même et moi tout seul, c'est eux qui ont tort et c'est moi qui ai raison car je suis le seul à savoir ce que je veux : je ne veux plus mourir." Lous-Ferdinand Céline. Le voyage au bout de la nuit.
Tel Ferdinand Bardamu, je refuse que mes données ou tout scénario d'interaction m'amenant à en produire, puissent être utilisées pour faire la guerre ou entraîner des technologies possiblement létales. Je le refuse. Et en le refusant, je veux également pouvoir dire mon refus que ces actions de "labellisation" soient sous-traitées dans des pays où le coût de la main d'oeuvre est indexé sur celui de la misère, les data-colonies de l'empire des Gafam.
Il y a un moment où ce qui peut être fait de nos données doit être clairement et explicitement cadré par autre chose que d'obscures CGU, de tacites arrangements, ou d'arbitraires nécessités. Et où il faut que ce cadrage clair, explicite et préalable soit surtout vérifiable et auditable par autre chose que les gouvernements ou les plateformes elles-mêmes. Il nous faut des règles de droit qui ouvrent et légitiment un espace collectif de négociation et de rendu public des procédures et des gouvernementalités qui règlent aujourd'hui nos vies, nos données et nos devenirs algorithmiques.
"Standing on a Beach with a Captcha in my hand …"
Sources : Article de Gizmodo, reprise sur Bloomberg et dans The Intercept. En français on pourra consulter notamment Le Monde, Atlantico.
Le financement de la recherche par projet, imposé, accepté et omniprésent aux États-Unis, a rendu beaucoup d’universitaires bien insensibles aux problématiques de collaboration avec l’armée — ils ont de l’argent pour financer de la recherche, donnent relativement peu de contrainte, finalement c’est un guichet agréable.
La participation de Google est une conséquence naturelle du fait qu’une partie de la recherche universitaire en machine learning se fait maintenant en dehors des universités, directement dans Google et Facebook, avec des personnels qui ont été formés dans le milieu universitaire. Si on montait des projets avec les militaires avant d’entrer chez Google, pourquoi pas continuer ?
Ce genre de chose est évidemment en train de se faire en France aussi : la DGA finance la recherche sur le machine learning, intelligemment (de façon ouverte et peu contraignante), la communauté universitaire va s’habituer et offrira une interface confortable à ce genre de travaux. On voit en creux le manque de financement de la recherche publique.
Mais depuis l’ARPANET, on sait à quoi s’en tenir, non ?