Bienvenue dans le World Wide Orwell (et comment on en sort)

Reproduction, pour archivage personnel, d'une tribune parue dans Ecrans.Fr le 12 Mai 2014. Source originale.

Et grosse mise à jour aussi, tant que j'y suis 🙂

======================

Suite à un imprévu, votre voiture sans chauffeur pilotée par un algorithme, a le choix entre se jeter du haut d’une falaise et entraîner la mort de ses occupants ou percuter ce bus scolaire transportant 50 enfants, l’envoyant au bas de la même falaise. Quel choix fera-t-elle ? Serai-je au courant, en y embarquant le matin, de l’existence de ce choix ? Aurai-je la possibilité de le désactiver ? Ce problème, et l’ensemble de ses variantes, est connu sous le nom du « dilemme du tramway ».

Il renvoie à l’histoire de ce vieux fantasme de l‘intelligence artificielle, des robots en guerre contre l’humanité, des sociétés dystopiques, une histoire que la science-fiction a déjà parfaitement documenté. Qui est aujourd’hui notre histoire.

Aujourd’hui les algorithmes définissent le cours des bourses mondiales. Aujourd’hui les continents les plus peuplés sont aux mains de quelques holdings numériques qui ont pour nom Facebook ou Google qui scannent et documentent en permanence chaque partie de nos vies ; qui nous fournissent des réponses avant que nous n’ayons formulé de question. Nous livrent de l’information toujours plus contextuelle, toujours plus « sur-mesure » au risque de nous conforter dans nos propres certitudes, choisissant à notre place ce qui vaut d’être lu, ce qui vaut d’être compris, ce qui vaut d’être su.

Aujourd’hui ordinateurs et programmes nous battent aux échecs, au Jeopardy, demain ils seront capables de débattre, d’argumenter. Ils conduisent nos voitures mieux que nous ne pourrions le faire nous-même. Ils réalisent des opérations médicales. Ils séquencent notre génome dont ils ont fait un particularisme marchand comme les autres, après avoir fait du vocabulaire un nouveau capitalisme linguistique où les mots se vendent aux enchères contre le pétrole de notre attention.

NBIC. Nano-Bio-Info-Cogno technologies. Robotique, apprentissage profond, casques neuronaux, voitures sans chauffeur, puces mémorielles implantées à même notre cerveau, améliorations et corrections génétiques diverses … Autant de projets développés par ces mêmes géants de la mise en coupe réglée algorithmique du monde.

Nous ne disposons que de deux certitudes : ces technologies seront testées, et nous ignorons le contexte qui présidera à ces tests. Nous sommes à la fois les ingénieurs crédules et les béta-testeurs bénévoles d’un nouveau projet Manhattan. Un Hiroshima technologique, génétique, boursier, n’a jamais été aussi probable.

Le numérique est une technologie littéralement nucléaire. Une technologie de noyau. Au « cœur » fissible d’un éventail de possibles aussi prometteurs qu’angoissants et pour certains, incontrôlables.  Qui réfléchit aujourd’hui sur les conséquences de cet inéluctable ? Qui est aujourd’hui en capacité de proposer des régulations efficaces ? Faudra-t-il attendre les 1ères dérives, les 1ers accidents pour s’atteler à la tâche ?

D’un côté, de grands esprits scientifiques, dont Stephen Hawking, commencent à dénoncer fortement les risques d’une intelligence artificielle dont la réussite « serait le plus grand événement dans l’histoire humaine mais malheureusement, ce pourrait aussi être le dernier. »  De l’autre, de nouveaux luddites commencent à s’en prendre physiquement à ceux qu’ils jugent responsables sous le slogan « la vie privée n’est pas morte, elle est assassinée. Et nous connaissons le nom et l’adresse des assassins »**. L’espace de débat public entre ces deux postures est immense et reste entièrement à construire.

Après s'être interrogé pendant des années sur l'externalisation de nos mémoires documentaires et la numérisation de nos relations sociales, les progrès de l'ingénierie algorithmique, les possibilités d'automatisation qu'elle ouvre dans le champ social, sa pregnance dans des domaines allant de la santé à l'éducation en passant par les transports, nous obligent à construire dès maintenant un corpus d'analyse et de réflexion qui pourra seul nous laisser en situation de comprendre les enjeux de cette deuxième vague d'externalisation : l'externalisation de nos stratégies décisionnelles, émotionnelles, affectives.

En d'autres termes, bâtir un "éthique de l'automatisation" pour éviter, dès demain, de n'avoir comme autre choix que celui de se reposer sur la croyance en une "éthique algorithmique" et les dogmes qui y seront liés. Refuser aujourd’hui de penser ces problèmes, ou en laisser le soin à quelques lobbys, ONG ou prix nobels, c’est se condamner demain à les subir.

Le choix est simple : « 1984 » demeurera-t-il un livre de science-fiction ou sommes-nous prêts à ce qu’il devienne un ouvrage d’Histoire ?

**voir aussi ces 2 articles récents du Monde et d'Arrêt sur Images

Olivier Ertzscheid. Mai 2014.

Depuis la rédaction et la publication de cet article, je ne cesse de tomber sur des nouvelles toutes plus flippantes les unes que les autres et qui toutes corroborent largement la thèse que je défends. Ce qui n'est d'ailleurs pas nécessairement pour me réjouir … 🙁

En voici quelques-unes.

Via cet article de Slate sur les déclarations de Hawking dans The Independent, je découvre l'existence de ce qui semble être le seul laboratoire de recherche dédié à ces questions (si vous en connaissez d'autres, les commentaires sont ouverts).

Et pendant ce temps, le scénario Skynet (de Terminator) est évoqué à l'ONU par certaines ONG à propos de l'essor des drones de combat.

Et pendant ce temps le Pentagone engage des millions de dollars dans un programme destiné à fabriquer des robots dotés de … morale.

Et pendant ce temps il est une nouvelle fois démontré que les résultats du moteur de recherche Google peuvent très largement influencer le résultat d'une élection. Ajoutez à cette dernière nouvelle la menace grandissante du vote électronique et vous aurez alors tous les ingrédients non plus d'une "politique" algorithmique mais d'une réelle "dictature algorithmique" … Là encore, la science-fiction a déjà écrit la fin de l'histoire 🙁

Et puis tiens tant que je vous tiens, dans un autre registre mais pas très éloigné, toujours pour se convaincre de la pregnance des algorithmes sur le plus inessentiel ou le plus essentiel de nos vies, on lira avec attention ce récent article de deux chercheurs d'Oxford sur les métiers qui ont le plus de chances d'être informatisés (et donc de disparaître).

Si parmi mes lecteurs, il en est des qui ont l'oreille attentive d'un politique ou d'un exécutif quelconque, je les invite à sussurer auxdites oreilles les quelques mots doux du présent article, car il me semble qu'il y a urgence. Je n'ai bien sûr aucune solution, mais à l'aune des quelques liens de cet article (et aussi de celui-là), nous sommes déjà capables de disposer d'une bonne vision d'ensemble du problème et de l'identifier en tant que tel. D'autres politiques et réflexions publiques ont démarré avec bien moins que cela.

D'ailleurs ce n'est pas tout à fait vrai que je n'ai aucune solution. Je pense que pour commencer il nous faudrait ça. De toute urgence. Et que déjà si on avait ça, cet "index indépendant", nombre de monopoles se fissureraient, nombre d'usages émergeraient, et nombre de processus de contrôle et de réflexion sur le niveau d'automatisation accepté / acceptable pourraient être étudiés ou déployés. Parce qu'il nous faut redéployer toute la chaîne, la même, qui permit à Google et aux autres d'être aujourd'hui dans la situation d'exercer un monopole avant que de prétendre pouvoir briser ledit monopole. Et que Google et les autres ont commencé par bâtir un index. Parce que toutes les problématiques que j'évoque dans mon article, sont issues du même noyau initial : ce même fameux index. Parce qu'enfin, c'est une solution qui dispose de l'énorme avantage d'être bien plus possible, plausible, adaptée et réalisable à court terme que les innombrables tentatives de légiférer sur le sujet, sans parler des non moins inénarrables aventures des Quichottes modernes s'en allant démembrer le géant.