Les algorithmes du Dr Frankenstein (ou pourquoi faut pas pousser la créature algorithmique dans les Datas)

Que voilà un titre étrange hein ? Faut que je vous explique. 

En guise de préambule.

Il est entendu que "les technologies sont des structures sociales" (Richard Sclove chroniqué par MaisOùVaLeWeb). Entendu également qu'au-delà du seul "code" algorithmique il existe des architectures techniques toxiques. De plus en plus d'analystes et d'universitaires issus de champs allant de la science politique à l'informatique en passant par l'anthropologie s'accordent pour penser qu'algorithmes et architectures techniques toxiques à large échelle ne peuvent à terme que créer des environnements dystopiques de nature – au mieux – policière. Problématique assez bien résumée par le dernier bouquin (que je n'ai pas lu) du très médiatique Harari qui explique "Pourquoi l'intelligence artificielle avantage les dictatures" (version Usbek & Rica) ou "pourquoi la technologie favorise la tyrannie" (version The Atlantic) mais auquel je préfère quand même les analyses (que j'ai lues) de Zeynep Tufekci expliquant notamment comment "nous créons une dystopie simplement pour pousser les gens à cliquer sur des publicités".

J'ai de mon côté depuis assez longtemps eu l'occasion de dire l'ensemble de mes craintes autour de l'émergence d'une forme de néo-fascisme documentaire distinguant une humanité sur-documentée d'une humanité sous-documentée, néo-fascisme nourri d'un fétichisme du fichier (et du fichage). Et je milite et alerte comme je peux sur l'impérieuse nécessité et urgence de nourrir une réflexion politique radicale visant à une forme de "nationalisation" des grandes plateformes et du code informatique, et à réinstaurer des formes légitimes de "communs" (dont un index indépendant du web entre autres). 

Le problème n'est plus tant de se demander comment construire des technologies avec des sciences comportementales que de voir s'il est encore possible, pour en limiter l'impact politique et démocratique, de déconstruire la logique qui a mené quelques grandes plateformes à construire et à normer des comportements avec des technologies opérant dans le cadre d'architectures techniques toxiques.  

Il est avéré que la forme originelle de la démocratie est à l'opposée d'un gouvernement des "experts" et autres "compétents". Pour s'en convaincre et si vous ne l'avez pas déjà fait je vous recommande le visionnage du remarquable documentaire "Démocratie(s)" de l'équipe de Datagueule. Pour qu'une démocratie représentative fonctionne bien elle suppose que la décision publique ne soit pas effectuée par des gens directement impliqués dans le domaine auquel elle s'applique, à rebours de la fausse bonne idée selon laquelle il faut être sportif de haut niveau pour faire un bon ministre des sports, ancien directeur de l'ESSEC pour faire un bon ministre de l'éducation nationale, ancienne DRH de la SNCF pour être ministre du travail, ancienne présidente d'université pour être ministre de la recherche, et ancienne girouette pour être ministre de l'écologie. Comme l'explique très bien Jacques Rancière à partir de 11' du susdit documentaire : 

"Le 'demos' c'est ceux qui n'ont pas de capacité particulière pour exercer le pouvoir (…). On place l'égalité au fondement. L'égalité ça veut dire que des gens sont là parce qu'ils sont fondamentalement égaux à n'importe qui. L'égalité c'est l'idée qu'il y a une forme de communauté fondée sur l'idée que la capacité que chacun possède de juger et d'agir est une capacité qu'il partage avec tous les autres." 

Or dès lors qu'ils sont amenés à réguler des pans entiers de l'action publique, "les algorithmes", ou en tout cas la nature "processionnaire" et itérative de leurs schémas décisionnels, fait d'eux d'indépassables experts tout autant que la forme la plus opaque, la plus redoutable, la plus inquiétante et la plus obtuse de bureaucratie kafkaïenne.

Pour le dire autrement, à l'échelle de l'hypothèse d'une gouvernementalité algorithmique qui serait ou se verrait souveraine, le risque de faux-positifs est perçu et traité comme un biais nécessaire pour optimiser la gouvernance ; alors que dans une société démocratique le risque de faux-positif est un signal qui permet de repérer et d'éviter des dysfonctionnements législatifs, politiques et institutionnels. Une démocratie non-algorithmique n'acceptera jamais de mettre 10 innocents en prison si elle a la certitude qu'un seul coupable figure parmi eux, une gouvernance algorithmique considèrera que c'est un mal nécessaire pour optimiser statistiquement la mise en sécurité de la population. 

Mais tout cela a déjà été très bien décrit dans nombre d'ouvrages de science-fiction. Même si la science-fiction d'hier a laissé place à des réalités politiques (en Chine notamment avec le système de "Social Credit") ou technologiques (avec, parmi tant d'autres, le récent score de fiabilité mis en place par Facebook). 

Venons-en maintenant au fait et à l'objet de ce billet. 

Frankenstein comme créature algorithmique.

Au commencement il y a la lecture de ce formidable article du Guardian : "Franken-algorithms : the deadly consequences of unpredictable code". Vraiment allez le lire patiemment. Et suivez les liens proposés, notamment vers l'article de Neil Johnson (et al.) sur les inévitables et inéluctables dynamiques de polarisation de l'opinion induites par les algorithmes des plateformes sociales (polarisation que Zuckerberg lui-même avait été contraint de reconnaître dans la lettre de Mars 2017).

<Edit en cours de rédaction> l'infatiguable et indispensable Hubert Guillaud en a déjà fait une synthèse et traduction. Il est fort. Si je n'avais pas bu une bière un jour avec lui je pourrais croire qu'il n'est qu'un algorithme. </Edit> 

En gros le pitch de l'article du Guardian est, à partir notamment des travaux de Cathy O'Neil (les algorithmes comme "armes de destruction matheuse") et Neil Johnson, et en remobilisant des exemples issus du Trading Haute-fréquence ou du récent fait-divers sur le premier décès "accidentel" causé par une voiture autonome (dont je vous avais moi-même longuement parlé), de revenir en détail sur ces nouvelles "approches algorithmiques" ou "l'algorithme" ne désigne plus simplement la trivialité d'une série d'instructions logico-mathématiques mais un environnement complexe d'automatismes décisionnels sur la base de gigantesques jeux de données (Datasets) que plus personne n'est en mesure de comprendre ou d'englober dans leur totalité, à commencer par ceux-là mêmes qui développent lesdits algorithmes et jeux de données**.

(** Google vient d'ailleurs d'annoncer le lancement d'une version de son moteur de recherche dédiée à la localisation de jeux de données) 

Et l'article du Guardian évoque donc ces "Franken-algorithms" : ces algorithmes semblables à la créature du Dr Frankenstein, des Franken-algorithmes qui deviennent totalement imprévisibles (et donc potentiellement très dangereux) non seulement au travers de leur mode opératoire "auto-apprenant" (on parle aussi d'algorithmes "génétiques" et "d'apprentissage renforcé" – Reinforced Learning) mais aussi et surtout au travers de ce que leur marge d'incertitude et d'imprévisibilité intrinsèque peut donner lorsqu'elle entre en interaction avec d'autres algorithmes, avec des comportements sociaux individuels ou collectifs, ou avec le monde – et les objets – physique(s).

Ces Franken-algorithmes ont deux caractéristiques : ils sont opaques (y compris donc souvent pour ceux qui en conçoivent la version initiale) et imprévisibles. A l'opposé on trouve des algorithmes également opaques (pour des raisons commerciales) mais par contre parfaitement prévisibles. Algorithmes que l'article du Guardian qualifie de "Dumbs" (idiots). 

C'est sur cette base que m'est venue l'idée d'un petit carré sémiotique construit sur ces notions d'opacité et de prévisibilité et leurs contraires (transparence et imprévisibilité donc).  

Que voici en image et que je vous explique et détaille juste après. 

Les algorithmes à la fois opaques et prévisibles sont donc en effet "stupides". Parmi les exemples on pourra citer le processus qui, sur Facebook, classe systématiquement comme "pornographie" toute photo ou représentation d'organes génitaux masculins et féminins, incapable ainsi de reconnaître des oeuvres d'art ("L'origine du monde" de Courbet) ou des photos à caractère historique (comme celle du prix Pulitzer de la petite Kim fuyant les bombardements au Vietnam).

Ces formes algorithmiques, certes "sophistiquées" dans leur programmation mais essentiellement primaires et grégaires dans leur(s) application(s), participent d'un hyper-déterminisme qui permet aux plateformes de s'abriter derrière la barrière de leurs CGU tout en "fabriquant" de nouvelles normes sociales. 

Les Franken-Algorithmes sont imprévisibles et le plus souvent opaques mais peuvent également être "transparents" à partir du moment où ce sont les jeux de données (Datasets) leur permettant de "fonctionner" qui, eux, basculent dans l'opacité de régimes propriétaires (comme je l'expliquais en Mai 2016, tous les GAFA ont en effet basculé l'essentiel de leur coeur algorithmique en Open Source). 

Imprévisibles et opaques ils alimentent l'idéologie solutionniste (= à tout problème une solution techno-algorithmique). Imprévisibles et "transparents" mais reposant sur des jeux de données propriétaires ils nourrissent l'idée une singularité à venir qui s'empare des avancées réelles dans le domaine de l'apprentissage par renforcement ou des algorithmes génétiques pour alimenter et nous vendre le fantasme d'une IA forte et toute-puissante (et dangereuse). 

La conjonction d'une vision solutionniste et d'un hyper-déterminisme algorithmique caractérise à son tour la "Black Box Society" décrite remarquablement par Frank Pasquale. 

Et au croisement du solutionnisme et de la singularité on entre, de facto, dans une forme de vallée de l'étrange algorithmique.

Dans un monde régulé par la technologie, ou en tout cas par ces formes technologiques particulières que sont les algorithmes et les architectures techniques toxiques et propriétaires dans lesquelles ils se déploient, le danger vient de l'incapacité à penser simultanément l'ensemble des processus à l'oeuvre tant sur le plan des internalités logico-matématiques (qui sont devenues imprévisibles) que des externalités (les interactions avec le monde "réel", également imprévisibles et potentiellement chaotiques). 

Reste, heureusement, la possibilité d'algorithmes à la fois prévisibles et transparents, et reposant également sur des jeux de données également non-propriétaires, qui sont alors la seule garantie d'être réellement robustes contre toute manipulation ou contre toute dérive dès lors qu'ils ont vocation à intervenir dans des interactions sociales de nature régalienne (transports, santé, éducation, etc.)

Comme le rappelaient en effet Bostrom et Yudowsky (deux théoriciens de l'intelligence artificielle) dont je cite souvent ici l'article de 2011, "The Ethics of Artificial Intelligence" :

"Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables, tant qu'ils restent transparents à l'inspection, prévisibles pour ceux qu'ils gouvernent, et robustes contre toute manipulation."

Voilà ce qui, sur mon petit schéma donne naissance au "SPA", une sorte de "Service Public de l'Algorithmie" que mon côté Marxiste idéalise peut-être mais que je crois nécessaire et urgent de bâtir si nous voulons éviter de prendre le risque d'un Hiroshima technologique désormais plus que probable à l'échelle de nos formes démocratiques de gouvernance qui ont déjà en partie basculé dans les formes assumées et délétères de surveillance.

Faut pas pousser mémé la créature algorithmique dans les orties datas.

Alors, me direz-vous, il y a peut-être une exagération à vouloir ainsi anthropomorphiser "les algorithmes", a fortiori en une créature elle-même chimérique. Peut-être un double déni de réalité. Peut-être une double erreur méthodologique pour qui se pique de faire un peu de science fut-elle sociale. Peut-être.

Peut-être qu'après tout, une série de calculs et d'instructions logico-mathématiques tournant en boucle n'est rien d'autre qu'une série de calculs et d'instructions logico-mathématiques tournant en boucle. Peut-être. Mais nous sommes au coeur de cette boucle. Nos sociabilités s'y trouvent tantôt exacerbées, tantôt essorées, tantôt sublimées. Notre rapport à la vérité et à l'information est en partie co-construit par les choix d'une main algorithmique invisible qui est aujourd'hui constituée en un lieu commun qui n'a justement plus rien à voir avec un quelconque "commun".

Hier chacun de nos liens bâtissait, qualifiait et instituait ce commun qu'est le web, aujourd'hui "nous créons une dystopie simplement pour pousser les gens à cliquer sur des publicités".

Nous produisons aujourd'hui des artefacts techniques ("les algorithmes") dont la finalité première présidant à leur conception est, explicitement autant que systématiquement, de leur permettre de pouvoir s'affranchir de toute possibilité de contrôle par leurs concepteurs. Et nous nous abritons derrière l'idée qu'il ne s'agirait là que d'une forme "d'apprentissage" qui serait même "profond" ('Deep Learning'). Alors parlons d'apprentissage justement.

Au-delà de la seule transmission de connaissances ou d'informations, l'enjeu de l'apprentissage est de permettre à "celui qui apprend" de pouvoir un jour s'affranchir de la dépendance à "celui qui lui enseigne" certaines règles et certains codes sociaux. Et d'être en capacité de pouvoir à son tour "faire", "transmettre", "produire", "jouer" mais aussi "tricher" ou "faire semblant".

Le souci, me semble-t-il, est que nous sommes aujourd'hui majoritairement et collectivement incapables de formuler clairement la raison pour laquelle nous voulons que ces algorithmes apprennent et nous échappent autrement. Ou alors seulement au travers de la litanie – qui se fait souvent lithurgie – d'une "efficience" que nous actons comme supérieure à la notre dans certains domaines en extrapolant commodément et paresseusement que cette efficience serait transposable à l'ensemble du champ social, technique et politique. Nous nous mentons.

Ce n'est pas parce que certains algorithmes sont plus efficients que certains médecins dans la détection de certaines tumeurs (pour autant qu'ils disposent des bons jeux de données et des bonnes bases "d'apprentissage" sinon …), que d'autres algorithmes pourraient également être plus efficients dans la résolution d'autres affaires, par exemple de justice ou de police impliquant juristes, avocats ou policiers. L'efficience dans le domaine médical n'équivaut d'aucune manière à l'efficience dans le domaine judiciaire. Et ce faisant nous sommes simultanément en train de perdre le lien ténu mais essentiel qui nous permet de savoir comment ils sont devenus capables d'être plus efficients que nous ne le sommes.

Voilà pourquoi sans aller vers un radicalisme luddite dont Eric Sadin et quelques autres sont les opportunistes ténors, il nous faut construire une alternative politique qui, après le temps numérique de la "désintermédiation", soit celui de formes de remédiations respectueuses du corps social et partant de sa partie la plus fragile, la plus pauvre, et la plus exposée.

Car oui, comme rappelé un peu abruptement au début de ce billet, "la technologie favorise la tyrannie". Ou disons, pour les plus modérés d'entre nous, qu'il est désormais certain que les potentialités offertes par les technologies actuelles sont une aubaine dont les régimes autoritaires se saisiront. Ce qui n'est certes pas nouveau à l'échelle de l'histoire des technologies. En revanche.

En revanche, dès lors qu'elles prennent place au sein d'architectures techniques toxiques à large échelle, ces technologies sont en capacité de miner et de corrompre puissamment n'importe quel régime démocratique existant, servant alors elles-mêmes de justification à l'établissement de règles autoritaires de gouvernance et de surveillance prétendant pouvoir limiter les dégâts qu'elles ont pourtant contribué à causer. Une boucle sans fin. 

"Les rapports, les relations, les situations sont plus forts que les individus", c'est le côté structuraliste des sciences sociales, rappelait Frédéric Lordon dans une de ses anciennes interventions sur le plateau d'Arrêt sur images.

La vie de la cité aujourd'hui (c'est à dire "le" politique au sens étymologique), notre vie, est prise entre des techno-craties qui organisent l'espace économique et des techno-structures qui organisent l'espace social. Les plateformes comme Facebook, Google ou Amazon ont comme point commun d'être les premières techno-craties algorithmiques dans lesquelles les données ont fonction d'infrastructure et qui organisent l'espace social pour satisfaire à des impératifs d'organisation économique. 

Ce ne sont pas "les algorithmes" qui sont la créature du Dr Frankenstein, ce sont les structures, les architectures techniques. Comme dans le roman de Mary Shelly la créature est avant tout un assemblage, un bricolage du vivant, bricolage qui naît lui-même d'un braconnage. 

Dans la montée partout en Europe (et ailleurs) des néo-fascismes qu'une pudibonderie tout à fait déplacée nous désigne sous l'euphémisme de "droites extrêmes", au moment où chacun est conscient de l'impact que jouent les architectures techniques toxiques dans la polarisation de l'opinion, alors même qu'il est établi, comme le rappelait récemment Cory Doctorow que  "le problème de Facebook n'est pas un problème de contrôle des esprits mais un problème de corruption : Cambridge Analytica n'a pas convaincu des gens ordinaires de devenir racistes mais ils ont convaincu des racistes d'aller voter", il ne faudrait pas qu'aux algorithmes du Dr Frankenstein s'ajoutent les ambitions politiques d'Anénoïd Hynkel.