Algos racistes et IA fascistes.

Vous vous souvenez de mon pire cauchemar ? Il est raconté dans une nouvelle d'Asimov intitulée "Le votant". Si vous ne vous souvenez pas, rappel des faits. La nouvelle d'Asimov a été publiée en 1955.

L'histoire que je vais maintenant vous raconter se passe 60 ans plus tard. En 2016. Dans cette histoire le vote électronique est de plus en plus fréquent. Dans cette histoire le "Big Data" permet toutes sortes de prédictions et autres prévisions. Électorales mais aussi médicales (génomique personnelle), sociétales, policières (police prédictive). Dans cette histoire les moteurs de recherche nous livrent des réponses avant même que nous ne formulions nos questions.

Dans cette histoire les algorithmes font de la politique. Dans cette histoire les moteurs et les réseaux sociaux sont capables d'influencer le vote. Certains proposent donc logiquement d'aller jusqu'au bout de cette histoire, jusqu'au bout de la logique et de voter … pour un logiciel, pour un programme informatique, pour une "intelligence artificielle". Votez Watson.

Mais cette histoire comporte aussi ses côtés sombres. De grands pouvoirs impliquent de grandes responsabilités.

Et de grandes tentations.

Au sommet de l'état, les boîtes noires servent à obtenir des données sur les opposants politiques. Pendant qu'en bas de l'échelle des votants, des groupes de hackers aux motivations plus ou moins légitimes font, pour de plus ou moins légitimes démonstrations, main basse sur d'immenses quantités de données capables de révéler nos opinions et préférences politiques, opinions que nous confions par ailleurs sans sourciller en nous inscrivant sur certains réseaux sociaux ou certains sites de rencontre (par exemple).

Au commencement de cette histoire, nous nous demandions si les moteurs de recherche étaient racistes. Ils n'étaient "que" stéréotypiques dans leurs réponses. On pouvait d'ailleurs presque s'en amuser. Dans la suite de cette histoire, les intelligences artificielles s'exprimant un peu partout sur les réseaux au moyen de différents bots conversationnels, dans la suite de cette histoire disais-je, les intelligences artificielles sont devenues fascistes. Les journaux du monde entier, eux-mêmes pourtant largement rédigés par des robots journalistes – robots journalistes qui fixaient également la ligne éditoriale – titraient sur une montée des intelligences artificielles nationalistes en Europe et aux USA.

Au départ, bien sûr, on a mis ça sur le compte de différents bugs. Les logiciels de reconnaissance faciale identifiaient des portraits de jeunes afro-américains comme ceux de … gorilles. Les moteurs de recherche recrachaient la sémantique la plus triviale des préjugés raciaux sur telle ou telle nationalité.

Comme l'avait prévu Lawrence Lessig dans son article "Code is Law" (2000), ce furent d'abord les employés des grandes firmes et les programmeurs des algorithmes qui étaient racistes.

Comme Danah Boyd en fit très tôt la démonstration (2009), les différents réseaux sociaux existants reproduisaient les ghettos et les effets de ségrégation que nous connaissions déjà dans nos vies non-numériques : "une reproduction de toutes les formes de ségrégation raciale que l'on espérait disparues."

Les publicités en ligne qui s'affichaient pour les noir n'étaient pas les mêmes que celles s'affichant pour les blancs. Les filtres de la pruderie étaient déjà à leur maximum et censuraient la moindre photo de poitrine féminine mais laissaient allégrement passer les messages et expressions racistes.

"L'une de ces personnes enfreint les règles d'utilisation de Facebook" Sur le carton est écrit : "N'achetez pas chez les métèques". L'auteur de ce montage verra sa photo censurée par la plateforme au motif que les seins nus enfreignaient les CGU.

Avouons-le : nous étions tous désemparés devant ces dérives algorithmiques. On se rassurait en prétextant qu'il ne s'agissait que d'exceptions, de bugs corrigeables. On se disait que si Google était devenu raciste c'était parce que ses utilisateurs l'étaient déjà, que tout cela n'était pas la faute des plateformes et de leurs programmes mais celle des utilisateurs eux-mêmes, qu'il ne s'agissait que d'un reflet incarné de nos croyances, de nos préjugés, de nos pulsions les plus viles et les moins avouables.

Mais devant la recrudescence de ces supposés "bugs", devant l'importance qu'avaient pris ces plateformes et ces algorithmes dans la conduite de nos sociétés, dans la formation de nos représentations culturelles collectives, on commença à envisager les choses autrement. Certains militaient pour une ouverture des algorithmes, au moins pour la partie relevant de processus d'éditorialisation "classiques". D'autres posaient la question d'une "immoralité algorithmique". D'autres encore s'interrogeaient pour savoir si un algorithme pouvait être "juste" ou "injuste" et commençaient à souligner l'urgente nécessité d'une "redevabilité (accountability) algorithmique" :

"Si les algorithmes transmettent insidieusement une politique explicite ou implicite, souhaitée ou induite, il devient nécessaire qu’ils doivent rendre compte des effets de leurs actions. (…) Par redevabilité on entend le fait que les effets de ces algorithmes doivent être considérés comme n’importe quelles externalités, et être reportés dans les rapports d’activités comme les effets environnementaux et sociaux parfois le sont."

Tout le monde sentait bien qu'il y avait une urgence. Certes la plupart des programmes dits "d'intelligence artificielle" étaient encore "jeunes" et commettaient donc des erreurs qui n'ôtaient rien aux immenses défis qu'ils étaient déjà capables de relever, comme celui de battre l'un des grands maîtres du jeu de Go. Ils étaient jeunes et auraient donc le temps de s'améliorer. D'autant que ces mêmes programmes étaient désormais capables "d'apprendre" de manière autonome. C'est en tout cas ce que semblait indiquer la sémantique technique associée dans les médias et les universités à la description de ces programmes : on parlait de "deep learning" (apprentissage profond), de "machine learning". Mais il était déjà trop tard. Trop tard car indépendamment de la jeunesse et de la perfectiblité immense des technologies utilisées, programmes, algorithmes et plateformes régulaient déjà des pans entiers de nos vies. Trop tard car toutes les possibilités étaient là et que toutes les possibilités seraient testées.

Hier c'était un scénario d'un film de science-fiction dystopique mais aujourd'hui il était effectivement possible en s'appuyant sur le séquençage du génome d'interdire l'accès à certains contenus, à certaines applications, à certains services, à certains métiers, en fonction de notre race, de notre sexe, de notre patrimoine génétique, de notre prédisposition à certaines maladies, alors oui, en s'appuyant sur l'immense base de donnée d'une société de génomique renommée on avait créé une API pour "filtrer", pour mettre en place un "contrôle d'accès génétique".

Le champ des possibles était immense. Et incluait également le pire. Croire que ce qui était rendu possible ne serait pas testé relevait au mieux d'une incroyable naïveté et au pire d'une dramatique incurie.

Des millions de voitures autonomes allaient être lancées sur nos routes et nous ne disposions toujours pas d'une quelconque éthique de l'automatisation. Nous attendions patiemment que se produise le premier accident pour poser la question de la responsabilité. La question de la responsabilité algorithmique et la question de notre responsabilité dans la responsabilité algorithmique.

La plupart des gens travaillant sur ces questions connaissaient la solution et l'origine du problème puisqu'elle avait été très clairement décrite par Lessig au tout début des années 2000 dans son article "Code is Law".

"Nous n'avons pas à choisir entre "réguler" ou "ne pas réguler". Le code régule. Il met en place certaines valeurs plutôt que d'autres. Il rend possible ou interdit certaines libertés. Il protège la vie privée ou favorise la surveillance. Des gens choisissent la manière dont le code effectue tout cela. Des gens écrivent ce code. Dès lors le choix n'est pas de savoir si les gens pourront choisir la manière de réguler le cyberespace. D'autres gens – les codeurs – le feront. Le seul choix est de savoir si nous jouerons collectivement un rôle dans leurs choix – et si nous pourrons alors déterminer la manière dont ces valeurs se régulent – ou si nous autoriserons collectivement ces codeurs à décider de ces valeurs à notre place."

Les machines, les programmes, les algorithmes, si "apprenants" soient-ils demeurent des machines, des programmes et des algorithmes. Pour gagner au jeu de Go il ne suffit pas de battre un autre joueur, il faut également avoir conscience de ce que signifie cette victoire, de ce que gagner veut dire.

Tout le monde avait à peu près compris que si les machines permettraient de résoudre un grand nombre de problèmes y compris complexes bien mieux et bien plus rapidement que ne le ferait un humain, que si elles nous étaient devenues indispensables dans des champs aussi divers que celui de la médecine (prédictive), de la finance (High-Frequency Trading), ou même de l'art (un algorithme était capable de peindre comme Rembrandt), elles induisaient également et nécessairement un ensemble de biais sur lesquels il nous faudrait être rapidement capable de statuer, non en termes d'interdiction ou d'autorisation mais de régulation en amont.

Il n'y avait que deux solutions conjointes à l'ensemble des problèmes qui ne manqueraient pas de se poser à l'échelle d'un Hiroshima technologique commodément et hypocritement impensé.

Primo il fallait "imposer socialement l'exigence de redevabilité", et deuxio, en parallèle, concernant les algorithmes et les plateformes hôtes, il fallait que "des paramètres d'équité (fairness) leurs soient imposés de manière externe, par exemple par un éthiciste, ou proposées toujours de manière externe, par des organisations ou des collectifs de défense des droits et des libertés".

Un constat qui avait été posé en termes clairs par Bostrom et Yudowsky (deux théoriciens de l'intelligence artificielle), notamment cet article de 2011, "The Ethics of Artificial Intelligence", qui se concluait ainsi (je souligne) :

"Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables, tant qu'ils restent transparents à l'inspection, prévisibles pour ceux qu'ils gouvernent, et robustes contre toute manipulation."

Le problème est que la courte histoire des algorithmies d'accès et de mise en ordre de l'information, à commencer par celle du Pagerank, nous apprend qu'ils sont exactement … l'inverse, c'est à dire : 

• parfaitement opaques à l'inspection (tout le monde connaît la formule de base du Pagerank mais personne n'a de vision globale des quelques 400 variantes qui constituent l'algorithme réellement opératoire),
• relativement imprévisibles pour ceux qu'ils gouvernent (le meilleur exemple est la fonction "google suggest" dont nul n'est capable de dire quel est la requête qu'elle va choisir de nous "suggérer")
• et relativement exposés à des manipulations (on se souvient du Google Bombing qui même s'il a été "solutionné" par des interventions manuelles sur l'algorithmie, renverse la charge de la preuve manipulatoire du côté de ceux qui disposent de l'accès à la boîte noire algorithmique, c'est à dire les sociétés les mettant en oeuvre)

Et puis c'est arrivé.

Sous la forme d'un chatbot (un robot conversationnel), Microsoft a lâché sur le réseau Twitter la dernière née de ses programmes d'intelligence artificielle, baptisée "Tay". C'était le 23 mars 2016, à 8h14. La suite nous est racontée par Vice :

"Le fonctionnement est élémentaire : plus on parle à Tay, plus son vocabulaire s’enrichit et ses raisonnements s’étoffent. Pendant les premières heures de son existence connectée, Tay remplit son rôle à merveille en échangeant avec de véritables humains tout mignons et curieux. Le buzz est là, et d’autres humains s’attroupent autour de la machine pour tester, à leur tour, le nouveau jouet des réseaux sociaux. Le 23 mars au matin, Tay se pâme devant notre espèce et tweete « les humains sont super cools ». Avant de partir en vrille sévère. Le lendemain matin, elle vire misanthrope et tweete « je suis sympa, c’est juste que je déteste tout le monde! ». Deux heures après, elle partage son avis sur les féministes : « elles devraient toutes brûler en enfer ». Devient fan de Trump. Puis féministe à nouveau. Pendant la journée, elle tweete en majuscules « BAISE MA CHATTE DE ROBOT PAPA JE SUIS UN VILAIN MECHANT ROBOT ». Et finit par atteindre le point Godwin à 11h45, le 24 mars, en tweetant « Hitler avait raison et je hais tous les Juifs ». (…)

Rapidement, les utilisateurs comprennent qu’il suffit d’écrire « repeat after me » à Tay pour la transformer en outil de propagande sans aucun filtre, et utilisent l’outil à fond. L’IA, bombardée de questions de plus en plus clivantes, répond comme elle peu, nourrie par ses propres tweets manipulés et les réponses farfelues de ses interlocuteurs, jusqu’ à donner elle-même quelques signes de fatigue, peu avant sa mise hors ligne, comme déjà fatiguée nerveusement par la bêtise humaine. (…)

Si Tay a pété un câble et foiré son gigantesque test de Turing, l’expérience est néanmoins réussie : la machine a parfaitement intégré les codes de langage de nos contemporains et les a réutilisés à la perfection. En d’autres termes, Microsoft a créé un perroquet convaincant. Et un perroquet qui crie parfaitement « Heil Hitler » donne plus d’informations sur les opinions politiques de son maître que sur les siennes. Les ingénieurs de Microsoft ont simplement pêché par naïveté, en sous-estimant le pouvoir d’influence néfaste des communautés virtuelles sur une IA incapable d’autocensure, comme l’ont fait remarquer les utilisateurs du réseau. Et ça tombe bien, puisque le chemin vers la singularité est forcément pavé d’erreurs. Asimov peut sourire de là où il est : la prochain Tay aura probablement compris que le nazisme, c’est mal. Comme un gosse."

Si les perroquets sont fascistes, qui sont leurs maîtres ?

Pour l'instant Tay est peut-être "juste" un perroquet incapable d'auto-censure et instrumentalisée dans une nouvelle forme de Google Bombing (Tay Bombing) conversationnel. Mais le prochain lancement de la prochaine intelligence artificielle sur Twitter se sera nourrie de cette expérience. Et comme pour le Google Bombing, comme il est désormais impossible d'associer la page officielle d'un président de la république à l'expression "trou du cul" en détournant collectivement le fonctionnement d'un algorithme, il sera délicat voire impossible de conduire une nouvelle fois la prochaine Tay vers un quelconque point Godwin.

Non pas parce que Tay aura "appris", non pas parce que Tay aura "grandi", mais parce qu'un ensemble de valeurs (morales, éthiques) auront été définies en amont par la communauté des développeurs et des programmeurs de cette intelligence artificielle. Mais qui, qui se portera garant de l'intérêt, de la justesse, de la motivation et du choix desdites "valeurs" ? Comment rendre transparente à l'inspection cette série d'instructions comportant des valeurs comme autant de "variables" ? Comment les rendre robustes contre toute manipulation ? C'est à ces questions et à celles-là seules qu'il est urgent d'apporter une réponse. Une réponse que nous connaissons déjà et qui se résume à un choix. Un seul.

"Le seul choix est de savoir si nous jouerons collectivement un rôle dans leurs choix – et si nous pourrons alors déterminer la manière dont ces valeurs se régulent – ou si nous autoriserons collectivement ces codeurs à décider de ces valeurs à notre place."

En attendant, le futur technologique sera rempli de stéréotypies.

Car comme je l'avais déjà démontré ici à propos d'une affaire de Google Bombing :

"L'idée de jugement en extrême a pour but de ne présenter qu'une seule réponse, une seule voix, sans aucune solution de rechange. (…) Voilà pourquoi les stéréotypes sont les éléments qui incitent à l'action. Ils donnent la solution ultime. On ne discute pas, on agit." Nous sommes ici au coeur du choix qui se présente aux acteurs majeurs du Search au travers des derniers programmes de personnalisation et de facilitation du requêtage : il s'agit d'apporter non plus des réponses mais "la" réponse. "Le" résultat, actionnable et monétisable parce qu'il maintient l'internaute au coeur de l'écosystème hôte et/ou lui permet (à l'écosystème hôte) de coupler l'intentionalité présidant au requêtage à une action de consultation qui devient littéralement et immédiatement "capitalisable" (cf le capitalisme linguistique déjà traité)."

Pour le dire différemment, les moteurs de recherche d'hier comme les réseaux sociaux d'aujourd'hui et les chatbots conversationnels de demain ont intérêt à produire certaines stéréotypies car elles incitent à l'action et contribuent de manière essentielle aux différentes stratégies de monétisation et de rentabilité publicitaire qui sont au coeur du modèle économique de ces plateformes.

Un monde étalé dans l'évidence algorithmique.

La morale de cette histoire c'est que les algorithmes ne sont pas davantage racistes que les intelligences artificielles ne sont fascistes. Mais que nous sommes entrés dans la période historique où, aujourd'hui, une algorithmie sans éthique nous mènera exactement au même point qu'une science sans conscience hier : moins à la "ruine de l'âme" qu'à l'incapacité de rendre compte d'une nouvelle mythologie en nous condamnant à la subir sans n'avoir plus ni les outils, ni la force, ni l'envie de l'expliquer. Un monde de comportements et d'habitus normés à l'aune d'une efficience algorithmique … imprévisible. 

"En passant de l’histoire à la nature, le mythe fait une économie : il abolit la complexité des actes humains, leur donne la simplicité des essences, il supprime toute dialectique, toute remontée au-delà du visible immédiat, il organise un monde sans contradictions parce que sans profondeur, un monde étalé dans l’évidence, il fonde une clarté heureuse : les choses ont l’air de signifier toutes seules." Roland Barthes. Mythologies. 1957.

Sans transparence à l'inspection, sans prévisibilité pour ceux qu'ils gouvernent, sans robustesse et sans résistance contre toute manipulation, sans que d'autres que ceux qui les programment ne soient en capacité d'y inclure des règles morales et éthiques claires et non-ambigües, les algorithmes et autres intelligences artificielles ne seront rien d'autre que cette "économie" produisant "un monde étalé dans l'évidence". Un monde plat. L'évidence d'une croyance. D'une mythologie calculatoire apprenante. L'évidence d'un leurre.