Nous sommes en 2021. Et en 2021 des "algorithmes" nourris "d'intelligence artificielle" continuent de confondre des hommes et des femmes noires avec des … primates. L'affaire est celle de Facebook qui, sous la vidéo présentant la capture d'écran d'un homme noir et titrée "Un homme blanc appelle les flics pour des hommes noirs sur la marina", propose : "Voulez-vous continuer de regarder des vidéos de primates ?"
"L'affaire" est repérée et promptement signalée (par Darci Groves, une ancienne salariée de Facebook), les médias en font des gorges chaudes (justifiées), Facebook s'excuse pour cette "erreur inacceptable" et indique avoir "des progrès à faire en termes d'intelligence artificielle" (sic).
Souvenez-vous. Il y a déjà 6 ans, en 2015, c'est l'algorithme de reconnaissance d'images de Google Photos qui "identifiait" la photo d'un couple afro-américain comme un couple de gorilles.
Deux ans plus tard, une enquête de Wired montrait que pour "corriger" cette erreur, Google avait en fait supprimé les mots "gorille", "singe", "chimpanzé" de sa base lexicale de mots-clés. Casser le thermomètre en cas de forte fièvre. Effacer les symptômes de la maladie plutôt que de chercher un remède.
Cela fait longtemps que je chronique ici ainsi que dans mes cours cet ensemble de dérives que l'on continue de présenter comme "algorithmiques" mais qui sont avant tout des dérives et des erreurs … humaines. Comme on dit en latin de cuisine dans la Silicon Valley :
"Errare Humanum est. Perseverare Algorithmum."
(l'erreur est humaine, et si ça se voit trop on dira que c'est la faute des algorithmes).
Oui mais voilà : aucun algorithme n'associe jamais la photo d'un homme ou d'une femme noire à une photo de gorille ou de primate. Aucun. Jamais.
Par contre le racisme se manifeste dans les algorithmes comme il se manifeste dans la société. Non pas parce que "la société" ou "les algorithmes" sont racistes mais parce qu'il existe des individus racistes dans la société qui programment des algorithmes. Première raison.
Et parce qu'en termes de représentation, les personnes noires sont moins bien reconnues par les algorithmes de reconnaissance d'image comme par la société. Parce que là encore elles sont victimes d'une forme indirecte mais structurelle de racisme qui fait que, par exemple, les bases de données de reconnaissance faciale sont majoritairement composées de photos d'hommes et de femmes blanches, et que les algorithmes et autres intelligences "s'entraînent" sur des corpus qui sont donc biaisés, et qu'au final on reproduit les formes de racisme qui traversent nos sociétés. Deuxième raison.
Et parce que les humains à qui on sous-traite l'étiquetage et le marquage d'énormes jeux de données, ces humains là eux sont parfois faillibles, parfois taquins, parfois racistes. Souvenez-vous si vous tombez ici pour la première fois : "il n'y a pas d'algorithmes, il n'y a que la décision de quelqu'un d'autre." Troisième raison.
Et qu'enfin le "Big Data" et certaines méthodologies de traitement des données utilisées en IA, à force d'invisibiliser la dimension humaine, aléatoire et fragile qui demeure au coeur de leurs processus, deviennent de redoutables machines à fabriquer autant de "préjudices représentationnels" pour les personnes et les communautés déjà les plus stigmatisées.
Éclairer les peaux noires.
Pour bien comprendre ce qui se joue derrière ces associations immondes qui établissent un lien entre des primates et des personnes à la peau noire, l'exemple du cinéma est éclairant. Il aura en effet fallu près d'un siècle au 7ème art pour parvenir à filmer et à éclairer correctement les peaux noires. Et là aussi les enjeux techniques n'étaient pas, loin s'en faut, les principaux blocages. Car, devinez quoi, les choses commencèrent à progresser réellement à partir du moment … tadaaaaaaaaaaam … où l'on vit des hommes et des femmes noires accéder à la réalisation et à la direction de la photographie (chef opérateur).
"Mais les temps changent. Grâce à des gens comme Ava Berkofsky, la directrice de la photo d'Insecure, qui a récemment partagé ses trucs et astuces pour que la magie noire puisse enfin opérer à l'écran. L'astuce la plus éprouvée consiste à bien hydrater le visage des acteurs pour qu'il réfléchisse au mieux la lumière. Celle-ci doit être utilisée pour sculpter les traits et non délaver le teint des acteurs, une technique dont Charles Mills s'est fait le spécialiste dans Boyz N the Hood (…) lors des prises en extérieur de nuit. Même si de nombreux réalisateurs regrettent l'époque de l'argentique, l'un des avantages du numérique est qu'il permet de récréer par ordinateur le rendu de certaines pellicules Fuji, Kodak ou Agfa. Aujourd'hui introuvables, elles étaient particulièrement aptes à capturer toutes les nuances de la peau noire. (…)
Mais le directeur de la photographie dont tout le monde parle est Bradford Young (…). Il est le premier Noir à avoir été nommé dans la catégorie "directeur de la photographie" aux Oscars [en 2017 pour Premier contact de Denis Villeneuve]. Il a été formé à l'université Howard (…) par le réalisateur éthiopien Hailé Gerima, qui insiste sur la nécessité de s'approprier le vaste univers référentiel de l'art et de la culture noirs. Young explique : "La question de la représentation a toujours été au coeur de notre apprentissage [à Howard]. Quand les préjugés sont intégrés au négatif de la pellicule, quel impact cela a-t-il sur la façon dont nous voyons les gens de couleur à l'écran ? […] Il y a toujours un préjugé intrinsèque qui nous attend au tournant. Il nous faut passer outre et survivre, et c'est justement tout l'art de la photographie."
Le préjugé intrinsèque est bien réel, et présent dans tous les aspects techniques du cinéma. Isaac Julien, réalisateur de Looking for Langston et du documentaire Frantz Fanon : peau noire, masque blanc explique que "l'éclairage est politique, puisque aucune technologie n'est neutre". Les Shirley cards, ces photographies de mannequins utilisées par les chefs opérateurs afin de calibrer le rendu des nuances de carnation des acteurs ainsi que la lumière, ne représentaient que des personnes blanches jusqu'au milieu des années 1970. À Howard, Montré Aza Missouri enseigne que les capteurs utilisés dans les posemètres sont calibrés pour les peaux blanches. Plutôt que d'avoir recours à des astuces, ses étudiants doivent donc prendre en compte les partis pris intégrés à leurs instruments et jouer sur l'obturation pour faire entrer, dans ce cas, plus de lumière dans l'objectif." [Extraits de "Comment le cinéma a appris à filmer les peaux noires", The Guardian, 2017]
Calculer et recommander les peaux, les corps et les visages noir.e.s.
Voilà l'enjeu. Mais il n'y a donc rien (ou très peu) d'algorithmique dans le fait que Google associe des afro-américains à des gorilles ou que Facebook propose de "continuer à regarder des vidéos de primates" quand on homme noir apparaît à l'écran. Juste un problème d'éducation et de sociologie. Et rien d'autre. Mais un énorme, problème d'éducation et de sociologie.
Pourtant à la suite de cette énième affaire, nombre de commentateurs ont argué qu'après tout les algorithmes pouvaient faire des erreurs (ce qui est vrai, le bug est même consubstanciel à l'itération algorithmique et, comme l'explique très bien Gérard Berry, littéralement impossible à éradiquer) et qu'il suffisait donc de "corriger" ces erreurs une fois qu'elles ont été repérées.
Oui mais … oui mais non. Puisque comme expliqué dans cet article, il ne s'agit pas d'une erreur algorithmique. Quand un véhicule conduit par un homme blanc décide de foncer dans une foule d'hommes noirs, ce n'est pas un problème mécanique. Quand une plateforme recommande sous la vidéo présentant un homme noir d'aller voir "d'autres vidéos de primates" ce n'est pas un problème d'algorithme.
Discours algorithmique de Dakar.
En 2007, Sarkozy alors président de la république Française prononçait à Dakar un discours indiquant :
"Le drame de l'Afrique, c'est que l'homme africain n'est pas assez entré dans l'Histoire (sic)."
Il est assez écoeurant et navrant que nous en soyons encore aujourd'hui à considérer que les hommes et les femmes noires ne seraient pas suffisamment entré.e.s dans l'algorithme pour prétendre être reconnu.e.s explicitement comme autre chose que des gorilles ou des primates. C'est cela et uniquement cela qu'il nous faut interroger.
Il existe des tas de recherches absolument passionnantes sur et autour de ces questions de ségrégation, de discrimination et de racisme (faussement) dit algorithmique. Je vous en ai souvent parlé sur ce blog. Récemment encore des mouvements comme Black in AI ont contribué à faire émerger dans le champ sociétal et universitaire ces questions centrales. Et aujourd'hui encore, les GAFA (et d'autres) continuent de virer des employées qui dénoncent les biais et stéréotypies raciales et racistes qui existent dans la conception et la mise en oeuvre des algorithmes.
Alors derrière l'émotion légitime que suscitent ces dérapages associatifs, derrière l'immensité et la violence des "préjudices représentationnels" qu'ils occasionnent, n'oublions pas que de manière bien plus structurelle et profonde, les discriminations algorithmiquement médiées irriguent l'ensemble de nos activités en ligne. Lorsqu'elles le font de manière évidente, il est facile (et nécessaire) de les dénoncer. Mais les remédiations proposées par les GAFAM sont largement insuffisantes et inefficientes quand elles ne relèvent pas d'une simple stratégie de communication visant à éteindre l'incendie médiatique à court terme.
D'autant que l'essentiel de ces discriminations est invisible pour les yeux. Pour ne prendre que quelques exemples dans l'actualité récente, sur Twitter, ce sont les personnes jeunes, blanches et minces qui sont les plus mises en avant lorsqu'il s'agit – entre autres – de recadrer une photo. Sur Google c'est le Keffieh palestinien qui est associé au terrorisme. On a également montré que les technologies de vision assistée par ordinateur de Google et d'Apple associent les peaux noires au terme "animal".
Derrière ces associations étranges et autres préjudices représentationnels, c'est toute une infrastructure discriminatoire qui se met en place et à l'oeuvre, et cette infrastructure est d'autant plus dangereuse qu'elle est pour l'essentiel invisible. Je vais prendre un dernier exemple pour vous expliquer pourquoi. Une (énième) polémique est en train de monter au sujet d'un article scientifique (en cours de reviewing) qui indique que des algorithmes utilisés en radiologie pour l'analyse d'images médicales, sont capables de détecter la "race" d'un individu à partir de clichés radiologiques (rayons X). Ils en sont capables parce qu'on les a entraînés à le faire (premier problème) en les alimentant avec des données catégorisées en fonction de l'origine ethnique (ce qui est autorisé aux Etats-Unis). Mais les développeurs de ces algorithmes ne savent pas eux-mêmes sur quels "'indices" leurs algorithmes se fondent pour opérer ces distinctions dans de nouveaux clichés qui leurs sont soumis (second problème qui renvoie aux "perroquets stochastiques" dont je vous parlais dans cet article). Le résultat de tout cela, le troisième problème, c'est que cette capacité à identifier l'origine ethnique d'un patient à partir d'éléments non-supervisés dans une logique médicale, cette capacité et son itération, sa reproductibilité, tout cela va s'enchâsser dans un système de politique de santé (publique et privée) où des décisions seront prises et des cadres donnés pour optimiser ou réduire les coûts de certaines prises en charge, qui pourront être croisés avec des coefficients de solvabilité des patients là encore malheureusement souvent en fonction de leur origine sociale ou ethnique, et qu'à la fin des fins, non seulement les catégories déjà discriminées le seront encore davantage mais elle n'auront presque plus aucun moyen de le documenter et donc de faire valoir leurs droits. C'est tout l'enjeu de l'automatisation des inégalités.
Alors la prochaine fois que Facebook, Google ou n'importe quelle autre entreprise technologique comparera des hommes ou des femmes noires à des gorilles ou à des primates, souvenez-vous que c'est tout sauf un problème d'algorithme.
