Le professeur et le processeur. La modération est une ponctuation.

Les révélations et les scandales autour des politiques de modération des grandes plateformes se multiplient. 

Sisyphe et les Danaïdes.

Dans une vidéo devenue virale un homme dénonce les commentaires et la structuration de réseaux pédophiles qui accompagnent nombre de vidéos d'enfants postées sur Youtube. Il dénonce également les marques associées à ces vidéos dans le cadre de la régie publicitaire de la firme (mode d'action des Sleeping Giants). Et déclenche une suppression massive de ces contenus, un verrouillage tout aussi massif des commentaires sous certains vidéos. Nombre d'annonceurs publicitaires choisissent également de se retirer. 

Une enquête édifiante de The Verge vient une nouvelle fois pointer les conditions de travail d'extrême violence psychologique de ces modérateurs qui bossent (notamment) pour Facebook sur le territoire américain. Elle s'ajoute aux travaux universitaires dénonçant l'exploitation des travailleurs du clic qu'ils soient ou non liés à des questions de modération (dont ceux pionniers d'Antonio Casilli), ainsi qu'au documentaire là encore édifiant sur les conditions de travail de modérateurs aux Philippines : "The Cleaners". 

Dans le Financial Times on apprend que Facebook rejoint Amazon et Google dans un programme ayant pour vocation de doper encore davantage la capacité des processeurs informatiques associés à de l'intelligence artificielle, notamment pour répondre aux immenses ressources que nécessite la modération en temps-réel de contenus vidéos.

La pression des États et de l'opinion est également de plus en plus pressante pour la suppression quasi-immédiate de contenus relevant de discours de haine. J'ai moi-même beaucoup traité et relayé ces sujets en essayant de proposer sinon des solutions, au moins un cadre d'analyse permettant d'en faire émerger quelques-unes (voir notamment dans cet article) : par exemple en s'attaquant à la fois au modèle économique et à la nature spéculative de ces discours de haine, ainsi qu'aux architectures techniques toxiques qui les entretiennent et les visibilisent. J'ai aussi signifié plusieurs fois qu'il était des robinets que les plateformes pouvaient aisément et définitivement fermer si elles en avaient réellement envie, et ce en appliquant simplement leurs propres règles …

Mais demeure l'impression d'un immense tonneau des Danaïdes que quelques-uns s'échinent à vider à la petite cuillère lors même qu'il est demeure posé sous les flots d'une inextinguible cascade.

Concernant la modération on a donc deux logiques, se combinant parfois : celle d'une modération humaine (coûteuse, lente, éprouvante psychologiquement, et souvent délocalisée dans des pays où le coût la main d'oeuvre est indexé sur celui de la misère), et une modération algorithmique faite de "deep learning" et autres routines d'intelligence artificielle.

Deux logiques aussi. Une modération "professorale" (c'est à dire reposant sur une approche "culturelle") et une autre "processorale" (reposant sur la capacité de processeurs à traiter d'immenses quantités de données et surtout à y appliquer des règles décisionnelles déterministes quoi qu'en dise le discours marketing débilitant qui entoure la notion de "l'apprentissage").

Le professeur et le processeur.

Et si on mangeait les enfants ?

L'exemple est tant connu qu'il peut paraître lassant mais le seul ajout d'une virgule dans la phrase "Et si on mangeait les enfants ?" peut en changer radicalement le sens. "Et si on mangeait, les enfants ?"

A la modération aussi il faut une séquence de ponctuation. Qui soit une ponctuation culturelle (pour la modération humaine) ou contextuelle (pour la modération algorithmique). Je vous explique et essaie de clarifier.

La ponctuation culturelle nécessaire à la modération "professorale", ne peut en aucun cas être sous-traitée à des pays ou des sociétés culturellement différentes. Le documentaire "The Cleaners" en était une illustration édifiante où l'on voyait, aux Philippines, des modératrices confrontés à des contenus pornographiques mais qui ignoraient tout de l'existence même de simples sextoys. Les mêmes, hommes ou femmes, qui ensuite devaient modérer la photographie d'une peinture représentant Donald Trump nu (avec un micro pénis) "simplement" comme celle d'un homme nu : en ignorant qu'il s'agissait du président des Etats-Unis, ils ne pouvaient pas interpréter la dimension politique qui allait faire du trouble de la modération une forme claire de censure d'une oeuvre d'art. 

La "virgule" de la phrase  est donc ici celle d'une culture politique et artistique manquante. Sans cette double culture, l'image ci-dessus est lue comme la phrase "Et si on mangeait les enfants ?" Mais si l'on dispose de cette double culture, alors les choses reviennent dans un ordre relatif et l'on peut y lire "Et si on mangeait, les enfants ?" 

Quant à la modération contextuelle nécessaire à la modération "processorale",  telle qu'opérée par les plateformes, elle nécessite là aussi une prise en compte du contexte global de l'élément à modérer, à la fois en publication et en réception (du doubles point de vue donc de l'émetteur et du récepteur), mais elle doit dans le même temps jouer sur des routines d'inférences peu propices à distinguer ce qui relève de l'exception ou de la règle. Et tout cela est fait avec une granularité sans cesse mouvante à l'échelle de pics attentionnels que les plateformes structurent elles-mêmes et dont elles sont, surtout, les premières bénéficiaires.

Pour revenir sur l'exemple cité au début de cet article, si l'on prend ces vidéos, non sexualisées, d'enfants filmés en train de danser et postées sur Youtube par un membre de leur famille, il est, hélas, bien sûr possible que ces vidéos puissent recevoir des commentaires explicitement pédophiles ou implicitement suspects (par exemple si dans l'historique de navigation cette consultation est précédée de la consultation de vidéos à caractère pornographique avéré). Mais il est de la même manière possible que ce que l'algorithme considérera comme un commentaire "simplement" tendancieux ne le soit pas, tout comme l'enchaînement d'une séquence de visionnage ne peut pas suffire à garantir et à prouver une "intentionnalité". Le risque d'erreur, de "faux-positif" est bien trop élevé, et les implications judiciaires et morales bien trop grandes pour accepter de faire de ce risque une norme. Voilà d'ailleurs pourquoi passé un certain seuil dans l'opinion, les plateformes préfèrent, au moins temporairement, suspendre ou supprimer ou bloquer totalement et les vidéos, et les commentaires, et les comptes associés. La rythmicité, la fréquence, la volumétrie de l'ensemble des visionnages et de l'apparat discursif qu'ils agglutinent, et la possibilité de les voir à chaque fois dupliqués dans ces contextes et des environnements différents accompagnés de tout ou partie de ce même apparat discursif, tout cela fait qu'un processeur pas plus qu'un professeur n'est infaillible dans la place qu'il donnera à la virgule et donc au sens général du contenu à modérer.   

Ponctuation de la séquence des faits. 

Au moment où, après la seconde guerre mondiale, du côté de Palo Alto, s'inventaient l'essentiel des théories modernes de la communication, le troisième des cinq axiomes réunis par Paul Watzlawick, Janet Helmick Beavin et Don Jackson dans  leur ouvrage "Une logique de la communication" est celui dit de la '"ponctuation de la séquence des faits". L'idée est que la nature d'une relation dépend de la ponctuation (rythme, enchaînement, postures) des séquences de communication entre les différents partenaires. Ou plus précisément (je souligne) : 

" (…) dans une longue séquence d’échange, les organismes intéressés, surtout s’il s’agit d’êtres humains, ponctueront de fait la séquence de manière que l’un ou l’autre paraîtra avoir l’initiative, ou la prééminence, ou un statut de dépendance, ou autres choses du même genre. Ce qui veut dire qu’ils établiront entre eux des modèles d’échange (sur lesquels ils peuvent être ou non d’accord), et ces modèles seront en réalité des règles régissant l’échange des rôles dans le renforcement. (…)

C’est en effet une évidence indiscutable que la ponctuation structure les faits de comportement, et qu’elle est donc essentielle à la poursuite d’une interaction. Du point de vue culturel, nous avons en commun beaucoup de conventions de ponctuation. Elles ne sont ni plus ni moins exactes que d’autres manières de ponctuer les mêmes faits, mais elles servent à structurer des séquences d’interaction à la fois banales et importantes. Nous disons par exemple que dans un groupe un individu se comporte en « leader », et un autre individu en « suiveur », mais à la réflexion, il est difficile de dire qui commence, et ce que deviendrait l’un sans l’autre."

Voilà pourquoi pour paraphraser Watzlawick, Beavin et Jackson, la nature (et la légitimité) d'une modération dépend d'abord de la ponctuation des séquences de communication entre les partenaires. Des séquences dont la multiplicité, la complexité et la densité ne peuvent être ponctuées que par la vitesse d'un processeur et des algorithmes qu'il entraîne. Et des séquences qui malgré cela ne demeurent interprétables et lisibles à chacune de leur instanciation qu'à la lueur d'une clé de lecture avant tout culturelle. Ou pour le (re)dire encore différemment : dans le rapport que nous avons avec la modération comme barrière protectrice ou censure castratrice entre nous et le monde, il y a toute la logique et toute la dynamique de ponctuation d'une "séquence" dans laquelle ce sont avant tout des conventions culturelles qui sont en jeu. Et qui sont l'enjeu.  

Il n'y a donc pas à choisir entre l'approche professorale et l'approche processorale. Il semble par contre évident que ce n'est que culturellement qu'un algorithme, un processeur, une intelligence artificielle ou tout autre type de puissance calculatoire pourra prétendre à une efficacité significative, parce que son efficacité sera toujours située culturellement. 

La culture sans modération.

Cherchant une métaphore ou une image suffisamment claire pour terminer cet article, il me revenait l'histoire que j'ai souvent raconté à mes étudiant(e)s.

Il y a plus de 15 ans de cela, quand Facebook n'existait pas encore et que Google commençait à révolutionner nos usages, lorsque quelqu'un tapait le mot "nazi" sur la version allemande du moteur (www.google.de) c'étaient des sites d'historiens de la Shoah ou ceux de mémoriaux traitant de la question juive et de l'holocause qui apparaissaient en première page de résultat du moteur de recherche. Mais la même requête, le même mot, les mêmes quatre lettres, "nazi", saisies cette fois sur la version américaine du moteur (www.google.com) et c'était le site du parti nazi américain qui ressortait en premier. 

Aucun modérateur humain n'était pourtant intervenu. Ni même aucun calcul algorithmique voulant initier ou singer une quelconque forme de modération. Simplement, culturellement, historiquement, l'algorithme du moteur ne faisait que révéler la topologie, le tracé culturel d'une notion, d'une idée, d'un mot. Et c'était là tout son génie et toute son utilité sociale. Cela ne lui prenait, à l'époque déjà, que quelques secondes pour le faire. Mais à chacune de nos requêtes, depuis chacun de nos pays et dans chacune de nos langues, le moteur et son algorithme rendaient compte d'une culture située dans un temps (relativement) long. 

Et puis il y a aussi cette histoire que l'on raconte et dont chacun retiendra la version ponctuée qui lui plaira.

L'algorithme dit : "le modérateur humain est idiot." 
"L'algorithme, dit le modérateur humain, est idiot."