J'étais invité Jeudi dernier à une table-ronde consacrée à la notion de l'erreur et de la faillibilité dans le monde numérique.
<Mise à jour> La vidéo de l'ensemble de la table-ronde est disponible </Mise à jour>
Petit retour sur les trucs que j'ai racontés, et surtout sur ce que je n'ai pas eu le temps de dire.
L’erreur est avant tout une méthode scientifique.
La célèbre méthode "essai et erreur", "Generate and test" en informatique. C’est même l’une des rares méthodes à relier, depuis qu’elles existent, les sciences humaines et sociales et les sciences de l’ingénieur. Psychologie, comportementalisme, informatique, mais aussi biologie et tant d'autres qui sans "essai et erreur" n'auraient jamais pu progresser. D'un point de vue scientifique il n’y a donc pas, par principe, "d’erreur" à éviter. Au contraire. D’autant que l’erreur produit des résultats non-attendus, donc de l’aléatoire, de la sérendipité, sans laquelle nous n’aurions pas pu faire plein de découvertes (structure de l’ADN, pénicilline, Viagra …).
Alors bien sûr l'erreur (scientifique) ne vaut que si elle est reconnue comme telle. Si tel n'est pas le cas et si l'on n'apprend pas de ses erreurs, on produit des savoirs et des connaissances erronées. Et là c’est le début des (gros) soucis.
Ensuite il y a la question spécifique de l’erreur algorithmique.
Et les questions qu’elle pose : est-elle une cause ou une conséquence ? Je m’intéresse plutôt aux conséquences, laissant les causes aux informaticien(ne)s.
La première conséquence de cette erreur c'est la production de ce que l'on appelle des "faux-positifs", lesquels peuvent avoir un impact sociétal et positif considérable, comme le souligne le titre de cet article : "100 000 faux positifs pour un vrai terroriste : pourquoi les algorithmes de détection de la menace terroriste de marchent pas."
L'autre question que posent ces potentielles "erreurs" algorithmiques, c'est la question des biais (sexistes, racistes, financiers …) et de la reproduction, voire de la systématisation desdits biais. D'où l'importance là encore vitale d'un point de vue sociétal et politique, de pouvoir auditer et tester en toute transparence ces algorithmes qui peuvent, pour reprendre le titre de Cathy O'Neil, rapidement devenir des "armes de destruction mathématiques" (Weapons of Maths Destruction)
Plus globalement, ces erreurs toujours possibles et parfois en un sens "délibérées", posent à leur tour la question de l'éditorialisation. Algorithmes et programmes commettent des erreurs. Et ces erreurs contribuent à produire, à illustrer, à fabriquer ou à faciliter des récits informatifs erronés ou des mises en scène erronées de l’information.
Enfin, et c'est peut-être là l'enjeu principal de la question de la faillibilité algorithmique, il y a le risque de l'accident et les questions que posent la dilution de la chaîne de responsabilité dans la prise de décision. L'exemple le plus frappant et le plus parlant est certainement celui des voitures autonomes (sur lequel j'ai déjà beaucoup écrit). A force d'empiler programmes et algorithmes à vocation décisionnelle (celui du GPS, celui de la voiture elle-même, celui qui alimente, par exemple, les feux de signalisation de la ville connectée, et ainsi de suite), il devient rapidement très complexe, en cas d'accident, d'identifier l'erreur initiale qui aura pu déclencher une série d'erreurs en cascade ou produire seule l'accident. Au-delà du classique dilemme du tramway, c'est aussi un problème très concert sur lequel les compagnies d'assurance travaillent déjà depuis longtemps.
Erreur (404) et Fake (News) : jusqu'à la faute (morale) ?
Ce qui pose aujourd’hui problème c’est le passage de "l’erreur" (au sens systémique) au Fake (dans sa dimension épistémique) jusqu'à la "faute" au sens moral.
A titre d'exemple récent, comment interpréter le ciblage publicitaire possible sur les "jews haters" : est-ce une erreur de l'algorithme publicitaire ? Dans quelle mesure la monétisation de cette erreur est-elle rendue possible ou facilitée par la multiplication de "fake news" racistes et antisémites ? Et à quel niveau la responsabilité morale de Facebook est-elle engagée pour avoir toléré, permis et/ou laissé faire cela ?
Autre exemple plus ancien mais tout aussi troublant : le 13 novembre pour la tuerie du Bataclan Facebook décide d'activer la fonctionnalité du Safety Check pour la première fois en dehors du contexte d'une catastrophe naturelle. Mais la veille, un attentat terroriste dans un quartier populaire de la banlieue de Beyrouth faisait 43 morts sans que le Safety Check ne soit activé. Pourquoi ? Tropisme géographique ou culturel ? Simple errreur ? Faute morale ? Quelle est alors la responsabilité de la plateforme ? Ou est-ce la seule responsabilité de Mark Zuckerberg en tant que décisionnaire ? Qui, justement, décide d'activer ce genre de dispositif ? Comment ? Pourquoi et dans quel contexte ? Cette décision est-elle automatisable ? Si elle le devient, qui pourra en répondre en cas de problème ?
Moralité ?
En voici trois.
J'emprunte la première moralité à Antoinette Rouvroy qui, sur Facebook, écrivait à propos de cet article :
"plus les quantités de données augmentent, plus se multiplient les phénomènes "d'apophénie" (c'est-à-dire de "fausses" corrélations entre données). Ce n'est pas contre-intuitif, d'ailleurs : plus il y a de données, plus il est probable que se produisent des régularités par pures "coïncidences"… bref, lorsqu'il y a trop de données, les modèles, au lieu de s'affiner, c'est-à-dire de devenir de plus en plus adéquats ou prédictifs, se mettent à délirer, à "voir" des profils et des modèles qui ne signifient strictement rien. C'est plutôt réjouissant !"
Réjouissant tant qu'on sera capable de repérer ces délires prédictifs et qu'on ne nous les présentera pas pour authentiques 😉
La seconde moralité s'appelle "How to …" et c'est l'une des requêtes les plus saisies sur les moteurs de recherche. "Comment faire …". Et surtout comment ne pas répondre n'importe quoi à ces questions.
Ce qui nous mène à la dernière morale de cette histoire avec une citation qui m'accompagne depuis plus de 12 ans, celle d'Apostolis Gerasoulis (le papa du moteur de recherche Ask Jeeves) qui s'interrogeait en 2005, en regardant défiler les 10 millions de requêtes quotidiennes d'Ask Jeeves :
"Je me dis parfois que je peux sentir les sentiments du monde, ce qui peut aussi être un fardeau. Qu'arrivera-t-il si nous répondons mal à des requêtes comme "amour" ou "ouragan" ?"
Tout est là. Et il est à la fois immensément rassurant de savoir que les gérants de ces géants se posent ce genre de questions (ou d'espérer qu'ils se les posent). Et immensément inquiétant d'imaginer ce qu'il arrivera s'ils répondent mal à des requêtes comme "amour" ou "ouragan" ; ou au fait de savoir "si l'Holocauste a vraiment existé" …
