Siri : qui a tué Kennedy ?

Peut-être vous souvenez-vous de ce vieux billet dans lequel je revenais sur une première mondiale : la 1ère fois où un objet connecté a été utilisé comme élément de preuve dans une procédure judiciaire. Il s'agissait d'une jeune femme, victime plusieurs années auparavant d'un accident de voiture, et dont les avocats avaient utilisé les données du bracelet FitBit pour "prouver" que son comportement et son activité (après l'accident) étaient statistiquement inférieurs ou dégradés par rapport à ceux d'un individu "normal". Mon analyse de l'époque était titrée : "La preuve par les données et la justice comme boîte noire." Nous étions alors en Novembre 2014.

Huit mois plus tard, en Juillet 2015, toujours aux états-unis, c'est cette fois un homme accusé de viol qui se trouvait innocenté grâce – notamment et pas uniquement – aux données là encore collectées par le bracelet FitBit que portait sa supposée victime.

En 2016, dans le sillage – prophétique ? – du film "Her" de Spike Jonze, ce sont les assistants autonomes qui se multiplient : ils s'appellent Alexa, Siri, Cortana, Echo … Présentés comme "intelligents" ils achèvent de faire de notre foyer un data-center comme les autres, un domicile littéralement "terminal" au sens informatique du terme.

Always On.

Le 21 Novembre 2016 aux Etats-Unis, un homme rend visite à un ami et collègue de travail. Le lendemain, le corps de cet homme est retrouvé, mort. L'ami en question est accusé de meurtre au premier degré. Au domicile de l'ami visité la veille par la victime, différents dispositifs domotiques connectés, dont le boîtier Amazon Echo, qui dispose d'une fonction "Always On", ce qui signifie qu'il "écoute" et enregistre en permanence ce qui se dit dans une pièce, en attente des mots-clés "Amazon" ou "Alexa" susceptibles de le "réveiller" pour activer l'une de ses diverses fonctionnalités. Il est donc possible que ce boîtier ait enregistré la conversation des deux amis la veille du meurtre et contienne des éléments de preuve susceptibles d'aider la justice. Pourtant Amazon refuse de communiquer les données relatives au boitier Echo enregistrées sur leurs serveurs. La firme a certes accepté de collaborer avec la justice étant donné qu'elle a fourni des informations liées au compte Amazon du présumé coupable ainsi que son historique d'achat, mais un porte-parole de la société indique, concernant les données du boîtier Echo, que :

"Amazon will not release customer information without a valid and binding legal demand properly served on us. Amazon objects to overbroad or otherwise inappropriate demands as a matter of course."

(Source de l'image)

Je ne vous cache pas que je n'ai pas bien compris pourquoi les éléments relatifs à l'historique d'achat sur le compte Amazon étaient apparemment fournis sans problème et pourquoi ceux liés au boîtier Echo étaient "en attente d'une demande légale valide et contraignante" mais ce qui m'intéresse n'est pas là.

Cette affaire en rappelle en effet une autre : celle d'Apple s'opposant au FBI pour accéder aux données d'un iPhone utilisé dans la la tuerie de San Bernardino. Affaire que j'avais longuement analysée dans 3 billets :

1. Un terroriste est un client Apple comme les autres.
2. Pomme Pomme Pomme Suppr.
3. La transparence des cryptes.

A rebours de la plupart des analyses sur ce sujet, je défendais l'idée selon laquelle il est inquiétant qu'une firme soit en capacité de refuser de collaborer avec la justice dans le cadre d'une enquête dûment diligentée par un juge. Plus précisément j'écrivais que :

"La question que pose le cryptage par défaut incassable des iPhones et la lettre de Tim Cook aux clients d'Apple est celle de savoir si l'espace – physique ou numérique – alloué aux traces documentaires de notre vie privée doit être imperquisitionnable. S'il doit résister à toute forme de perquisition. Si l'on se contente d'envisager les terroristes (ou les pédophiles ou les dealers de drogue ou les auteurs de crimes et délits en tout genre) comme autant de "clients" ayant acheté un appareil offrant des garanties raisonnables de préservation de leur vie privée, alors Tim Cook a raison : la demande du FBI est inacceptable. Mais si l'on considère que notre vie privée doit être un espace imperquisitionnable quelles que soient les circonstances et y compris dans le cadre d'une action judiciaire légitime effectuée dans un état de droit, alors c'est la posture de Tim Cook qui devient inacceptable."

J'indiquais enfin en conclusion de mon premier billet sur l'affaire Apple / FBI :

"On ne peut pas d'un coté condamner la multiplication des boites noires aux mains des états, s'alarmer en la déplorant de l'opacité des algorithmes des plateformes, et de l'autre réclamer un droit aux boîtes noires pour chaque citoyen. (…) "Offrir des garanties de confidentialité" n'est pas la même chose que d'instituer de fait des espaces hors-la-loi, donc hors-la-cité, donc hors toute possibilité de contrôle démocratique (c'est à dire sous le contrôle d'un juge). Cette idée me fout autant en rogne que l'inviolabilité du "secret" bancaire. Et elle menace l'exercice démocratique de la même manière et dans les même proportions que ledit secret bancaire."

Informatique ambiante pour responsabilité ambiante ?

A ce titre, même si elle n'est pas exactement similaire, l'affaire Amazon est en lien direct avec celle d'Apple et du FBI. Mais elle ouvre également un horizon de débat supplémentaire : celui du "Always On Listening Feature", de l'écoute permanente. Même si je sais bien qu'un iPhone même non activé enregistre un certain nombre d'informations (de géolocalisation pas exemple), il reste un appareil qui nécessite un activation et que l'on peut éteindre. La philosophie des boîtiers de type Amazon Echo est tout autre et renvoie à la définition d'une informatique "ambiante", à la fois en permanence présente mais invisible ou transparente parce qu''apparemment, apparemment seulement, en "veille". Mais la responsabilité des firmes qui développent ces technologies "ambiantes" ne peut, elle, être ambiante et diffuse. Elle nécessite d'être clarifiée. Autant d'ailleurs dans l'intérêt des firmes elles-mêmes que d'un point de vue démocratique et citoyen.

La meilleure preuve c'est que l'on assiste en effet depuis quelques mois à une recrudescence d'actions en justice autour de ces questions. A peine remis de l'affaire l'opposant au FBI, c'est cette fois un père qui venait de perdre son fils adolescent qui implorait Apple de le laisser accéder aux données, photos et messages conservés sur l'iPhone de son fils défunt. Le "design" de ces dispositifs est également au coeur de nombre de procès, dont un récent où le conducteur d'un véhicule a eu un accident, tuant une petite fille qu'il transportait, parce qu'il était en train d'avoir une discussion sur Facetime, les parents de la petite fille attaquant alors Apple au motif que la firme aurait dû prévoir un dispositif interdisant d'utiliser Facetime en situation de conduite. On m'objectera que les firmes technologiques n'ont pas à suppléer aux comportements dangereux et meurtriers de conducteurs inconscients. Bien sûr. Mais cela ne permet pas pour autant de gommer la question de la prégnance et de la responsabilité éthique et morale qui devrait être au coeur de la conception et de la mise en circulation de dispositifs qui équipent presque la totalité de l'humanité ou que plus d'un milliard et demi de personnes utilisent quotidiennement. 

Dans un (presque) tout autre genre, ce n'est rien moins que la cour de cassation qui vient de rendre un jugement à propos d'un conflit d'intérêt lié à des relations "d'amitié" sur Facebook, indiquant que :

"le terme d’"ami" employé pour désigner les personnes qui acceptent d’entrer en contact par les réseaux sociaux ne renvoie pas à des relations d’amitié au sens traditionnel du terme ». Ainsi donc, « l’existence de contacts entre ces différentes personnes par l’intermédiaire de ces réseaux ne suffit pas à caractériser une partialité particulière »."

Alors Siri : qui a tué Kennedy ?

Nous sommes aujourd'hui en Janvier 2016, ce que l'on appelle des "intelligences artificielles" qui sont en réalité des programmes informatiques capables "d'apprendre" (= d'enrichir leur base de donnée ou leur faisceau de raisonnement), ces intelligences artificielles "travaillent" dans des cabinets d'assurance, d'avocats, sont des auxiliaires d'enseignement, elles participent même au rendu de décisions de justice, sont capables d'en prédire certaines, décident de libérations conditionnelles, Ce qui ne manque pas de soulever d'immenses (et passionnants) problèmes, à la fois techniques mais également éthiques. Présents la plupart du temps sous la forme "d'assistants personnels" nous leur parlons et elles nous parlent.

Parole publique et parole algorithmique.

Deux vidéos virales sont récemment venus illustrer à la fois le formidable potentiel mais aussi la très grande "bêtise" de ces technologies de synthèse vocale ambiante : celle de ce petit garçon demandant à Alexa de lancer la musique de sa comptine préférée et à qui Alexa répond en lui balançant des sites pornos. Et celle de cet homme qui dit à Alexa :

"Alexa, j'ai besoin d'une assistance médicale immédiate."

Et à qui Alexa répond :

"J'ai ajouté 'assistance médicale immédiate' à votre liste de courses."

Car c'est bien là le problème majeur de ces technologies : la responsabilité que nous acceptons de leur confier. Une responsabilité qui ira croissante et avec des enjeux littéralement de plus en plus vitaux. Et le fait que cette délégation de responsabilité a comme interface principale la parole, la langue.

Nous sommes en train de passer d'un modèle d'interaction algorithmique "clavier / écrit" dans lequel la statistique permettait de faire remonter des réponses, à un modèle d'interaction algorithmique "oral / vocal" dans lequel des réponses doivent être capables de dire le "vrai", le "sûr". Or la parole est par définition une interface ambigüe, ambivalente, complexe. Et le traitement mathématico-statistique qui reste au coeur des fonctionnements algorithmiques même liés au Machine Learning ou à l'intelligence artificielle ajoute sa propre dimension d'ambigüité, d'ambivalence, de complexité, mais aussi de "bêtise" : car rendre la parole "computable" pour la rendre intelligible par des algorithmes n'est pas, loin s'en faut, la garantie d'en saisir la complexité et les niveaux d'ambivalence.

Pour le dire de manière un peu plus triviale, l'ingénierie algorithmique, après être parvenue à résoudre la question de l'ambivalence de l'écrit au moyen – notamment – des historiques de recherche individualisés et de la contextualisation des requêtes (pour que quand vous tapez "jaguar" on sache si vous recherchez des photos d'animaux ou de voiture), l'ingénierie algorithmique va devoir s'atteler à traiter des phénomènes autrement plus complexes et immensément plus difficiles à contextualiser : la temporalité de l'énonciation, la "tonalité", les "sous-entendus", le second degré, l'ironie, etc … Et il n'est pas impossible qu'elle y parvienne. Mais pour l'instant nous en sommes encore (très) loin.

"Encore des mots, toujours des mots, les mêmes mots" …

Le web. Et les interactions qu'il permet. Les normes et les régulations sociales qu'il bouscule ou facilite. Le web fut d'abord un média du texte avant de devenir un média de l'image et de la vidéo. Le web anciennement tiers-lieu, devenu désormais pleinement milieu, dans lequel nous nous exprimons, nous agissons, nous inter-agissons. Désormais média de la parole. Mais de quelle(s) parole(s) parle-t-on vraiment ? Et à qui est-elle adressée ?

S'agit-il de notre parole, la parole donnée ?

S'agit-il de la parole d'un compte Twitter thaumaturge comme semble l'être celui de Donald Trump qui règle en 140 signes la politique de la première puissance mondiale, sur le plan économique en menaçant telle entreprise de sanctions si elle implante ses usines ailleurs qu'aux Etats-Unis ou sur le plan diplomatique en niant les soupçons d'ingérence russe dans les dernières élections ?

S'agit-il de la parole de 52 000 connards qui dans l'obscurité algorithmique d'un entre-soi partagent des photos de leurs "prises" sexuelles à l'insu des jeunes femmes concernées ?

S'agit-il de la parole qui insulte, appelle au meurtre et menace de viol des militantes féministes, et qui bénéficie d'un non-lieu ?

N'est-elle pas là, d'ailleurs, la vraie question ? Dans ce non-lieu de la parole ? Où sont-ils ceux qui insultent et menacent quand ils appellent au viol ? Où sont-ils les 52 000 connards qui volent non seulement l'intime de la nudité mais plus essentiellement l'intime de la confiance ? Où est Donald Trump ? Sont-ils "sur" Twitter ou "sur" Facebook ? Où sont ces espaces de parole ni vraiment publics ni vraiment privés ? Et où sont les algorithmes qui filtrent ou pas cette parole ? Où sont les Dorsey, les Zuckerberg, les Brin et Page quand chez eux s'entrechoquent, se voilent et se dévoilent l'ensemble de ces paroles ?

Parole outragée, parole brisée, parole martyrisée mais parole libérée.

Comme dirait l'autre.

Que se sont dit ces deux amis la veille où le corps du second a été retrouvé assassiné en faisant du premier le principal suspect ? Dans quel non-lieu du Cloud cette parole est-elle archivée et accessible ? Et à qui ? Et de quel droit ? Au-delà des "statuts", quel est le statut d'une parole ouvertement raciste, sexiste, xénophobe quand elle s'exprime dans un lieu qui est celui d'un groupe fermé sur Facebook ou d'un compte public sur Twitter ? Que peut-on vraiment demander par la parole à un assistant intelligent ? Que va-t-il réellement comprendre ? Et s'il nous comprend mal en sera-t-il vraiment responsable ? Aux yeux de qui ? Et de quel droit ?

Même s'il n'y a plus que des réponses, toutes ces questions (et bien d'autres) sont pour l'instant sans réponses. Ce qui est une formidable chance pour les citoyens, les chercheurs, les politiques. Et une formidable urgence à saisir. Car si nous ne sommes pas capables d'apporter nos propres réponses à ces questions là, alors d'autres le feront à notre place. Vous avez ma parole. Ils l'ont aussi. Mais celle que je vous donne n'est pas celle qu'ils archivent. Celle que je vous donne n'est pas indexable, n'est pas computable, n'est pas algorithmico-compatible, elle ne supporte aucun filtre, n'entre dans aucun jeu spéculatif d'aucun capitalisme linguistique, elle leur reste incompréhensible. Je vous donne ma parole. Ça commencera comme ça, par une indiscipline.