La base de donnée des émotions.

Il y a presque 15 ans (en Novembre 2003), John Battelle publiait sur son blog un billet dans lequel il décrivait la "base de donnée des intentions". Sept ans plus tard, en 2010, il mettait à jour son analyse dans le billet intitulé : "The Database Of Intentions Is Far Larger Than I Thought".

Donc la base de donnée des intentions c'est – notamment – ça : 

Et je vous en ai assez souvent parlé sur ce blog. Notamment là, et là. Dans ce dernier article ("L'internet de l'ADN et le web généticiel") j'expliquais ceci : 

"Nous sommes ainsi progressivement passés d'une approche "macro" (documents et profils) visant d'abord à gérer la diversité au moyen "d'attracteurs" (documents et profils) susceptibles de drainer vers eux un optimum attentionnel, à une approche "micro" dont l'objectif se centre davantage sur la gestion des "proximités" (topologie de l'espace physique – services – et connecté – navigations), pour basculer enfin dans une approche "nano" qui pourrait permettre de gérer directement les "individualités" au sens biologique du terme."

Et je vous avais gratifié du magnifique graphique suivant :

Une seule émotion vous manque et …

Graphique dans lequel "l'intentionnalité" reste centrale (intention de faire telle ou telle recherche, d'utiliser tel ou tel service, d'éviter telle ou telle maladie, etc.) Mais il me manquait quelque chose. Quelque chose permettant d'assurer le lien, le passage entre le séquençage, la mise en index de nos comportements et des différents objets connectés. Ce quelque chose c'est la base de donnée des … émotions.

L'analyse des "émotions" c'est celle d'algorithmes qui après s'être entraînés à la reconnaissance d'images (et ils ont encore un peu de mal même si les progrès de ces dernières années sont hallucinants) se spécialisent désormais dans la reconnaissance faciale pour être capables de détecter et de reconnaître si nous sommes tristes, embarrassés, heureux, gênés, etc. Et aussi naturellement pour tout un tas d'applications pas très humanistes de vidéo-surveillance.

Pour vous faire une idée plus précise de ce dont sont capables aujourd'hui ces algorithmes de reconnaissance d'image y compris dans une encore très basique mais très efficace détection "émotionnelle", je vous renvoie à l'extension pour le navigateur Chrome qu'un développeur a mis en libre accès et qui permet de "voir" les informations extraites par Facebook de la moindre des photos déposées sur son réseau : 

Mais revenons à ma question. En quoi ces "émotions" peuvent permettre d'être le chaînon manquant entre :

• "nous" (nos comportements, nos actions),
• la multiplicité de terminaux connectés à notre disposition (ordinateurs, tablettes, smartphones mais aussi "objets" connectés et capteurs passifs)
• et les interfaces que nous utiliserons le plus demain (c'est à dire principalement les interfaces vocales) ?

Context is King.

La réponse à cette question est la suivante : dans les interactions homme-machine qui domineront demain nos vies connectées, ce sont les "émotions" qui seront les mieux à même d'apporter les éléments contextuels nécessaires à la compréhension fine de nos requêtes et de nos (inter)actions. En tout cas ça, c'est la théorie 🙂 Mais le fait est que sans compréhension du "contexte", les algorithmes, quels qu'ils soient, ne peuvent nous apporter que des réponses "impersonnelles" (= non personnalisées) et ça c'est pas bon pour le modèle économique des grandes firmes. Si la fortune de Google est aujourd'hui ce qu'elle est, c'est parce qu'elle repose presqu'entièrement sur sa régie publicitaire Adwords, laquelle régie publicitaire à totalement changé le visage de la publicité sur les internets en gagnant le pari d'une publicité "contextuelle", le contexte étant alors celui de nos historiques de recherche progressivement croisé avec tout un tas d'autres paramètres récupérés au travers d'applications et de services tiers. La capacité de comprendre le contexte est donc l'élément clé qui permet de faire tourner la régie publicitaire. Et du côté de Google et de Facebook, cela se passe plutôt bien puisqu'à eux deux ils se partagent aujourd'hui la quasi-totalité du marché mondial de la publicité en ligne. 

Attention aux émotions.

Il y a déjà très longtemps que les grands acteurs du web s'intéressent à nos "émotions". Car si le web actuel s'est bâti sur une économie de l'attention, chacun a compris la corrélation directe existant entre "l'attention portée" et "l'émotion suscitée". Les articles, sujets, statuts, images, posts dont on parle le plus, ceux que l'on partage le plus, sont ceux qui disposent du plus fort capital émotionnel. Il existe même une "hiérarchie" émotionnelle et l'on sait, par exemple, que "la colère est beaucoup plus influente que les autres émotions comme la joie ou la tristesse". Ce n'est d'ailleurs pas une nouveauté car on sait cela depuis l'invention du journalisme (et du "kilomètre sentimental ou kilomètre compassionnel"). La nouveauté vient, d'une part, de la quantification fine desdites émotions et, d'autre part, de l'échelle littéralement "industrielle" à laquelle il est possible de les instrumentaliser sur des niveaux de prédictibilité plus ou moins discutables. Mais quoi qu'il en soit, nous sommes tous aujourd'hui de véritables cobayes émotionnels (le plus souvent à l'insu de notre plein gré).

L'un des meilleurs exemples de cette quantification est peut-être celui du brevet déposé par Apple en janvier 2014 censé permettre de diffuser des publicités contextuelles en fonction de l'humeur de l'utilisateur :

"Selon le brevet, les critères pour la définir peuvent reposer sur la collecte de diverses informations, comme la pression sanguine, le rythme respiratoire, la température du corps, mais aussi des schémas de comportement selon les contenus et applications utilisées, qui peuvent donner une idée de l'état d'esprit. Ces éléments peuvent servir à définir des profils ("plutôt heureux", "plutôt triste", etc) à partir desquels des publicités choisies peuvent être proposées, en plus d'autres types de données personnelles plus classiques (âge, sexe, localisation…)."

De manière plus précise, sur ce même brevet, on apprenait que : 

"Les caractéristiques associées à l'humeur peuvent être physiques, comportementales ou spatio-temporelles. Par exemple, le rythme cardiaque, la pression sanguine, le niveau d'adrénaline, la fréquence respiratoire, la température corporelle et les expressions vocales peuvent être utilisés pour déterminer l'humeur d'un utilisateur. Les indices comportementaux incluent le type de média en train d'être consommé, la séquence (= l'ordre) dans lequel certaines applications sont ouvertes ainsi que l'activité sur les réseaux sociaux. Les données spatio-temporelles sont utilisées pour inférer certains types d'humeurs à partir de caractéristiques types de certaines humeurs déjà enregistrées.

Dans certains cas, l'humeur est jugée par une caméra qui, lorsqu'elle est couplée à un logiciel de reconnaissance faciale, peut mesurer les expressions faciales.

En fin de processus, une base de donnée contenant l'ensemble des informations sur le profil d'un utilisateur est automatiquement mise à jour en fonction d'un ensemble de règles définies soit par l'utilisateur soit par le système. Certains éléments du profil peuvent être revus en fonction des besoins nécessaires aux algorithmes d'apprentissage ("learning algorithms") qui vont puiser dans des données externes comme par exemple le compte iTunes." (Source : Apple Insider)

"Any Face, Any Place, Any Interface".

Les émotions sont un peu à la reconnaissance faciale en particulier (et à la reconnaissance d'image en général), ce que les entités nommées sont à la linguistique de corpus et au TAL (traitement automatique des langues). La recherche de "mots" a fait un bond considérable à partir du moment où elle fut capable de détecter ces groupes de mots catégorisables dans différentes classes linguistiques (noms de personnes, de lieux, distances, dates, valeurs, etc.). Si l'on arrive à disposer de l'équivalent de ces catégories et de ces classes à l'échelle émotionnelle, alors la détection d'émotions fera elle aussi un bond considérable.

Et c'est précisément ce qui est en train de se produire. 

L'entreprise Affectiva produit des applications dans le champ de ce que l'on nomme "l'affective computing", en français, "informatique affective", champ dans lequel ce laboratoire du MIT est particulièrement en pointe. Un article récent de PC Mag nous apprend que : 

"Affectiva's tech creates "classifiers" or face and emotion algorithms, from an "emotion data repository of almost 4.7 million faces analyzed, and 50 billion emotion data points recorded." 

Voilà. "Une base de donnée de émotions d'environ 4,7 millions de visages analysés et de 50 milliards de points émotionnels enregistrés." C'est énorme. Enorme et ridicule à la fois si l'on songe que Facebook dispose de son côté de 1,5 milliards de profils avec pour chacun d'entre eux des centaines de photos associées. Imaginez deux minutes que la techno d'Affectiva se mette à tourner sur Facebook, et cette base de donnée déjà gigantesque de 4,7 millions de visages prendrait alors des allures … dantesques. A fortiori lorsque l'on voit ce que Facebook est déjà capable de faire en termes de reconnaissance d'image et de reconnaissance faciale (cf supra et cf aussi "la reconnaissance faciale de dos").

Le clip promotionnel d'Affectiva nous promet un monde dans lequel, via son kit de développement (SDK), tout un tas d'applications, de programmes, de terminaux, de logiciels nous verront … comme ça :

Avec un slogan qui claque : "Any Face, Any Place, Any Interface", pour ce qui se présente et se revendique comme "la plus grande base de données de réponses émotionnelles aux médias numériques".

Et que ce sera le paradis puisqu'on pourra "optimiser l'engagement" pour réaliser des publicités plus efficaces (sic), des bandes-annonces plus percutantes (sic), etc. On va "optimiser les contenus en maximisant, seconde après seconde, la réponse émotionnelle". "Business As Usual" peut-être, mais "Business Emotionnal" avant tout. Il ne s'agit bien sûr que d'une toute petite partie des applications possibles de l'informatique émotionnelle. Comme tout outil numérique elle est également porteuse de gigantesques promesses positives dans le domaine médical, dans celui des services à la personne, etc. 

Naturellement certaines émotions, ou plus exactement certains états émotionnels sont beaucoup plus difficiles à détecter que d'autres. Ainsi, dans la "roue des émotions" de Robert Plutchik, on peut supposer qu'il est relativement aisé de détecter les émotions comme la peur, le dégoût, la joie ou la tristesse, mais d'autres "nuances" émotionnelles sont plus délicates à repérer, à moins, et c'est précisément l'enjeu de telles bases de données, à moins de disposer en plus de ces dernières, d'autres stratégies de mesure et de quantification (comme dans l'exemple du brevet Apple dont je parlais plus haut).

 

Rencontre émotions du 3ème type ou 3ème âge des machines ?

En 2014, deux enseignants du MIT publiaient "Le deuxième âge des machines", ouvrage chroniqué comme suit par Xavier De La Porte (je souligne) :

"Le premier âge, c’est celui où la machine remplace la puissance musculaire de l’homme, où cette puissance augmente à chaque évolution, mais où l’homme est toujours nécessaire pour prendre les décisions. Et même, plus la machine évolue, plus la présence de l’homme est nécessaire pour la contrôler. Le premier âge, c’est donc celui d’une complémentarité entre l’homme et la machine.

Le deuxième âge est très différent : on automatise de plus en plus de tâches cognitives et on délègue à la machine les systèmes de contrôle qui décident à quoi la puissance va servir. Et dans bien des cas, des machines intelligentes prennent de meilleures décisions que les humains. Le deuxième âge, ce n’est donc plus celui de la complémentarité homme-machine, mais celui d’une substitution. Et ce qui rend possible ce phénomène, ce sont trois caractéristiques majeures des technologies contemporaines : elles sont numériques, combinatoires et exponentielles."

L'arrivée de l'informatique affective et des bases de données émotionnelles constitue peut-être la préfiguration d'un 3ème âge des machines, dans lequel il ne serait plus question de complémentarité ou de substitution mais d'une forme inédite de dépendance, et donc de domination émotionnelle. 

Données "émotionnelles" ?

Permettez-moi une réflexion purement sémantique. L'expression la plus utilisée dans le clip de la société Affectiva est "emotionnal data". Des "données émotionnelles". Le marketing et la publicité se sont fait une spécialité du travestissement des mots au service d'un travestissement du réel. Tant qu'il y aura des "banques de données" (Data Bank) le secret des affaires sera préservé. Pour désigner l'industrie lourde du stockage des données on nous a ainsi gratifié de l'expression éthérée "Cloud Computing", "informatique en nuage". Puis on a inventé le "Big Data", non pas tant pour quantifier l'immensité réelle des données traitées ou disponibles, mais pour déréaliser l'emprise que ces données ont sur notre monde et sur nos sociabilités : elle sont trop "grosses", trop "Big" pour être comprises, pour que d'autres que les GAFAM puissent être en capacité de les traiter. Une manière d'entretenir cet imaginaire numéraire du numérique. Puis vint le "Deep Learning" : aux machines l'apprentissage "profond" et aux Hommes l'apprentissage de surface. Et voici donc maintenant les données "émotionnelles" et l'informatique "affective". Nouvelle manière d'inscrire et d'imposer à chacun d'entre nous que les données sont "au centre" ; Data-center. Data-centrisme. <Mise à jour dans la foulée> A peine ce billet publié, voilà que je découvre carrément l'informatique céleste. </Mise à jour>

Mais les données n'ont pas d'émotion. Rien n'est plus dépourvu d'affect qu'une "donnée". Les données ne sont pas "émotionnelles". Les ordinateurs, les smartphones, l'informatique, aucun de ces trois là n'est "affectif". Les algorithmes ne sont pas racistes. Les intelligences artificielles ne sont pas fascistes. Et les données n'ont pas d'émotion. Et n'en auront jamais. Bien avant que Frédéric Kaplan ne s'y attèle, c'est Paul Valéry qui le premier avait parfaitement défini  le capitalisme linguistique. Il l'avait fait comme seul un poète peut le faire. En 1938 dans Regards sur le monde actuel, on trouve dans le texte "Fluctuations sur la liberté", ce passage, à propos du mot "liberté" :   

"c’est un de ces détestables mots qui ont plus de valeur que de sens ; qui chantent plus qu’ils ne parlent ; qui demandent plus qu’ils ne répondent ; de ces mots qui ont fait tous les métiers, et desquels la mémoire est barbouillée de Théologie, de Métaphysique, de Morale et de Politique ; mots très bons pour la controverse, la dialectique, l’éloquence ; aussi propres aux analyses illusoires et aux subtilités infinies qu’aux fins de phrases qui déchaînent le tonnerre."

"Donnée" est également l'un de ces détestables mots. 

Moralité ?

Affectiva nous promet un monde dans lequel, bientôt :

"nos terminaux numériques ne nous demanderons pas seulement pourquoi nous sommes tristes, mais nous suggéreront aussi des moyens de gérer nos humeurs." 

L'informatique affective n'a pas pour objet de comprendre nos émotions. La compréhension de nos émotions n'est qu'un moyen au service d'un objectif premier qui consiste à nous proposer des réponses émotionnelles pré-construites. La réponse avant la question, une fois de plus. 

Il y a une phrase qui m'a toujours beaucoup frappé et accompagné, celle de l'informaticien Apostolos Gerasoulis (le papa du moteur de recherche Ask Jeeves) qui s'interrogeait en regardant défiler les 10 millions de requêtes quotidiennes d'Ask Jeeves :

"Je me dis parfois que je peux sentir les sentiments du monde, ce qui peut aussi être un fardeau. Qu'arrivera-t-il si nous répondons mal à des requêtes comme "amour" ou "ouragan" ?"

Aujourd'hui, quotidiennement, inlassablement, nous sommes confrontés aux résultats de la question que se posait Apostolos Gerasoulis. Nous obtenons en permanence de mauvaises réponses, souvenez-vous par exemple de ce qu'il se passe lorsque l'on demande à Google si l'Holocauste a vraiment existé.

Alors demain, lorsque moteurs, programmes, terminaux, algorithmes et interfaces sentiront, non plus seulement les "sentiments du monde" mais chacune de nos propres émotions, qu'arrivera-t-il s'ils comprennent et répondent mal à la peur, à la souffrance, à la surprise, à la joie, à la tristesse ? S'ils nous proposent de mauvaises réponses émotionnelles ? 

 

 

Post-scriptum.

Si vous voulez creuser ces questions "émotionnelles" dans le champ des SIC francophones, vous avez notamment les valeureux Camille Alloing et Julien Pierre qui font considérablement avancer le schmilblick. Voir notamment leur article "Questionner le digital labor par le prisme des émotions : le capitalisme affectif comme métadispositif ?" et se référer à leurs blogs respectifs (Camille Alloing et Julien Pierre). En plus ils renouvellent totalement le genre (et le niveau) de l'illustration d'articles scientifiques 😉