La voiture autonome : pourquoi nous avons besoin d’une #MoralTech.

Le sujet des voitures "autonomes" me fascine depuis longtemps car il cristallise, de mon point de vue, l'ensemble des problématiques du siècle numérique qui s'ouvre :

• pregnance de la question algorithmique dans la prise de décisions "vitales" (le macabre dilemme du Tramway)
• question des interfaces et des IHM (conduite vocale)
• redevabilité algorithmique (jusqu'où et comment faire confiance à un algorithme ?)
• question de la sécurité (et du piratage possible)
• question de la responsabilité (assurances) et de la surveillance liée
• question des données et de la confidentialité
• question de la jouissance d'un bien matériel (les voitures autonomes fonctionneront comme un "service" qui déclenchera mécaniquement la baisse de la "possession" de voitures)
• question de l'impact sur le marché de l'emploi (taxis bien sûr mais également nos amis les routiers)

En préalable à la lecture de ce billet, vous pouvez donc relire les suivants dans lesquels ces questions sont largement évoquées :

• Le jaguar et le bus scolaire (Avril 2014)
• Des algorithmes au volant sur l'autoroute des vacances (Août 2014)
• La voiture qui dit non (Juillet 2015)
• et ma présentation lors de la Nantes Digital Week de 2014 : "Vers une éthique des interactions." (notamment les diapos 13 à 16)

Pour être tout à fait clair, rappelons qu'il existe 5 niveaux d'autonomie numérotés de 0 à 4 et définis par le ministère des transports américain :

• niveau 0 : pas d'autonomie.
• niveau 1 : assistance partielle pour certaines action de conduite (aide pour se garer par exemple, mais aussi régulateurs de vitesse, etc.)
• niveau 2 : le système automatique peut prendre en charge certaines tâches de conduite, tout en restant sous la supervision totale du conducteur (donc le conducteur continue de regarder la route et décide des actions de conduite). On est ici dans la situation du moniteur d'auto-école assis à côté du padawan apprenti.
• Niveau 3 : un système automatique peut, dans certains cas, assumer une partie des tâches de conduite et de la surveillance de l'environnement, mais l'opérateur humain doit être prêt à reprendre le contrôle quand le système le demande ou le nécessite.
• Niveau 4 : le système automatique peut assurer l'ensemble des tâches de conduite qu'un conducteur humain est en capacité d'accomplir.

Nous avons dès aujourd'hui l'habitude d'évoluer au niveau 1. Un certain nombre de véhicules (Tesla notamment) en sont au niveau 2 avec des fonctionnalités de "pilotage automatique" (sur lesquelles nous reviendrons largement dans la suite de ce billet). Les Google Car déployées à titre encore expérimental sont, elles, au niveau 4.

Et quand tout le monde en sera au niveau 4, ça donnera à peu près ça.

Depuis quelques temps, les annonces s'enchaînent.

Début Septembre, en association avec Volvo, Uber a lancé à Pittsburgh une première flotte de voitures autonomes en phase de test (2 personnes sont présentes à l'avant en cas de souci et pour prendre des notes sur les difficultés rencontrées). Le même Uber se déclare prêt à acheter la totalité de la future flotte produite par Tesla "à condition qu'elle ne nécessite plus aucun conducteur". La Google Car a franchi le cap de 2 millions de miles parcourus (= plus de 3 200 000 km). Depuis cet été, 25 nouveaux modèles de la Google Car sillonnent les rues de Californie, on parle ici de modèles sans chauffeur, sans pédale d'accélérateur et sans volant. Une fausse ville de 4 km2 a été crée dans le Michigan par plusieurs constructeurs associés à l'université du Michigan pour des tests "grandeur nature". Volvo annonce des véhicules semi-autonomes à Londres dès 2017, et vise des véhicules entièrement autonomes en 2020. Renault annonce de son côté "l'introduction de fonctions autonomes" dans sa flotte. Pour une vue plus globale des autres constructeurs, je vous renvoie vers cet article de Numérama daté de Mars 2016.

A Paris et dans d'autres grandes capitales européennes se sont des projets de minibus autonomes qui sont annoncés à l'horizon 2020 : limités à une quinzaine de personnes et à 45 km/h, ils auraient pour vocation de cibler des transports "de niche" (navettes entre gares ou aéroports par exemple).

Et à côté des voitures, on réfléchit également très sérieusement aux camions autonomes (Driverless Trucks) avec des enjeux économiques qui pourraient précipiter la chose : un transport de marchandise en camion de Los Angeles à New-York coûte actuellement 4500 $ dont 75% liés au coût du travail (humain). Ce sont ici des millions d'emplois qui sont en jeu … et le chiffre d'affaire d'un secteur (le transport routier) qui se chiffre en milliards. 

Enfin, la question dela voiture autonome ne se limite naturellement pas à l'Europe et aux Etats-Unis : en Asie également, du côté de Singapour, des taxis autonomes sont déjà en circulation.

Côté législatif.

L'agence régulatrice fédérale américaine en matière de transport (National Highway Traffic Safety Administration – NHTSA) a donné un feu vert en deux temps : le 4 février 2016 elle indiquait que "Dans le contexte du véhicule motorisé décrit par Google, la NHTSA considérera que le terme ‘conducteur’ fait référence au système de conduite autonome, et non à un des occupants du véhicule" : un algorithme obtenait ainsi pour la 1ère fois son permis de conduire. Sept mois plus tard, le 20 septembre 2016, la même NHTSA donnait cette fois son feu vert à la circulation des voitures autonomes sur tout le territoire des Etats-Unis. Un calendrier qui semble un peu trop optimiste pour certains constructeurs, lesquels constructeurs ne sont justement pas précisément en avance sur l'autonomie, et dont on peut donc soupçonner qu'il s'agit autant d'une crainte légitime sur d'éventuelles précipitations génératrices de risques que d'un contre-lobbying sur un marché où Google, Tesla et quelques autres pressent au contraire pour aller très très vite. Google, Ford, Volvo ainsi que Uber et Lyft sont par ailleurs constitués en lobby afin de continuer de faire monter la pression de la libéralisation du marché sur le gouvernement américain, lobby baptisé "Self-Driving Coalition for Safer Streets" et dirigé par David Strickland, qui est bien sûr – c'est plus pratique – un ancien haut directeur de l’agence américaine NHTSA dont je vous parlais plus haut #CQFD.

En France, on parle de "véhicules à délégation de conduite" ou même de VDPTC comprenez "Véhicules à délégation partielle ou totale de conduite" (sic) et le gouvernement a, par une ordonnance d'Août 2016 officiellement donné son feu vert à l'expérimentation de véhicules autonomes, heu pardon, de véhicules à délégation de conduite. C'est également le cas en Espagne, en Allemagne ou en Grande-Bretagne.

En Allemagne, le ministre des transports plaide pour que des "boites noires" soient installées dans toutes les voitures autonomes, et que ces boites noires s'activent automatiquement dès que la conduite se fera en mode autonome, afin de pouvoir déterminer les responsabilités en cas d'accident.

Côté "on n'arrête pas le progrès".

Des ingénieurs réfléchissent aux moindres détails, dont la sonorisation du coup de klaxon pour être capable d'interpréter ceux qui sont "amicaux" de ceux qui "signalent un danger". Google a aussi déposé un brevet pour des hauts-parleurs capables de hurler des messages aux piétons qui seraient tentés de traverser au mauvais endroit ou au mauvais moment, espérons juste que ce ne sera pas Tay, l'IA de Microsoft qui sera aux commandes vocales de l'engin 😉

Plus sérieusement, aucune révolution technologique n'allant sans son lot de rachats et de transferts (de technologies), Uber a racheté une entreprise montée par un ex-responsable du projet de la Google Car, entreprise spécialisée dans des kits "Lidar", c'est à dire de la mesure de distance laser (pour évaluer les distances, et donc les obstacles, et donc améliorer la navigabilité des voitures ainsi équipées d'un équivalent du sonar des dauphins). Google a déposé un brevet pour que ses voitures puissent se garer ou s'écarter en cas de détection d'un véhicule prioritaire (pompiers, ambulance, etc.). Le même Google annonce également être parvenu à interpréter les gestes des cyclistes pour que la voiture autonome puisse – par exemple – s'adapter à leur intention de tourner à gauche ou à droite et éviter les collisions (l'histoire ne dit pas si elles reconnaîtront également le "merci avec les pieds des motards" et pourront leur adresser un coup de klaxon reconnaissant et complice …). Et Google – encore – communiquait récemment sur un capot adhésif permettant de scotcher sur icelui les piétons en cas de choc, pour leur éviter d'être projetés par la violence de l'impact. Quand je vous disais qu'on n'arrêtait pas le progrès …

La question de la détection des piétons est un axe de recherche clé du côté des voitures autonomes : il s'agit en effet de la catégorie la plus "imprévisible" et donc la plus difficilement détectable, mais aussi de celle la plus exposée : on imagine en effet l'impact en termes d'image qu'aurait la collision entre une voiture autonome et un piéton.

Côté sécurité / surveillance.

A l'échelle de la flotte de voitures déjà largement connectées sinon entièrement autonomes, une seule attaque informatique est capable de toucher plusieurs centaines de millions de véhicules. Après que des spécialistes en sécurité informatique ont montré qu'il était possible de prendre le contrôle de véhicules Chrysler équipés du système Uconnect, Fiat-Chrysler embauche des hackers pour l'aider à sécuriser sa flotte.

Une voiture connectée est une vraie mine de données : navigation, comportement, GPS, informations de conduite, sans parler des multiples systèmes applicatifs embarqués et de la liaison avec les autres dispositifs connectés courants que nous utilisons (smartphones, tablettes …). Et la plupart de ces données sont donc stockées dans des "boites noires". Si le principe des "boites noires" n'est pas nouveau (on en a hélas l'habitude lors des crashs dans l'aviation), un changement radical s'opère à l'échelle des voitures connectés : les données de ces boites noires sont en effet calculées et mesurées en temps réel, et elles sont la plupart du temps "stockées" non pas "dans la boite noire de la voiture" mais "dans le cloud". Ainsi le constructeur mais aussi … l'assureur, disposent d'un accès complet à ces données, vitales bien sûr en cas d'accident, mais également hautement stratégiques pour moduler – par exemple – des primes ou des polices d'assurance : votre constructeur auto saura si vous mentez, la police aussi … et votre assureur aussi. La loi prévoit que policiers et gendarmes pourront avoir accès aux données numériques ainsi embarquées, un accès qui mériterait, a minima, d'être plus clairement encadré pour ne pas basculer dans l'arbitraire le plus total. Pour le dire différemment, toutes les procédures classiques liées à des contrôles d'infractions (vitesse par exemple) changent complètement de logique et d'échelle en plaçant le conducteur sous surveillance totale et permanente.

Le coup de la panne.

Que se passe-t-il en cas de panne (du système de conduite autonome) dans des véhicules autonomes de niveau 4, dans lesquels le conducteur sera donc occupé à faire autre chose (regarder un film par exemple) ? Combien de temps lui faudra-t-il pour se rendre compte de la panne et reprendre le contrôle (s'il le peut techniquement) ? C'est ce genre de questions cruciales (et fascinantes) que l'on se pose dans les communications proposées au Symposium IEEE sur les véhicules intelligents.

Bref, il va encore falloir améliorer plein de choses. Petites et grandes. Un article de LiveScience dresse une liste assez claire des 5 problèmes qu'il va falloir résoudre à l'échelle des voitures autonomes :

1. de meilleurs logiciels (sécurité)
2. de meilleures cartes (GPS)
3. de meilleurs capteurs ("sensors") pour détecter des situations dangereuses
4. une meilleure communication avec l'ensemble des autres véhicules autonomes en circulation (là on parle d'interopérabilité, et mon petit doigt me dit que ça va être assez … compliqué …)
5. une éthique de l'automatisation (le classique dilemme du Tramway) pour faire face à des situations nécessitant un jugement éthique (choisir de sauver des vies ou de sacrifier la sienne par exemple). Nous y reviendrons.

Côté prospective.

Conduite interdite. Pour Bill Gates, nous allons droit vers une époque ou certaines villes interdiront carrément aux conducteurs de prendre le volant. Et il n'est pas le seul : Elon Musk annonce aussi que conduire une voiture sera illégal en 2030. Bon il est vrai qu'il y a plutôt intérêt 😉 Ceci étant la question de l'accidentologie (causée par la conduite humaine) est une vraie question, qui ne doit pas faire oublier que, pour l'instant, l'idée que les voitures entièrement autonomes puissent y remédier totalement est d'abord et avant tout un plan marketing bien huilé.

Possession interdite. Le CEO d'Uber annonce de son côté que dans 10 ans plus personne ne possèdera de voiture, préférant se tourner vers des services "à la demande".

Surveillance autorisée. Même Edward Snowden s'enthousiasmant pour les voitures autonomes mais oubliant un peu les immenses questions qu'elles posent en termes de surveillance, se fait prendre la main dans le pot du tweet parti trop vite.

Le site Recode a publié de son côté une Timeline prospective qui semble assez raisonnable et dans laquelle on peut lire que c'est à l'horizon 2050 que la conversion de l'industrie sera totale (avec l'impact d'une crise annoncée sur le marché de l'automobile due notamment aux nouveaux entrants) et que les flottes sortant des usines (et circulant sur nos routes) seront 100% autonomes. 2050 c'est pas tout à fait demain, mais c'est pas loin …

Côté accidentologie justement.

Donc après plusieurs millions de kilomètres parcourus (à 45km heure la plupart du temps et dans des environnements relativement protégés pour l'essentiel desdits kilomètres, et avec une flotte très réduite qui n'a rien de comparable avec le nombre de véhicules en circulation), je disais, après plusieurs millions de kilomètres parcourus par ces voitures autonomes, dont notamment la Google Car, on nous explique, et on a raison, qu'aucun accident n'est à signaler. Tout au plus un léger accrochage. Et on peut donc dérouler la belle histoire de la voiture autonome comme remède à l'accidentologie routière : 

"Dans le monde, environ 1,25 millions de personnes meurent chaque année dans des accidents de voiture. Près de 95% de ces accidents sont causés par une erreur humaine. Donc en automatisant la conduite on pourrait sauver un million de vies par an." (Source)

Et on a raison de le faire, mais on a tort d'oublier le contenu de la parenthèse précédente.

Jusqu'au premier accrochage. Qui pour la Google Car eut lieu le 1er Mars 2016 et fut heureusement sans gravité mais jeta un léger froid sur les ambitions de Google.

Jusqu'au 1er accident mortel. Qui eut lieu début Juillet 2016 à bord d'une Tesla Model S dont le mode Autopilot était activé. Une remorque de camion non détectée par les capteurs de la voiture est venue percuter le parebrise :

"Ce que nous savons c’est que le véhicule était sur une autoroute séparée à double sens avec Autopilot engagé quand un semi-remorque a roulé sur l’autoroute perpendiculairement à la Model S. Ni l’Autopilot ni le conducteur n’ont remarqué le côté blanc de la remorque sur fond d’un ciel très lumineux, donc les freins n’ont pas été enclenchés", décrit Telsa.

La Tesla Model S se situe entre le niveau 2 et le niveau 3, et Tesla a rappelé que "l'intelligence artificielle" du véhicule "est un mode qu’il faut activer et qui exige encore que le conducteur reste les mains sur le volant pour parer à tout événement." Au-delà de cette mort tragique, il s'agit du premier cas d'accident dans laquelle un automate de conduite est reconnu comme responsable (aussi bien par Tesla que par les autorités judiciaires et administratives). Et l'enquête qui suivit ne donna rien de probant à ma connaissance, étant donné que le lobbying et les enjeux financiers sont colossaux, et que, surtout, en termes d'assurance, Tesla avait pris la précaution de préciser qu'il fallait que le conducteur reste les mains sur le volant, ce qui – c'est l'objet de l'enquête – semble n'avoir pas été le cas. Reste que pour la première fois dans l'histoire, un automate de conduite est responsable – mais pas coupable – de la mort d'un homme. Les résultats définitifs de l'enquête ne devraient pas être connus avant plusieurs mois.

Depuis cette affaire, d'autres accidents, heureusement non-mortels, sont signalés, toujours sur la Tesla Model S en mode Autopilot. Pour lesquels il faudra s'en remettre à l'analyse des boites noires, à l'image des crash d'avions qui peuplaient notre jeunesse et pour lesquels aucune enquête n'était possible sans lesdites boîtes noires, la génération future devra s'habituer à ces nouvelles boîtes noires. Trois accidents en moins d'un mois pour Tesla, et forcément des questions à se poser …

Naturellement le grand récit technologique des voitures autonomes ne fait pas exception à la règle qui veut qu'une bonne nouvelle vienne systématiquement contrebalancer les mauvaises. On apprenait ainsi, pile un mois plus tard après ce 1er accident mortel, que ce même modèle de véhicule avait permis de sauver la vie d'un homme victime d'une embolie pulmonaire et qui avait fait le choix de laisser "l'autopilot" le conduire à proximité d'un hôpital, 20 miles plus loin.

Des voitures autonomes aux voitures hétéronomes.

La voiture "autonome" l'est littéralement : elle se régit ("auto") par ses propres lois ("nomos"). Il serait aujourd'hui plus adapté de voitures "hétéronomes" tant les niveaux juridiques mobilisés sont complexes et interdépendants (à l'échelle des états, des individus, des constructeurs, bref, de la chaîne de responsabilités).

Des voitures sans conducteur mais plus humaines.

L'une des grandes questions quasi-philosphiques sur laquelle planchent tous les ingénieurs desdits véhicules plus ou moins autonomes, est de savoir si, en même temps que l'on déshumanise la conduite en la rationalisant, il ne faut pas également "humaniser" les algorithmes qui conduiront ces voitures pour les rendre capables de réagir face à l'imprévisible, à l'indétectable. Chris Urmson, en charge du Google Car Project déclarait ainsi au dernier SXSW : "nos voitures ne sont pas encore assez humaines". Et c'est ici que les technologies de Deep Learning entrent en scène, précisément pour être capable d'apprendre comment réagir lors de "scénarios fous". D'autant que les gens sont taquins et ne peuvent pas s'empêcher de se mettre en slip et de se jeter sur le capot desdites Google Car lorsqu'elles passent à proximité 😉 Du Deep Learning au Deep Driving, on nous annonce qu'il n'y a qu'un pas. Mais c'est un pas de géant. Aux conséquences gigantesques.

User or Driver Experience ?

Que serons-nous quand nous serons au volant d'une voiture dont le pilotage automatique aura été activé ? Utilisateur ou conducteur ? Pour en avoir une petite idée, Numerama avait eu l'opportunité de tenter l'expérience. Le résultat fut le suivant :

"Après quelques minutes sur l’autoroute à jouer avec la puissance et les gadgets de la bête, mon copilote m’a demandé de me mettre sur la voie centrale. « Ramenez deux fois le commodo du régulateur de vitesse vers vous, me dit-il. Voilà, maintenant c’est la voiture qui conduit ». Et c’était tout. On sent que le volant se resserre, qu’il ne nous appartient plus. Il ne tourne pas, mais la voiture tourne toute seule. Elle suit le chemin renseigné par ses capteurs et reste parfaitement dans sa voie, à distance de sécurité de la voiture qui la précède.

La seule contrainte, c’est de garder les mains sur le volant. Je les laisse tout de même reposer au bas du volant pour sentir la voiture rouler toute seule à 110 km/h. La sensation est déstabilisante, on se demande perpétuellement si on est en contrôle, si la Model S va bien réagir. Car le plus dur, au fond, c’est d’admettre que tout va bien se passer. Mon copilote m’assure que l’adaptation est progressive mais qu’on s’y fait très vite. Et pourtant, ce n’est pas simple : la voiture, laissée à elle-même, fait tout mieux que nous. Ce camion, par exemple, je ne l’aurais clairement pas serré autant, habitué à conduire sur les autoroutes françaises où les poids lourds ne sont pas réputés pour leur savoir-vivre. Pour elle, il n’est qu’un objet comme un autre qu’elle doit laisser à distance de sécurité raisonnable pour pouvoir réagir en cas de problème. Ce qu’elle fait, à raison."

La sensation éprouvée est contre-intuitive puisqu'elle rationalise à l'extrême le processus de conduite, elle est même de nature schizophrénique puisqu'elle entretient une injonction paradoxale formulable comme suit :

"Faites confiance à la voiture, elle conduit mieux que vous. Mais gardez les mains sur le volant en cas de problème."

"Gardez les mains sur le volant". Le dispositif "Hands-on Feature" qui n'avait pas forcément été mis au point pour cela mais qui va surtout permettre d'éviter que les gens ne profitent pas du pilotage automatique pour se raser ou se préparer un petit déj.

Nous sommes en plein dans ce que je décrivais comme un phénomène de "Schizo-haptie", une interface du faux-mouvement doublée d'une schizophrénie du geste-contrôle. D'autant qu'à l'image d'une forme là encore paradoxale de réalité augmentée, nous sommes assis dans le dispositif alors que nous avions jusqu'ici l'habitude de tenir à bout de bras et d'embrasser du regard les anciens dispositifs connectés (qu'il s'agisse d'ordinateurs ou de smartphones).

Expérience troublante donc, et qui se trouvera encore renforcée lorsque, comme c'est déjà le cas avec "Olli", nous discuterons avec un programme d'intelligence artificielle (Watson d'IBM en l'occurence) pour l'interroger sur ses propres choix de conduite. L'article de Wired qui relaie cette expérimentation livre quelques possibilités de dialogue assez savoureuses. Nous pourrions par exemple demander à Watson, qui ferait l'interface entre nous et la fonction de pilotage automatique :

"Pourquoi nous arrêtons-nous ?"

Ou bien encore :

"Ces bouchons vont-ils me mettre en retard ?"

Et Watson / Olli pourrait nous répondre :

"Parce que je dois éviter d'écraser des piétons".

Ou :

"Oui nous serons en retard de 10 minutes, voulez-vous que j'envoie un mail aux autres personnes présentes ?"

Olli / Watson pourrait également nous interpeller directement :

"Hey, le temps se gâte et je n'ai pas trop confiance dans la manière dont mes capteurs vont être capables de détecter les couloirs de circulation, pourrais-tu reprendre le volant quelques minutes ?"

Moral Machines ?

Lorsque j'ai commencé à m'intéresser à ces questions, il y a plus de deux ans, il n'existait pas énormément de travaux de recherche concertés sur le sujet, de "laboratoire" spécialisé dans ces questions d'éthique appliquée aux algorithmes, à l'exception notable – si vous en connaissez d'autres les commentaires sont ouverts 🙂 – du "Center For The Study Of Existential Risk" de l'université de Cambridge qui s'interroge sur les risques d'une extinction massive de l'humanité suite à un risque technologique, notamment celui des intelligences artificielles.

Le robot, le mégalo et le jeu de Go.

En moins de deux ans, notamment suite à des prises de position très médiatiques de Hawking, Bill Gates et quelques autres, mais aussi à la vidéo d'un robot humanoïde maltraité et à une victoire au jeu de Go, la question du "danger" de l'intelligence artificielle et autres technologies de Deep Learning occupe désormais le devant de la scène médiatique et commence à s'installer dans le champ universitaire. Des travaux et des chercheurs jusqu'ici épars et isolés dans leurs disciplines commencent à se regrouper outre-atlantique pour mettre en place un corpus permettant de traiter cette question essentielle de l'éthique algorithmique. L'une des questions clefs est bien sûr celle du financement pour ces travaux de recherche.

Côté financements privés, c'est la corne d'abondance alimentée – notamment – par les investissements massifs d'Elon Musk dans son projet OpenAI. A peine remis du choc de l'opinion qui contraignit Google à abandonner sa filiale pourtant prometteuse Boston Dynamics après l'histoire du robot humanoïde maltraité, Google, Amazon, Facebook, Microsoft et IBM lancèrent début septembre 2016 un partenariat sur les questions éthiques soulevées par leurs programmes d'intelligence artificielle.

Mais on trouve également, côté "public", d'autres projets, encore embryonnaires mais passionnants, comme celui réunissant des chercheurs, du MIT, de la Toulouse School Of Economics, et quelques autres qui montent le site Moral Machines, une initiative qui, partant du dilemme du Tramway, se veut, je cite :

"a platform for building a crowd-sourced picture of human opinion on how machines should make decisions when faced with moral dilemmas, and crowd-sourcing assembly and discussion of potential scenarios of moral consequence."

L'article scientifique qui sert de base – et donne les premiers résultats – de leur projet est disponible sur arXiv : "The social dilemma of autonomous vehicles".

Du côté de Haverford, on s'interroge sur l'équité ("fairness") des mêmes algorithmes. On commence à voir apparaître des colloques sur le thème "Fairness, Accountability, and Transparency in Machine Learning".

Plus globalement, un nombre hélas encore trop minoritaire de chercheurs, y compris en intelligence artificielle, tirent la sonnette d'alarme sur le fait que les gigantesques progrès de l'IA ces dernières années ne s'accompagnent pas – ou à la marge – de recherches sur l'impact de ces technologies dans le champ social, culturel et politique alors que tout le monde sait déjà que cet impact sera considérable : "There's a Blind Spot in AI Research" écrivent-ils dans Nature.

Le dilemme du Tramway (source)

Et si nous faisons fausse route ?

Le titre est facile mais l'idée est passionnante. Le secteur dans lequel le pilotage automatique est le plus développé et étudié est celui de l'aviation. Un article du New-Yorker de début Septembre est allé interroger des chercheurs qui ont étudié l'impact de ces modes de pilotage automatique sur le comportement et les habiletés cognitives des pilotes humains. Et les résultats sont stupéfiants : à l'image de cette étude qui avait démontré que les chauffeurs de taxis londoniens avaient un hippocampe – un élément de la structure du cerveau très impliqué dans le repérage, la navigation et la mémorisation spatiale – plus développé que la moyenne, et que la systématisation du GPS leur faisait perdre les capacités liées (puisqu'ils s'en servaient moins, de leur hippocampe), on s'aperçoit que l'automatisation est à l'origine de l'atrophie d'un certain nombre de capacités / compétences des pilotes (je souligne) : 

"a new study published by Casner and Schooler in Human Factors reveals that automation has also caused some pilots’ skills to atrophy. In the experiment, a group of sixteen pilots, each with approximately eighteen thousand hours of flight time, were asked to fly in a Boeing 747-400 simulator. As the simulated flights progressed, the researchers systematically varied the levels of automation in use. At some point in the flight, they would disable the alert system without advising their subjects and introduce errors into the instrument indicators. Casner and Schooler wanted to see if the pilots would notice, and, if so, what they would do.

Surprisingly, the pilots’ technical skills, notably their ability to scan instruments and operate manual controls, had remained largely intact. These were the skills that pilots and industry experts had been most concerned about losing, but it seemed that flying an airplane was much like riding a bike. The pilots’ ability to make complex cognitive decisions, however—what Casner calls their “manual thinking” skills—had suffered a palpable hit. They were less able to visualize their plane’s position, to decide what navigational step should come next, and to diagnose abnormal situations. “The things you do with your hands are good,” Casner told me. “It’s the things you do with your mind and brain that we really need to practice."

Voilà pourquoi Casner indique au journaliste du New-Yorker que la recherche autour du développement des voitures autonomes fait complètement, et littéralement fausse route :

"Ce que nous faisons actuellement c'est d'utiliser les êtres humains comme des dispositifs de sécurité ou de sauvegarde pour les ordinateurs ou les algorithmes, et c'est complètement insensé. Il serait beaucoup plus judicieux que l'ordinateur nous regarde et nous alerte lorsque nous adoptons une conduite dangereuse ou risquée."

Et le journaliste de poursuivre en filant la métaphore du maître-nageur surveillant de baignade qui ne se contente pas de s'asseoir en attendant d'entendre quelqu'un crier pour intervenir, mais qui exerce sa vigilance grâce à des capacités cognitives entraînées qui lui permettent notamment de détecter certains signes, certains comportements annonciateurs d'une noyade ou d'une personne en difficulté, signes qui seraient invisibles pour quelqu'un qui n'y serait pas entraîné. Mais qui, s'il cesse de les entraîner, feront de lui un très mauvais surveillant de baignade :

"Ideally, he said, automation would adopt a human-centered approach—one that takes seriously our inability to sit and stare by alerting us when we need to be alerted rather than by outright replacing our routines with computerized ones. This kind of shift from passive observation to active monitoring would help to ensure that our minds remain stimulated. Casner likened the desired approach to one taken by good lifeguards. In the absence of a safety net, they must remain aware. “They don’t just sit and wait to see if someone’s screaming,” he said. “They scan the pool, look for certain signs.” While lifeguards are taught all the possible signs of a person who is drowning, pilots don’t receive elaborate training on all the things that can go wrong, precisely because the many things that can go wrong so rarely do. “We need to give pilots more practice at the thinking skills,” Casner said. “Present them with abnormal situations, show them some interesting-looking instrument panels and say, ‘What’s going on?’"

Et de conclure :

"Nous acceptons en général le fait que l'automatisation est une bonne chose, qu'une voiture autonome ou que la livraison de colis par des drones est un progrès (…). Mais l'expérience que nous avons dans le secteur de l'aviation nous apprend que nous devrions être beaucoup plus critiques devant cette acceptation. N'automatisons pas quelque chose juste parce que nous le pouvons. Automatisons-le parce que nous le devons. (“Don’t just automate something because you can, automate it because you should.”)

Moralité ?

A elle seule, comme en témoigne, j'espère, cet article, la voiture autonome est un sujet fascinant et complexe. La principale difficulté du siècle numérique qui s'ouvre est aussi la source de son principal enthousiasme : ce n'est pas à "un" environnement connecté et "autonome" – et qui nécessite d'importantes régulations – que nous aurons à faire mais à une multiplicité synchrone d'environnements connectés, d'interfaces corporelles et vocales en interaction permanentes, dans des réalités toutes et chacune à leur manière différemment "augmentées". C'est pour l'ensemble de ces systèmes, pensés isolément mais également à l'échelle d'une nouvelle écologie cognitive globale qu'il nous faudra définir des normes, des champs d'interopérabilité, des règles politiques et judiciaires, de nouvelles chaînes de responsabilités. C'est pour l'ensemble de ces systèmes qu'il faudra définir ce que peut recouvrir la notion "d'éthique" et de "responsabilité" algorithmique. Et il est vital, vraiment vital, que la recherche publique s'empare de ces questions pour ne pas les laisser aux seuls Google, Tesla, Microsoft ou Amazon. Vital.

Par ailleurs, on sait déjà  – notamment via les derniers travaux de Jennifer Logg – que les gens ont tendance à faire davantage confiance à des algorithmes qu'à des gens pour les orienter dans des prises de décision dès lors qu'il s'agit de prédictions "vérifiables" : choisir un film ou un livre par exemple. Mais lorsqu'il s'agit de prédictions ou de décisions plus "subjectives", le taux de confiance envers les algorithmes baisse très significativement et l'on préfère faire confiance à des humains. A l'échelle des voitures autonomes, comme le signale cet article de la Harvard Business Review, la question sera donc de savoir si les gens ont plutôt une vision de l'expérience de conduite "subjective" ou "objectivable" : les premiers seront très réticents à l'achat d'une voiture autonome, les seconds au contraire n'hésiteront pas à en acheter. Et cette question de la confiance sera, parmi d'autres, déterminante dans ce futur marché. D'autres études démontrent également que les gens ont davantage confiance en un algorithme même imparfait ou biaisé s'ils ont la capacité de le comprendre et donc de le modifier, donc de reprendre la main. Comme le souligne encore cet article de la Harvard Business Review :

"Le sceptiscisme au sujet des véhicules autonomes démontre qu'une bonne technologie ne peut suffire à garantir le succès. L'intelligence artificielle et les les algorithmes "intelligents" doivent être présentés d'une manière qui leur permette de gagner la confiance de leurs utilisateurs humains."

Forget The #FrenchTech and the #CivicTech Bullshit. And work hard on #MoralTech.

J'ai lu l'autre jour un grand entretien dans Wired entre Barack Obama et Joi Ito, et j'ai eu le même sentiment que celui de l'édito de Johan Huffnagel dans Libé. Quoi qu'on puisse en penser, le décalage entre la vision et l'analyse politique d'Obama et celui de l'ensemble de nos représentants politiques (à commencer par le chef de l'état et/ou ses ministres et secrétaires d'état directement concernés par le numérique) est criant et affolant. Voici ce que le président des Etats-Unis raconte à propos des voitures autonomes : 

"When we had lunch a while back, Joi used the example of self-driving cars. The technology is essentially here. We have machines that can make a bunch of quick decisions that could drastically reduce traffic fatalities, drastically improve the efficiency of our transpor­tation grid, and help solve things like carbon emissions that are causing the warming of the planet. But Joi made a very elegant point, which is, what are the values that we’re going to embed in the cars? There are gonna be a bunch of choices that you have to make, the classic problem being: If the car is driving, you can swerve to avoid hitting a pedestrian, but then you might hit a wall and kill yourself. It’s a moral decision, and who’s setting up those rules ?"

Et à la question : "As we start to get into these ethical questions, what is the role of government ?" il répond :

"The way I’ve been thinking about the regulatory structure as AI emerges is that, early in a technology, a thousand flowers should bloom. And the government should add a relatively light touch, investing heavily in research and making sure there’s a conversation between basic research and applied research. As technologies emerge and mature, then figuring out how they get incorporated into existing regulatory structures becomes a tougher problem, and the govern­ment needs to be involved a little bit more. Not always to force the new technology into the square peg that exists but to make sure the regulations reflect a broad base set of values. Otherwise, we may find that it’s disadvantaging certain people or certain groups."

A lire l'entretien d'Obama on mesure à quel point l'ensemble des points soulevés demeurent, en France, des impensés, alors même qu'ils constitueront les problématiques sociétales majeures qui définiront la société du 21ème siècle. Le nez dans le guidon de la FrenchTech et son économie en roue libre, relevant à peine la tête pour se gargariser de Civic Tech, nous sommes en train de passer complètement à côté de l'essentiel : la Moral Tech. Car les machines morales n'existent pas et n'existeront jamais. En tout cas pas avant que l'on n'ait clairement déployé une feuille de route permettant d'établir les règles d'une technologie sinon "morale", à tout le moins capable de disposer de règles déontologiques claires, robustes et transparentes.

Voilà, vous en savez autant que moi sur les voitures autonomes. Et comme sur les internets tout va toujours très vite, sachez que Larry Page est déjà de son côté en train de plancher sur des voitures … volantes 😉