De la responsabilité du scientifique. Et du développeur.

Je voudrais partager avec vous quelques lectures. Et quelques réflexions.

La science comme bien commun.

La première est un article intitulé : "Quand les articles scientifiques ont-ils cessé d'être des communs ?" Des premières lois sur le droit d'auteur ou le copyright en passant par le domaine public, la convention de Berne et le mouvement de l'Open Access dans les sciences, c'est une remarquable mise en perspective de questions plus que jamais fondamentales. Et un formidable et opportun rappel de vérités historiques (je souligne) :

"Et pourtant, alors que le mouvement open access prend de l’ampleur et que l’on parle sérieusement de le consacrer par une loi, la redécouverte de ce passé relativement récent constitue une contribution importante au débat public. Savoir, par exemple, que de 1852 à 1908, la France et la plupart des pays européens mettaient déjà en œuvre, dans leur traités bilatéraux, une politique de “libre accès”, en édictant par défaut une licence assez proche de la licence CC-BY, montre que l’ouverture des publications scientifiques n’est pas une nouvelle lubie née de l’essor du web, mais, bel et bien, une aspiration fondamentale des communautés universitaires et intellectuelles."

Le scientifique comme responsable.

Le second, publié par la revue Alliage, est une lettre de Norbert Wiener (père de la cybernétique) adresse à un chercheur d’une grande société d’aéronautique qui lui avait demandé communication d’un rapport technique sur certains travaux de recherches effectués pendant la guerre. La lettre avait été publiée en 1946 par la revue Atlantic Monthly. Le texte est court, je le reproduis donc en quasi-intégralité en grasseyant les passages qui m'ont frappé. 

"puisque c’est à moi que vous adressez votre demande d’information sur le contrôle des missiles, ma réponse sera déterminée par plusieurs considérations. Dans le passé, la communauté savante s’est fait une règle de fournir toute information scientifique à qui la recherche sérieusement. Mais nous devons aujourd’hui envisager le fait suivant : la politique du gouvernement lui-même, pendant et après la guerre, avec, par exemple, les bombardements d’Hiroshima et de Nagasaki, a mis en évidence que la diffusion de l’information scientifique n’est pas nécessairement innocente et peut entraîner les plus graves conséquences. On ne peut donc éviter de reconsidérer la coutume établie selon laquelle un scientifique partage toute information avec quiconque en fait la demande. L’échange des idées, qui est certes l’une des grandes traditions de la science, doit doit être soumis à certaines limites dès lors que le scientifique devient un arbitre en matière de vie et de mort.
Dans l’intérêt et des scientifiques et du public, cependant, ces limitations devraient être aussi intelligentes que possibles. Pendant la guerre, les mesures prises par nos agences militaires pour restreindre le libre dialogue des scientifiques sur des projets voisins, voire sur un même projet, ont été si loin qu’une telle politique, serait-elle maintenue en temps de paix, conduirait à l’irresponsabilité du scientifique, et, en fin de compte, à la mort de la science. Ces deux conséquences seraient désastreuses pour notre civilisation et constituent un péril immédiat et sérieux à l’égard des citoyens.
Je réalise, certes, que j’agis comme le censeur de mes propres idées, et que cela peut sembler un geste arbitraire ; en tout cas, je n’accepterais aucune censure sans en prendre la responsabilité. L’expérience de ceux qui ont travaillé à la bombe atomique montre que, dans toute recherche de ce type, le scientifique finit par placer une puissance illimitée dans les mains de gens auxquels il est le moins porté à faire confiance. Dans l’état présent de notre civilisation, il est parfaitement clair que la dissémination des informations sur une arme aboutit à la certitude pratique que cette arme sera utilisée. De ce point de vue, les missiles contrôlés représentent le complément, encore imparfait, de la bombe atomique et de la guerre bactériologique.
L’usage effectif des missiles guidés ne peut qu’aboutir au massacre sans discrimination des civils dans les autres pays et ne fournit absolument aucune protection aux civils de ce pays. Je ne peux concevoir aucune situation où de telles armes auraient un autre effet que celui d’étendre à des nations entières la façon de combattre des kamikazes. La possession de ces armes, en encourageant la tragique insolence des militaires, n’aura d’autre conséquence que de nous mettre en péril.
Si donc je ne veux pas participer au bombardement ou à l’empoisonnement de gens sans défense, ce qui est sans nul doute mon souhait, je dois assumer sérieusement ma responsabilité quant au choix de ceux auxquels je communique mes idées scientifiques. Comme il est évident qu’avec suffisamment d’efforts, vous pourrez obtenir cette information, même si elle est actuellement indisponible, je ne peux émettre qu’une protestation de principe en refusant de vous communiquer mon travail. Je me réjouis cependant de savoir qu’il n’est pas facilement accessible, dans la mesure où cela me permet de soulever cette sérieuse question morale. J’entends à l’avenir ne plus publier aucune recherche apte à devenir dangereuse une fois aux mains de militaristes irresponsables."

Publier un jour = publier pour toujours.

La troisième lecture vient du toujours remarquable Pierre Barthélémy, "passeur de science", qui publie sur son blog un billet intitulé : "L'humanité sous-estime-t-elle le risque de sa propre extinction ?" dans lequel il reprend des éléments de l'interview que Nick Bostrom, qui dirige à Oxford l'Institut sur le futur de l'humanité, vient d'accorder à The Atlantic.

"A court terme, dit-il, je pense que plusieurs développements dans les domaines de la biotechnologie et de la biologie synthétique sont assez déconcertants. Nous sommes en train d'acquérir la capacité à créer des agents pathogènes modifiés et les plans de plusieurs organismes pathogènes sont dans le domaine public : vous pouvez télécharger sur Internet la séquence génétique du virus de la variole ou de celui de la grippe espagnole. Jusqu'ici, le citoyen ordinaire n'a que leur représentation graphique sur l'écran de son ordinateur, mais nous développons aussi des machines synthétisant l'ADN de plus en plus performantes, qui peuvent prendre un de ces plans numériques et fabriquer de véritables brins d'ARN ou d'ADN. Bientôt, ces machines seront suffisamment puissantes pour recréer ces virus. Donc, vous avez déjà une sorte de risque prévisible et si, ensuite, vous commencez à modifier ces organismes pathogènes de différentes manières, vous voyez apparaître une nouvelle frontière dangereuse. A plus long terme, je pense que l'intelligence artificielle, une fois qu'elle aura acquis des capacités humaines puis surhumaines, nous fera entrer dans une zone de risque majeur. Il y a aussi différentes sortes de contrôle des populations qui m'inquiètent, des choses comme la surveillance et la manipulation psychologique à l'aide de médicaments."

(…) A chaque fois que nous faisons une de ces découvertes, nous mettons notre main dans une grande urne pleine de balles et nous en tirons une nouvelle balle : jusqu'ici, nous avons sorti des balles blanches et des grises, mais peut-être que la prochaine fois, nous tirerons une balle noire, une découverte synonyme de désastre. Pour le moment, nous n'avons pas de bonne façon de remettre la balle dans l'urne si elle ne nous plaît pas. Une fois que la découverte a été publiée, il n'y a aucun moyen de la "dépublier"."

Publish for Science, Perish for Mankind.

Quatrième lecture chez Pierre Barthélémy encore, "Bienvenue à Gattaca sera-t-il bientôt une réalité ?". Il s'agit cette fois, en lien avec l'impossible "dépublication" qui précède, de s'interroger sur l'opportunité de publier une découverte qui pour la 1ère fois, a joué avec l'ADN d'un futur ovule ou d'un futur spermatozoïde.

"Les résultats de ces travaux n'ont pas encore été publiés… et peut-être ne le seront-ils pas. En effet, dans une tribune parue dans la prestigieuse revue Nature la veille de la révélation de The Independent, cinq chercheurs américains, conscients – ou sachant pertinemment… – que des expériences d'ingénierie génétique de ce genre avaient lieu, enjoignent leurs collègues du monde entier à faire une pause et à réfléchir ensemble aux conséquences de ces recherches."

Si la conjonction de ces 4 lectures m'a frappé …

Si la conjonction de ces 4 lectures m'a frappé, c'est notamment parce que l'on retrouve dans la lettre de Wiener comme dans l'interview de Bostrom comme dans la tribune de ces scientifiques encourageant à "faire une pause", la même notion de "domaine public", la même réflexion autour d'armes et de guerre "bactériologiques", la même schizophrénie entre le nécessaire et définitif partage des connaissances et la même angoisse devant l'impossibilité d'un retour en arrière, d'une "dépublication" de résultats de recherche au potentiel de nuisance extrêmement élevé.

Si la lecture des questions que ces quatre textes soulèvent m'a frappé, outre que je me félicite chaque jour de n'avoir pas à me les poser dans le cadre de mes bien innocentes recherches en sciences humaines et sociales, c'est parce qu'ils permettent de souligner l'importance (et l'urgence) d'un nécessaire rendu public de toutes les formes de sciences (qu'elles soient financées sur fonds public ou privé) en reléguant les arguments "économiques" autour de l'édition (remember le coup des "fossoyeurs") à ce qu'ils sont : des masques ridicules sur des postures pathétiques ne visant qu'au maintien d'une rente qu'aucun "travail" éditorial ne permet plus de justifier et dont le premier et le seul effet est de venir conforter en retour le monopole d'exploitation des prédateurs d'Elsevier (pour l'essentiel).

De la "Science sans conscience …" (refrain connu) au "code sans conscience"

La question, comme le souligne Wiener dans sa lettre, ne peut ni ne doit se régler sur le terrain de l'accessibilité des recherches (qui doit être rapide et définitive), c'est au chercheur et au chercheur seul de se déterminer dans le cadre d'une déontologie que le même Wiener résume comme suit :

"J’entends à l’avenir ne plus publier aucune recherche apte à devenir dangereuse une fois aux mains de militaristes irresponsables."

Des questions qui se posent avec acuité depuis le projet Manhattan, mais qui aujourd'hui ne se posent plus uniquement pour des scientifiques mais aussi pour des développeurs, réécrivant les trois lois de la robotique en remplaçant "un robot" par "le code du développeur", de nouvelles responsabilités morales que rappelle justement Stéphane Bortzmeyer, alors même que l'on dispose aujourd'hui de travaux de recherche permettant à des robots d'appliquer la 3ème loi d'Asimov et que nous commençons à peine à mesurer l'étendue et l'impact sur le réel de la formule de Lawrence Lessig : "Code Is Law".

Première conséquence : la question de l'appropriation, de la circulation et/ou du détournement de travaux de recherches ne se pose plus uniquement à l'échelle de potentiels "militaristes irresponsables" mais à l'échelle de l'ensemble de la société civile, elle ne relève plus uniquement du libre arbitre des "Hommes de science" mais également de celui des "Hommes du code".

Ce qui  m'amène au second point de cet article : le "piratage", ou plus exactement une nouvelle épistémologie paradoxale de l'action de piraterie appliquée – et applicable – au champ scientifique et à l'accessibilité des connaissances.

Commençons par rappeler quelques faits. Et puis après je vous explique 🙂

Piracy Uber Alles.

Vous étiez – peut-être – en vacances, mais le 15 août, venant de lire une info selon laquelle il devenait impossible de changer la batterie du pacemaker d'un patient puisque celle-ci n'était plus "fabriquée",  je publiais un billet sur "les hôpitaux-musées de l'homme réparé". Du pacemaker à l'obsolescence programmée jusqu'au pacemaker "hacké", "piraté", il n'y avait qu'un pas, qui a été franchi. Des hackers viennent en effet de "tuer" à distance un mannequin médical équipé d'un coeur artificiel en éteignant ledit pacemaker.

Récemment c'étaient les voitures autonomes, sans chauffeur, pour lesquelles une autre équipe démontrait la vulnérabilité du système, là encore en piratant le système de commande.

Bien au-delà du seul vol de données (comme dans la récente affaire Ashley Madison), partout se multiplient les phénomènes de hacking, à l'échelle de l'omniprésence des automates et automatismes dans notre environnement (voitures, vêtements, panneaux de signalisation, objets connectés – télés, frigos … – jusqu'à notre corps même désormais la cible ou l'objet de phénomènes qualifiés de bio-hacking, etc.).

Le côté obscur des smart-cities et autres smart-quelque-chose.

Jusqu'ici tout va bien. Car ces hackers sont – pour l'essentiel – de "vrais" hackers, avec ce que cela implique de morale ou d'éthique. Leur intérêt – et leur plaisir – n'est pas de "faire du tort" mais de souligner la vulnérabilité et les failles d'un système. Jusqu'ici tout va bien car ces hackers présentent le résultat de leurs piratages lors de conférences publiques. Jusqu'ici tout va bien car nombre de ces hackers sont immédiatement recrutés par les sociétés productrices des systèmes visés afin qu'ils corrigent eux-mêmes les failles qu'ils avaient détectés. Jusqu'ici tout va bien car ces pirates s'attaquent à des technologies qui relèvent plus de l'exception que de la règle. Jusqu'ici tout va bien car même si nombre de leurs actions sont très discutables, les collectifs de hackers organisés semblent encore défendre des "valeurs" compatibles avec l'exercice de la démocratie (je pense aux Anonymous, au Chaos Computer Club). Jusqu'ici tout va bien mais nul ne peut feindre d'ignorer les dégâts qu'occasionnerait une attaque de "pirates" émanant d'une organisation comme Daesh. Surtout au regard des réflexions signalées au début de ce billet dans les 2 derniers textes cités.

Peeracy or Piracy. Pirater la science ou science du piratage.

J'en reviens maintenant à ce que je baptisais plus haut un peu pompeusement du nom de "nouvelle épistémologie paradoxale de l'action de piraterie appliquée – et applicable – au champ scientifique et à l'accessibilité des connaissances". Et je précise 🙂

Nombre de "sciences" sont aujourd'hui médiées ou essentialisées par l'informatique (qui en est elle-même une – de science) : la question du piratage – informatique – occupe donc une place centrale et déterminante. Or il est assez troublant de remarquer que la figure emblématique de la libre diffusion des connaissances scientifiques, Aaron Swartz, restera d'abord dans l'histoire comme un "hacker" (alors qu'il avait aussi participé à l'élaboration de nombre de sites, de protocoles et d'outils). C'est en effet incontestablement au travers de son Guerilla Open Access Manifesto qu'il aura marqué l"histoire" par la portée symbolique de son action de piratage en mettant le doigt sur l'insoutenable paradoxe d'une connaissance publique sous les verrous de quelques éditeurs se préoccupant autant du bien commun et de l'accès aux connaissances que Pascal Obispo de l'avenir de la musique sérielle. Bref, le "piratage" de la connaissance qui devient la condition – hélas – presque nécessaire de son rendu public.

D'un point de vue épistémologique, nous sommes dans une époque assez troublante dont le hacking est la clé de voûte à la fois pour l'accès aux connaissances, pour leur inscription dans le champ public, mais aussi pour l'amélioration, la surveillance et l'audit des systèmes techniques : d'un côté des chercheurs qui aux seules fins de rendre la connaissance accessible sont contraints de mener des actions de "piraterie" ou de s'inscrire dans l'illégalité pour accéder aux connaissances qu'ils ont eux-mêmes produits, et de l'autre des "hackers" qui pour de bonnes ou de mauvaises causes placent l'action de piratage comme l'un des pivots essentiels de l'avancée de la recherche.

Revue "Le Pirate". France. 1830. Source.

Le clair-obscur des systèmes techniques.

Les problématiques scientifiques qui cristallisent aujourd'hui toutes les craintes et l'essentiel de nos fantasmes technicistes sont au nombre de deux :

• la première est celle des outils de manipulation du génome (cf les textes déjà évoqués : "L'humanité sous-estime-t-elle le risque de sa propre extinction ?" et "Bienvenue à Gattaca sera-t-il bientôt une réalité ?"). Il s'agit de la partie "Nano-Bio" technologies des NBIC.
• la seconde est celle de l'essor de l'IA au travers – notamment – des technologies d'apprentissage profond (Deep Learning). On se souviendra ici des tribunes alarmistes de Bill Gates, Elon Musk, Stephen Hawking et quelques autres. Il s'agit cette fois de la partie "Info-Cogno" technologies des NBIC.

Dans les 2 cas, les perspectives de "piratage" et de "rendu public" sont considérables. Considérablement importantes, considérablement complexes, considérablement inquiétantes, considérablement urgentes.

Pour les "Nano-Bio" technologies, nous ne disposons que de très peu "d'ouverture". Les sociétés et les chercheurs qui travaillent sur ces questions (avec des enjeux financiers et éthiques considérables) le font pour l'essentiel d'entre eux dans un relatif "secret". Dès lors, les risques de piratage (avec des intentions malveillantes) sont particulièrement pregnants. Il existe en effet une corrélation nette entre l'opacité qui pèse sur la libre diffusion des résultats de la recherche et le risque d'instrumentaliser, de "hacker" ces résultats et ces technologies à des fins criminelles, et ce indépendamment du propre potentiel de nuisance de certaines technologies (qu'il serait idiot de nier).

Pour les "Info-Cogno" technologies, la situation est assez différente. Après Google, Facebook et Baidu, c'est au tour de Microsoft "d'ouvrir", c'est à dire de rendre accessible le code de son outil d'intelligence artificielle. <incise> Il est d'ailleurs assez troublant de corréler cette ouverture à l'opacité algorithmique qui régente les moteurs de recherche et autres réseaux sociaux, comme il peut être tentant d'y voir une preuve supplémentaire de la nécessité possible de l'ouverture d'une partie de ce code algorithmique. </incise> Naturellement l'aspect "communication concurrentielle" entre pour une large part dans cette annonce. Naturellement cette "ouverture" ne concerne que la poignée de personnes capable d'en comprendre les arcanes. Mais il s'agit quand même de beaucoup plus que cela. Car sans pour autant sombrer dans une vision fantasmée d'une prochaine IA toute puissante et hostile capable d'anéantir l'humanité, il est aujourd'hui difficile de nier que l'IA et les technologies de "deep learning" vont jouer – et jouent déjà – un rôle essentiel dans la conduite du monde au travers des programmes et applications qu'elles permettent de mettre en oeuvre, de la finance internationale à nos interactions les plus triviales avec l'information. A ce titre il faut saluer et soutenir cette "ouverture", ce rendu-public pour ce qu'il est : l'illustration du fragile équilibre entre l'intérêt de ces sociétés privées et l'intérêt public de pouvoir "lire" ces technologies, leurs enjeux, leurs promesses et leurs risques. Mais là encore difficile de nier un effet de corrélation entre "l'ouverture" de ces technologies et la diminution relative de leur potentiel pouvoir de nuisance au travers d'actions de piratage.

Pour rebondir sur une activité toute récente, nous apprenions hier soir que le programme d'IA développé par Google avait pour la première fois réussi à battre un champion (humain) du jeu de Go. Demis Hassabis, fondateur de la société DeepMind à l'origine de ce programme et qui a été rachetée par Google a déclaré (je souligne) :

"Nos systèmes apprennent par eux-mêmes de l’expérience, mais c’est nous qui décidons de ce sur quoi ils apprennent. On parle d’un jeu. Complexe, certes, mais il est plus accessible aux ordinateurs que des problèmes généraux du monde réel. Ces technologies doivent bénéficier à tous. En outre, nous nous sommes mis d’accord avec Google pour qu’elles ne soient pas utilisées à des fins militaires."

La formule relève davantage de la méthode Coué ou d'éléments de langage établis, mais elle est l'illustration moderne des problèmes de posture que soulignait déjà Norbert Wiener en 1946.

Et donc ?

Une conviction. Le seul moyen efficace d'éviter une série de drames annoncés autour de l'opacité des NBIC (nano-bio-info-cogno technologies), le seul moyen qui puisse garantir de garder le "piratage" inscrit dans une logique d'émancipation vertueuse des systèmes techniques, reste l'immédiat rendu public des connaissances. Sans délai. Sans embargo. Sans complexe.

"A court terme, dit-il, je pense que plusieurs développements dans les domaines de la biotechnologie et de la biologie synthétique sont assez déconcertants. Nous sommes en train d'acquérir la capacité à créer des agents pathogènes modifiés et les plans de plusieurs organismes pathogènes sont dans le domaine public : vous pouvez télécharger sur Internet la séquence génétique du virus de la variole ou de celui de la grippe espagnole. Jusqu'ici, le citoyen ordinaire n'a que leur représentation graphique sur l'écran de son ordinateur, mais nous développons aussi des machines synthétisant l'ADN de plus en plus performantes, qui peuvent prendre un de ces plans numériques et fabriquer de véritables brins d'ARN ou d'ADN. Bientôt, ces machines seront suffisamment puissantes pour recréer ces virus. Donc, vous avez déjà une sorte de risque prévisible et si, ensuite, vous commencez à modifier ces organismes pathogènes de différentes manières, vous voyez apparaître une nouvelle frontière dangereuse. A plus long terme, je pense que l'intelligence artificielle, une fois qu'elle aura acquis des capacités humaines puis surhumaines, nous fera entrer dans une zone de risque majeur. Il y a aussi différentes sortes de contrôle des populations qui m'inquiètent, des choses comme la surveillance et la manipulation psychologique à l'aide de médicaments." – See more at: http://passeurdesciences.blog.lemonde.fr/2012/03/13/lhumanite-sous-estime-t-elle-le-risque-de-sa-propre-extinction/#sthash.xF1oJ0PY.dpuf

"A court terme, dit-il, je pense que plusieurs développements dans les domaines de la biotechnologie et de la biologie synthétique sont assez déconcertants. Nous sommes en train d'acquérir la capacité à créer des agents pathogènes modifiés et les plans de plusieurs organismes pathogènes sont dans le domaine public : vous pouvez télécharger sur Internet la séquence génétique du virus de la variole ou de celui de la grippe espagnole. Jusqu'ici, le citoyen ordinaire n'a que leur représentation graphique sur l'écran de son ordinateur, mais nous développons aussi des machines synthétisant l'ADN de plus en plus performantes, qui peuvent prendre un de ces plans numériques et fabriquer de véritables brins d'ARN ou d'ADN. Bientôt, ces machines seront suffisamment puissantes pour recréer ces virus. Donc, vous avez déjà une sorte de risque prévisible et si, ensuite, vous commencez à modifier ces organismes pathogènes de différentes manières, vous voyez apparaître une nouvelle frontière dangereuse. A plus long terme, je pense que l'intelligence artificielle, une fois qu'elle aura acquis des capacités humaines puis surhumaines, nous fera entrer dans une zone de risque majeur. Il y a aussi différentes sortes de contrôle des populations qui m'inquiètent, des choses comme la surveillance et la manipulation psychologique à l'aide de médicaments." – See more at: http://passeurdesciences.blog.lemonde.fr/2012/03/13/lhumanite-sous-estime-t-elle-le-risque-de-sa-propre-extinction/#sthash.xF1oJ0PY.dpuf