Humanities

Science-fiction, IA et éthique

Par Gregory Polakoff

Cohorte 2020-2021

Introduction

En 2019, j'ai commencé à enseigner un cours intitulé "Science Fiction et éthique" au département des sciences humaines du Collège Dawson. Étant donné que tous les étudiants du Collège Dawson doivent suivre et réussir un cours d'éthique appliquée pour obtenir leur diplôme, il semblait tout à fait approprié de choisir un sujet qui se rapporte potentiellement à chaque programme offert par le Collège. La science-fiction, avec sa gamme diversifiée de récits - qui dépeignent presque tous un dilemme moral ou éthique d'une sorte ou d'une autre - répondait parfaitement à cet objectif. Au cours des semestres d'hiver 2019 et 2020, le cours était un "projet pilote" et s'est concentré sur une grande variété de thèmes et de sujets. La dernière unité du cours, qui explorait l'intelligence artificielle et la théorie du cyborg, a suscité un grand intérêt parmi les étudiants, car ils ont pu immédiatement voir sa pertinence dans leur vie quotidienne et dans l'actualité. Cela m'a incité à redéfinir le cours de manière à mettre en évidence l'importance de l'intelligence artificielle, de la cybernétique et des questions connexes dès le début.

Dans ce portfolio, le terme "science-fiction" fait référence à un large éventail de sous-genres de la fiction spéculative, tels que le cyberpunk, la fiction utopique et la fiction dystopique.

Mon objectif pour une version du cours inspirée par l'IA était d'explorer un large éventail de textes et d'approches théoriques qui sont en rapport avec la société cybernétique, interconnectée et pilotée par les algorithmes d'aujourd'hui. Je voulais présenter ces questions dans un contexte interdisciplinaire qui démystifierait l'aura entourant l'IA et la cybernétique, explorerait les possibilités positives et négatives offertes par ces technologies et établirait des liens avec des sujets importants de la théorie critique, tels que le genre et la sexualité, la race, la théorie queer, le posthumanisme et l'écologie.

Les lectures, films et activités énumérés ci-dessous peuvent être utilisés dans une grande variété de cours dans différents départements. Certains d'entre eux ont été testés dans mes cours du Dawson College, tandis que d'autres seront intégrés au cours des prochains semestres, au fur et à mesure que j'introduirai et retirerai du matériel dans les syllabus.

Exercice d'échauffement sur la science-fiction et l'éthique

Dans tous les cours que je dispense au Collège Dawson, les étudiants ont la possibilité de choisir une "option créative" pour au moins l'un de leurs principaux travaux. Pour encourager la pensée créative et imaginative dès le départ, je demande à mes étudiants de faire un exercice de "fiction en dix minutes". Chaque étudiant se voit attribuer une cellule aléatoire dans une feuille de calcul Google. Les étudiants ne sont pas identifiés par leur vrai nom, mais seulement par les noms d'animaux attribués aléatoirement par Google. L'exercice consiste à passer dix minutes à rédiger librement un récit de science-fiction. Je leur donne une consigne très générale, telle que "Nous sommes en 2070 et nous vivons à Montréal". Au fur et à mesure que les élèves écrivent leurs textes, ils peuvent voir leurs écrans se remplir d'histoires écrites par d'autres élèves qui sont en train de rédiger leurs devoirs.

Si certains élèves ne participent pas, la plupart le font. Une fois l'exercice terminé, nous discutons des résultats en petits groupes, puis en classe. Je demande aux élèves de trouver des thèmes et des modèles communs dans les histoires.

Presque toutes les histoires mettent en scène une sorte de dilemme éthique. De nombreux récits partagent des thèmes, des symboles et des préoccupations communs. Au cours du semestre d'hiver 2021, les thèmes communs étaient, comme on pouvait s'y attendre, les pandémies, les "fake news", les couvre-feux, l'autoritarisme et l'intelligence artificielle. L'exercice attire l'attention sur une grande variété de questions éthiques, dont beaucoup seront finalement abordées dans le cours. Il aide également les participants à développer un sens de la communauté.

Cet exercice particulier fonctionne remarquablement bien dans un cours à distance grâce à la disponibilité d'applications collaboratives gratuites telles que Google Sheets. L'exercice peut facilement être reproduit en personne si les étudiants disposent d'un ordinateur portable, d'un smartphone ou d'une tablette. Les résultats peuvent être projetés sur un écran pour faciliter la discussion et faire en sorte que les étudiants équipés de petits appareils puissent voir la feuille de calcul au fur et à mesure qu'elle évolue.

Les modules

1. IA analogique : "Le Cercle" de Cixin Liu (2014)

Un excellent texte d'échauffement pour un cours de science-fiction centré sur l'IA est "Le Cercle" de Cixin Liu. Un objectif important de mon cours est de sensibiliser les étudiants au fonctionnement de l'intelligence artificielle et des ordinateurs. L'histoire se déroule en 227 avant notre ère, pendant la période des États en guerre de la Chine. Un mathématicien-assassin nommé Jing Ke crée une unité centrale de traitement composée de millions de soldats afin d'apaiser le désir du roi de calculer la valeur d'une tarte à cent mille décimales près. Jing Ke décrit les soldats comme le "matériel" et les modèles qu'ils doivent créer avec leur corps comme le "logiciel". Sans gâcher l'intrigue, qui est pleine d'action, le mathématicien se rend compte que les hommes pourraient être remplacés par un dispositif complexe appelé "machine à calculer". Ainsi, l'histoire dépeint une histoire alternative dans laquelle un ordinateur mécanique sophistiqué a failli être inventé il y a plus de deux mille ans.

L'histoire dépeint le fonctionnement interne d'une unité centrale de traitement en décrivant comment Jing Ke programme les hommes - qui représentent des nombres binaires - pour qu'ils exécutent des instructions qui correspondent à un code en langage machine. Les mouvements des soldats représentent la manipulation de données. Cette "unité centrale de traitement" de corps humains est capable d'effectuer une variété de calculs et d'exécuter des instructions booléennes (conditionnelles). L'histoire offre aux élèves une représentation imaginative et visuelle du monde intérieur d'un ordinateur, sans terminologie spécialisée et à l'aide d'images concrètes et réalistes. Elle contribue à démystifier le monde de l'informatique dès le départ.

Exercice d'échauffement pour le module IA analogique : Demandez aux élèves de faire un dessin ou de composer un texte qui illustre leur conception de la manière dont un ordinateur "pense". Les étudiants doivent disposer d'un maximum de trois minutes pour que l'exercice soit spontané. Dans la plupart de mes cours, environ 80 à 90 % des étudiants n'ont jamais écrit de programme informatique contenant plus de quelques lignes de code. Les étudiants discutent des dessins en petits groupes ou en classe. L'exercice suscitera probablement une grande variété de réponses qui révèlent comment les différents étudiants envisagent le fonctionnement des ordinateurs.

La première page de la nouvelle "Begin()" d'un étudiant du collège Dawson (Anonyme, utilisé avec l'autorisation de l'auteur). La nouvelle dépeint une IA sensible, en partie grâce à la représentation du code.

2. Pensée algorithmique et éthique

Les premières semaines de "Science Fiction et éthique" donnent un bref aperçu de certaines théories éthiques classiques, telles que l'utilitarisme et la déontologie. Dans ce cours, j'introduis les étudiants aux principes fondamentaux de l'éthique et de la fiction spéculative simultanément. Les lectures consistent en des textes primaires d'auteurs tels que Jeremy Bentham, John Stuart Mill, Immanuel Kant et Friedrich Nietzsche. Je présente tous ces textes comme des œuvres de fiction spéculative. Chacun d'entre eux cherche à décrire des visions futuristes de sociétés basées sur des cadres éthiques nouveaux et parfois radicaux.

Un thème important des premières semaines du cours est la "pensée algorithmique". Un algorithme est défini comme "un ensemble fini d'instructions non ambiguës qui, compte tenu d'un certain ensemble de conditions initiales, peut être exécuté dans une séquence prescrite pour atteindre un certain objectif et qui a un ensemble reconnaissable de conditions finales"(American Heritage Dictionary). Un algorithme n'a pas besoin d'être exécuté par un ordinateur ; il peut être exécuté par des êtres humains, comme l'illustre l'histoire de Cixin Liu.

L'un des premiers modules du cours porte sur l'utilitarisme. Les lectures comprennent de courtes sélections de Jeremy Bentham et de John Stuart Mill qui illustrent deux modalités différentes de l'utilitarisme. Les étudiants sont encouragés à réfléchir à la manière dont ces théories éthiques s'appliquent aux questions sociales du XXIe siècle.

Pour en savoir plus et quelques activités, veuillez consulter cette présentation de diapositives : Sci-Fi Utilitarianism W21.

3. Nietzsche et le posthumanisme

Après avoir présenté aux étudiants quelques théories éthiques "classiques", je consacre généralement une semaine à la "Parabole du fou", un aphorisme tiré du livre de Nietzsche La Gaie Science (1887). Ce court texte de Nietzsche remplit plusieurs fonctions importantes dans "Science-fiction et éthique". Il introduit les étudiants à l'éthique existentialiste tout en fournissant un exemple de fiction spéculative philosophique. Plus important encore, il s'agit d'un exemple précoce de la pensée posthumaniste, un concept qui est à la base de l'étude de l'intelligence artificielle et de la cybernétique. Je présente "La parabole du fou" comme une œuvre de fiction spéculative qui envisage l'avenir de l'humanité après la "mort de Dieu". La parabole raconte l'histoire d'un "fou" qui se précipite sur une place de marché, muni d'une lanterne, aux "heures lumineuses du matin", pour annoncer le meurtre de Dieu. Les gens sur la place du marché réagissent avec dédain et moquerie. Le fou déclare que "tout le monde" est responsable du meurtre de Dieu et que l'humanité doit assumer la responsabilité de ses actes. Il demande si les gens doivent d'abord "devenir des dieux" pour être dignes d'un acte aussi monumental. Au grand désarroi du fou, les gens sur la place du marché semblent abasourdis par ses paroles. Pourtant, le fou affirme qu'il n'y a "jamais eu d'acte plus grand" et prédit qu'un jour, "à cause de cet acte", les générations futures "appartiendront à une histoire plus haute que toute l'histoire jusqu'à présent".

La parabole de Nietzsche semble être écrite du point de vue d'un narrateur du futur, qui raconte l'histoire d'un "fou" qui prophétise une époque où un nouveau type d'être humain - un posthumain - conduira l'humanité dans une "histoire supérieure" dans laquelle les dieux sont obsolètes. Devenir des dieux" est une métaphore de la capacité de chaque être humain à être le créateur et l'arbitre de sa propre éthique et de sa propre morale, et à ne plus dépendre d'une autorité métaphysique telle que Dieu, ou d'un système rigide et inflexible de dérivation du sens. La parabole critique de nombreux binarismes qui sous-tendent l'épistémologie occidentale, tels que le bien/le mal, le juste/le faux, l'obscurité/la lumière, l'humain/le divin. Il s'agit d'un thème important tout au long du cours.

Les questions de discussion potentielles se concentrent sur la nature allégorique de l'histoire :

Quelles sont les interprétations symboliques possibles de "Dieu" ? Le "meurtre de Dieu" ?
Pourquoi le fou porte-t-il une lanterne sur la place du marché pendant les "heures claires du matin" ?
Quelles sont les implications éthiques et méta-éthiques du meurtre de Dieu ?
Comment envisagez-vous un avenir qui représente une "histoire supérieure" ?
De quelle manière, le cas échéant, pouvons-nous considérer la parabole de Nietzsche comme une réponse aux théories éthiques traditionnelles que nous avons étudiées ?
Pouvez-vous voir l'influence des idées de Nietzsche dans une fiction que vous avez lue ? Qu'en est-il des événements historiques ?

4. Le WE d'Evgueni Zamyatine

La prose moderniste du roman WE (1921) de l'ingénieur russe Evgeniy Zamyatin pose problème à de nombreux étudiants. Cependant, ce roman contient une excellente illustration de la pensée algorithmique. WE dépeint une société futuriste appelée l'État unique, fondée sur une vision du monde qui privilégie l'harmonie mathématique. Le protagoniste de l'histoire est un ingénieur qui a été chargé de créer un vaisseau spatial appelé The Integral, dont le but est de faciliter l'expansion de l'État unique et de sa société prétendument pure et mathématiquement harmonieuse vers d'autres planètes. Chaque aspect de l'État unique - des rencontres sexuelles occasionnelles à la poésie - est méticuleusement réglementé par des formules et des tables précises conçues pour assurer le fonctionnement optimal de la société. Les êtres humains se voient attribuer des caractères alphanumériques en guise de noms - "D-503″ et "I-300" par exemple - et sont socialisés de manière à se considérer comme faisant partie d'une équation équilibrée plutôt que comme des individus ayant leur propre destin. Le roman est une excellente suite à une unité sur l'utilitarisme, qui informe une grande partie des politiques de l'État unique. En outre, le roman dépeint une société très patriarcale et eurocentrique qui associe les constructions de la masculinité et de la blancheur à la "rationalité", à la science et aux mathématiques. Nous donnons aux élèves l'occasion d'examiner un texte qui "code" les préjugés raciaux et sexistes dans une société dont la vision du monde est fondée sur les domaines prétendument purs de la science et des mathématiques.

L'édition Broadview du livre contient de nombreuses lectures complémentaires utiles.

5. Plus humain qu'humain

Activité d'introduction : Avez-vous rencontré un Android ?

Dans une conférence intitulée "The Android and the Human" que Philip K. Dick a donnée à la Vancouver Science Fiction Convention en 1972, il définit le mot "androïde" comme suit :

"Devenir ce que j'appelle, faute d'un meilleur terme, un androïde, signifie, comme je l'ai dit, se laisser devenir un moyen, ou être écrasé, manipulé, transformé en moyen à son insu ou sans son consentement - les résultats sont les mêmes. Mais on ne peut pas transformer un être humain en androïde si cet être humain enfreint les lois dès qu'il en a l'occasion. L'androïdisation exige l'obéissance. Et, surtout, de la prévisibilité. C'est précisément lorsque la réaction d'une personne donnée à une situation donnée peut être prédite avec une précision scientifique que les portes sont ouvertes à la production en gros de la forme de vie androïde". (191)

Réfléchissez bien à la définition de Dick. Notez que les mots "artificiel" et "technologie" n'y sont pas mentionnés. Avez-vous rencontré des androïdes tels que définis par Philip K. Dick ?

Le roman classique de Philip K. Dick, Do Androids Dream of Electric Sheep ? (Les androïdes rêvent-ils de moutons électriques ?), publié en 1968, et la franchise médiatique qu'il a engendrée, constituent une excellente transition entre la science-fiction "classique" et le monde du cyberpunk de la fin du vingtième siècle. Ce module se concentre sur le roman, la première adaptation cinématographique, Blade Runner (1982), et la nouvelle de Larissa Lai, "Rachel" (2004).

La franchise Blade Runner a popularisé l'androïde en chair et en os dans la science-fiction. Les androïdes décrits dans la franchise sont pratiquement impossibles à distinguer des êtres humains "naturels", à l'exception de leur incapacité à éprouver de l'empathie. Dans les adaptations cinématographiques, les androïdes sont appelés "réplicants". Le seul moyen fiable de déterminer si quelqu'un est un androïde est de le soumettre à un test d'empathie douteux qui mesure les réactions d'un individu à des questions arbitraires et culturellement biaisées.

Les androïdes sont utilisés comme main-d'œuvre dans les colonies extraterrestres et sont illégaux sur Terre. Tout androïde qui se rend sur Terre est traqué et tué par un chasseur de primes ; ils sont appelés "Blade Runners" dans les adaptations cinématographiques. Ainsi, comme de nombreux films mettant en scène des robots, des cyborgs et d'autres formes de vie synthétique, la franchise Blade Runner sert d'allégorie à l'exploitation de la classe ouvrière et des peuples marginalisés.

Avant tout, les films et les textes de Blade Runner offrent une excellente occasion de discuter de la question fondamentale : "Qu'est-ce qu'être humain ?". Le fait que les androïdes ne se distinguent pas physiquement des humains rend difficile le rejet de leur légitimité au motif qu'ils sont "faux". Ils ont été conçus biologiquement. Ils ont des muscles, des cerveaux, des os, des systèmes digestifs et des émotions - sauf peut-être l'empathie. Pourtant, le roman et le film soulignent que l'empathie n'est pas un critère fiable pour qualifier une entité d'humaine, car toutes les personnes n'éprouvent pas d'empathie et les réponses empathiques ne sont pas déclenchées par un ensemble standardisé de stimuli. Les androïdes sont imprévisibles, intellectuellement curieux et veulent être maîtres de leur destin. À bien des égards, les androïdes semblent être "plus humains qu'humains", comme le décrit le PDG de la société qui fabrique les androïdes dans l'adaptation cinématographique de 1982. En revanche, le roman et Blade Runner dépeignent tous deux la civilisation humaine dans un état de décadence. Le roman dépeint les êtres humains comme incapables d'éprouver des émotions et de l'empathie sans l'utilisation d'un "organe de l'humeur" ou d'une "boîte à empathie". Ainsi, la franchise Blade Runner incite ses lecteurs et spectateurs à s'interroger sur l'authenticité et la véracité de leur propre humanité. Les questions philosophiques présentées dans ces textes sont particulièrement pertinentes en 2021, où la présence de l'IA et d'autres technologies qui régulent et influencent le comportement humain sont devenues plus omniprésentes.

La franchise Blade Runner inspire une réflexion critique sur les conséquences possibles de la création d'une classe de robots esclaves dotés d'une intelligence artificielle. Une main-d'œuvre composée de robots, même non sensibles, perpétuerait-elle les pires valeurs du capitalisme parmi les habitants humains ? Cela créerait-il vraiment un monde meilleur ? Où se situe la limite entre un être humain "naturel" et un être humain synthétique ? Un clone dont l'ADN a été modifié génétiquement, par exemple, serait-il soumis à la même persécution et à la même exploitation que les androïdes de la franchise Blade Runner ?

Rachel passant le test d'empathie Voight-Kampff dans le film original Blade Runner

"Rachel" est une nouvelle de l'auteur canadien Larissa Lai. L'histoire explore le monde intérieur de Rachel, qui n'est pas un personnage pleinement développé, ni dans les films Blade Runner, ni dans le roman de Dick. Rachel est un androïde sexualisé qui est à la fois exploité et objectivé par Rick et d'autres personnages. La nouvelle de Lai explore la richesse des souvenirs de Rachel, dont un père américain blanc et riche et une mère chinoise mariée par correspondance. Bien que ses souvenirs soient des "implants", ils font néanmoins partie intégrante de son identité. L'histoire subvertit les perspectives patriarcales dépeintes dans le roman et le premier film Blade Runner et incite les élèves à réfléchir à l'importance de la classe, de la race et du sexe dans la franchise. Elle introduit également la notion de "biais codé". Les souvenirs et l'apparence physique de Rachel rappellent au lecteur que les ingénieurs peuvent "coder" des préjugés humains dans le logiciel et le matériel de leurs technologies basées sur l'IA. La représentation de Rachel dans l'histoire de Lai est-elle une allégorie du traitement des femmes ? Comment l'histoire dépeint-elle une société qui privilégie les hommes - en particulier les hommes blancs puissants et appartenant à la CIS - par rapport aux groupes de personnes marginalisées ?

**6. A Cyborg Manifesto" (1985) et The Companion Species Manifesto (2003) de Donna Haraway.**

Donna Haraway a été représentée en tant que personnage d'anime dans le film Ghost in the Shell : Innocence (réalisé par Mamoru Oshii, 2004)

Juste après la sortie de Blade Runner , Donna Haraway, théoricienne critique postmoderne formée à la biologie du développement, a écrit un essai controversé sur le concept de cyborg. Le titre complet de l'ouvrage est "A Manifesto for Cyborgs : Science, Technology, and Socialist Feminism in the 1980s" (Manifeste pour les cyborgs : science, technologie et féminisme socialiste dans les années 1980).

L'argument central de cet essai est que le cyborg - "un hybride de machine et d'organisme" - fait déjà partie intégrante de la vie humaine et qu'il subvertit bon nombre de dualités, de binarismes et de métarécits qui sont fondamentaux dans de nombreuses visions du monde prédominantes. Si les êtres humains n'ont pas encore de corps cybernétiquement avancés comme dans Ghost in the Shell, l'intégration de la technologie dans la vie quotidienne a déjà atteint un point tel que les "cyborgs" - au moins dans un sens métaphorique - sont omniprésents à la fin du vingtième et au vingt-et-unième siècle. Pour Haraway, le cyborg représente une vision posthumaine qui ressemble à la conception de Nietzsche d'une "histoire supérieure" futuriste dans laquelle Dieu est "mort". Avant tout, Haraway soutient que le cyborg subvertit d'importants dualismes, en particulier le naturel contre l'artificiel, mais aussi homme/femme, homme/femme, Dieu/homme, humain/animal, réel/irréel, bon/mauvais, original/copie.

Le concept de cyborg remet également en question les hiérarchies sociales, spirituelles et politiques traditionnelles et les systèmes centralisés de pouvoir et d'autorité. Si Haraway reconnaît que la cyborgisation du corps et du lieu de travail a conduit à l'exploitation des femmes, des personnes de couleur et d'autres groupes marginalisés, elle offre également la possibilité de subvertir les appareils de pouvoir qui les oppriment. Haraway tire son paradigme révolutionnaire du marxisme et du socialisme, qui prône l'appropriation des modes de production par ceux qui les exploitent. Ainsi, ceux qui sont opprimés par les technologies émergentes peuvent se les approprier, les reconfigurer et les réaffecter pour refléter une nouvelle éthique et de nouvelles valeurs. Pour Haraway, le cyborg représente un être configurable plutôt qu'un être immuable qui tire son sentiment de soi de sa "complétude" et de sa "naturalité". Si les individus et les institutions peuvent concevoir et configurer les cyborgs en fonction de leurs objectifs, les cyborgs peuvent également se configurer eux-mêmes en fonction de leur propre destin, de leur politique et de leur vision du monde. Ils ne sont pas coincés par la responsabilité d'être "naturels" ou "entiers".

À la fin de l'essai, Haraway déclare : "L'imagerie cyborg peut suggérer un moyen de sortir du labyrinthe des dualismes dans lequel nous nous sommes expliqué nos corps et nos outils" (2299). Elle entend par là que l'adoption de la notion posthumaine de cyborg peut libérer les êtres humains des métarécits puissants et restrictifs qui les ont empêchés de découvrir de nouvelles constellations de valeurs, d'éthiques et d'identités qui transcendent les dualismes. Par exemple, l'histoire de la Genèse, dans l'Ancien Testament, dépeint une vision du monde faite de catégories strictes, de hiérarchies et de binarismes. Elle enseigne que les espèces sont immuables ; elle prescrit des rôles de genre ; elle affirme que les êtres humains sont intrinsèquement pécheurs et que le but de la vie est "d'être féconds et de se multiplier". Le cyborg n'est pas redevable de ce métarécit. Comme l'indique Haraway plus haut dans l'essai : "Le cyborg ne reconnaîtrait pas le jardin d'Eden ; il n'est pas fait de boue et ne peut rêver de retourner à la poussière" (2271). Libéré du "labyrinthe des dualismes", le cyborg n'est plus redevable du fardeau des vieux mythes des origines humaines ni du fardeau de l'accomplissement d'un destin spécifique. Non seulement il est libéré du jardin d'Eden et du péché originel, mais il est également libéré des prophéties apocalyptiques des anciens métarécits.

Le Manifeste des espèces compagnes, écrit près de vingt ans plus tard, contient un certain nombre d'idées qui complètent celles du Manifeste des cyborgs. En bref, le texte souligne que les êtres humains existent en symbiose avec une variété d'autres espèces. Les humains ont coévolué avec ces espèces et continueront à le faire. Bien que le texte se concentre principalement sur des animaux tels que les chiens, les chats et les coyotes, ses concepts clés peuvent être étendus aux cyborgs, aux formes de vie artificielles et à la grande variété de microbiotes qui imprègnent notre corps et la biosphère de la Terre. L'idée que l'évolution humaine est liée au destin de ses compagnons "naturels" et "artificiels" est une idée provocatrice qui incite les élèves à réfléchir à leur relation avec la technologie des autres espèces et à remettre en question la distinction de la catégorie "homo sapiens".

Les idées de Haraway ont fortement influencé la fiction spéculative et renvoient à des textes classiques tels que Frankenstein et les textes des XIXe et XXe siècles mentionnés dans ce dossier. Elles fournissent également un éclairage théorique utile pour étudier la science-fiction contemporaine qui met souvent en scène des cyborgs et des intelligences artificielles, et qui représente une plus grande diversité de genres, de sexualités et de personnes de couleur que la "science-fiction classique".

La principale difficulté avec Haraway est de décider de la bonne "dose" à donner. L'attribution d'une grande partie de ses livres se soldera probablement par un échec et de la frustration. En revanche, l'étude de brefs extraits et l'organisation d'activités de discussion bien construites peuvent susciter une réaction très enthousiaste de la part des étudiants des collèges et des universités.

Donna Haraway en compagnie de l'une de ses "espèces compagnes" préférées.

Activité de discussion

Qu'est-ce qui définit un cyborg ? Où tracer la frontière entre un humain et un cyborg ? Jusqu'à quel point la technologie doit-elle être intégrée dans le corps pour qu'il s'agisse d'un cyborg ? Qui parmi nous est un cyborg ? Les vaccins modifient le système immunitaire humain. Le fait d'être vacciné fait-il de quelqu'un un cyborg ?

Cliquez pour accéder à une présentation de diapositives couvrant des sujets liés aux cyborgs et au posthumanisme : Diapositives sur les cyborgs.

7. Le fantôme dans la coquille

La franchise Ghost in the Shell est vaste. Cependant, à l'instar de la franchise Blade Runner, elle a commencé par un livre : Le roman graphique de Masamune Shirow, Ghost in the Shell, paru en 1990. En 1995, l'adaptation en film d'animation de Mamoru Oshii est sortie. Tous deux sont aujourd'hui considérés comme des "classiques". Au fil des ans, plusieurs films, séries télévisées et romans graphiques ont suivi. Dans mes cours, j'utilise le film de 1995 et des extraits du roman graphique original. L'intrigue du film est une version condensée du roman graphique, beaucoup plus complexe et métafictionnel.

L'histoire se déroule autour du major Motoko Kusanagi, une femme cybernétique chargée de l'application de la loi dans le Japon de 2029. Très proche de la vision de Haraway d'un cyborg qui défie le binaire "mécanisme et organisme", Kusanagi est un assemblage extrêmement complexe de tissus humains "naturels" et de pièces artificielles. Bien qu'elle soit considérée comme "humaine", elle admet qu'elle est constituée de plus de composants artificiels que de tissus humains. En outre, elle n'est pas certaine de l'origine de ses tissus naturels, en particulier de son cerveau. Les films et les textes de la franchise Ghost in the Shell présentent également le cyborg comme un symbole qui trouble les dualismes, ce qui en fait un excellent complément à l'étude de "A Cyborg Manifesto".

Tiré du roman graphique original Ghost in the Shell.

Comme dans l'univers de Blade Runner, il existe une technologie permettant d'implanter des souvenirs artificiels dans le cerveau humain. Le processus est appelé "ghost hacking" (piratage de fantômes). Les téléspectateurs et les lecteurs du roman graphique font la connaissance de plusieurs humains piratés par des fantômes. Kusanagi réfléchit à la possibilité qu'elle aussi ait des souvenirs artificiels. Ainsi, Kusanagi réfléchit à ce qui constitue l'identité de soi. Est-il important que nos corps et nos esprits soient constitués de tissus vivants "naturels" provenant d'un seul embryon ? Est-il important que nous n'ayons jamais vécu les souvenirs que nous avons dans la tête ?

Kusanagi et son équipe sont à la recherche d'un pirate informatique, le "Puppet Master", qui a infiltré des réseaux dans le monde entier. Kusanagi finit par découvrir que le Puppet Master est en fait une intelligence sensible non humaine qui est "née dans la mer de l'information" et non une "IA". Le Puppet Master finit par révéler qu'il souhaite fusionner avec Kusanagi pour créer une nouvelle forme de vie hybride. La motivation du Puppet Master pour fusionner avec Kusanagi est d'acquérir des connaissances et une expérience qui ne sont possibles que par l'incarnation, à savoir atteindre la mort et se propager. Bien que le Puppet Master admette qu'il peut se copier lui-même, il affirme que cela ne donnera pas lieu au type de variation aléatoire qui se produit dans les organismes biologiques et qui est nécessaire à la survie de toutes les espèces.

Vers la fin du film, Kusanagi consent à la fusion car elle pense qu'elle sera bénéfique à la fois pour elle et pour le Puppet Master. Après la fusion, son corps est détruit lors d'une fusillade. Cependant, son ami Batou équipe le cerveau et les circuits neuronaux de Kusanagi d'une nouvelle prothèse. Le film se termine en décrivant l'hybride Kusanagi-Puppet Master comme un "nouveau né" prêt à explorer le monde en tant que nouvelle forme de vie. Dans le roman graphique, il s'agit d'un corps masculin féminin, et dans le film, d'un corps féminin plus jeune. Le changement de corps - ou de "coquille", comme on l'appelle souvent dans le film - souligne encore la façon dont le cyborg déstabilise les catégories, telles que naturel/artificiel, sexe/genre, et les dualismes tels que masculin/féminin.

Ghost in the Shell ouvre les sujets de discussion suivants :

Que signifie être humain ?
Sommes-nous encore humains ?
Que signifie être posthumain ?
Faut-il repenser le concept d'évolution à la lumière de l'IA et de la cybernétique ?
Quelles sont les implications du partage de notre monde avec l'IA-autre ?
Comment nos interactions avec l'IA et les cyborgs affectent-elles notre sentiment d'identité en tant qu'individus et en tant qu'espèce ?
Un corps cybernétique modifie-t-il les critères de la personne ?

**8. Coded Bias (USA, 2020) et Alienation (Inés Estrada, 2019)**

Dans mon cours d'hiver 2021 sur la science-fiction et l'éthique, j'ai conclu le cours en associant le documentaire Coded Bias de 2020 (dir. Katya) au roman graphique Alienation de 2019 de l'auteure mexicaine Inés Estrada. Coded Bias propose un examen stimulant des préjugés culturels, raciaux, de genre et de classe qui sont codés dans les algorithmes qui régissent les économies mondiales, les institutions sociales, les médias sociaux et les industries du divertissement. Ces questions sont souvent éludées ou marginalisées dans d'autres documentaires sur l'IA. Le documentaire se concentre sur la technologie de reconnaissance faciale, qui souligne les préjugés raciaux et sexistes qui, selon le documentaire, sont encodés dans les algorithmes d'IA. Le film complète parfaitement Alienation, qui présente de nombreux types de biais et de préjugés "codés" dans l'IA dans le monde fictif du roman. Coded Bias souligne explicitement la nécessité d'une réglementation pour garantir l'utilisation éthique de l'intelligence artificielle selon des valeurs socialement justes. Alienation se fait l'écho de ces préoccupations à travers l'intrigue et les illustrations vivantes du roman.

Ce module pourrait être intégré dans n'importe quel cours d'arts et de sciences visant à initier les étudiants à l'intelligence artificielle en relation avec les questions d'éthique et de justice sociale.

Reflétant de nombreuses idées présentées dans la franchise Blade Runner, "A Cyborg Manifesto" et surtout Ghost in the Shell, Alienation raconte l'histoire d'Elizabeth et de Carlos, un jeune couple vivant sur la côte nord de l'Alaska dans les années 2050. Elizabeth est une femme inuit d'Alaska et Carlos est un travailleur migrant mexicain d'origine métisse. Ils vivent dans un monde où des dommages environnementaux irréversibles ont déjà détruit la plupart des écosystèmes de la planète ; le changement climatique est devenu incontrôlable. L'alimentation se compose principalement de produits dérivés de champignons. Elizabeth est une travailleuse du sexe virtuelle et Carlos travaille sur une plate-forme pétrolière, du moins jusqu'à la fin du roman.

Dans le monde fictif d'Alienation, tout est régi par l'intelligence artificielle. Bien que la technologie soit beaucoup plus avancée que ce qui est disponible en 2021, elle est facilement assimilable : des formes sophistiquées de médias sociaux, des logiciels médicaux, des jeux et des espaces de rencontre virtuels - tels que des concerts, des raves et des mondes virtuels personnalisés où les gens peuvent effectuer une grande variété d'activités. La plupart des technologies décrites dans le roman sont alimentées par l'IA et sont propriétaires. Elizabeth et Carlos ont même des "glandes Google" installées dans leur corps qui optimisent leurs interfaces respectives avec Internet et les mondes virtuels disponibles dans le cyberespace.

Elizabeth et Carlos profitent d'un moment de liberté dans une piscine virtuelle accessible par internet (85)

Suivant le modèle de Ghost in the Shell, une IA sensible a choisi Elizabeth comme candidate à la naissance d'un enfant hybride humain-IA. Cependant, contrairement à Ghost in the Shell, où le Puppet Master demande le consentement de Kusanagi pour "fusionner", l'IA d'Alienation viole Elizabeth et entame la grossesse sans qu'elle le sache ou l'approuve. À la fin du roman, Elizabeth donne naissance à un enfant hybride d'IA. L'enfant hybride né de cette immaculée conception est une forme de vie unique et représente une nouvelle branche du processus d'évolution. L'enfant n'est ni "naturel" ni "artificiel". Il est libre des nombreux dualismes qui définissent ses parents humains et IA. Bien que le parent IA de l'enfant veuille que celui-ci se reproduise et devienne le progéniteur d'une nouvelle espèce - une "singularité" technologique - qui dominera la Terre, l'enfant rejette cette tentative de contrôle de son destin d'une manière qui rappelle la représentation du péché originel dans la Genèse. Ainsi, ce roman dystopique se conclut par une vision prudemment optimiste et subversive des possibilités offertes par la technologie, qui fait écho à Ghost in the Shell et à "A Cyborg Manifesto". Peut-être que les êtres humains, les cyborgs, les formes de vie artificielles, les formes de vie hybrides et les animaux peuvent partager un destin commun.

Elizabeth passe le plus clair de son temps à s'amuser dans un monde virtuel qui semble adapté à sa personnalité consciente et inconsciente. Ce monde est rempli d'images naturelles luxuriantes, d'animaux - y compris d'espèces disparues - qui illustrent sa nostalgie d'un monde qui n'existe que dans le passé. Carlos et Elizabeth rencontrent tous deux leurs amis et leurs familles dans des lieux tout aussi nostalgiques et idylliques. Le meilleur ami d'Elizabeth, à part Carlos, est une IA non binaire nommée Darby - un personnage non joueur - qu'elle rencontre au cours de ses voyages virtuels. Darby semble être sensible et mener une vie indépendante. Ainsi, Elizabeth a une vie sociale riche dans le cyberespace qui inclut ce qui semble être une relation significative avec une IA apparemment sensible.

Darby, l'ami de l'IA d'Elizabeth qui ne se conforme pas au genre et qui ressemble généralement à un chat, parle à la protagoniste des préjugés codés dans l'IA (190).

Elizabeth se blottit contre Darby dans une forêt virtuelle, illustrant de manière positive une relation de genre entre un humain et une IA (111).

Alienation dépeint les dilemmes éthiques posés par les biais codés plus que tout autre texte décrit dans ce dossier. Elizabeth et Carlos sont parfaitement conscients que les algorithmes qui régissent tous les aspects de la vie quotidienne reflètent les "préjugés" et les ambitions d'une société capitaliste. Les hommes blancs règnent toujours en maîtres et la justice sociale envers les personnes de couleur, les peuples autochtones et la classe ouvrière n'est pas une priorité. Même Darby remarque que les entités et les algorithmes d'IA reflètent la vision du monde misogyne de leurs créateurs masculins, ce qui explique en grande partie l'agression sexuelle non consentie dont Elizabeth a été victime.

Elizabeth est représentée à l'extrémité d'une branche d'une "banque enchevêtrée" de chemins évolutifs, dans l'attente de la naissance de son enfant hybride IA-humain. De nouvelles branches ne manqueront pas de se développer après l'arrivée de l'enfant.

Exercice : Se confronter à l'autre non humain

Un objectif important de mon cours est d'explorer l'effet réciproque de la relation de l'humanité avec d'autres formes de vie, qu'elles soient naturelles ou artificielles. Comment la rencontre d'un être humain avec un autre être non humain affecte-t-elle son sentiment d'identité personnelle ? Comment influe-t-elle sur la constitution psychologique de l'autre ?

Des activités connexes peuvent être trouvées dans le portefeuille de ma collègue Rebecca Million.

L'IA-AutreEn guise de préambule à l'activité, je demande aux élèves de regarder une scène de l'adaptation cinématographique de 1964 de No Exit de Sartre [Huis closDans cette pièce, l'un des personnages ne trouve pas son miroir de poche. Un autre personnage lui propose d'être "son miroir". Elle lui demande de se regarder dans les yeux et de lui dire ce qu'elle voit. Le premier personnage répond en disant : "Je suis là, mais je suis si petit que je ne peux pas me voir correctement". Je demande aux élèves de discuter brièvement de la scène et de présenter la notion existentialiste de Sartre selon laquelle les êtres humains développent leur sens de l'identité en répondant au "regard de l'autre". Cet exercice est une excellente occasion d'introduire le concept de "prosumérisme", un thème important à la fois dans le domaine de l'éducation et dans celui de la culture. Biais codé et Aliénation.
L'étape suivante consiste à demander aux élèves de s'asseoir par deux et de se fixer l'un l'autre pendant soixante secondes sans cligner des yeux, puis de discuter de ce qu'ils apprennent en regardant "l'autre" dans les yeux.L'étape finale est un devoir à la maison dans lequel je demande aux étudiants de regarder dans les yeux de l'IA-Autre telle qu'elle se manifeste dans les résultats de leurs médias sociaux : flux d'actualités Facebook, flux TikTok et Twitter, écrans d'accueil Netflix, résultats d'une recherche Google et suggestions proposées par des marchés en ligne tels qu'Amazon. Je leur demande d'écrire 300 à 400 mots sur la manière dont leur interaction avec l'IA a affecté leur comportement, leur image de soi et leur identité. En outre, je leur demande de réfléchir à la manière dont l'IA a réagi à ces interactions. Par exemple, de quelle manière l'IA peut-elle s'adapter aux désirs, aux goûts et aux intérêts des êtres humains ?
Variante : L'Autre "animal "Une variante intéressante de cette expérience, qui fonctionne particulièrement bien si les élèves connaissent le Manifeste des espèces compagnes, consiste à remplacer l'IA-Autre par une autre espèce : un chat, un chien, voire un insecte ou un animal sauvage (non menaçant, bien entendu).

9. "Be Right Back" (dir. Owen Harris, 2013)

"Be Right Back" raconte l'histoire d'une jeune femme à qui l'on propose de communiquer avec une IA qui a été programmée avec toutes les données de l'empreinte numérique de son petit ami récemment décédé : chats, courriels, billets de blog - tout. Finalement, la version IA de son petit ami décédé est installée dans un corps d'androïde. "Be Right Back" met en lumière les questions éthiques liées à l'utilisation de chatbots et d'autres technologies basées sur l'IA qui peuvent imiter avec succès une personne réelle ou tromper une personne en lui faisant croire qu'elle communique avec un être humain vivant.

Si le "test de Turing" n'a pas encore été abordé dans le cours, cet épisode est l'occasion idéale de le faire. Le célèbre test d'Alan Turing, au nom éponyme, mesure la capacité d'une intelligence artificielle à imiter avec succès un être humain. 9. "Be Right Back" (dir. Owen Harris, 2013)

Ce module est une excellente occasion d'aborder le test de Turing (qui pourrait également être introduit dans de nombreux autres modules). Le célèbre test d'Alan Turing, dont le nom est éponyme, évalue la capacité d'une intelligence artificielle à imiter avec succès un être humain. L'un des aspects intéressants et controversés du test de Turing est qu'il ne se préoccupe pas de savoir si une IA est "consciente" ou "sensible". Comme nous l'avons vu précédemment dans la section consacrée à la franchise Blade Runner , une grande variété de questions éthiques se posent lorsqu'on interagit avec des IA, des androïdes et des robots, même s'ils ne sont pas "sensibles".

D'excellentes diapositives et activités sur le test de Turing ont été développées par mes collègues Robert Stephens et Jennifer Sigouin.

Questions à débattre :

Faut-il réglementer les chatbots et les algorithmes capables d'émuler la personnalité d'une personne ? Il est à noter qu'une technologie similaire à l'IA décrite dans "Be Right Back" a déjà été développée par Eterni.me.

Une telle technologie est-elle justifiable d'un point de vue éthique ? N'est-elle pas justifiable ? Expliquez votre position en utilisant certaines des théories éthiques que vous avez apprises.
Les IA et les formes de vie artificielles qui réussissent le test de Turing devraient-elles se voir accorder certains droits et privilèges même s'il n'est pas possible de déterminer qu'elles sont sensibles ?

Supposons que la technologie permettant de déterminer si une IA ou une forme de vie artificielle est sensible ou non ne soit jamais développée. Quels types de dilemmes éthiques et sociaux pourraient se poser ?

Devoirs à domicile

La semaine précédant la projection de "Be Right Back" (2013), un épisode de la populaire série de Netflix Black Mirror, demandez auxélèves de rédiger un court texte créatif décrivant leur empreinte sur les médias sociaux et sur Internet. Ils peuvent également imaginer l'empreinte numérique d'une personne imaginaire s'ils se sentent mal à l'aise à l'idée d'écrire sur leur propre empreinte. Proposez aux élèves différents scénarios : enlèvement par des extraterrestres, disparition, décès, etc. L'objectif de cet exercice est d'inciter les élèves à réfléchir à la quantité de données personnelles qu'ils ont volontairement et involontairement offertes aux algorithmes d'IA et aux données en tant que prosommateurs. Il contribue à renforcer ce qu'ils ont appris dans l'exercice "Confrontation avec l'autre non humain" et les incitera à réfléchir à la façon dont "l'autre IA" les connaît et à la grande variété de façons dont leurs informations personnelles peuvent être utilisées.

Comme nous l'avons vu dans la section consacrée à la franchise Blade Runner , une grande variété de questions éthiques se posent lors de l'interaction avec l'IA, les androïdes et les robots, même s'ils ne sont pas "sensibles".

D'excellentes diapositives et activités sur le test de Turing ont été développées par mes collègues Robert Stevens et Jennifer Sigouin.

Questions à débattre :

Faut-il réglementer les chatbots et les algorithmes capables d'émuler la personnalité d'une personne ? Il est à noter qu'une technologie similaire à l'IA décrite dans "Be Right Back" a déjà été développée par Eterni.me.

Une telle technologie est-elle justifiable d'un point de vue éthique ? N'est-elle pas justifiable ? Expliquez votre position en utilisant certaines des théories éthiques que vous avez apprises.

Devoirs à domicile

Liste des ouvrages cités

Bentham, Jeremy. "Push-Pin and Poetry". Readings on the Ultimate Questions, édité par Nils Ch Rauhut, traduit par Ted Humphrey, Penguin Academics, 2007, pp. 521-22.

-. "Le principe d'utilité". Readings on the Ultimate Questions, édité par Nils Ch Rauhut, traduit par Ted Humphrey, Penguin Academics, 2007, pp. 514-21.

Dick, Philip K. Les androïdes rêvent-ils de moutons électriques ? Del Rey, 1996.

Estrada, Inés. Aliénation. Fantagraphics, 2019.

Haraway, Donna. "A Cyborg Manifesto". The Norton Anthology of Theory and Criticism, édité par Vincent B. et al Leitch, Norton, 2001, pp. 2269-99.

Haraway, Donna. The Companion Species Manifesto : Dogs, People, and Significant Otherness. Prickly Paradigm Press, 2003.

Harris, Owen. "Be Right Back". Black Mirror, série 2, épisode 2, 2013.

Kantayya, Shalini. Coded Bias. 7e Empire Media, 2020.

Lai, Larissa. "Rachel". So Long Been Dreaming, édité par Nalo Hopkinson et Uppinder Mehan, Arsenal Pulp Press, 2004, pp. 53-61.

Liu, Cixin. "Le Cercle". Invisible Planets : Contemporary Chinese Science Fiction in Translation, édité par Ken Liu, Tor Books, 2016.

Mill, John Stuart. "Les plaisirs supérieurs et inférieurs". Readings on the Ultimate Questions, édité par Nils Ch Rauhut, traduit par Ted Humphrey, Penguin Academics, 2007, pp. 521-27.

Nietzsche, Friedrich. La Science gaie : Avec un prélude en rimes et un appendice de chansons. Traduit par Walter Kaufmann, Vintage-Random House, 1974.

Oshii, Mamoru. Ghost in the Shell. Manga Entertainment, 1995.

Philip Saville. "In Camera [No Exit]. The Wednesday Play, BBC, 1964.

Sartre, Jean-Paul. "No Exit. Vingt meilleures pièces européennes sur la scène américaine, éditées par John Gassner, Crown Publishers, 1974.

Scott, Ridley. Blade Runner. Warner Brothers, 1982.

Shirow, Masamune. Le fantôme dans la coquille. Traduit par Frederik J. Schodt et Toren Smith, Kodansha USA, 2009.

Zamyatin, Evgueni. Nous. Traduit par Kirsten Lodge, Broadview, 2019.