Voir, c'est ne pas croire : La littératie visuelle à l'ère de l'IA
Introduction :
Les images sont plus réelles qu'on ne pouvait le supposer. Et c'est parce qu'elles sont une ressource illimitée, qui ne peut être épuisée par le gaspillage consumériste, qu'il y a d'autant plus de raisons d'appliquer le remède conservationniste. S'il peut y avoir une meilleure façon pour le monde réel d'inclure celui des images, cela nécessitera une écologie non seulement des choses réelles mais aussi des images. (Sontag, 1977, p. 180)
Selon Susan Sontag, le pouvoir de la photographie a modifié notre compréhension de la réalité, car "la distinction entre les images et les choses, entre les copies et les originaux" s'est estompée (p. 179). Au cours de son histoire relativement courte en tant que pratique, la photographie a révolutionné la façon dont nous comprenons le monde en nous permettant de le capturer, de le cataloguer et de le contrôler.
Le processus de visualisation des images peut être comparé à l'entrée dans une machine à remonter le temps pour se souvenir, même si c'est de manière imparfaite. Les questions d'intégrité, d'authenticité et de vérité de l'image ont été présentes dans la photographie depuis ses débuts analogiques jusqu'à la révolution numérique et se posent aujourd'hui avec acuité à l'ère de l'IA. Les préoccupations relatives au consentement, à la propriété et à la vie privée des personnes représentées dans les images, bien qu'elles ne soient pas nouvelles dans la représentation visuelle, sont soulevées avec l'avènement des nouvelles technologies d'IA et la portée incessante de l'internet qui modifie nos paysages culturels à une vitesse que nous ne pouvons pas suivre.
L'interaction entre la culture et la technologie, la façon dont elles se transforment simultanément l'une l'autre, et la façon dont l'IA augmente cette interaction, est un domaine d'étude intéressant pour les étudiants dans tous les cours d'anthropologie. " The Short Anthropological Guide to the Study of Ethical AI" (2020) d'Alexandrine Royer est une ressource précieuse pour commencer à examiner les questions générales sur le sujet et fournit un aperçu succinct de l'interaction dans la section intitulée : "Culture Transforming Tech & Tech Transforming Culture" (pp.18-20). Royer nous rappelle l'empreinte humaine dans l'IA dans "L'anthropologie des algorithmes" (pp. 20-22), réfléchit au rôle de la culture dans l'IA dans "Créer une IA sensible à la culture" (pp. 22-23) et nous met en garde contre la poursuite des "pratiques coloniales d'oppression, d'exploitation et de dépossession" (p. 26) dans la section intitulée "La fracture numérique et l'IA décoloniale" (pp. 23-26). Les lectures du guide de Royer sont accessibles et actuelles en termes d'applications examinées et de préoccupations soulevées. Elles peuvent être utilisées pour préparer les étudiants à des discussions de groupe et à des réflexions individuelles.
Alors que la transformation numérique de l'image est amplifiée par l'IA, les intersections de l'histoire, de la mémoire et de la vérité représentées dans la forme et le contenu d'une image sont réexaminées. Les algorithmes, qui sont au cœur de l'utilisation des technologies d'IA qui reposent sur l'intervention humaine, ne reflètent pas automatiquement la réalité. Par conséquent, le rôle des images en tant que langage universel à l'ère numérique nécessite un réengagement de la conscience visuelle.
Dans cette série de modules, j'étudie notre dépendance à l'égard des images comme moyen de comprendre le monde à une époque où la relation entre l'image et la réalité est troublée par le phénomène des deepfakes et des technologies de transformation de l'image telles que Deep Nostalgia.
Les étudiants sont initiés à l'étude des images ou des photographies en tant que culture matérielle, ils explorent l'évolution de l'image en tant que preuve et se voient présenter des cadres tels que le Simulacre et l'Hyperréalité de Baudrillard et l'Écologie des images de Sontag afin de développer les compétences nécessaires à la littératie visuelle.
Le matériel développé pour enseigner la culture visuelle à l'ère de l'IA peut être utilisé comme modules autonomes ou comme série de sujets dans plusieurs cours d'anthropologie et de méthodologie actuellement enseignés à Dawson, tels que : Introduction à l'anthropologie (381-101-DW), Voir la culture (Anthropologie visuelle) (381-219-DW), Culture on Display (Anthropologie des musées) (381-401-DW), Méthodes de recherche (300-300-DW), Séminaire intégratif (Culture matérielle) (300-308-DW) ainsi que Culture matérielle à l'ère numérique, un nouveau cours du profil Société et technologie du programme révisé Sciences humaines .
Qu'est-ce que la littératie visuelle ?
La littératie visuelle peut être définie comme la capacité à construire du sens à partir d'images. C'est la compétence sur laquelle nous nous appuyons en premier lieu pour comprendre le monde et la place que nous y occupons avant d'apprendre à parler, à lire, à écrire et à compter. Humanistic Futures of Learning - Perspectives from UNESCO Chairs and UNITWIN, plaide en faveur de l'intégration de l'apprentissage visuel dans l'éducation. Selon le chapitre intitulé "L'alphabétisation visuelle à l'ère de l'image ", étant donné que "les enfants du21e siècle sont des visualisateurs", il est particulièrement important de renforcer la sensibilisation visuelle "pour construire une citoyenneté mondiale responsable et autonomisée". (Kárpáti, 2020, p.63)
Notre perception du monde est traitée le plus immédiatement par notre sens de la vision. Les environnements actuels saturés d'images exigent que l'on soit capable d'encoder et de décoder le langage visuel avec facilité. Comme les images "ont le potentiel de devenir la lingua franca de notre communication quotidienne, en particulier parmi les jeunes générations", les modes visuels de connaissance et de savoir devraient être introduits dans toutes les disciplines. (Kędra & Žakevičiūtė, 2019, p.1)
La littérature organise la littératie visuelle selon les catégories de compétences suivantes : lecture visuelle, écriture visuelle et autres compétences en littératie visuelle. Selon "Visual literacy practices in higher education : what, why and how ?
- La lecture visuelle couvre les compétences d'interprétation/analyse d'images, d'évaluation, de perception visuelle, de connaissance de la grammaire et de la syntaxe visuelles, ainsi que les compétences acquises en matière de traduction visuelle-verbale.
- L'écriture visuelle couvre les compétences en matière de création visuelle, de production et d'utilisation d'images et de communication visuelle efficace.
- Les autres compétences en littératie visuelle comprennent la pensée visuelle et les compétences d'apprentissage, ainsi que l'utilisation appliquée des images (comme l'utilisation éthique des images). (Kędra & Žakevičiūtė, 2019, p.2)
Bien que toutes les compétences en littératie visuelle requièrent la même attention, dans ces modules, je me concentre sur les compétences en lecture visuelle qui englobent "l'interprétation/analyse d'images, l'évaluation, la perception visuelle, la connaissance de la grammaire et de la syntaxe visuelles et la capacité apprise en traduction visuelle-verbale." (Kędra & Žakevičiūtė, 2019, p.2) L'éducation visuelle fait déjà partie du programme d'études en anthropologie, car nous nous appuyons souvent sur des vidéos et des films pour présenter des exemples ethnographiques à nos étudiants - les présenter sous forme de texte uniquement ne leur rend pas justice. Les diapositives correspondantes et les devoirs suggérés sont conçus pour aider à former les étudiants à la pratique de regarder et de s'engager dans l'assaut d'informations visuelles de manière active.
https://guides.lib.lsu.edu/visual-literacy/tips
La photographie en tant que culture matérielle
Le premier module de Voir n'est pas croire : La littératie visuelle à l'ère de l'IA, introduit les étudiants à l'étude de la culture matérielle à l'ère numérique. L'approche de l'étude de la culture matérielle s'inspire du texte fondateur intitulé The Social Life of Things : Commodities in Cultural Perspective, édité par A. Appadurai (1986). Selon l'anthropologie des choses proposée par Appadurai, les objets, tels que les images, ne fonctionnent pas seulement comme des produits et des marchandises. Ce sont des artefacts importants qui construisent notre vie sociale et dont la valeur est reconnue par leur provenance.
https://www.theguardian.com/artanddesign/gallery/2014/jul/15/secret-selfies-in-the-1950s-photographer-vivian-maier-in-pictures
Il est facile de comprendre comment la valeur des objets physiques peut être directement dérivée de leur forme matérielle et de leur relation avec les lieux, les personnes et le temps. Mais qu'advient-il de leur provenance lorsqu'ils "passent d'une forme de représentation à une autre" (Sassoon, 2004, p. 188), c'est-à-dire du physique à l'immatériel ? Ce processus n'est pas seulement technologique, il est aussi culturel (p. 189) et donc nuancé. Il s'agit d'un point d'entrée approprié pour commencer à examiner les impacts de la transformation numérique sur l'image et la manière dont elle est amplifiée par l'IA.
L'approche adoptée ici est que toutes les images de représentation, qu'il s'agisse d'objets tridimensionnels imprimés sur du papier photo avec des coins pliés et des empreintes digitales visibles ou d'objets aussi immatériels et délicats que ceux que l'on trouve sur les disques durs des ordinateurs ou ceux qui sont manipulés avec l'aide d'une IA, soient considérées comme des richesses inaliénables. À l'instar des "noms de lignée, des décorations corporelles en coquillage et des droits fonciers", les images représentatives .... peuvent être échangées sans jamais perdre "leur identité ou celle de la lignée qui les possédait à l'origine". (Weiner, 1985, p.211) La théorie de la richesse inaliénable peut être appliquée aux images de représentation et peut nous aider à surmonter les difficultés liées à l'examen des questions d'authenticité et d'historicité des documents visuels, ainsi que des droits tels que le consentement, la vie privée et la propriété. Selon Weiner (1985) :
La valeur première de l'inaliénabilité s'exprime toutefois par le pouvoir qu'ont ces objets de définir l'identité d'une personne au sens historique. L'objet agit comme un véhicule pour amener le temps passé dans le présent, de sorte que l'histoire des ancêtres, des titres ou des événements mythologiques devient une partie intime de l'identité présente d'une personne. Perdre ce droit au passé, c'est perdre une partie de ce que l'on est dans le présent. Dans son inaliénabilité, l'objet doit être considéré comme plus qu'une ressource économique et plus qu'une affirmation des relations sociales. (p.210)
Les étudiants ont l'occasion de comprendre la théorie de la richesse inaliénable en l'appliquant dans un travail correspondant qui leur demande d'examiner une photographie personnelle et de considérer comment son contenu, sa forme, son emplacement, sa fonction et sa signification culturelle interagissent. L'objectif de cet exercice est de situer les photographies en tant qu'objets matériels dotés d'une biographie et de préparer les étudiants à réfléchir à la signification que nous attribuons à des objets tels que les photos lorsqu'ils changent de forme de représentation, du physique à l'immatériel.
L'image comme preuve
Le deuxième module retrace l'évolution de l'image en tant que preuve depuis ses débuts analogiques, en passant par la révolution numérique, jusqu'aux avancées technologiques contemporaines telles que les médias synthétiques générés par l'IA, y compris les "deepfakes" et la "Deep Nostalgia" (nostalgie profonde). Il examine le statut privilégié des images dans notre culture en raison de facteurs tels que la dépendance à l'égard de la vue, qui est notre sens le plus dominant, et la confiance que nous accordons aux images représentatives en tant que vérité. Bien que les images occupent une place bien établie en tant que moyens mnémotechniques, les preuves qu'elles présentent ont toujours été sujettes à la manipulation, à l'interprétation et à la distorsion. L'histoire des fées de Cottingley est l'un des premiers exemples du type d'autorité que les images photographiques peuvent commander et qui peut être accordée à tort.
Dès les premiers jours de la photographie, les images ont fonctionné comme des artefacts construits. Par exemple, l'exposition en ligne Altered Images : 150 ans de photographie documentaire posée et manipulée présente un grand nombre d'images contestées bien connues dans le domaine du photojournalisme et de la photographie documentaire. Cette source d'images représentatives qui prétendaient représenter la réalité est un excellent outil pour enseigner la conscience visuelle, car elle montre des images avant et après altération, ainsi que des informations contextuelles telles que l'endroit où elles ont été montrées et ce qu'elles prétendaient représenter. Une autre ressource intéressante est Analysez une photo, une feuille de travail d'analyse de photos publiée par les Archives nationales. Elle est prête à être distribuée aux élèves et permet de les engager dans un processus de "slow looking".
La section "Learning Network" du NYT propose une série d'activités destinées aux étudiants afin d'examiner notre relation avec les images en tant que preuves et de renforcer notre capacité critique à décoder les informations visuelles. À commencer par la rubrique "Que se passe-t-il dans cette image ?" qui vous invite à "regarder de près ... (une) image, dépouillée de sa légende, et (à) participer à la conversation modérée sur ce que vous et d'autres étudiants voyez". Il s'agit d'une fonction interactive puisque de nouvelles images sont postées chaque semaine et que leurs légendes sont révélées une fois que la discussion sur "ce qui se passe dans cette image" est close. Les élèves sont invités à réfléchir à la manière dont "la lecture de la légende et l'apprentissage de son histoire vous aident à voir l'image différemment". Le NYT propose également des plans de cours prêts à l'emploi, tels que la "Leçon du jour ", qui comprend des questions d'"échauffement" parfaites pour les discussions de groupe et d'autres questions pour la "discussion et l'écriture", qui conviennent bien à la réflexion individuelle car elles invitent les spectateurs à aller plus loin dans leur analyse. En outre, les articles de la série "Past Tense" "montrent comment les photographies d'archives peuvent être utilisées pour raconter une histoire à propos d'un événement, d'un sujet, d'une personne ou d'un lieu spécifique, et montrer aux lecteurs une autre période de temps".
Le simulacre et l'hyperréalité de Baudrillard
La théorie de Baudrillard fournit un cadre intéressant pour évaluer et interpréter les images et les médias synthétiques générés par l'IA, tels que les "deepfakes" et la "Deep Nostalgia". La théorie du simulacre et de l'hyperréalité peut être appliquée pour comprendre les effets de la vie à l'ère post-moderne sur notre perception de la réalité.
L'objectif de ce module est d'amener les élèves à considérer les multiples couches de signification dans la représentation visuelle (original, copie, copie d'une copie, copie sans original) et à réfléchir à la manière dont les différents ordres de simulacres affectent notre relation et notre perception de ce qui est authentique et de ce qui est faux.
L'une des conséquences de la vie dans le monde des copies, telles que les photographies analogiques, les images numériques et les médias synthétiques créés par l'IA, comme les deepfakes, est un sens déformé de la réalité, que Baudrillard appelle l'hyperréalité. L'hyperréalité est plus réelle que la réalité qu'elle prétend représenter. Comme on peut le voir avec les images de figures historiques telles que Maria Skłodowska-Curie et de personnes ordinaires créées avec Deep Nostalgia, l'hyperréel, surpasse la copie. Une fois figées dans le temps, les photographies s'animent soudain et les individus qu'elles représentent peuvent cligner des yeux, bouger la tête d'un côté à l'autre et sourire. L'effet est hypnotique et en même temps inquiétant, car nous ne nous attendons pas à ce que le passé soit réanimé. L'élément d'émerveillement est remplacé par un sentiment de malaise lorsque nous réalisons que les mouvements dont nous sommes témoins sont générés par ordinateur - un phénomène connu sous le nom de " vallée de l'étrange".
https://spectrum.ieee.org/what-is-the-uncanny-valley
Le sentiment de malaise ne fait que s'accentuer lorsque nous apprenons que les personnages historiques qui clignotent et nous sourient n'ont peut-être pas choisi d'être représentés de cette manière. Le cas de Frederick Douglass réanimé par la nostalgie profonde est important à considérer. Frederick Douglass, ancien esclave devenu abolitionniste, était l'Américain le plus photographié du XIXe siècle. Selon l'article intitulé "Frederick Douglass Used Photographs to Force the Nation to Begin Addressing Racism" (Frederick Douglass a utilisé des photographies pour forcer la nation à s'attaquer au racisme), Douglas "a adopté... la photographie" (pour montrer).... "ce à quoi ressemblaient la liberté et la dignité des Noirs". (Graham, 2016, par. 2) Douglas a délibérément choisi d'être représenté :
https://www.wbur.org/news/2016/07/21/picturing-frederick-douglass
Sur toutes les photos de l'exposition,..., l'expression de Douglass est presque la même. Il détourne rarement les yeux de l'objectif, comme c'était souvent le cas à l'époque. Il est toujours bien habillé, dans un costume impeccable, avec un col amidonné et une cravate élégante. Sa chevelure est aussi royale et distinctive qu'une crinière de lion. Le plus souvent, il est photographié seul et ne sourit jamais. (Une note indique que sur 160 photos prises de Douglass au cours de sa vie, il n'a souri qu'une seule fois). (par. 7).
Frederick Douglass a exploité le pouvoir de l'image pour rejeter les caricatures des Afro-Américains courantes à son époque. Sa ressemblance souriante, rendue possible par la Deep Nostalgia générée par l'IA, est troublante car elle déforme son témoignage visuel.
L'article de Neir Eisikovits intitulé "The slippery slope of using deepfakes and AI to bring history back to life" (La pente glissante de l'utilisation des deepfakes et de l'IA pour redonner vie à l'histoire) examine comment l'IA, en facilitant la réanimation du passé, affectera "la façon dont nous comprenons l'histoire et, par conséquent, nous-mêmes". (2021, par.5) Cet article est un bon point de départ pour préparer les étudiants à une discussion sur les questions éthiques entourant les impacts des médias synthétiques générés par l'IA tels que les deepfakes et Deep Nostalgia sur ce que nous considérons comme des images représentatives crédibles et sur la façon dont cela problématise notre relation avec l'historicité.
Le plan de la leçon Simulacre et hyperréalité fournit une ressource pour introduire les étudiants au travail de Baudrillard, y compris d'excellents exemples et des idées pour les devoirs. "Leçon du jour : Vos proches et les vidéos inquiétantes de Tom Cruise ravivent le malaise grâce aux deepfakes" est une bonne ressource pour explorer la technologie qui se cache derrière les deepfakes. Le module correspondant complète le plan de la leçon avec des diapositives et des points de discussion.
L'écologie des images de Sontag
Le dernier module applique l'écologie des images de Sontag comme principe d'organisation pour comprendre la place dominante des images dans notre culture et pour reconnaître leur capacité à refléter, organiser et médiatiser la réalité. Le cadre présenté emprunte au travail de Caldwell & Gedeon intitulé "Framing photos in the digital dark age : towards a socio-technological 'ecology of images'". Les auteurs identifient "comment les images peuvent être mises en correspondance avec les flux écologiques du cycle de vie, de l'abondance, de l'échelle, de la distribution, de l'interaction, de l'habitat et de la temporalité" (Caldwell & Gedeon, 2021, p. 13) afin de comprendre les images comme des reflets du monde réel et d'examiner la manière dont nous interagissons avec elles.
Les étudiants sont invités à examiner la vie sociale d'une image en ligne. Il leur est demandé de cartographier une image choisie dans son environnement afin d'explorer son écologie.
L'écologie des images de Sontag doit être comprise comme une métaphore "qui cherche à localiser comment et pourquoi les images fonctionnent dans certains 'environnements' ou systèmes de signification". Comme le montre le diagramme ci-dessous, une image existe dans un ensemble de contextes qui sont médiatisés par "des discours et des systèmes politiques, économiques, techniques, culturels, sociaux et juridiques." (Manghani, 2013, p.1) L'histoire est une variable importante dans le cadrage de l'image dans le continuum temporel passé, présent et futur.
Une écologie des images est un court article utilisé pour présenter aux étudiants l'écologie de Sontag et les encourager à examiner les images au-delà de leur contenu, à réfléchir à la manière dont elles sont produites et à la manière dont elles sont utilisées pour produire du sens. Les avancées technologiques de l'ère numérique nous obligent à réfléchir à l'influence omniprésente de l'information visuelle, à nous engager dans l'exercice du slow looking et à considérer les images comme des artefacts construits qui ont un passé, un présent et un avenir afin d'améliorer notre alphabétisation visuelle.
Les récentes manipulations d'images historiques, telles que celles présentées dans "The controversial history of colourizing black-and-white photos", soulignent la nécessité d'envisager les dimensions éthiques de l'utilisation de l'IA dans nos archives visuelles. L'article examine comment l'humanité et la dignité des personnes représentées sont affectées lorsque les images qui les décrivent sont colorisées, comme celles des prisonniers des Khmers rouges, des victimes du sida dans les années 1980 et des photos d'enregistrement des détenus d'Auschwitz. Le résultat de la colorisation des photographies est montré comme ayant un effet déstabilisant sur notre rapport à l'histoire, à la mémoire et à leur représentation (là où elles se rejoignent et divergent). Il semble qu'il soit possible de franchir la limite de l'acceptable, et tout le monde s'accorde à dire qu'ajouter des sourires sur les visages des prisonniers torturés de la prison de sécurité 21 de Phnom Penh, au Cambodge, est profondément inapproprié et moralement troublant.
La prolifération des images générées par l'IA, qu'il s'agisse de deepfakes ou de Deep Nostalgia, soulève des questions de consentement, de vie privée et de propriété et nous oblige à aiguiser notre sens critique lorsque nous regardons. Les étudiants ont de multiples occasions de réfléchir à ces idées et d'en discuter.
Note sur les ressources et les références: Les ressources et références utilisées dans ce portfolio peuvent être consultées à l'aide des liens ci-dessus ou de la liste figurant à la fin des diapositives de chaque module.
