Introduire l'IA dans les cours d'animation 3D et de CGI
Brève feuille de route pour l'intégration de l'IA dans différents cours
À terme, la pédagogie liée à l'IA sera probablement incluse d'une manière ou d'une autre dans tous les cours de notre programme - soit directement, soit indirectement. Je ne peux pas garantir quels cours incluront ce contenu dans un avenir proche, car cela dépend en grande partie de la personne chargée d'enseigner le cours. Mais ce sont des exemples de cours que j'avais à l'esprit lorsque j'ai élaboré le matériel de mon portfolio sur l'IA :
Introduction à l'animation 3D (574-131-DW)
Ce cours pourrait inclure l'un ou l'autre des sujets de ce portefeuille d'IA, si le temps le permet.
Sculpter l'anatomie humaine (510-293-DW)
Ce cours est traditionnellement un cours pratique de beaux-arts, mais il offre une bonne occasion d'aborder des sujets tels que le travail de Scott Eaton.
Histoire des techniques de production cinématographique (530-292-DW)
Ce cours porte essentiellement sur l'histoire du cinéma, mais il commencera certainement à inclure des leçons sur la manière dont l'IA trouve sa place dans l'histoire de la réalisation des films.
Techniques d'animation 3D (574-232-DW)
Ce cours serait un bon moyen pour les étudiants d'en savoir plus sur la façon dont l'IA est utilisée pour la capture de mouvement, l'édition de mouvement et l'animation.
Vidéo et photographie numériques (574-241-DW)
La prochaine itération de ce cours pourrait inclure un moteur de jeu irréel et des conversations sur la façon dont la technologie et les techniques de photographie numérique ont déjà été profondément affectées par l'IA.
Couleurs et textures numériques (574-261-DW)
Il s'agit d'un cours qui enseigne aux étudiants les principes fondamentaux de l'art traditionnel concernant la couleur et la texture, ainsi que les aspects techniques des différents formats de fichiers et les considérations de compression. Le cours apprend également aux étudiants à créer des matériaux procéduraux de toutes sortes, en utilisant des nœuds de script visuel. L'introduction de l'IA dans les flux de travail basés sur les nœuds, ainsi que les nombreuses implémentations de l'IA dans les logiciels Adobe, offrent la possibilité d'avoir des discussions parallèles sur la manière dont l'IA pilote ces outils.
Peinture mate (574-362)
Ce cours serait un bon moyen d'aborder des sujets liés à l'IA tels que le projet GauGAN Beta de Nvidia.
Lights Camera et Rendering I et II (574-381-DW et 574-482-DW)
Ces cours seraient l'occasion de discuter du rôle de l'IA dans l'accélération des flux de travail de rendu au point d'obtenir des résultats photoréels en temps réel. Il pourrait s'agir de sujets tels que la "super résolution" de Nvidia basée sur l'IA, qui consiste à rendre moins de pixels, puis à utiliser l'IA pour construire des images nettes et de plus haute résolution.
Rigging de personnages (574-473-DW)
Il s'agit d'un cours idéal pour aborder des sujets liés à l'IA tels que les autoriggers, le dépeçage automatique par l'IA, ainsi que les problèmes que l'IA doit encore résoudre dans ce domaine (mais qu'elle finira par résoudre).
Jeu d'acteur pour l'animation (560-591-DW)
Il s'agirait d'un cours idéal pour aborder des sujets tels que les deepfakes et la manière dont les animateurs et les acteurs peuvent travailler avec l'IA pour créer des performances qui n'auraient jamais été possibles autrement.
Développement de carrière (574-691-DW)
Ce cours serait un bon endroit pour aborder des sujets tels que la façon dont l'automatisation de l'IA affecte les emplois d'entrée de gamme, tels que la rotoscopie. Ce serait également un bon endroit pour discuter des algorithmes sous-jacents à des plateformes telles que Linkedin et Facebook (qui peuvent toutes deux être importantes lors de la recherche d'un emploi). Le cours pourrait également être l'occasion d'aborder les sujets de préoccupation liés à l'IA lors de la recherche d'un emploi (comme les sujets présentés dans le film "Coded Bias", par exemple).
Qu'est-ce que l'"IA" ?
L'apprentissage de l'IA en 3D et CGI devrait commencer par des conversations introductives sur ce qu'est l'IA (et ce qu'elle n'est pas !).
Il existe de nombreuses ressources de qualité en ligne à ce sujet, dont l'une est le site Web L'IA démystifiée (Présentation donnée par certains des Dawson AI Fellows 2019-2020 lors de la journée pédagogique du Collège Dawson le 15 janvier 2020).
"Artificial Intelligence Explained in Simple English" est une autre ressource en ligne qui peut aider à présenter certains des concepts les plus fondamentaux que nous rencontrons lorsque nous discutons de l'IA, de l'apprentissage automatique, des réseaux neuronaux et de l'apprentissage profond.
https://medium.com/mytake/artificial-intelligence-explained-in-simple-english-part-1-2-1b28c1f762cf
"L'intelligence artificielle expliquée en 2 minutes : Qu'est-ce que l'IA au juste?" est un exemple de brève vidéo explicative qui permet de s'assurer que tous les étudiants comprennent les bases des concepts de l'IA avant de passer à des sujets impliquant des applications plus spécifiques de l'IA.
https://www.youtube.com/watch?v=UdE-W30oOXo
Quelques domaines où l'IA est déjà à l'œuvre
La liste ci-dessus provient de l'étude AI Demystified (l'intelligence artificielle démystifiée). Elle aide les étudiants à comprendre que l'IA influence déjà de nombreux outils et réalités avec lesquels ils interagissent au quotidien.
Des listes similaires pourraient être établies pour les outils et les applications spécifiques aux effets visuels, aux jeux et à l'animation 3D (et cette liste est en cours d'élaboration, car le secteur évolue constamment).
Projet de classe potentiel :
Un exercice intéressant consisterait à demander aux étudiants de collaborer à la recherche de certains des nombreux exemples d'applications quotidiennes de l'IA et de l'apprentissage automatique dans les industries de la 3D, et d'en présenter quelques-unes à la classe.
La machine à enseigner de Google
Les premières expériences des étudiants en matière d'apprentissage automatique auront plus de chances d'être retenues si elles sont amusantes, visuelles et interactives.
"Teachable Machine" est un outil en ligne qui rend la création de modèles d'apprentissage automatique rapide, facile et accessible à tous.
Il s'agit d'une excellente ressource pour permettre aux élèves de créer des modèles de ML de manière ludique, visuelle et interactive :
https://teachablemachine.withgoogle.com/
Utilisation de l'IA (Machine Learning) pour le rigging d'un personnage 3D à utiliser avec la mocap et/ou l'animation 3D
L'élaboration d'un personnage de synthèse est traditionnellement un processus qui prend du temps et qui nécessite des connaissances techniques et artistiques spécialisées en anatomie et en logiciels conçus pour créer l'illusion de l'anatomie.
Mixamo est un exemple d'utilisation de l'apprentissage automatique pour automatiser le processus de mise en place d'un personnage bipède.
Cet exercice peut être utilisé pour présenter le processus de création d'un personnage simple. Il peut également être utilisé pour discuter de l'apprentissage automatique et des défis liés à l'automatisation de certains processus. La complexité des rigs obtenus par Mixamo est limitée, mais elle donne un aperçu de ce qui nous attend dans les prochaines années :
Pour créer un personnage à l'aide de Mixamo, il suffit de.. :
- Placez les marqueurs sur des points clés (poignets, coudes, genoux et aine) en suivant les instructions à l'écran.
- Confirmez l'emplacement de votre marqueur pour continuer.
Le processus de gréage commencera une fois que vous aurez confirmé. Il ne prend généralement que quelques minutes. - Vous serez ramené à l'interface Mixamo une fois le processus de rigging terminé. Vous pouvez télécharger votre personnage gréé en sélectionnant le bouton Télécharger dans le panneau de l'éditeur ou appliquer des animations en sélectionnant le bouton Trouver des animations.
Scott Eaton : Artiste+AI : élargir les horizons créatifs
Scott Eaton est un sculpteur de classe mondiale et l'un des exemples les plus intéressants d'intersection entre l'art et l'IA.
L'art et les créations de Scott ont été présentés dans Wired Magazine, GQ, Vogue, Vanity Fair, le New York Times et exposés dans le monde entier.
Scott a suivi une formation de sculpteur classique à Milan et a ensuite travaillé sur une longue liste de superproductions cinématographiques haut de gamme, entre Londres et Los Angeles.
Il est ensuite devenu l'un des leaders mondiaux de l'enseignement de l'anatomie pour les artistes (et de la sculpture numérique), proposant des cours en personne et en ligne.
Scott Eaton mélange l'art et l'intelligence artificielle
En plus d'être un sculpteur de classe mondiale, Scott a également étudié l'ingénierie et est titulaire d'une maîtrise du MIT media lab.
Lorsque Scott a joué pour la première fois avec edges2cats, il a tout de suite pensé qu'il s'agissait d'une technologie très intéressante. Il n'a pas tardé à se dire que si les réseaux neuronaux pouvaient être entraînés à rendre des chats photoréalistes à partir de simples dessins au trait, que se passerait-il s'il entraînait les réseaux à l'aide de sa bibliothèque de photographies de corps en mouvement ?
Cela a donné lieu à trois années d'expériences continues de formation des réseaux neuronaux.
Ses travaux ont fait l'objet de plusieurs expositions importantes, il a participé à un webinaire organisé par Nvidia, il est régulièrement invité à des conférences dans le monde entier pour présenter ses travaux et il a récemment été invité à donner un séminaire sur "l'artiste et l'intelligence artificielle" à un groupe de chercheurs de l'Université d'Oxford.
Il a même collaboré à une œuvre d'art géante avec Jeff Kloos, pour une série de concerts de Lady Gaga.
Scott Eaton Liens :
Scott Eaton's Dawson Talk :
Au cours du semestre d'hiver 2021, Scott Eaton a donné une présentation d'une heure et demie dans le cadre d'une initiative de Dawson.AI. Cette présentation était intitulée "Artist+AI : Expanding Creative Horizons" et peut être consultée sur le site sharepoint interne de Dawson à l'adresse suivante : http://bit.ly/DawsonAIStream.
Présentation du webinaire de Scott Eaton sur Nvidia
“ARTISTS+AI: FIGURES, FORM AND OTHER FANTASTICAL EXPERIMENTS IN DEEP LEARNING” can be viewed here: https://info.nvidia.com/scott-eaton-reg-page.html?ondemandrgt=yes
Site web de Scott Eaton : http://www.scott-eaton.com/
Pix2pix, Edges2cats, Edges2photo
Projet de classe:
Pour aider les élèves à comprendre et à apprécier le travail de Scott Eaton (et aussi pour les exposer à la source d'inspiration qui a stimulé son imagination), un projet de classe intéressant pourrait consister à jouer avec Pix2Pix, edges2cats et edges2photo.
Cela pourrait donner lieu à des conversations intéressantes sur les réseaux adversaires conditionnels.
Un projet plus avancé consisterait à demander aux élèves d'entraîner leur propre modèle à l'aide d'un ensemble de données photographiques unique qu'ils auraient eux-mêmes conçu, puis de faire interagir leurs camarades de classe avec ce modèle.
Automatisation des effets visuels grâce à l'apprentissage automatique
De nombreux emplois traditionnellement considérés comme des postes de débutant dans les secteurs de l'animation VFX et CG seront parmi les premiers à être affectés par l'automatisation de l'IA. Le travail de rotoscopie en est un exemple.
Rotobot OpenFX est un plugin qui utilise l'apprentissage automatique pour automatiser le processus de rotoscopie des effets visuels. Rotobot est capable d'isoler des instances de pixels qui appartiennent à des classes "sémantiques" d'objets tels que des personnes, des voitures, etc. En analysant une image à l'aide d'un réseau neuronal convolutionnel récurrent (CNN), les pixels appartenant à l'une des 81 catégories peuvent être isolés.
Article de FXGuide :
https://www.fxguide.com/quicktakes/rotobot-bringing-machine-learning-to-roto/
Tutoriel Rotobot pour Nuke :
Pour tous ceux qui enseignent les techniques de compositing, une démonstration introductive de Rotobot pourrait servir de tremplin pour discuter du rôle croissant de l'IA dans l'automatisation de divers processus au sein de VFX, et des aspects techniques de son fonctionnement.
Apprentissage automatique de l'inférence "copycat" dans le domaine du compositing VFX
Le logiciel Nuke dispose d'une nouvelle fonction appelée "copycat" qui permet à un utilisateur d'entraîner un réseau à reproduire des effets/processus qu'il a créés manuellement ailleurs. Cela permet d'automatiser facilement de nombreux processus redondants qui prennent du temps.
https://www.fxguide.com/fxfeatured/copycat-inference-machine-learning-in-nuke/
Ensembles de données synthétiques pour la formation à la vision artificielle, avec Unity3D
De nombreuses applications du monde réel s'appuient sur la vision par ordinateur et l'apprentissage automatique. L'entraînement des modèles de vision par ordinateur est limité par les ensembles de données disponibles. La génération d'ensembles de données synthétiques massifs, personnalisés et diversifiés pour entraîner les modèles offre un meilleur contrôle et des résultats prévisibles.
Cela peut ouvrir les yeux et l'esprit, et conduire à des conversations intéressantes sur le fait que la qualité des modèles dépend de celle des ensembles de données utilisés pour les entraîner.
https://unity.com/products/computer-vision
Faux profonds, acteurs vieillissants, avatars en images de synthèse et métahumains
Aucune conversation sur l'IA et les effets visuels et graphiques ne serait complète sans aborder le monde de pointe des "deep fakes", tant d'un point de vue technique que sur le plan de l'éthique et des implications sur nos notions de vérité et d'histoire.
Il existe aujourd'hui de nombreuses applications mobiles (telles que "reface") qui rendent les faux clips accessibles à tous, à des fins de divertissement. Il serait ainsi facile de demander aux élèves de créer des deepfakes.
S'il s'agit d'un moyen amusant et facile de se familiariser avec les "deep fakes", il convient également de les présenter uniquement dans le contexte de mises en garde contre les nombreuses façons dont les deep fakes peuvent être utilisés à des fins plus néfastes ou manipulatrices..
Faux Tom Cruise :
https://www.fxguide.com/fxfeatured/fake-tom-cruise/
Utiliser l'apprentissage automatique pour désensibiliser les acteurs :
https://www.fxguide.com/fxfeatured/machine-learning-in-flame/
Digital Domain est un leader mondial dans l'utilisation de l'apprentissage automatique pour créer des avatars numériques humains crédibles en temps réel :
https://www.youtube.com/watch?v=fMwq9Xa2v2Y
Unreal Engine a publié la première édition du créateur gratuit Metahuman, qui rend la création de marionnettes 3D photoréelles accessible à tous :
https://www.youtube.com/watch?v=S3F1vZYpH8c
L'IA menace l'histoire elle-même
La technologie des "deepfakes" en est encore à ses débuts. Et pour l'instant, la détection est relativement facile, car de nombreux deepfakes semblent "décalés". Mais à mesure que les techniques s'améliorent, il n'est pas exagéré de penser que les contenus générés ou augmentés par l'IA et produits par des amateurs seront bientôt capables de tromper la détection humaine et automatique dans les domaines de l'audio, de la vidéo, de la photographie, de la musique et même du texte écrit. À ce moment-là, toute personne disposant d'un ordinateur de bureau et du logiciel adéquat sera en mesure de créer de nouveaux artefacts médiatiques présentant la réalité qu'elle souhaite, y compris des clips semblant avoir été générés à des époques antérieures.
https://www.fastcompany.com/90549441/how-to-prevent-deepfakes
Ressources complémentaires
Siggraph est une ressource fantastique pour la recherche de sujets de pointe dans les domaines de la CGI et de l'IA :
https://blog.siggraph.org/tag/artificial-intelligence/
FXguide est une ressource fantastique pour la recherche de sujets d'avant-garde dans le domaine des effets visuels et de l'intelligence artificielle.
https://www.fxguide.com/articles/
Guide des implications de l'IA sur les effets visuels
Il s'agit d'une excellente ressource pour les enseignants qui souhaitent obtenir une vue d'ensemble rapide de l'IA dans le domaine des effets visuels :
Voici un article plus récent du même auteur :
https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/
Chacun des liens ci-dessus contient des sujets qui peuvent devenir des tremplins pour des leçons entières.
Pour ceux qui sont à l'aise avec Python :
Tous les algorithmes de Machine/Data Learning suivent généralement le même pipeline :
Extraction des données, nettoyage, entraînement des modèles, évaluation, sélection des modèles, déploiement
Il s'agit d'un exemple de dérivation de données pour l'animation, en utilisant les données maxamo stockées dans le format de fichier .fbx :
https://towardsdatascience.com/data-extraction-b9ac0cb645b6
Ressources pour ceux qui souhaitent apprendre Python et/ou l'apprentissage automatique :
Quelques ressources pédagogiques :
- Korbit (partenaire du Collège Dawson)
- https://www.python.org/
- https://learnpythonthehardway.org/python3/
- https://realpython.com/
- Coursera
- Udemy
- linkedinApprentissage
- "Une application mobile "brillante
Lectures complémentaires et pistes de réflexion
L'ère du capitalisme de surveillance
Le livre "The Age of Surveillance Capitalism" de Shashanna Zuboff, professeur à Harvard :
https://shoshanazuboff.com/book/about/
"Nous avons besoin d'éducation publique, de mobilisation démocratique et de leadership politique. Nous avons besoin de créativité et de courage pour revitaliser nos cadres de droits de l'homme, nos lois et nos règlements pour une nouvelle époque. La prochaine décennie est cruciale. Tout le monde doit être sur le pont.
Articles de Shashanna Zuboff : https://shoshanazuboff.com/book/recent-work/
Vidéos de Shashanna Zuboff : https://shoshanazuboff.com/book/films-tv/
Podcasts avec Shashanna Zuboff : https://shoshanazuboff.com/book/podcasts/
À qui appartient l'avenir ?
Jaron Lanier est un Américain philosophie de l'informatique écrivain, informaticien, artiste visuel et compositeur de musique classique contemporaine. Il est considéré comme l'un des fondateurs du domaine de la réalité virtuelle (VR). En 2010, M. Lanier a été nommé au TEMPS 100 liste des personnes les plus influentes.
Bien que certaines de ses idées puissent être considérées comme controversées, elles constituent toutes d'excellents sujets de discussion.
"Qui possède l'avenir? par Jaron Lanier
"Dix arguments en faveur de la suppression immédiate de vos comptes de médias sociaux". par Jaron Lanier
Site web de Jaron Lanier, qui répertorie tous les livres qu'il a écrits : http://www.jaronlanier.com/
Terre des géants
Podcast "Land of the Giants" (ce podcast ne fait qu'effleurer l'histoire des géants de la technologie que sont Google, Amazon et Netflix) : https://podcasts.apple.com/us/podcast/land-of-the-giants/id1465767420
Facebook. Apple. Amazon. Netflix. Google. Ces cinq géants de la technologie ont changé le monde. Mais comment ? Et à quel prix ? La domination de Google dans tous les domaines, de la recherche et de la publicité en ligne à YouTube et Android, lui confère un pouvoir et une responsabilité considérables. Dans la troisième saison, The Google Empire, Shirin Ghaffary de Recode et Alex Kantrowitz de Big Technology explorent comment Google est devenu l'une des entreprises les plus puissantes au monde et s'il est devenu trop grand pour notre propre bien.
Biais codé
Pour mieux comprendre la relation entre l'apprentissage automatique et l'effet (parfois involontaire) que les ensembles de données peuvent avoir sur la création de divers modèles d'apprentissage automatique : https://www.youtube.com/watch?v=jZl55PsfZJQ
Présentations de Dawson.AI auxquelles j'ai participé
- "Les essais rédigés par des systèmes d'IA peuvent-ils être le prochain code triche ? (Présentation donnée lors de la journée pédagogique du Collège Dawson le 14 octobre 2020).
- J'ai invité Scott Eaton à faire une présentation pour nos étudiants intitulée "Artist+AI : Expanding Creative Horizons" . Lewebinaire est accessible à la communauté Dawson via le site SharePoint interne de Dawson et peut être consulté à l'adresse suivante: http://bit.ly/DawsonAIStream.
