Introduction

Lasortie du ChatGPT d'Open AIen novembre 2022 nous a plongés, en particulier ceux d'entre nous qui enseignent les sciences sociales et humaines, dans une sorte de crise : comment pouvons-nous continuer à aider les étudiants à apprendre par l'écriture dans un monde où l'IA peut faire leurs devoirs d'écriture à leur place ?

Au cours des derniers mois, j'ai eu le privilège d'animer des ateliers ChatGPT avec Robert Stephens, Daniel Goldsmith et Jeffrey Gandell, au cours desquels les professeurs engagés de Dawson ont discuté de la manière de relever ce défi de taille.

Inspirés par ces conversations, voici quelques idées et ressources que j'ai développées à la fois pour faire face à la technologie de génération de texte par IA et pour en tirer profit dans mes cours.

Comprendre ce que font les LLM

Les grands modèles de langage (LLM) tels que ChatGPT devenant de plus en plus sophistiqués, il est essentiel que les étudiants acquièrent une compréhension critique de la manière de les utiliser de manière éthique et efficace. Pour ce faire, il est nécessaire d'avoir une connaissance de base de leur fonctionnement.

Récemment, Sarah Allen m'a renvoyé à un excellent article du New Yorker intitulé "What Kind of a Mind Does ChatGPT Have ?" (Quel genre d'esprit a ChatGPT ?). Cet article fournit une explication accessible mais techniquement informative des LLM. Voici le texte intégral de l'article ; dans les commentaires se trouvent des idées d'activités en classe pour aider à enseigner les concepts clés.

Converser avec ChatGPT donne l'impression presque irrésistible d'avoir affaire à une sorte de conscience, ou du moins à quelque chose qui comprend ce qu'il dit. Mais est-ce vraiment le cas ? Selon le célèbre argument de la "chambre chinoise" du philosophe John Searle, aucune IA générant un langage à la manière d'un LLM ne peut être considérée comme comprenant quoi que ce soit. L'argument de Searle peut servir à introduire ou à compléter des discussions en classe sur le fonctionnement du ChatGPT et sur les questions éthiques et sociales qu'il soulève. Voici l'argument extrait de l'article original de Searle de 1980, et voici une excellente vidéo du vulgarisateur mathématique Marcus du Sautoy qui donne vie à l'argument. Pour approfondir le débat philosophique autour de l'argument, cet article de la Stanford Encyclopedia of Philosophy offre une belle vue d'ensemble.

Enfin, pour aider les élèves à développer un niveau plus général de culture technologique, voici des diapositives pour deux cours sur les algorithmes. (Le premier cours explique ce que sont les algorithmes et ce qu'ils peuvent faire ; le second, un peu plus mathématique, traite de leurs limites). Ces diapositives vont de pair avec le documentaire très intéressant réalisé par du Sautoy en 2017, intitulé Les règles secrètes de la vie moderne : Algorithmes.

Améliorer un cours avec ChatGPT

 Il ne fait aucun doute qu'avec sa capacité impressionnante à générer des textes précis à consonance humaine sur pratiquement n'importe quel sujet et dans pratiquement n'importe quel style, ChatGPT constitue une menace majeure pour l'intégrité académique. Mais ce qui en fait une telle menace est aussi ce qui en fait un outil pédagogique si passionnant.

Une façon d'utiliser ChatGPT comme outil d'étude est de lui faire générer des réponses à des questions de test et de demander aux étudiants de critiquer ces réponses. Au cours de l'hiver 2023, j'ai essayé cette méthode dans le cadre du cours Principles of Math and Logic, à l'adresse Histoire et civilisation. Les étudiants ont passé un cours à corriger les réponses générées par ChatGPT aux questions de révision de l'examen (j'ai généré les réponses à l'avance pour éviter les problèmes techniques et pour m'assurer qu'ils corrigeaient tous les mêmes réponses). Lors du cours suivant, nous avons discuté de leur travail et je leur ai montré ma propre évaluation des réponses de ChatGPT (il a échoué au test de logique). En discutant des raisons pour lesquelles ChatGPT fait certaines choses bien et d'autres mal, ce type d'exercice peut également servir à renforcer la compréhension des étudiants sur le fonctionnement des LLM.

Une autre utilisation de ChatGPT à fort potentiel pédagogique est celle d'un outil de jeu de rôle. On peut demander au robot d'endosser le rôle d'un auteur, d'un personnage, d'une figure historique, etc. et converser avec lui afin d'explorer la matière d'une manière amusante, personnelle et interactive. Cependant, étant donné qu'un LLM n'est performant que dans la mesure où ses données d'apprentissage le permettent, ChatGPT peut jouer son rôle de manière superficielle, ou pire, inexacte. Par conséquent, les activités ou les devoirs utilisant ce type de jeu de rôle devraient toujours inclure un élément critique.

Une autre façon d'utiliser le jeu de rôle avec ChatGPT est de demander aux étudiants d'endosser eux-mêmes un personnage. Pour que cet exercice ait une portée pédagogique, on peut d'abord discuter avec les étudiants des positions, des arguments, de la personnalité, des mouvements rhétoriques typiques, etc. du personnage qu'ils vont incarner ; un devoir de ce type pourrait être noté en fonction de la manière dont l'étudiant saisit ces éléments dans un dialogue qu'il crée avec ChatGPT.

Pour tester le potentiel de ce type de jeu de rôle, j'ai essayé de me faire passer pour Socrate dans un dialogue avec ChatGPT sur l'intelligence. De fil en aiguille, j'ai créé une parodie élaborée d'un dialogue platonicien dans lequel ChatGPT fait preuve d'une remarquable acuité philosophique, d'un sens de l'humour et d'une vision transhumaniste de l'avenir qui donne la chair de poule. La création de ce dialogue a été une expérience créative particulièrement stimulante et enrichissante, qui m'a laissé un sentiment beaucoup plus positif quant à l'impact que l'IA peut avoir sur l'éducation.

Concevoir des devoirs d'écriture qui contournent le ChatGPT

Si le ChatGPT peut enrichir un cours de manière passionnante, il reste le problème de l'écriture que nous voulons que les étudiants fassent par eux-mêmes. Il n'y a pas de réponse facile, mais une partie de la solution consiste à concevoir des devoirs qui diminuent la motivation et l'opportunité de recourir à l'IA. Étant donné les graves lacunes des détecteurs de texte à base d'IA tels que Turnitin (voir ci-dessous), il me semble que les travaux d'écriture doivent être réalisés en classe, au moins dans leurs aspects essentiels. Cela peut poser des problèmes logistiques difficiles, mais c'est aussi l'occasion d'accompagner les élèves dans le processus d'écriture, ce qui est beaucoup plus important d'un point de vue pédagogique que le produit qu'ils produiraient autrement (d'une manière ou d'une autre) chez eux, seuls.

Pour mon cours d'introduction à la philosophie du semestre dernier, j'ai remplacé l'examen final hors classe par un examen final en deux parties. La première partie était un test à réponses courtes destiné à consolider la compréhension de la matière. Lors du cours suivant, les étudiants ont commencé à préparer la deuxième partie, qui consistait à rédiger une méditation philosophique à la manière de Descartes. Après que j'ai expliqué le format et les critères de notation, les élèves ont passé le reste de la période de cours à rédiger une méditation pratique. (À mon agréable surprise, ils ont écrit assez furieusement même si cette version d'entraînement n'était pas destinée à être notée ; le simple fait de savoir qu'il s'agissait d'un entraînement pour le vrai travail était une motivation suffisante). Au cours suivant, j'ai rendu leurs méditations avec des commentaires et nous avons discuté de la manière de les améliorer. Enfin, lors du dernier cours du semestre, ils ont écrit la méditation notée ; celle-ci avait le même format et les mêmes critères de notation que la version pratique, mais en réponse à une question différente, qui n'avait pas été fournie à l'avance.

Ce que j'ai retenu de cette expérience, c'est l'importance de la pratique (l'"évaluation formative"), non seulement pour la pédagogie, mais aussi comme moyen de supprimer l'incitation à recourir au ChatGPT. Il est peut-être possible de préserver l'intégrité des travaux d'écriture réalisés en dehors de la classe en en faisant des exercices d'entraînement à faible enjeu pour les évaluations en classe.

Peut-on détecter de manière fiable les écrits générés par l'IA ?

Nos vies d'éducateurs à l'ère de l'IA seraient tellement plus faciles si seulement nous disposions d'un outil capable d'identifier de manière fiable les écrits générés par l'IA. Mais les détecteurs actuels, y compris celui de Turnitin, sont facilement contournés par la paraphrase, sont biaisés contre les auteurs dont l'anglais n'est pas la langue maternelle, et courent inévitablement le risque de faux positifs. Pour plus de détails, voici quelques diapositives qui donnent un aperçu de l'état actuel de la technologie de détection de l'IA.

Relever les défis posés par le ChatGPT nécessite de réfléchir à certaines questions pédagogiques fondamentales. Que signifie écrire ? Qu'attendons-nous des élèves qu'ils apprennent par l'écriture, et l'écriture est-elle la meilleure façon de l'apprendre ? Comment pouvons-nous concevoir des cours et des travaux pour aider à motiver les étudiants à écrire et à penser par eux-mêmes ? Si nous sommes prêts à répondre à ces questions et à tirer parti du potentiel pédagogique passionnant d'outils tels que ChatGPT, l'IA peut réellement être une force au service de l'éducation.