Approfondir la visualisation des données sur les étudiants grâce à l'analyse des programmes
En octobre 2017, j'ai assisté à la présentation "Program Analytics", dirigée par Sameer Bhatnagar et Jonathon Sumner, qui s'est tenue dans le cadre des activités du Ped Day au Collège Dawson. Je suis sorti de la session complètement impressionné par l'initiative d'analyse de l'apprentissage de Dawson. J'ai contacté les animateurs de l'atelier dans l'espoir qu'ils partagent les détails de leur projet avec le réseau du collège.
Ces dernières années, Sameer et Jonathon ont été coordonnateurs du programme de sciences au Collège Dawson. Dans le cadre de leurs fonctions, ils se sont efforcés de trouver des réponses à certaines questions liées à.. :
- Élaboration et révision des politiques (par exemple, combien d'étudiants seraient concernés par une modification des critères d'admission et d'avancement ?)
- Tendances académiques (par exemple, l'inflation des notes est-elle un problème pour notre département ?)
- Opérations (par exemple, quel est le pourcentage d'étudiants qui redoublent un cours et, par conséquent, combien de manuels devons-nous commander ?)
Ils se sont vite rendu compte que d'autres programmes se posaient probablement les mêmes questions et que les réponses se trouvaient probablement dans le même réservoir de données académiques de base. C'est dans cette optique qu'ils ont décidé de créer une plateforme web permettant aux acteurs du monde de l'éducation de visualiser de vastes ensembles de données et de les manipuler à l'aide de filtres, le tout dans un navigateur web et sans aucun logiciel supplémentaire à installer.
Capture d'écran de l'application Web d'analyse des programmes : Vue du profil d'entrée d'un programme type, qui montre les écoles d'origine, la répartition démographique et la distribution des notes de Sec. V pour une cohorte entrante. L'utilisateur peut basculer le sélecteur de session et voir s'il y a des tendances dans le temps pour son programme.
Pouvez-vous nous raconter l'histoire du projet "Program Analytics" et nous expliquer comment il a vu le jour ?
Dans le cadre de notre travail avec les comités de programme, nous avons remarqué que les gens nous posaient beaucoup de questions sur les tendances liées aux programmes. Nous avons décidé de ne plus nous concentrer sur la recherche de réponses à des questions spécifiques, mais de fournir un outil qui permettrait à nos collègues d'effectuer leurs propres recherches.
Ainsi, à partir de l'hiver 2017, nous avons décidé de construire une plateforme web pour accéder à l'information de manière visuelle.
Nous avons terminé un prototype au printemps 2017 et l'avons montré à notre administration. Ils étaient enthousiastes et nous ont encouragés à continuer à travailler pendant l'été sur une application peaufinée pour l'automne. Le Dawson's Ped Day en octobre a été utilisé pour lancer l'outil en interne et faire connaître sa disponibilité.
Pourquoi pensez-vous que ce projet est important ?
Les établissements d'enseignement supérieur génèrent une énorme quantité de données. Traditionnellement, nous n'en faisons pas grand-chose en dehors de la gestion des opérations et de l'extraction de certains indicateurs clés de performance (ICP). Ce projet est une première étape pour essayer d'en faire plus.
Nous pensons tous deux que c'est en présentant les données de manière visuelle que vous commencerez à avoir une vue d'ensemble et que vous pourrez identifier les problèmes - les choses qui fonctionnent et celles qui ne fonctionnent pas. Si vous ne regardez pas les données, vous volez dans l'obscurité.
Lorsque nous allons plus loin, le processus traditionnel consiste à produire un rapport qui sera examiné par le comité de programme et, s'il y a des problèmes, à charger une personne ou un sous-comité d'obtenir davantage de données pour aider à résoudre ces problèmes.
En raison du manque de temps et de ressources, le processus de recherche de données implique une ou deux personnes, et souvent, le temps de progresser, l'année a changé et un nouveau rapport a été publié. Il y a tout simplement trop de données pour une seule personne. Plus vous êtes nombreux à travailler sur un problème, plus vous avez de chances de le résoudre. C'est en rendant les données accessibles par l'intermédiaire d'une plateforme web que nous avons pensé pouvoir attirer plus d'attention sur le problème.
Quels sont les avantages de la visualisation des données ?
C'est peut-être un peu un cliché, mais une image vaut vraiment 1000 mots.
Nous connaissons tous les feuilles de calcul et savons que les données brutes ont une valeur limitée. Il faut créer un graphique ou une autre représentation visuelle des données pour pouvoir identifier des tendances ou des modèles intéressants. L'idée qui sous-tend l'application que nous avons mise au point est qu'elle permet aux utilisateurs de manipuler et d'interagir avec les données sans avoir à effectuer ce travail fastidieux.
Pour pouvoir identifier des tendances significatives, nous avons essayé de rassembler autant d'informations que possible en un seul endroit avec des données des cinq dernières années. Il existe un certain nombre de vues intéressantes qui peuvent donner un aperçu de l'expérience des étudiants ainsi que des forces et des faiblesses d'un programme donné. Il peut s'agir de vues KPI interactives (par exemple, les taux de réussite des cours, les taux de rétention, les taux d'obtention de diplôme) où vous pouvez activer et désactiver un certain nombre de filtres, ou de vues statiques (par exemple, les écoles d'origine d'un programme).
Autre capture d'écran de l'application Web d'analyse des programmes, permettant de visualiser un indicateur clé de performance donné. L'application s'appuie sur des outils en ligne pour offrir aux utilisateurs davantage de contexte, d'interactivité et d'informations.
Sur la page d'accueil de votre application, vous évoquez l'image des étudiants comme des étoiles dans une galaxie gravitant autour des programmes. Pouvez-vous nous en dire un peu plus ?
Les données sont très volumineuses et nous avons passé une partie de notre été à réfléchir à la manière dont nous pourrions représenter l'ampleur des données d'une manière esthétique.
Il nous est apparu que les programmes sont comme des galaxies autour desquelles gravitent les élèves. La page d'accueil de notre application est un instantané de la base de données où les petits points lumineux sont les étudiants qui gravitent autour des programmes. Cette vue est en fait une animation et vous verrez parfois des étudiants changer d'orbite, passant d'un programme à l'autre. Bien qu'il n'ait jamais été conçu comme un outil d'analyse, l'observation de l'évolution de notre "univers" universitaire révèle les programmes qui tendent à perdre des étudiants et ceux qui tendent à les attirer.
Comment les données aideront-elles les éducateurs du Dawson College ?
De nombreux établissements d'enseignement supérieur ont un programme qui connaît des problèmes de viabilité. Dans notre cas, l'un de nos petits programmes avait récemment enregistré des taux de réussite au premier semestre inférieurs à la normale.
Nous avons utilisé notre application de visualisation de données et avons constaté que le cours de calcul I était le point d'achoppement pour ces étudiants. Bien que le cours de calcul I soit composé d'un mélange d'étudiants de tout le collège, nous avons immédiatement pu voir que les étudiants de ce programme particulier avaient plus de difficultés que leurs homologues de programmes similaires. Sachant cela, le coordonnateur du programme est intervenu pour s'assurer que les étudiants connaissaient les services disponibles fournis par le département de mathématiques, et a encouragé les étudiants à accorder une attention particulière à ce cours en raison de la tendance historique. Parfois, de petites actions comme celles-ci suffisent à rectifier un problème.
Chaque année, les programmes produisent un rapport annuel qui identifie les forces, les faiblesses et les défis. Notre nouvel outil contribue à rendre ce processus continu. Et au lieu de charger une personne à la fin d'une réunion de programme d'examiner un problème et de faire un rapport dans quelques semaines, nous pouvons maintenant lancer l'application pendant la réunion pour essayer de comprendre ce qui se passe et commencer à réfléchir à une solution.
Un collage des logiciels libres utilisés dans le cadre du projet "Program Analytics" de Dawson.
Pouvez-vous nous parler de votre décision d'utiliser des technologies Open Source ?
Nous ne pensons pas que notre projet aurait été possible il y a cinq ans. Cela s'explique en grande partie par le fait que la qualité des technologies open source est désormais équivalente à celle des technologies propriétaires. La documentation est souvent de premier ordre et de nombreux grands projets sont maintenus par une communauté de développeurs importante et dévouée. Cela permet à quiconque (qui le souhaite vraiment) d'apprendre les choses à partir de zéro tout en produisant un contenu riche en fonctionnalités.
En outre, dès le départ, notre vision a été de faire quelque chose qui, à notre connaissance, n'avait jamais été fait auparavant (du moins dans le contexte spécifique du réseau des cégeps). Cela signifiait que nous voulions des outils et un cadre qui permettraient une flexibilité illimitée. Seule la technologie open source permet cela.
Notre pile technologique est basée sur des outils de l'écosystème Python (Django comme cadre web, Pandas pour la manipulation des données, SciKit Learn pour l'apprentissage automatique) ainsi que sur les dernières technologies Web 2.0 (HTML5, CSS et Javascript). La plupart des visualisations sont réalisées avec d3.js. L'assemblage de ces technologies nous donne tout ce dont nous avons besoin pour visualiser et manipuler des requêtes de données sur le web tout en garantissant un accès sécurisé à la plateforme.
Il existe une idée fausse sur l'endroit où sont hébergées les données des élèves. Pouvez-vous nous en dire plus ?
Tout d'abord, la sécurité des données est très importante. La base de données que nous utilisons ne contient aucune information personnelle identifiable, car tous les enregistrements sont entièrement anonymisés.
En termes de localisation, comme la plupart des collèges, Dawson héberge sa base de données académique sur place. À ce titre, le service informatique de l'université joue un rôle essentiel dans notre travail. Il nous fournit un miroir anonyme d'un sous-ensemble de cette base de données, uniquement les données appropriées et nécessaires à notre travail (par exemple, les dossiers d'admission, d'inscription et de remise des diplômes). Les données brutes ne sont disponibles que derrière le pare-feu du collège, et un login et un mot de passe sont nécessaires pour accéder à l'application.
Avez-vous prévu d'autres initiatives pour étendre les fonctionnalités de l'application de visualisation des données ?
Nous travaillons actuellement à l'intégration des commentaires dans l'application. Bientôt, chaque page de visualisation de données disposera d'un forum qui pourra être utilisé pour laisser des notes et soutenir les discussions entre les membres des comités de programme et d'autres parties prenantes.
Nous commençons également à créer des "rapports vivants". Il s'agit de courts rapports spécialisés qui intègrent des données en direct et évoluent au fur et à mesure que les données changent, ce qui peut s'avérer particulièrement intéressant pour suivre les tendances d'un programme spécifique au fil du temps.
Notre objectif à long terme est de tirer parti de notre expertise en science des données pour aider les établissements d'enseignement supérieur à prendre des décisions davantage fondées sur des données, dans le but ultime de maximiser les chances de réussite des étudiants. Il s'agit d'une sorte de "business intelligence", mais pour le secteur de l'éducation. Et avec les récentes avancées en matière d'apprentissage automatique et d'intelligence artificielle, nous avons d'autres idées en tête !
Une invitation au réseau
Sameer et Jonathon aimeraient éventuellement explorer l'agrégation de données et le développement de partenariats à travers le réseau des cégeps. Ils ont reçu une invitation à présenter leur plateforme de visualisation de données aux administrateurs d'un autre collège de la région de Montréal avant la fin de l'année 2017. Je leur ai demandé s'ils seraient prêts à rencontrer d'autres collèges, et ils sont très enthousiastes à l'idée de partager avec d'autres collèges qui les invitent à prendre la parole.
Félicitations à Sameer et Jonathon pour le lancement de leur application de visualisation de données et merci d'avoir partagé votre histoire avec le réseau universitaire !
À propos des coordonnateurs de projet
Sameer Bhatnagar est professeur de physique et coordonnateur du programme Sciences exploratoires à Dawson. Il prépare actuellement un doctorat à l'École polytechnique, avec une spécialisation en exploration de données éducatives.
Jonathon Sumner est professeur de physique à Dawson et coordonnateur du programme scientifique. Il est titulaire d'un doctorat en génie mécanique et ses recherches portent sur la dynamique des fluides numérique.
Cliquez ici pour lire l'article original sur ProfWeb. (CC-BY-NC-ND, Profweb)
