Embed Size (px)
Citation preview
Learning analytics et Hubble [email protected]
Laboratoire LIP6, équipe MOCAH
Université Pierre et Marie Curie
1
http://hubblelearn.imag.fr
EducationalData Mining
Learning Analytics
Teaching Analytics
Academic Analytics
2
Learning Analytic, définitions
• AnalyticTechniques informatiques, mathématiques et statistiques pour révéler une information pertinente à partir de larges ensembles de données.
• Marketing
• Biologie
• …
• Collecte, analyse, évaluation et communication des données relatives aux apprenants, leur contexte d’apprentissage, dans la perspective d’une compréhension et d’une optimisation de l’apprentissage et de son environnement
Traduction à partir de SIEMENS, 2011
EDM et LAEDM LA
International Educational Data Mining Society Society for Learning Analytics Research
http://www.educationaldatamining.org/ http://www.solaresearch.org/
2007 2011“discipline, concerned with developing methods for exploring the unique types of data that come fromeducational settings, and using those methods to betterunderstand students, and the settings which they learn in”. [Baker, Yacef 2007]
“the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs” [Siemens 2011]
Fouille de données automatisées : méthode de découverte automatisée en vue d’établir les meilleures prédictions possibles.
Outils d’aide à la décision : méthode de découverte des données par les acteurs de l’apprentissage, via des modules d’Analytics et de visualisation.
procède en réduisant le système d'apprentissage à ses composantes principales, en modélisant séparément les apprenants, les tuteurs, le domaine enseigné etc.
privilégie une approche systémique, appréhendant la situation d'apprentissage comme un ensemble.
Journal of Educational Data MiningJournal of Learning Analytics
URL : http://learning-analytics.info/
International Educational Data Mining Conferences Conference on Learning Analytics and Knowledge (LAK)
4
Academic et Learning analytics
Academic Analytics Learning AnalyticsA process for providing education
institutions with the data necessary to support operational and financial
decision making*
The use of analytic techniques to help target instructional, curricular, and support resources to support the
achievement of specific learning goals*
Focused on the business of the institution
Focused on the student and their learning behaviors
Management/executives are the primary audience
Learners and instructors are the primary audience
* - Analytics in Higher Education: Establishing a Common Language
Présentation Josh Baron, Apereo 2015 5
Learning Analytics, Objectifs
• Monitoring et analyse
• Prédiction et intervention
• Tutorat et mentorat (coaching)
• Suivi et feedback
• Adaptation
• Personnalisation et recommandation
• Réflexion
Traduction à partir de Chatti et al. (2012) 6
Learning Analytics, pour qui ?
• Apprenants
• Enseignants
• tuteurs
• responsables pédagogiques
• Institutions
Learning Analytics, quoi?
• données collectées à partir des actions explicites ou implicites des étudiants et eu enseignants
d'après A. Boyer, 12/2015
Learning Analytics, quand ?
Passé Présent Future
Info
rmatio
n
Que s’est-il
passé ?
(reporting)
Que se passe-t-il
actuellement ?
(Alertes)
Qu'est-ce qui va se
passer?
(Extrapolation)
Idé
e
Comment et
pourquoi est-ce
arrivé ?
(modélisation,
conception
expérimentale)
Quelle est la
meilleure prochaine
action ?
(Recommandation)
Qu'est-ce qui peut se
passer de pire/mieux ?
(Prédiction,
optimisation,
simulation)
Adapté et traduit de Van Hamelen & Workman 2012 et Danvenport et al. 2010
http://www.gartner.com/
Learning Analytics, comment ?
Prédictives
Classification
Régressions
Latent Knowledgeestimation
Découverte de structures
Clustering
Analyse Factorielle
Outlerdetection
Découverte structure domaine
Social network analysis
Analyse de relations
Règles d’association
Corrélations
Patterns séquentiels
Causalité
Autres méthodes
Processminning
Analyse du discours
Approches multimodaux
Traduction libre à partir du projet européen FP7 LEA’sBOX
Types d’algorithmes
Learning Analytics, comment ?
• Visualisation • facilitant la compréhension des analyses
=> Essentielle pour l’intervention Humaine• Différentes usages
• Outil réflectifs, Pour la prise de décisions
• Associations de plusieurs visualisations • Dashboard.
11
LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012 12
LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012
Types de données
collectées,
managées et
utilisées pour
l’analyse
techniques et outils pour
produire l’analyse des
données collectées
13
LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012
Types de données
collectées,
managées et
utilisées pour
l’analyse
techniques et outils pour
produire l’analyse des
données collectées
14
Limitations internes :
relatives aux facteurs humains, comme la compétence (interprétation,
pensée critique) et l’acceptation des conflits et complications avec les LA.
Limitations externes : Conventions (éthiques, personnels, ..) et les normes
(légales et contraintes organisationnels)
Un équilibre entre application et recherche
15Tinan B., LAK 2015
Applications, quelques questions
• Comment rendre les étudiants conscients des efforts qu’ils doivent fournir pour réussir leurs études ?
• Comment aider les enseignants à personnaliser leur enseignement ?
• Comment les universités peuvent aider les étudiants à profiter des ressources mises à leur disposition ?
Exemples repris de de présentation d’Anne Boyer, décembre 2015
http://education-enseignement.over-blog.com/
https://didapro.me
http://upmc.fr
16
Recherche EIAH, quelques thématiques
• Modèles d’apprenant à partir des données
• Typologies d’apprenant
• Méthodes et algorithmes d’adaptation
• Méthodes et modèles d’orchestration
• Modèles d’interactions entre apprenants
• …
17
• LIP6 (UPMC)
• LIG (UJF)+ Associés : TICE-UJF, ThEMAS (TIMC), SUP
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS (UCL)
• LabSTICC (Télécom Bretagne)
• LIUM (Université du Maine)
• OpenClassrooms
• LINA (U Nantes)
19
Hubble : réunir des acteurs EIAH Pour créer une dynamique nationale
Une vision du projet Hubble
20
Quelques concepts clés initiaux
• Cas d’étude : sont les matériaux de production et de tests des scénarios d’analyse.
• Situation d’apprentissage, pédagogie, plateforme informatique, utilisateurs,..
• Scénarios d’analyse : description des analyses qui seront mises en œuvre sur les plateformes de traitements
• Scénarios chercheurs => avec l’objectif d’accompagner la production de connaissances
• Scénarios décideur => avec l’objectif d’accompagner la décision
• Utilisation d’un scénario : mise en ouvre dans un cas d’étude pour un type d’utilisateur
21
22
Cas d’étude
• Données
• Scénarios
• Modèles pédagogiques
Collecte
• Outils : plateformes, algorithmes
• Traces
Analyse
• Processus
• Langages• Patterns
Exploitation
• Tableaux de bord pluri-acteurs
• Publications
3 itérationsMéthode DBR
Ethique et Déontologie
Projet HUBBLEtravail sur des cas pratiques
Cas d’étude
• MOOCs• Jeux sérieux• Plateformes
d’exercice
• Formalisation des cas et scénarios
Collecte
• Test d’outils
Analyse
• Qualité QCM• Types
d’apprenants• Évolution
activité• Parcours
d’apprenants
Exploitation
Ethique et Déontologie 23
Une première année exploratoire
• Quelques visualisations
• Début de publications
Première itération : scénarios d’analyses• Scénario 1 : qualité des questions de
type QCM
• Scénario 2 : identifier des types d’apprenants
• Scénario 3 : évolution des apprenants au cours du temps
• Scénario 4 : découvrir le parcours des apprenants sous forme de pattern
Qualité
Personnalisation
Discrimination
Evaluation
24
La suite
• Exemples
• Learning Analytics, vision of the future
25
Exemples
• Cas d’étude Superviseur
• Cas d’étude PACES, Grenoble
26
Exemple, Superviseur
27
Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016
http://superviseur.lip6.fr/
Exemple, Superviseur
• Questions de recherche : • Problématique : analyse de la gestion de l’interaction par les enseignants
• Hypothèse : Les enseignants utilisent un groupe de référence pour gérer les interactions
• Mais dans le contexte applicatifs Problème : surcharge cognitive pour la gestion d’une classe hétérogène
• Question : Comment aider l’apprenant à améliorer la qualité de l’interaction dans une classe ?
• Type d’intervention : Formation des enseignants
• Considérations éthiques: données apprenants, type d’analyse (formatif et non évaluatif)
28
Exemple, Superviseur,données et analyses
29
https://undertracks.imag.fr/
Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016
Sur les données PACES, identifier des
Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …
CoursDVD FLQ SEPI Tutorat
Etude des cours sur DVDFormulation en Ligne des Questions (FLQ)Séances d'Enseignement Présentiel Interactif (SEPI)Séances de Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ
CoursDVD FLQ SEPI
1 séquence d’apprentissage=
PACES, Grenoble
30
PACES Grenoble
• Problème : Nombre d’apprenants trop important.
• Type d’intervention : humaine
• Considérations éthique: situation de concours.
Question : comment rattraper certains étudiants qui risquent de raccrocher ?
=> Evolution apprenant
Question : comment aider l’enseignant à améliorer les QCM ?
=> Qualité du QCM
Crédit : PIERRE ANDRIEU / AFP
31
Données PACES, distribuées, extensives2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle
Année universitaire
Inscription en
PACES
Concours
Septembre Janvier Mai
Semestre 1 Semestre 2
Résultats de chaque séance de tutorat
Concours
Résultats
finaux
Inscriptions.xls Données QCM par discipline
Concordance.xls
ResFinaux.xls
Numéro anonymeN lignes par étudiantNuméro UJF
1 ligne par étudiantNuméro UJF1 ligne par étudiantNuméro
anonymeNuméro
UJF1 ligne par étudiant Travail Laura Dupuis, 2014
32
Analyses, PACES, découverte de structures
• Étudier les évolutions des apprenants• Comprendre les résultats concours en fonction des résultats obtenus aux
QCM
• Outils : Statistiques Descriptives & Visualisations
• Création de typologies
• Outils : • ACM : Structurer les données en fonction des variables initiales : 3 axes
• CAH : Représentation simplifiée des données en formant des classes : 4 classes
1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3
2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3
3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4
4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1 33
Travail Laura Dupuis, 2014
Visualisations, PACES
34Travail Laura Dupuis, 2014
Visualisations PACESAnnée universitaire
S1 –C1 S2-C6
35Visualisation plateforme Undertracks
Paces, qualité des QCM
• Data• 10 years (2006-2015) with 16.731 MCQs and 15.915.916 answers to both
tutorials and final examination
• Analysis• Descriptive statistics
• Classical Test Theory (CTT), • Cronbach's alpha, are used to evaluate tests and Item Response Theory (IRT) to analyze
MCQs.
• Scripts R
36Marie Fourcot, 2016
PACES, qualité des QCM, visualisations pour les enseignants
37Marie Fourcot, 2016
PACES, qualité des QCM, visualisations pour les apprenants
38Marie Fourcot, 2016
Learning Analytics 2025
39
Learning analytics, en 2025
=> “Visions of the Future “, Horizon Report D3.2 40
Learning analytics, en 2025
• Method Delphi
• Experts • Écoles, apprentissage au travail, enseignement supérieur
• 103 avis à propos d’une ou plusieurs visions proposés (8 visions).
41“Marty, you are going to fail Introduction to Physics during your sophomore year, make sure
you see a tutor after the first week of class and you’ll ace the final exam!”
Learning analytics, en 2025
• Vision 1: In 2025, classrooms monitor the physical environment to support learning and teaching
• Vision 2: In 2025, personal data tracking supports learning
• Vision 3: In 2025, analytics are rarely used in education
• Vision 4: In 2025, individuals control their own data
• Vision 5: In 2025, open systems for learning analytics are widely adopted
• Vision 6: In 2025, learning analytics systems are essential tools of educational management
• Vision 7: In 2025, most teaching is delegated to computers
• Vision 8: In 2025, analytics support self-directed autonomous learning
http://www.laceproject.eu/ 42
Vision 1: In 2025, classrooms monitor the physical environment to support learning and teaching
• Cahiers, crayons, tablettes,…. auront des capteurs.
• Cameras à reconnaissance facial traceront l’apprenant.
• Ces informations seront utilisés pour suivre le progrès de l’apprenant.
• Prise en charge de l'apprentissage d'un large éventail de compétences physiques.
• Les enseignants seront alertés des signes d’ennui, confusion ou éloignement de la tâche attendue.
• Les enseignants suivront les interactions sociales numériques et pourront identifier où ils devront favoriser la socialisation et le comportement collaboratif.
Copyright © 2016 Nicolas-Denis.net
http://www.laceproject.eu/
Vision 2: In 2025, personal data tracking supports learning• Des capteurs sophistiqués livreront des informations
personnels tels que la posture, le stress, l’attention, le niveau de sucre dans le sang…
• Les personnes collectent leurs informations et l’utilisent dans leurs programmes pour avoir des recommandations sur leurs apprentissages.
• Les apprenants récupèrent les statistiques et les données associées aux facteurs de réussite des apprentissages dans un domaine particulier.
• Des institutions d’enseignement connues vendent des programmes, à partir de ces informations, pour optimiser l’apprentissage en fonction des âges et des cours.
• Des entreprises font la même chose pour certains domaines.
• Certains étudiants partagent leur savoir faire.
• La plus part des institutions d’apprentissage suivent les programme d’auto-supervision.
http://soocurious.com/fr/intelligence-artificielle-homme/
http://www.laceproject.eu/
Vision 3: In 2025, analytics are rarely used in education• Les cours que sont automatisés, utilisant
les LA, sont méprisés.
• Les apprenants ont compris qu’ils peuvent « jouer » avec le système.
• Il y aura un grand vide sur la gestion des données sensibles et des usages abusifs.
• L’usage des données d’apprentissage devra être approuvé par l’apprenant et par des nouveaux inspecteurs.
• Un consensus a émergé dans la politique éducative: l'abandon des LA
Source : présentation de David Griffiths, Lyon, mars 2016
http://www.laceproject.eu/
Vision 4: In 2025, individuals control their own data• Les apprenant contrôlent
• le type et la quantité des données qu’ils souhaitent partager.
• Avec qui ces données sont partagées (personnes, institutions, entreprises,…)
• La durée de la disponibilité de ces données.
• Des outils pour permettre ces contrôles sont clairement énoncés et facile d’usage
• Les institutions sont engagés dans la prise de conscience et reconnaissent les problèmes
https://lejournal.cnrs.fr/billets/reprenons-le-controle-de-nos-donnees
http://www.laceproject.eu/
Vision 5: In 2025, open systems for learning analytics are widely adopted• Les institutions éducatives demandent le
contrôle des outils des LA• Comment les outils fonctionnent ?• Pourquoi sont-ils utilisés ?=> Conçoivent avec des fournisseurs des outils accompagnant leurs visions stratégique.
• Plusieurs fournisseurs. Tous utilisent des algorithmes ouverts et partagent les données suivant des standards qui facilitent la transparence et une validation indépendante.
• Des visualisations, largement testées et accessibles, sont utilisées.
• Les apprenants et enseignants peuvent utiliser en toute confiance une gamme d’outils.
Image http://www.resourcespace.org/
http://w utilisés ww.laceproject.eu/
Vision 6: In 2025, learning analytics systems are essential tools of educational management• Les systèmes de recommandation des ressources
sont largement utilisés.
• Un grand nombre de données d’apprenant est utilisé pour générer des prédictions, de qualité et en temps réel, sur la probabilité de réussite.
• Les apprenants et les enseignants planifient leur travail sur la base d'outils fiables qui recommandent et personnalisent sur ce qui doit être fait pour obtenir le meilleur résultat d'apprentissage.
• Une industrie croissante offre de services institutionnels et individuels pour accompagner cette activité.
• L’information prédictive est précise et permet aux gestionnaires et aux décideurs d’agrandir ou réduire leur offre de formation
http://www.laceproject.eu/
Vision 7: In 2025, learning is guided by technology
• Développement d’un énorme corpus des données contenant l’information des millions d’apprenants.
• Recommandations automatique fiables, basées sur l’expérience de ces corpus, sur le meilleur chemin à prendre pour réussir l’apprentissage.
• Les recommandations sont mieux informées et plus fiables que celles des meilleurs formateurs humains.
Source : présentation de David Griffiths, Lyon, mars 2016
http://www.laceproject.eu/
Vision 8: In 2025, analytics support self-directed autonomous learning• Disparition des curriculum.
• Les étudiants créent leurs groupes et décident leurs objectifs d’apprentissage et les moyens pour les attendre.
• Les analytiques accompagnent les échanges d’information et la collaboration entre les groupes.
• Les enseignants deviennent des mentors.
• Le suivi formatif est utilisé pour guider les progrès vers les objectifs fixés .
Source : présentation de David Griffiths, Lyon, mars 2016http://www.laceproject.eu/
Vision 2025, quelques résultats
http://www.laceproject.eu/
Thèmes émergeants dans les réponses textuelles
Quelques points de réflexion, à consulter
• Finding 1: A question mark over the prospects for learning analytics achieving its potential
• Finding 2: Policies and infrastructure
• Finding 3: A consensus on pedagogy
• Finding 4: Power, ethics, and data ownership
• Finding 5: Disagreement between sectors, and between different groups of respondents
• Finding 6: Technology
http://www.laceproject.eu/
Rapport sur l’analytiques des apprentissages numériques,
décembre 2016http://eduscol.education.fr/cid93919/la-mission-incubation-dne.html
56
