LEARNING ANALYTICS ENTRE

PROMESSES & RÉALITÉS

S. Garlatti, A. ItaniR. Affane, L. Crucq

PLAN

IntroductionMOOCs OpenClassroom

IntroductionProcessus d’Analyse

Pré-traitementCatégorisationIndicateurs proposésPhase d’Apprentissage

Application des indicateurs Modèle de Prédiction Testing & Evaluation Optimisation

ExamplesConclusion

INTRODUCTION

LEARNING ANALYTICS: INTRODUCTION

TEL Researchers

LEARNING ANALYTICS: INTRODUCTION

TEL Researchers

LEARNING ANALYTICS: INTRODUCTION

Traces« Format sémantique » de traces

Ducobu se connecte à la plateformeDucobu commence l’activité de résolution de poblèmeDocubu lit les consignes de l’enseignantDucobu étudie l’énoncé du problèmePetit ……

6

Avant de démarrer

LEARNING ANALYTICS: INTRODUCTION

Traces

7

En cours de projet

MOOCS OPENCLASSROOM

INTRODUCTION

INTRODUCTION

Deux catégories d’apprenants

Les Premiums

Les Non Premiums

Objectifs Prédire l’abandon et l’échec des apprenants Trouver les causes des abandons et des échecs

26/12/2016 Prédiction des abandons dans les MOOCs9

Introduction

• Arrêter de suivre le cours • Arrêter d’interagir avec le

cours pendant un certain temps

FailingScore < 70% Successful

Score ≥ 70%Dropping

MOOCS OPENCLASSROOM

PROCESSUS D’ANALYSE

Processus d’Analyse

Pre-processing &

Categorization

PredictionModel Optimization

Indicators’ Derivation & Application

Testing & Evaluation

1

2

3

4

5

Traces

Pré-Traitements

Échange d'informations avec OpenClassrooms pour

• Comprendre les données.• Atteindre la cohérence des données en

structure et en contenu.

Nettoyage avec R

• les user_ids manquants de la table utilisateur qui correspondent aux comptes utilisateur désactivés.

• les événements dupliqués dans le tableau des résultats.

• considérez la note le plus récent de note d'utilisateurs multiples pour le même cours.

• Demander l'inclusion de certains champs manquants de tableau.

Application des règles de catégorisation des utilisateurs avec MySQL Workbench

Dropping Failing Dropping Failing

Successful Un-successful Un-successful Successful

Non-Premium Premium

Learners

Catégorisation

I1 …. In

Indicateurs proposés

Groupes d’apprenants

Premium Drop

Premium Fail

Non Premium

Drop

Non Premium

Fail

I1: Réalisation des parties de cours et des exercices

I2: Score des exercices I3: Temps passé par exercice I4: Fréquence d’accomplissement des parties

et des exercices I5: Fréquence de visualisations du cours I6: Ordre de parcours des parties de cours et

des exercices• Le nombre de retours en arrière• Le parcours qu'emprunte la majorité des

apprenants dans le cours• L’endroit où les apprenants arrêtent

d’interagir avec le cours• Les endroits où les retours en arrière sont

les plus fréquents

……, In

2

Indicateurs Proposés

MOOCS OPENCLASSROOM

PHASE D’APPRENTISSAGE

I 1…

. I n

I1

G1 G2 G3 G4

v1 v2 v3 v4

Calcul par Indicateur

Appliquer chaque indicateur sur les quatre catégories d'apprenants sélectionnées sur X% des données (X : 60%, 70%, etc.)

Les résultats par groupes pour chaque indicateur seront utilisés comme entrée pour le modèle de prédiction à la phase suivante

v1 v2 v3 v4

Modèle de Prédiction

Apply the most appropriate prediction algorithm• Logistic Regression• Gradient Boosting• Decision Tree• Etc…

Prediction Results

L'algorithme de prédiction le plus pratique est appliqué sur les groupes des valeurs de chaque application d'indicateur, afin de marquer les apprenants au risque d’abandon et d’échec.

Outils utilisés

4

5

Testing & Evaluation

Optimization

Historical Traces of Learners

Optimisation du modèle de prédiction

LearnersAt-riskdropper

At-riskfailure

L1 T FL2 F TL3 T T

Testing & Evaluation / Optimization

Traces non utilisées pour l’apprentissage servent au test, à l’évaluation et au « scoring » du modèle de prédiction

MOOCS OPENCLASSROOM

EXAMPLES DE TESTING ET

D’EVALUATIONS

LE SCORE OBTENU SUR CHAQUE EXERCICE RÉALISÉ

21

Distribution du score total

Cours HTML/CSS

ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES

Parcours d’une personne qui a réussi le cours HTML/CSS

22

ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES

23

Parcours d’une personne qui a abandonné le cours HTML/CSS

ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES

24

Parcours des personnes qui n’ont pas abandonné le cours HTML/CSS

ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES

25

Parcours des personnes qui ont abandonné le cours HTML/CSS

INACTIVITÉ DES APPRENANTS ENTRE DES PARTIES ET DES EXERCICES

26

Apprenants n’ayant pas abandonné

INACTIVITÉ DES APPRENANTS ENTRE DES PARTIES ET DES EXERCICES

27

Apprenants ayant abandonné

RÉSULTATS

28

Cours HTML/CSS

Score : 99.20 %

0: Abandon

1: Pas d’Abandon

RÉSULTATS

29

Cours HTML/CSS:91 19

892 19

997 123

6200 96 20

1

CH1 CH2 CH3 CH4

RÉSULTATS

On va supprimer les indicateurs relatifs aux 2 derniers chapitres de chaque cours, afin de forcer le modèle à se concentrer sur les premiers chapitres du cours.

30

Cours HTML/CSS:

RÉSULTATS

Cours HTML/CSS

Score : 83.33 %

RÉSULTATS

32

Cours HTML/CSS:

33

Conclusion

Beaucoup de temps à passer pour Les formats de données

La collecte des données en adéquation avec les outils d’analyse

L’interprétation des données et le choix des données pertinentes pour satisfaire aux objectifs définis

Plus généralement, les Pré Traitements

Promesses et Réalités ????????????