Zoeken | Site-navigatie | Extra onderdelen (sidebar)

De waarde van Learning Analytics voor onderwijs

2 september 2011 door

Wat is het verschil tussen learning analytics en management informatie (business analytics)? Deze vraag vormde voor mij de rode draad tijdens het seminar Learning Analytics georganiseerd door Surf Academy op 30 en 31 augustus. Een interessant seminar met een breed scala aan sprekers met voorbeelden van analytics uit onderwijs en bedrijfsleven. 

Achteraf gezien is mijn conclusie dat de meeste voorbeelden die we hebben gezien wellicht beter te schalen zijn onder managementinformatie of educational business analytics ipv learning analytics. Desalniettemin heeft het seminar mij wel in staat gesteld om een beeld te construeren van wat learning analytics feitelijk is, wat het verschil is met management informatie, wat de kracht ervan kan zijn en wat er bij komt kijken als je het wilt inzetten. In deze bijdrage ga ik daar verder op in.

Wat is analytics?

Feitelijk gaat het bij analytics om het geautomatiseerd verzamelen van data uit systemen (logfiles, metainfo achtergelaten door gebruikers, etc.), het relateren/combineren van die data en de informatie die dit oplevert presenteren in visualisaties of dashboards. Kenmerk is dat de data voldoende betekenisvol is zodat de gebruiker hierop bepaalde actie kan baseren.

Enkele voorbeelden gegeven tijdens het seminar

Op de Universiteit van Leuven doet prof. Erik Duval experimenten met het visualiseren van student- en docentgedrag binnen de digitale leeromgeving. Hieronder een aantal experimenten die hij uitvoert:

  • het genereren van visuele overzichten van het gebruik van functionaliteiten op basis van logdata. Het inzicht in gebruik helpt docenten bij het uitzetten van hun koers (functionaliteit schrappen of actie ondernemen zodat die wel wordt gebruikt).
  • het “tracken” en visualiseren van de tijd die studenten in een bepaalde periode online spenderen aan een project. In potentie zou je hier een vergelijk kunnen maken van de tijdbesteding van student x met bijvoorbeeld het groepgemiddelde. Ook is het mogelijk een vergelijking te maken van de tijdsbesteding van student x met bijvoorbeeld de doelen die hij zich vooraf heeft gesteld.
  • het genereren van sociale netwerk analyses die op een visuele manier inzicht geven in welke mensen veel met elkaar samenwerken binnen een groep, wie de spil vormen in die groep en wie de buitenbeentjes zijn. Docenten kunnen deze informatie bijvoorbeeld gebruiken om in gesprek te treden met bepaalde studenten. Op het internet zijn tools voorhanden die dit voor Twitter doen.

Binnen de Universiteit Twente analyseert men interactie in leeromgevingen. Anjo Anjewierden presenteerde een voorbeeld van een chatsessie tussen studenten waarin zij antwoord zochten op een vraag. De sessie werd gecodereerd en op basis van deze codering werden patronen afgeleid hoe studenten kwamen tot de oplossing van de vraag.

Het bedrijf Magnaview maakt voor scholen in het voorgezet onderwijs visualisaties op basis van systeemdata. Zij gaven als voorbeeld dat door visualisaties van historiegegevens een specfieke VO school een gefundeerd besluit kon nemen of het slimmer is om zittenblijvers in HAVO2 te laten blijven zitten of door te sturen naar VMBO3. Uit de gegevens bleek namelijk dat het laatste beter was voor het rendement. De tool van Magnaview maakt een breed scala aan visualisaties mogelijk gelieerd aan historie, bijvoorbeeld van slagingspercentages, gegeven cijfers binnen vakken, etc.

In het voorbeeld van de hogeschool Zeeland stond vooral hun onderwijscatalogus en studentinformatiesysteem centraal. Dit systeem stelt hen in staat om gedetailleerde, vergelijkende rapporten te genereren (niet gevisualiseerd trouwens) over het propedeuse renement van opleidingen,  cursusrendement, etc. etc. Ik moet zeggen dat ze dat knap voor elkaar hebben!

Maar wat is nu learning analytics?

Om maar met de deur in huis te vallen. Ik vind de voorbeelden van Duval en Twente het meest in de buurt komen van learning analytics, hoewel beide nog in de kinderschoenen staan en het niet altijd duidelijk is wat het praktisch nut is. De voorbeelden van Magnaview en Hogeschool Zeeland zijn mooie good practises van management informatie ofwel (educational) business analytics, hoewel vaak zeer praktisch en proven technology.

Een van de sprekers Hendrik Drachsler (OU) formuleerde het onderscheid mijns inziens treffend: Business Analytics gaat meer over het verbeteren van “outcomes” (rendement/resultaat), Learning Analytics over het verbeteren van leren (leerproces). Hieronder puntsgewijs nog wat meer kenmerken die ik toeschrijf aan learning analytics:

  • Learning analytics gaat met name over data mbt studenten en docenten en in het bijzonder hun gedrag (leer- en opleidersactiviteiten) binnen de elektronische leeromgeving.
  • Kenmerk is dat die data per direct, op ieder moment in het proces, op een laagdrempelige manier en door henzelf kan worden gegenereerd in betenenisvolle visualisaties of in een dashboard. 
  • Deze visualisaties maken een vergelijking met het gedrag van anderen (peers) of vooraf geformuleerde doelen mogelijk. Hiermee creeeren ze een transparantie die kan worden gebruikt om te reflecteren op het leerproces of te voorspellen (prognose als zo doorgaan) op basis waarvan activiteit (gedrag) kan worden ondernomen.
  • Naast het genereren van visualisaties, reken ik zelf ook het adaptieve vermogen van een applicatie op basis van gedrag van docenten en studenten tot learning analytics. Bijvoorbeeld: documenten die het meest worden geraadpleegd worden door het syteem automatisch hoger in de lijst geplaatst. Of: op basis van het feit dat student A bron X raadpleegt of leeractiviteit Y onderneemt, doet het systeem aanbevelingen wat anderen die X hebben geraadpleegd of Y hebben verricht, ook nog hebben geraadpleegd of ondernomen.


Kracht voor onderwijs
 

Learning Analytics is een mooi voorbeeld van hoe ICT kan werken voor docenten en studenten. Zonder ICT zou dit niet mogelijk zijn. Als we de pijlers voor digitale didactiek in ogenschouw nemen, dan is dit wat er wordt bedoeld met de pijler “transparant maken”! Nieuw is het niet. Web 2.0 applicaties kunnen dit soort dingen vaak al.

Hoewel niet besproken in het seminar, vind ik de ELO Virtual Learning Community het meest sprekende voorbeeld dat ik ken van hoe learning analytics kan werken in het onderwijs. Deze ELO is in staat om op basis van docent- en studentgedrag meerdere visualisaties en rapporten te generen die docenten in staat stellen een community succesvol te modereren, input geven voor inhoud en werkvormen in bijeenkomsten, inschattingen van studenten en experts met elkaar vergelijkt, etc. De visualisaties geven vaak krachtige input om met elkaar de dialoog aan te gaan over de voortgang in het leerproces (wat zien we hier? welke conclusies trekken we hieruit? welke acties formuleren we?).

Uit ervaring met bovenstaande weet ik dat het betrekken van learning analytics specifieke vaardigheden vraagt van docenten en het ook een effect heeft op de groepsdynamica, zeker als studenten dit soort visualisaties, etc. ook kunnen genereren. Dat aspect kwam in het seminar nog niet aan de orde.

Ook moest ik terugdenken aan een uitleg die ik vorig jaar kreeg van de applicatie Kennismotor. Ook een voorbeeld van learning analytics in de vorm van een adaptieve leeromgeving denk ik, maar wel met kanttekening.  

Kantekeningen bij Learning Analytics

Hoewel een krachtig instrument, werden de volgende aandachtspunten vaak genoemd bij learning analytics:

  • privacy kwesties en ethiek: waar ligt de grens voor wat je transparant maakt.
  • de validiteit van gegenereerde informatie.
  • harde conclusies trekken obv learning analytics is moeilijk, want de visualisaties geven namelijk niet de context. Vandaar ook dat ze juist goed als input kunnen dienen voor dialoog.
  • Er is nog weinig kennis over de impact van learning analytics op docenten en studenten. Wat betekent het voor de groepsdynamiek? Wakkert het competitie aan? Maakt het studenten onzeker? Voelen docenten zich bekeken?


Wat nu?

De inschatting van de deelnemers aan het seminar was dat het nogal wat jaren zal duren voordat learning analytics zijn weg vindt in het onderwijs. De voorbeelden die we hebben gezien staan nog vaak in de kinderschoenen en het praktisch nut of inbedding in het onderwijs is nog niet altijd helder. Desalniettemin zijn ze veelbelovend.

Laten we vertrekken bij een (nog niet latente) didactische behoefte bij studenten en docenten. Bijvoorbeeld door docenten praktische voorbeelden te laten zien van wat al mogelijk is met learning analytics en in gesprek te gaan over mogelijke toepassing ervan in het onderwijs. Het zou mijns inziens jammer zijn als we van learning analytics op voorhand een technische discussie gaan maken over het koppelen van databases etc. Keep it simple.

Meer info 

Http://erikduval.wordpress.com

http://www.slideshare.net/erik.duval/attention-please-learning-analytics-for-visualization-recommendation

http://bit.ly/learning_analytics

http://bit.ly/datatel

http://www.slideshare.net/drachsler

http://networkedblogs.com/mot6I

Share

Reacties

Reageer

*