Zoeken | Site-navigatie | Extra onderdelen (sidebar)

ICT in Onderwijs en Onderzoek

Etalagebijeenkomst over samenwerken aan digitale toetsing in onderwijs: opzet, opbrengst en vervolg vier digitale toetspilots

16 maart 2018 door

Binnen de HAN worden steeds meer activiteiten op het gebied van digitale toetsing ontplooid. Digitale toetsing kan namelijk meerwaarde bieden bij alle fases uit de toetscyclus. Mede daarom is er eind 2015 door toetscollega’s uit het onderwijs en het Digitaal Toets team van SU OO & SZ een onderzoek gedaan, binnen het onderwijs, naar waar in de toetscyclus vooral behoefte is aan een digitale component. Op basis van dit onderzoek zijn er een viertal digitale toetspilots gedraaid. Op 7 december j.l. is in een etalagebijeenkomst gepraat over de opzet, opbrengst en vervolg op deze pilots.

De etalagebijeenkomst begon met een plenair deel, dat geopend werd door Michel Kao. Michel neemt ons eerst mee in de totstandkoming van de pilots. Hij vertelt dat er uit het behoefteonderzoek, dat onder 500 OWE-eigenaren werd uitgezet, in eerste instantie 7 toets-thema’s kwamen. Deze zijn voorgelegd aan meerdere leveranciers van digitale producten, die op een leveranciersdag de mogelijke inzet van deze producten aan het onderwijs hebben gepresenteerd. Hieruit zijn uiteindelijk vier verschillende digitale toets pilots gekozen, met als doel om met collega’s uit het onderwijs, de leverancier, adviseurs en functioneel beheer ervaring op te doen met het digitaal middel binnen een thema. De vier pilots waren:

  • Digitaal Inleveren en beoordelen met Gradework
  • Beoordelen van open vragen met Codas
  • Toetsend leren van taalvaardigheid met Cirrus en QMP
  • Ontwikkelingsgericht toetsen met video en peerfeedback met Kaltura

 

De pilots hebben gedraaid van zomer 2016 tot in 2017 en er was €5000 per pilot beschikbaar.

 

Vier pilots uiteengezet

Van alle pilots waren er collega’s aanwezig die iets konden vertellen over hun ervaringen met het digitale component. De eerste collega’s die hier iets over kwamen vertellen waren Jelte v/d Velde en Erik Dortmans van  Pedagogiek. Zij hebben Gradework uitgeprobeerd in het kader van de pilot digitaal inleveren en beoordelen. De aanleiding voor hen om mee te doen met de pilot was dat er bij Pedagogiek nog veel op papier ingeleverd werd. Daar waar al wel gebruik werd gemaakt van een digitaal inleverpunt ontbrak nog een ingebouwde plagiaatcheck en bovendien was het niet mogelijk om videobestanden in te leveren. De pilot hebben ze gedraaid met twee groepen, waarbij de studenten het werk zowel in het bestaande systeem als in Gradework hebben ingeleverd. De reacties van studenten en docenten op het systeem waren erg positief. Met name de snelheid, overzichtelijkheid en gebruiksgemak werden genoemd als pluspunten. Daarbij ondersteunt Gradework beoordelen in het systeem, waardoor het ingeleverde werk en het beoordelingsformulier op één scherm kan worden getoond. Het studentmateriaal kan daardoor sneller worden nagekeken. Pedagogiek was graag verder gegaan met Gradework, maar o.a. vanwege het budget was dit helaas niet mogelijk.

Irene Geurts, van HBO-rechten, vertelde over de pilot die zij hebben gedraaid met het programma Codas; een systeem dat het beoordelen van open vragen moet vergemakkelijken. De aanleiding om mee te doen was de grote stapel essays die elke week nagekeken moeten worden, met telkens een doorlooptijd van slechts 1 week. Irene vertelt dat Codas niet voor je nakijkt, maar je hier op basis van een wiskundig model wel in ondersteunt. Het werkt als volgt: je voert in het systeem in wat hele goede en hele slechte antwoorden zijn. Van beide uitersten moet je er drie invullen. Vervolgens maakt Codas een overzicht voor je met alle antwoorden gesorteerd van goed naar slecht. Irene vertelt dat ze dan nog steekproefsgewijs door de antwoorden heen gaat, waarbij je de beoordeling kan aanpassen. Op basis van die aanpassingen berekent Codas alles opnieuw en is op die manier een lerend systeem. Hoe groter de database is, hoe nauwkeuriger Codas wordt. Ondanks de positieve ervaringen met Codas heeft HBO-rechten besloten om niet verder te gaan met het programma, omdat de integratie tussen het digitale inleverpunt en Codas niet optimaal was waardoor het geheel niet gebruiksvriendelijk genoeg is.

De derde pilot werd toegelicht door Remko Bosch van het instituut Toegepaste Biowetenschappen en Chemie. Zij hebben een combinatie van de applicaties Cirrus en QMP uitgeprobeerd om het leren van Engels te ondersteunen. QMP werd hierbij gebruikt voor formatief toetsen van de lees- en luistervaardigheid en Cirrus voor het afnemen van formatieve schrijfvaardigheidstoetsen. Remko geeft aan dat het instituut een positief gevoel heeft overgehouden aan de pilot. Met name het inzicht in de statistiek, o.a. welke vragen goed zijn gemaakt, dat het digitaal afnemen met zich meebrengt noemt hij als een pluspunt. Ze blijven daarom in ieder geval QMP gebruiken na de pilot. Voor Cirrus is dat nog onbekend.

Voor uitleg over de vierde en laatste pilot komt Marjo Maas van fysiotherapie aan het woord. Bij haar vak wordt er veel gewerkt met performance assessments en dit is volgens Marjo ook echt een doe-vak. Toetsing gebeurt vaak door mensen uit het werkveld en blijft daardoor buiten het gezichtsveld van de docent. Dit kan problematisch zijn, omdat wat goed en niet goed is binnen dit vak niet altijd wordt ondersteund door onderzoek en dus deels een mening is. Het is dus van belang om te toetsen vanuit verschillende perspectieven, waarbij het werkveld kan afwijken van de opleiding. Daarbij komt dat de opleiding fysiotherapie de student als partner ziet en daarom peerfeedback wil toepassen. Dit alles komt samen in de pilot die zij hebben gedraaid met Kaltura. In dit systeem kunnen video’s van de performance assessment worden ingeleverd. Vervolgens reflecteert de student op zijn eigen handelingen. Daarna geven medestudenten aanvullende feedback; ze mogen dus niet herhalen wat in de zelfreflectie is gezegd. Als laatste geeft de werkveldbegeleider nog een terugkoppeling, zodat alle feedback uiteindelijk is gegeven. Bij fysiotherapie wordt deze werkwijze formatief ingezet, maar in Kaltura kan desgewenst ook een beoordeling worden gegeven.

Interesse om aan te sluiten bij een vervolg van een van de pilots? Meld je dan bij het digitaal toetsteam via digitaletoetsing@han.nl.

Share

Over samenwerken vanuit vertrouwen

27 februari 2018 door

Herkenbaar? Projecten en andere samenwerkingsverbanden die niet lopen. Het vertrouwen is er niet echt, wat er echt speelt wordt niet naar elkaar uitgesproken, verantwoordelijkheden en verwachtingen zijn onduidelijk, naar welk resultaat werken we eigenlijk toe? Dit zijn een aantal veel voorkomende frustraties die teamleden kunnen ervaren tijdens samenwerking. In iedere samenwerking speelt dit wel in meer of mindere mate. Vraag is echter hoe je ermee als professional kunt omgaan en kunt bijdragen aan een kanteling naar een samenwerking vanuit vertrouwen en positiviteit. Deze vragen vormden het startpunt voor een gesprek tijdens de etalagebijeenkomst samenwerken in vertrouwen van 19 februari jl.

Lees verder

Share

Uitwisseling leven lang leren Saxion, Windesheim, HAN en NHL-Stenden

26 januari 2018 door

Gisteren heb ik een uitwisselingsbijeenkomst bijgewoond over leven lang leren en de stappen die collega hogescholen hierin zetten in het kader van de experimenten flexibilisering en vraagfinanciering. Het grootste deel van de ochtend gingen we in groepen aan de slag om uit te wisselen over een breed scala aan onderwerpen gericht op de volgende thema’s: ontwikkeling van het flexibele curriculum, marketing en communicatie, processen/systemen, en kwaliteitzorg/verantwoording.

Veelbelovend, maar ook grote uitdagingen
De aftrap was plenair waarin iedere hogeschool kort presenteerde welke plannen ze heeft, wat is bereikt en waar de belangrijke vervolgstappen liggen. Hoewel er verschillen zijn tussen hogescholen in het aantal betrokken opleidingen binnen het experiment en de ervaringen die met het experiment flexibilisering  is opgedaan, rapporteren ze over het algemeen een verhoging van instroom en studenttevredenheid. Hogeschool breed spant men zich in om de ontwikkelvraag van student en werkveld meer centraal te stellen o.a. door modulair onderwijs, het mogelijk maken van cross overs tussen vakgebieden en opleidingen en AD-trajecten te starten. Flexibele curricula beschreven in leeruitkomsten met leerwegonafhankelijke toetsen en mogelijkheden tot valideren van leerresultaten die buiten het HO bereikt zijn. Men is ambitieus en beloofd veel aan de buitenwereld en daarbij komen ook grote uitdagingen, zoals een onderwijslogistiek (processen en systemen) die flexibel onderwijs mogelijk maakt. Er worden verschillende aanpakken gehanteerd richting eenzelfde doel (flexibel en eigentijds onderwijs): sturing in een programma of in de lijn, onderwijs voor werkenden apart organiseren in een “deeltijdacademie” of samen met de voltijd binnen de bestaande structuur. We experimenteren en leren, maar het eindniveau en daarmee kwaliteit van het diploma blijft stevig geborgd.

Zelfde vragen, andere uitwerkingen
Tijdens de uitwisseling sloot ik me aan bij het thema van curriculumontwikkeling. Eerst een plenaire inventarisatie van vragen om over uit te wisselen. Het horen van al deze vragen geeft al veel informatie met welke onderwerpen er spelen binnen opleidingen. Zie mijn aantekeningen van de inventarisatieronde.

In mijn groepje stond vooral de vraag omtrent het formuleren van leeruitkomsten centraal. Diverse topics kwamen in de discussie naar boven. Ik licht er enkele uit. Het is moeilijk om volledig te zijn daar er in zo’n gesprek verschillende onderwerpen voorbij komen en ik soms ook verder ga nadenken bij wat er wordt gezegd, waardoor ik de draad weer moest oppakken ;-)

Opbouw van het curriculum met modules en leeruitkomsten.
Begin je vooral vanuit het bestaande aanbod te formuleren of echt vanaf “scratch” opnieuw? Bij Saxion bijvoorbeeld is men echt vanaf scratch opnieuw begonnen door opleidingsoverstijgend te brainstormen over belangrijke thema’s die spelen in het werkveld om vervolgens tot “sectormodules”, “clustermodules” en opleiding specifieke modules te komen. Bij de HAN is men over het algemeen vertrokken vanuit het onderwijsaanbod in onderwijseenheden dat is omgezet naar leeruitkomsten.  Bij Windesheim (Bedrijfskunde) wil men gaan vertrekken vanuit de “10 kernbeloftes” naar het werkveld toe. Bijvoorbeeld “Passend leiderschap vertonen” en “op methodologische wijze verbeteringen en innovaties voorstellen” zijn voorbeelden van deze beloften. Deze wil men gaan omzetten naar leeruitkomsten.

Hoe omschrijf je een leeruitkomst?
Saxion beschrijft haar opleidingen in 8 eenheden van leeruitkomsten van ieder 30 ECTS. In het onderwijsaanbod zijn aan iedere EVL 6 leeruitkomsten gekoppeld van 5 EC.  Rondom zo’n leeruitkomst is een module vormgegeven. Voor iedere leeruitkomst van 5 EC is er een toets. Met toets altijd beroepsproducten. Dit is weer een andere opzet dan waarvoor wij als HAN hebben gekozen. Zie ook deze presentatie voor meer informatie over de opzet van Saxion.

We verdiepen het gesprek ook naar de formulering van de leeruitkomst. Over het algemeen zijn we het eens dat beroepsproducten een goede basis vormen of in ieder geval genoemd moeten worden, liefst ook nog met een effectcriterium. (“een beleidsplan kunnen schrijven op basis waarvan het management een beslissing kan nemen”). Neem je criteria/indicatoren op in de leeruitkomst of toch apart? Vanuit de HAN vind ik dat het satéprikker model van leeruitkomsten naar dimensies en een beoordelingsrubriek een mooi voorbeeld. Er ontstaat discussie in hoeverre de context genoemd moet worden, d.w.z. hoe specifiek of generiek de omschrijving moet zijn. Ook dat de leeruitkomst nooit sec een product kan zijn, maar dat er altijd iets van het leerproces en visie van de student zichtbaar moet worden. Er moet “weloverwogenheid” (NHL-Stenden) uit spreken.

De ochtend werd afgesloten met een korte terugkoppeling vanuit de verschillende groepen en het uitwisselen van contactgegevens.

Share

Pilot 2 Beoordelen met open vragen, de afronding

3 februari 2017 door

The results are in! De pilot met Codas is afgerond en na de eerste resultaten uit de vorige blog zijn we nu nog steeds enthousiast. We hebben in totaal vier juridische en vier taalkundige opdrachten door Codas laten beoordelen. Het systeem presteerde zoals we dat hadden verwacht.

Na deze korte pilot hebben we besloten om Codas bij enkele andere vakken in te zetten het komende semester. In de afgelopen pilot werden stukken beoordeeld die studenten tijdens de lessen maakten. Nu gaan we Codas testen met stukken die studenten thuis maken. We gaan proberen om het huiswerk te laten beoordelen door het systeem. We verwachten dat de werkdruk bij docenten omlaag gaat en als bijkomend voordeel dat studenten voorbereid in de les zitten.

Wij zijn enthousiast en we hopen dat de HAN snel Codas gaat aanbieden. Voor het zover is, moeten wij nog wel wat werk verzetten. Onze systemen moeten worden aangepast op Codas zodat alles nog sneller en eenvoudiger zal gaan. Zoals ik in mijn vorige blog al schreef, zit het meeste werk nu in het halen van de gegevens uit onze eigen dropbox.

Volgens ons is Codas een mooie manier om de nieuwe techniek in te zetten in ons onderwijs. Het beoordelen van stukken kan sneller, gemakkelijker en beter.

Irene Geurts

Share

Pilot 2 Beoordelen van open vragen, ervaringen met Codas

9 december 2016 door

Met één druk op de knop alle resultaten van studenten op je scherm? Maar zes stukken nakijken in plaats van dertig? De eerste resultaten van de pilot met Codas zijn veelbelovend.

Inmiddels hebben we de training van Codas achter de rug en hebben we een vliegende start gemaakt met de pilot. Al twee weken achter elkaar hebben we het systeem getest. We kwamen vrij snel tot de ontdekking dat Codas heel gebruiksvriendelijk is en vooral heel snel. Met letterlijk één druk op de knop kwamen de cijfers op het scherm.

Onze eigen systemen werkten helaas wat langzamer. De stukken van studenten uit de dropbox op Scholar halen, bleek veel werk. Iedere student moet apart aangeklikt worden en voordat je het stuk op je eigen computer hebt opgeslagen, ben je tenminste tien keer klikken verder. Op dit moment testen we Codas in slechts twee klassen en zijn we ongeveer een half uur bezig om de benodigde stukken van Scholar te halen. Als we volgend semester de pilot willen uitbreiden naar meer dan tien klassen, wordt dit een serieus probleem.

Eén van de docenten had nog een dataset van nagekeken stukken van vorig jaar. Hiervan hebben wij dankbaar gebruik gemaakt. In plaats van dat we nog stukken moesten nakijken van de huidige groepen, konden we de huidige stukken bij de oude voegen en dan direct resultaat zien. Eigenlijk zou je per opdracht ongeveer zes stukken moeten nakijken maar wij kunnen deze stap overslaan omdat we al dertig nagekeken stukken hebben.

We hebben nog twee opdrachten in deze periode te gaan. Voorlopig laten we Codas alleen op de achtergrond meedraaien. De docenten kijken nog steeds hun eigen klassen na. Zij krijgen ter ondersteuning wel de resultaten uit Codas in overzichtelijk excelbestand en we vergelijken hun resultaten met die van Codas. We gaan ter voorbereiding op het volgende semester de oude dataset nogmaals nakijken met meerdere docenten om een ‘gouden standaard’ te creëren. Daarnaast gaan we de antwoordmodellen nog eens tegen het licht houden. We hopen dat we in het volgende semester daarvan gaan profiteren.

Irene Geurts

Share