HAN

Zoeken | Site-navigatie | Extra onderdelen (sidebar)

ICT in Onderwijs en Onderzoek

Pilot 2 Beoordelen met open vragen, de afronding

3 februari 2017 door

The results are in! De pilot met Codas is afgerond en na de eerste resultaten uit de vorige blog zijn we nu nog steeds enthousiast. We hebben in totaal vier juridische en vier taalkundige opdrachten door Codas laten beoordelen. Het systeem presteerde zoals we dat hadden verwacht.

Na deze korte pilot hebben we besloten om Codas bij enkele andere vakken in te zetten het komende semester. In de afgelopen pilot werden stukken beoordeeld die studenten tijdens de lessen maakten. Nu gaan we Codas testen met stukken die studenten thuis maken. We gaan proberen om het huiswerk te laten beoordelen door het systeem. We verwachten dat de werkdruk bij docenten omlaag gaat en als bijkomend voordeel dat studenten voorbereid in de les zitten.

Wij zijn enthousiast en we hopen dat de HAN snel Codas gaat aanbieden. Voor het zover is, moeten wij nog wel wat werk verzetten. Onze systemen moeten worden aangepast op Codas zodat alles nog sneller en eenvoudiger zal gaan. Zoals ik in mijn vorige blog al schreef, zit het meeste werk nu in het halen van de gegevens uit onze eigen dropbox.

Volgens ons is Codas een mooie manier om de nieuwe techniek in te zetten in ons onderwijs. Het beoordelen van stukken kan sneller, gemakkelijker en beter.

Irene Geurts

Share

Pilot 2 Beoordelen van open vragen, ervaringen met Codas

9 december 2016 door

Met één druk op de knop alle resultaten van studenten op je scherm? Maar zes stukken nakijken in plaats van dertig? De eerste resultaten van de pilot met Codas zijn veelbelovend.

Inmiddels hebben we de training van Codas achter de rug en hebben we een vliegende start gemaakt met de pilot. Al twee weken achter elkaar hebben we het systeem getest. We kwamen vrij snel tot de ontdekking dat Codas heel gebruiksvriendelijk is en vooral heel snel. Met letterlijk één druk op de knop kwamen de cijfers op het scherm.

Onze eigen systemen werkten helaas wat langzamer. De stukken van studenten uit de dropbox op Scholar halen, bleek veel werk. Iedere student moet apart aangeklikt worden en voordat je het stuk op je eigen computer hebt opgeslagen, ben je tenminste tien keer klikken verder. Op dit moment testen we Codas in slechts twee klassen en zijn we ongeveer een half uur bezig om de benodigde stukken van Scholar te halen. Als we volgend semester de pilot willen uitbreiden naar meer dan tien klassen, wordt dit een serieus probleem.

Eén van de docenten had nog een dataset van nagekeken stukken van vorig jaar. Hiervan hebben wij dankbaar gebruik gemaakt. In plaats van dat we nog stukken moesten nakijken van de huidige groepen, konden we de huidige stukken bij de oude voegen en dan direct resultaat zien. Eigenlijk zou je per opdracht ongeveer zes stukken moeten nakijken maar wij kunnen deze stap overslaan omdat we al dertig nagekeken stukken hebben.

We hebben nog twee opdrachten in deze periode te gaan. Voorlopig laten we Codas alleen op de achtergrond meedraaien. De docenten kijken nog steeds hun eigen klassen na. Zij krijgen ter ondersteuning wel de resultaten uit Codas in overzichtelijk excelbestand en we vergelijken hun resultaten met die van Codas. We gaan ter voorbereiding op het volgende semester de oude dataset nogmaals nakijken met meerdere docenten om een ‘gouden standaard’ te creëren. Daarnaast gaan we de antwoordmodellen nog eens tegen het licht houden. We hopen dat we in het volgende semester daarvan gaan profiteren.

Irene Geurts

Share

Training pilot Gradework inleveren en beoordelen

5 december 2016 door

Afgelopen week hebben we de training voor Gradework gehad. Op maandag de training voor de toets ontwikkelaars/coördinatoren, en op donderdag de training voor de examinatoren.

Rollen
De toets ontwikkelaar maakt het beoordelingsformulier en toets definitie in Gradework aan, de coördinator zorgt de studenten en examinatoren aan de juiste toets definitie worden gekoppeld. In de toekomst zou dit ook geautomatiseerd kunnen met een koppeling vanuit Alluris. De examinator kan vervolgens het ingeleverde werk van studenten nakijken.

Beoordelingsformulier
Tijdens de training hebben we vooral geoefend met het aanmaken van een nieuw beoordelingsformulier. In dit formulier kun je de verschillende beoordelingscriteria vastleggen en de bijbehorende punten. Ook kun je aangeven wanneer een student bijvoorbeeld niet aan alle voorwaarden voldoet en hier een ontvankelijkheid of knock-out voorwaarde aan meegeven.
Na afloop van de training heeft Erik de taak op zich genomen om ons Pedagogiek beoordelingsformulier om te zetten naar Gradework, zodat we deze tijdens de training met de examinatoren konden gebruiken.

Toetsdefinitie
In de toetsdefinitie wordt vastgelegd of het een individuele of groepsopdracht is, welke examinatoren er gekoppeld moeten worden, wat voor materialen de student mag inleveren en of er een plagiaatscan moet worden toegepast. Tijdens de pilot zullen we gebruik maken van Orkunt, dit is een alternatief voor Ephorus. Ook interessant om hier eens ervaring mee op te doen.

Examinatoren
Bij de training voor examinatoren hebben we het beoordelingsformulier van Pedagogiek in de demo omgeving van Gradework kunnen uitproberen. Het is mooi om te zien dat binnen deze applicatie het beoordelingsformulier naast het materiaal kan worden gehouden en via het scherm kan worden beoordeeld. Je hoeft dus geen formulieren meer uit te printen en weer in te scannen. Je kunt binnen het document werken met annotaties om de student feedback te geven en het beoordelingsformulier is na goedkeuring ook direct zichtbaar voor de student.

Tot zover deze update van de pilot. Volgende keer gaan we verder met de praktijk. Dan gaan onze pilot docenten (Mirjam en Marielle) aan de slag met beoordelen.

Tanja van Grinsven
Corrie Schrameijer
Jelte van der Velde
Erik Dortmans

Share

Denk mee over de visie Digitale Leer- en WerkOmgeving voor de HAN

2 december 2016 door

visie-dlwo

Welke visie op de Digitale Leer- en WerkOmgeving past bij de ambities en plannen van de HAN de komende jaren? Een herkenbare en gedeelde visie helpt om keuzes te maken op inzet en doorontwikkeling van de verschillende omgevingen die we gebruiken in de HAN. In een kort lopend traject organiseren we dialoogsessies aan de hand van 4 thema’s.

In de dialoogsessies bespreken we de uitkomsten van een grondige analyse die we op de thema’s hebben losgelaten. En we gaan in gesprek om zoveel mogelijk informatie op de halen bij de deelnemers. We hopen op deelname vanuit: studenten, docenten, onderzoekers ondersteuners én externen.
Meld je aan voor dialoogsessie(s), of kijk voor meer informatie op http://www.han.nl/insite/dlwo.

De data:

Data dialoogsessies

Begeleiden van studenten
Woensdag 7 december tijd 9.00 – 11.00 u, Nijmegen
Maandag 12 december tijd 16.00 – 18.00 u, Arnhem

Toetsen en beoordelen
Dinsdag 13 december tijd 16.00 – 18.00 u, Arnhem
Woensdag 14 december tijd 16.00 – 18.00 u, Nijmegen

Samen leren, werken en onderzoeken
Woensdag 11 januari tijd 9.00-11.00 u, Arnhem
Donderdag 12 januari tijd 11.00-13.00 u, Nijmegen

* Let op: elke sessies wordt in Arnhem en in Nijmegen gegeven en het onderwerp ‘Informeren over studie en werk’ komt in elke sessie aan bod.

Share

Digitaal toetsen pilot 2: toetsen met open vragen

4 november 2016 door

Wie wil er nu niet studenten meer willen toetsen zonder daar zelf minder werk aan te hebben en dan ook nog de kwaliteit van het nakijkwerk vergroten? Bij HBO-rechten hebben we bij een vak iedere week een schrijfopdracht en door het grote volume (14 klassen in het tweede semester) zorgt dit voor veel werkdruk bij docenten. Daarnaast willen we studenten wel graag goede feedback kunnen bieden. We willen graag met deze pilot beide punten aanpakken.
We hebben in de afgelopen periode gesproken met diverse leveranciers en uit de gesprekken is gebleken dat alle systemen goed zijn in één specifieke taak. Xebic is goed in het stroomlijnen van de procesvoering, Turnitin is goed in het snel feedback kunnen invoeren en Codas is goed is grote aantallen schriftelijke stukken beoordelen.
We hebben besloten om met het laatste systeem een pilot te starten. We willen graag formatieve toetsen (toetsen die niet een cijfer in Alluris opleveren) sneller kunnen nakijken en we hebben het idee dat dit met Codas kan. In dit systeem hoeven docenten slechts een klein deel van de stukken na te kijken en daarna kan Codas zelf een rangorde maken. Met een druk op de knop bepaalt Codas welke stukken grote overeenkomsten hebben met de beoordeelde stukken en welke niet. Studenten kunnen heel snel zien hoe ze hebben gescoord. Als ze 84e van de 100 studenten zijn geworden, weten ze dat ze niet goed hebben gescoord. Door het antwoordmodel dan nog in de klas te laten zien, kunnen studenten hun eigen stuk vergelijken en vindt er een tweede leermoment plaats. Voor de toekomst biedt dit mogelijkheden om studenten meer te toetsen zonder daar minder werk aan te hebben.
We gaan nu al beoordeelde stukken invoeren in Codas zodat we in periode twee kunnen gaan testen. We hebben hoge verwachtingen en we hebben er veel zin in.

Irene Geurts

Share