HAN

Zoeken | Site-navigatie | Extra onderdelen (sidebar)

ICT in Onderwijs en Onderzoek

Pilot 2 Beoordelen van open vragen, ervaringen met Codas

9 december 2016 door

Met één druk op de knop alle resultaten van studenten op je scherm? Maar zes stukken nakijken in plaats van dertig? De eerste resultaten van de pilot met Codas zijn veelbelovend.

Inmiddels hebben we de training van Codas achter de rug en hebben we een vliegende start gemaakt met de pilot. Al twee weken achter elkaar hebben we het systeem getest. We kwamen vrij snel tot de ontdekking dat Codas heel gebruiksvriendelijk is en vooral heel snel. Met letterlijk één druk op de knop kwamen de cijfers op het scherm.

Onze eigen systemen werkten helaas wat langzamer. De stukken van studenten uit de dropbox op Scholar halen, bleek veel werk. Iedere student moet apart aangeklikt worden en voordat je het stuk op je eigen computer hebt opgeslagen, ben je tenminste tien keer klikken verder. Op dit moment testen we Codas in slechts twee klassen en zijn we ongeveer een half uur bezig om de benodigde stukken van Scholar te halen. Als we volgend semester de pilot willen uitbreiden naar meer dan tien klassen, wordt dit een serieus probleem.

Eén van de docenten had nog een dataset van nagekeken stukken van vorig jaar. Hiervan hebben wij dankbaar gebruik gemaakt. In plaats van dat we nog stukken moesten nakijken van de huidige groepen, konden we de huidige stukken bij de oude voegen en dan direct resultaat zien. Eigenlijk zou je per opdracht ongeveer zes stukken moeten nakijken maar wij kunnen deze stap overslaan omdat we al dertig nagekeken stukken hebben.

We hebben nog twee opdrachten in deze periode te gaan. Voorlopig laten we Codas alleen op de achtergrond meedraaien. De docenten kijken nog steeds hun eigen klassen na. Zij krijgen ter ondersteuning wel de resultaten uit Codas in overzichtelijk excelbestand en we vergelijken hun resultaten met die van Codas. We gaan ter voorbereiding op het volgende semester de oude dataset nogmaals nakijken met meerdere docenten om een ‘gouden standaard’ te creëren. Daarnaast gaan we de antwoordmodellen nog eens tegen het licht houden. We hopen dat we in het volgende semester daarvan gaan profiteren.

Irene Geurts

Share

Training pilot Gradework inleveren en beoordelen

5 december 2016 door

Afgelopen week hebben we de training voor Gradework gehad. Op maandag de training voor de toets ontwikkelaars/coördinatoren, en op donderdag de training voor de examinatoren.

Rollen
De toets ontwikkelaar maakt het beoordelingsformulier en toets definitie in Gradework aan, de coördinator zorgt de studenten en examinatoren aan de juiste toets definitie worden gekoppeld. In de toekomst zou dit ook geautomatiseerd kunnen met een koppeling vanuit Alluris. De examinator kan vervolgens het ingeleverde werk van studenten nakijken.

Beoordelingsformulier
Tijdens de training hebben we vooral geoefend met het aanmaken van een nieuw beoordelingsformulier. In dit formulier kun je de verschillende beoordelingscriteria vastleggen en de bijbehorende punten. Ook kun je aangeven wanneer een student bijvoorbeeld niet aan alle voorwaarden voldoet en hier een ontvankelijkheid of knock-out voorwaarde aan meegeven.
Na afloop van de training heeft Erik de taak op zich genomen om ons Pedagogiek beoordelingsformulier om te zetten naar Gradework, zodat we deze tijdens de training met de examinatoren konden gebruiken.

Toetsdefinitie
In de toetsdefinitie wordt vastgelegd of het een individuele of groepsopdracht is, welke examinatoren er gekoppeld moeten worden, wat voor materialen de student mag inleveren en of er een plagiaatscan moet worden toegepast. Tijdens de pilot zullen we gebruik maken van Orkunt, dit is een alternatief voor Ephorus. Ook interessant om hier eens ervaring mee op te doen.

Examinatoren
Bij de training voor examinatoren hebben we het beoordelingsformulier van Pedagogiek in de demo omgeving van Gradework kunnen uitproberen. Het is mooi om te zien dat binnen deze applicatie het beoordelingsformulier naast het materiaal kan worden gehouden en via het scherm kan worden beoordeeld. Je hoeft dus geen formulieren meer uit te printen en weer in te scannen. Je kunt binnen het document werken met annotaties om de student feedback te geven en het beoordelingsformulier is na goedkeuring ook direct zichtbaar voor de student.

Tot zover deze update van de pilot. Volgende keer gaan we verder met de praktijk. Dan gaan onze pilot docenten (Mirjam en Marielle) aan de slag met beoordelen.

Tanja van Grinsven
Corrie Schrameijer
Jelte van der Velde
Erik Dortmans

Share

Denk mee over de visie Digitale Leer- en WerkOmgeving voor de HAN

2 december 2016 door

visie-dlwo

Welke visie op de Digitale Leer- en WerkOmgeving past bij de ambities en plannen van de HAN de komende jaren? Een herkenbare en gedeelde visie helpt om keuzes te maken op inzet en doorontwikkeling van de verschillende omgevingen die we gebruiken in de HAN. In een kort lopend traject organiseren we dialoogsessies aan de hand van 4 thema’s.

In de dialoogsessies bespreken we de uitkomsten van een grondige analyse die we op de thema’s hebben losgelaten. En we gaan in gesprek om zoveel mogelijk informatie op de halen bij de deelnemers. We hopen op deelname vanuit: studenten, docenten, onderzoekers ondersteuners én externen.
Meld je aan voor dialoogsessie(s), of kijk voor meer informatie op http://www.han.nl/insite/dlwo.

De data:

Data dialoogsessies

Begeleiden van studenten
Woensdag 7 december tijd 9.00 – 11.00 u, Nijmegen
Maandag 12 december tijd 16.00 – 18.00 u, Arnhem

Toetsen en beoordelen
Dinsdag 13 december tijd 16.00 – 18.00 u, Arnhem
Woensdag 14 december tijd 16.00 – 18.00 u, Nijmegen

Samen leren, werken en onderzoeken
Woensdag 11 januari tijd 9.00-11.00 u, Arnhem
Donderdag 12 januari tijd 11.00-13.00 u, Nijmegen

* Let op: elke sessies wordt in Arnhem en in Nijmegen gegeven en het onderwerp ‘Informeren over studie en werk’ komt in elke sessie aan bod.

Share

Digitaal toetsen pilot 2: toetsen met open vragen

4 november 2016 door

Wie wil er nu niet studenten meer willen toetsen zonder daar zelf minder werk aan te hebben en dan ook nog de kwaliteit van het nakijkwerk vergroten? Bij HBO-rechten hebben we bij een vak iedere week een schrijfopdracht en door het grote volume (14 klassen in het tweede semester) zorgt dit voor veel werkdruk bij docenten. Daarnaast willen we studenten wel graag goede feedback kunnen bieden. We willen graag met deze pilot beide punten aanpakken.
We hebben in de afgelopen periode gesproken met diverse leveranciers en uit de gesprekken is gebleken dat alle systemen goed zijn in één specifieke taak. Xebic is goed in het stroomlijnen van de procesvoering, Turnitin is goed in het snel feedback kunnen invoeren en Codas is goed is grote aantallen schriftelijke stukken beoordelen.
We hebben besloten om met het laatste systeem een pilot te starten. We willen graag formatieve toetsen (toetsen die niet een cijfer in Alluris opleveren) sneller kunnen nakijken en we hebben het idee dat dit met Codas kan. In dit systeem hoeven docenten slechts een klein deel van de stukken na te kijken en daarna kan Codas zelf een rangorde maken. Met een druk op de knop bepaalt Codas welke stukken grote overeenkomsten hebben met de beoordeelde stukken en welke niet. Studenten kunnen heel snel zien hoe ze hebben gescoord. Als ze 84e van de 100 studenten zijn geworden, weten ze dat ze niet goed hebben gescoord. Door het antwoordmodel dan nog in de klas te laten zien, kunnen studenten hun eigen stuk vergelijken en vindt er een tweede leermoment plaats. Voor de toekomst biedt dit mogelijkheden om studenten meer te toetsen zonder daar minder werk aan te hebben.
We gaan nu al beoordeelde stukken invoeren in Codas zodat we in periode twee kunnen gaan testen. We hebben hoge verwachtingen en we hebben er veel zin in.

Irene Geurts

Share

Digitaal Toetsen pilot 1: digitaal inleveren en beoordelen

18 oktober 2016 door

Beste Lezers,

Welkom op onze blog over de pilot digitale toetsen. We gaan hier tot 1 februari informatie over onze pilot delen. Zo kan iedereen die hierin geïnteresseerd is op de hoogte blijven van de stappen die genomen zijn/worden.

Aan de slag
Halverwege september zijn we gestart met de pilot digitale toetsen. We gaan hierin twee systemen (Turnitin en Xebic) onder de loep nemen om te zien welke we het meest geschikt achten om een pilot mee te gaan doen. In het oriëntatiegesprek hebben we de planning besproken. Waarin periode 1 grofweg dient om informatie te vergaren over de twee systemen en periode 2 de daadwerkelijke pilot omvat. Ook hebben we hier de eisen vastgesteld waaraan volgens ons een systeem voor het digitaal inleveren van toetsen minimaal aan dient te voldoen.

Na dit gesprek zijn er veel stappen genomen. Zo hebben we met beide leveranciers om tafel gezeten om te bekijken wat hun systemen ons kunnen bieden en of dit overeenkomt met onze behoeftes. We hebben deze besprekingen meegenomen in onze overwegingen en uiteindelijk de knoop doorgehakt dat we de pilot met het systeem van Xebic gaan doen. Deze keus hebben we o.a. gemaakt omdat dit systeem naar onze mening beter het gehele proces van het klaarzetten van toetsen tot de uiteindelijke beoordeling ondersteunt. Ook konden wensen over het koppelen van andere systemen beter gerealiseerd worden met dit systeem. Natuurlijk zijn er nog meer afwegingen waarom er voor dit systeem gekozen is, maar de genoemde redenen waren wel enkele speerpunten van ons.

Wat ons nu te doen staat is het in gang zetten van de pilot. Hierbij komt een hoop kijken en we zijn hier dan ook hard mee bezig om te zorgen dat het systeem op tijd klaar is om de pilot om onze gewenste manier te kunnen doen.

Spannend dus! We zijn tot op heden te spreken over het voorgestelde systeem en de samenwerking met Xebic verloopt ook prima. Kortom we zijn op de goede weg en we kunnen niet wachten om te zien wat dit systeem ook echt te bieden heeft!

Tot de volgende.

 

Tanja van Grinsven
Corrie Schrameijer
Jelte van der Velde
Erik Dortmans

Share