Zoeken | Site-navigatie | Extra onderdelen (sidebar)

Veilig digitaal toetsen met proctoring

26 oktober 2014 door Ton Ammerlaan

Van: Surf Natasa Brouwer (UvA) en Daniel Haven (ProctorExam)

In juli 2014 is bij de Science faculteit aan de UvA een pilot gedaan met digitale toetsing met proctoring. Het “Online Proctoren” is een relatief nieuw opkomend concept van het afnemen van tentamens op afstand dat tot nu toe vooral terrein heeft gewonnen in het onderwijs in de Verenigde Staten. Proctoring wordt onder andere gebruikt in MOOCs voor certificering. Er zijn verschillende methodes van proctoring bekend. Aanbieders van online proctor-diensten zijn veelal Amerikaans of gebruiken Amerikaanse software. Online proctoren is een nieuw gebied. De privacy en juridische aspecten zijn nog niet specifiek hiervoor vastgelegd waarbij de wetgeving in de EU en VS sterk van elkaar verschillen.

Online Pre-master programma

In 2012 is aan de UvA een online programma Pre-master Information Studies van start gegaan om toekomstige studenten de mogelijkheid te geven om hun deficiënties in kennis, die nodig is voor een master Information Studies, weg te werken. Dit pre-masterprogramma heeft in totaal 5 online modules met een toetsgestuurd ontwerp en online begeleiding door een moderator. Één keer per week wordt een videoconferentie vragenuur georganiseerd. Bij goed afgeronde modules én een voldoende op de tentamens aan het eind gaat de deur naar de master open.

Als doelgroep van deze Pre-master waren ten eerste Nederlandse HBO-ers verwacht en studenten uit de omringende landen. De tentamens aan het eind van de online modules waren op de locatie bij de FNWI gepland. Al bij de eerste aflevering hebben zich ook drie deelnemers uit verre landen aangemeld waardoor het aanbieden van een tentamen op afstand noodzakelijk werd. De fysieke aanwezigheid op het tentamen van twee uurtjes zou voor die drie deelnemers heel duur en naar verhouding erg tijdrovend zijn. Voor die drie deelnemers is toen een online tentamen georganiseerd waarbij video en audio contact met hen werd gelegd en hun computerscherm werd gedeeld met een docent die aanwezig was tijdens het hele tentamen. Een tijdrovende operatie om alles goed voor te bereiden. Bij drie deelnemers was dit qua logistiek nog net uitvoerbaar.

De deelnemers waren met het pre-master programma heel tevreden. Bij de volgende afleveringen van de modules was de aanmelding uit buitenland alleen nog groter. Uit de resultaten van de master bleek geen significant verschil te zijn in het studiesucces tussen de studenten die via de pre-master instroomden en de reguliere instroom studenten. Dat was een goede motivatie om dit online Pre-master programma voort te zetten en actief naar oplossingen te gaan zoeken voor de digitale tentamens op afstand.

ProctorExam

In november 2013 verscheen een bericht op SURFspace van ProctorExam (toen nog Proctor2me genoemd), een Nederlandse Startup. Een van de redenen om dit bedrijf in het leven te roepen was juist het privacy probleem dat speelt met het gebruik maken van een Amerikaanse dienst. ProctorExam werkte met eigen software. De persoonlijke data en de video’s van de examens worden opgeslagen in Nederland. De innovatieve aanpak van proctoring, de openheid voor maatwerk en de flexibele houding waren de redenen voor de samenwerking tussen het Pre-master programma Information Studies en ProctorExam dat in juli 2014 tot een succesvolle pilot met proctor tentamens leidde.

Proctor Exam heeft een volledig web-based platform waarbij studenten geen programma’s op hun computer hoeven te downloaden. ProctorExam maakt gebruik van vier basis elementen: 360° audio en visuele surveillance, ScreenSharing technologie, live examen toezicht en video opnames (Figuur 1).

Figuur 1: Schermopname van een proctor examen van ProctorExam

ProctorExam werkt er aan om zich aan te sluiten bij SURFmarket. SURFmarket zal de samenwerking tussen de verschillende instantellingen kunnen verbeteren in het gebruik van ProctorExam.

Pilot bij de FNWI, Universiteit van Amsterdam

Bij een online module past een online tentamen. Eind juli 2014 bij de derde termijn voor Pre-master tentamens in dat academisch jaar werd besloten om alle deelnemers de gelegenheid te geven om het tentamen op afstand te doen mits hun apparatuur aan de technische eisen van het proctor tentamen voldoet. De studenten konden uit privacy redenen het tentamen op afstand weigeren en op locatie bij de FNWI dit komen afleggen. Alle deelnemers werd gevraagd om een apparatuur check te doen. De deelnemers die niet door de apparatuur check zijn gekomen of geen apparatuur check wilden doen konden niet aan het tentamen op afstand met een proctor beginnen. Om extra stress bij het tentamen te voorkomen moesten de toegelaten deelnemers eerst nog een dummy tentamen doen. Het dummy tentamen was precies gelijk aan echt proctor tentamen behalve dat er geen vragen over het vak zijn gesteld maar één open vraag: “Wat vond je van het proctor tentamen?”.

68 pre-master studenten hebben uiteindelijk een proctor exam op afstand gedaan. 8 studenten kwamen naar het Science park en hebben het tentamen onder de toezicht van een surveillant in een computerzaal gedaan.

Resultaten
Het is technisch gezien goed gegaan. Alle deelnemers hebben direct na het tentamen een enquête ingevuld (ook de deelnemers die op locatie het tentamen hebben afgelegd). Uit de enquête bleek dat de grote meerderheid tevreden tot zeer tevreden was met de proctor (Figuur 2).


Figuur 2: Tevredenheid over de contact met de proctor

Figuur 3 en 4: Tevredenheid over het concept proctoring (links) en tevredenheid over de adequaat gegarandeerde privacy door Procwise (rechts)

Visuele en audio toezicht tijdens een online examen werd door 69% van de deelnemers als prettig ervaren (figuur 3). 34% van de deelnemers waren positief gestemd over de privacy regelementen van ProctorExam en 20% waren daar niet tevreden over (figuur 4)

De pilot in juli heeft de technische aspecten van een proctor tentamen goed getest. Op basis van die ervaring heeft ProctorExam zijn software en de look and feel op het platform verbeterd. Bij de Pre-master programma is de workflow voor digitale toetsing met proctoring gemaakt.

Met deze pilot is veel geleerd. Enkele beleid, juridische en privacy gerelateerde vragen moeten nog beantwoord worden. Bijvoorbeeld over hoe lang moeten/mogen de video’s van de tentamens bewaard worden, wat zijn precies de consequenties van een ongewenst gedrag bij het tentamen voor een student, wat zijn de regels bij het uitvallen van de internet verbinding. Alles wordt ook duidelijk gecommuniceerd naar studenten toe.

ProctorExam en Pre-master programma bij de FNWI zullen in de komende periode daarom nog een aantal pilots samen uitvoeren en al deze vragen proberen te beantwoorden en de workflow optimaliseren zodat het tentamineren met proctoring als een standaard procedure ingevoerd zou kunnen worden bij de Pre-master Information Studies en daarna misschien ook bij andere pre-master programma’s of zelfs in regulier onderwijs.

Reacties

Reageer

*