Aarhus Universitets segl

Chatbot til eksamenssimulering

Kort beskrivelse

Som forberedelse til en mundtlig eksamen simulerer de studerende eksaminationen ved at indgå i dialog med en chatbot. En studerende uploader sit forberedte materiale til chatbotten, som herefter stiller uddybende spørgsmål med udgangspunkt i pensum. Den studerende besvarer spørgsmålene mundtligt efter bedste evne til sine medstuderende, som herefter vurderer besvarelsen.  

Motivation

  • De studerende er meget nervøse for den mundtlige eksamen herunder uvisheden om formatet samt typen af spørgsmål. 

  • Det er nødvendigt for dem at forstå, hvordan de kan (og ikke kan) bruge chatbots i deres akademiske arbejde. 

Læringsmål

  • De studerende skal trænes i at tage en mundtlig eksamen i programmering. Simulering af en mundtlig eksamen ved hjælp af chatbot som en interaktiv eksaminator hjælper dem med at forberede sig til eksamen og blive fortrolige med nogle mulige spørgsmål. 

  • De studerende skal lære at skrive kode. I denne aktivitet reflekterer de studerende både over deres kode og æstetiske begreber og bygger bro mellem kode og teori. 

  • Ved at arbejde i grupper øver de studerende sig i kollaborativ fortolkning af kode og teori, hvilket forbedrer deres evne til at diskutere, begrunde og forfine ideer i dialog med medstuderende og chatbotten. 

Udførelse

Før undervisningen

Underviserens forberedelse 

Forberedelse af prompt. Til undervisningssessionen forbereder jeg den prompt, som de studerende skal bruge til aktiviteten. 

  • Jeg instruerer chatbotten i at fungere som censor i faget og stille spørgsmål til de studerendes arbejde. 

  • Chatbotten skal bede de studerende om at uploade et stykke kode, som den derefter skal stille opfølgende spørgsmål om. Spørgsmålene skal være af både teknisk og begrebsmæssig karakter. 

  • Jeg uploader det relevante pensummateriale og beder chatbotten om kun at basere sine spørgsmål på de relevante kapitler. 

Underviserens forberedelse 

Udarbejdelse af vurderingsskema. Jeg udarbejder et skema, som de studerende skal bruge til at evaluere hinandens mundtlige svar på eksamensspørgsmålene. 

  • Skemaet er struktureret efter kapitlerne i læseplanen - i dette tilfælde seks kapitler. 

  • For hvert kapitel skal de studerende vurdere deres kammeraters svar på en skala fra 1 til 10. 

De studerendes forberedelse  

Udvikling af kode. De seks kapitler fra kursusplanen er dækket i tidligere forelæsninger. I slutningen af hvert kapitel indeholder lærebogen en opgave, der er designet til at engagere de studerende i kapitlets nøgleemner. Disse opgaver kaldes Minix. Hver Minix består typisk af to komponenter:  

  1. RunMe, som normalt er en programmeringsøvelse 

  1. ReadMe, hvor de studerende formulerer deres æstetiske refleksioner over opgaven.  

I undervisningen

Plenum

Introduktion (5-10 min). Jeg forklarer de studerende, at vi skal have en eksamenssimulering baseret på pensum og deres kodningsarbejde. 

  • Jeg forklarer, at det er en forud promptet chatbot, der vil fungere som eksaminator, og jeg sender dem et link, så de kan tilgå chatbotten. 

  • De studerende inddeles i grupper og vælger én person ad gangen, som skal eksamineres af chatbotten. 

  • Hver gruppe modtager et vurderingsskema. 

  • Jeg forklarer, at hensigten med øvelsen er, at den skal være sjov, og at de ikke skal være nervøse for at give forkerte svar. 

I grupper 

Første runde (10 minutter). Den studerende, der skal eksamineres, åbner chatbot-linket. 

  • Chatbotten beder den studerende om at uploade koden fra RunMe-øvelsen, de har forberedt til kapitel 1. 

  • Chatbotten stiller derefter opfølgende spørgsmål om koden. Spørgsmålene er både tekniske og konceptuelle. 

  • Den studerende besvarer spørgsmålene mundtligt efter bedste evne og henvender sig til deres gruppemedlemmer. 

  • Når spørgsmålene er blevet besvaret, diskuterer de andre gruppemedlemmer, hvor gode svar der er blevet givet. 

  • Endelig giver de øvrige gruppemedlemmer en vurdering på en skala fra 1 til 10. 

I grupper 

Efterfølgende runder (50 min). Øvelsen gentages, indtil alle seks kapitler er dækket. 

Plenum 

Afslutning (10 min). Jeg afslutter øvelsen og taler med de studerende om, hvordan de oplevede at bruge chatbotten. 

  • Jeg forklarer, at de kan gentage aktiviteten derhjemme som forberedelse til eksamen. 

RESSOURCER TIL STUDERENDE

SUPPORT TIL STUDERENDE

  • Træningsguide i Brightspace 

  • Prompt til de studerende 

  • Kodning i gitlab 

Under øvelsen cirkulerer jeg blandt grupperne og besvarer spørgsmål, hvor det er nødvendigt. Dette giver mig også en fornemmelse af, hvor deres videnshuller er, og hvad de kæmper med. 

Erfaringer

Udbytte

  • De studerende fik mulighed for at afprøve eksamenssituationen og afmystificere den. De gav udtryk for, at det fik dem til at føle sig mindre nervøse for eksamen. 

  • De fik indsigt i de typer spørgsmål, der kan stilles under eksamen, hvilket hjælper dem med at forberede sig mere effektivt. 

  • De fik også bevidsthed om deres egne videnshuller, og hvad de skal gennemgå til eksamen. 

  • De studerende skulle begrunde den karakter, de tildeler, hvilket udviklede deres ræsonnement og kritiske tænkning. 

  • De studerende lærte, hvordan chatbots opfører sig og fik erfaring med chatbots styrker og begrænsninger. 

  • Flere studerende oplyste, at de ville bruge prompten uden for undervisningen, når de forbereder sig til både undervisning og eksamen. 

Udfordringer

  • Chatbotten stillede mange gode spørgsmål, men også nogle, der ikke gav meget mening eller var formuleret unaturligt. 

  • Chatbotten opfører sig ikke altid hensigtsmæssigt. For eksempel stiller den ikke altid spørgsmål, men kan i stedet udføre en slags gennemgang af den kode, som den studerende har uploadet, hvilket er en fejl. Dette sker især for studerende, der bruger en gratis version af en chatbot og derfor ikke har adgang til den mest avancerede version. 

  • Chatbotten stillede mange spørgsmål, hvilket føltes overvældende for de studerende. Det kan derfor være en god idé at sætte en grænse for, hvor mange spørgsmål den skal stille pr. kapitel, så de studerende kan dække alle kapitler.  

  • Til tider var chatbotten ikke i stand til at vurdere sværhedsgraden, hvilket resulterede i spørgsmål, der var for udfordrende. Dette førte nogle gange til, at nogle studerende følte til mere nervøse. 

Gode råd til andre undervisere

  • Test selv din chatbot, før du bruger den i undervisningen. 

  • Efter undervisningen bør du evaluere, hvordan chatbotten opførte sig, og overveje, om du skal revidere prompten. 

  • Som underviser bør du være til stede under sessionen for at yde hjælp, når det er nødvendigt. Pas dog på ikke at deltage for aktivt i gruppediskussioner, da det kan mindske spontaniteten i øvelsen. 

  • Overvej, hvornår i løbet af semestret aktiviteten skal foregå, og om den skal være forud for eksamen. 

  • Sørg for, at indholdet i øvelsen stemmer overens med eksamen. 

  • Du kan vælge at give de studerende vurderingskriterier, de kan bruge, når de evaluerer deres medstuderende. 

  • Overvej, om de studerende skal give hinanden karakterer eller blot give mundtlig feedback. 

  • Overvej, om du skal informere dem om øvelsen på forhånd. Hvis de får besked på at forberede sig, er der risiko for, at nogle elever ikke dukker op.  

  • De studerende har også gavn af at sortere i chatbottens gode og dårlige spørgsmål. 

  • Bed de studerende om at oprette en brugerkonto før undervisningen, så de kan få adgang til den bedste og mest effektive version af chatrobotten, eller brug Microsoft Copilot som Aarhus Universitet har licens til. 

  • Vær modig og prøv øvelsen i din undervisning. Også selvom chatbotten ikke leverer perfekte svar. 

  • Anvender du ChatGPT, så overvej at købe Pro-versionen for at muliggøre upload af alt undervisningsmateriale. Dette vil give chatbotten mulighed for at få en dybere kontekstuel forståelse og mere præcis domænespecifik viden, hvilket forbedrer relevansen og kvaliteten af dens svar. 

  • Overvej at indføre et system til at give feedback på de studerendes svar, enten automatiseret eller underviserstyret. 


Basisinformationer

Undervisers navn Vittoria Frau 
Fakultet og institut Institut for Kommunikation og Kultur – Institut for Design og Kultur  
Uddannelse Programmering 
Studieniveau Bachelor niveau 2. semester 
Kursus Digital Design - Æstetisk programmering 
Antal studerende 45
Omfang Aktivitet
Primær aktivitetstype Praksis, kommunikation og diskussion
Undervisningsform Holdundervisning
Anvendt teknologi ChatGPT
Hvordan casen blev gennemført Tilstedeværelsesundervisning

Vittoria Frau

Videnskabelig assistent

Kontakt

Skriv til redaktion bag AU Educate, hvis du har spørgsmål til indholdet eller har brug for sparring omkring din undervisning fra en af de mange dygtige fagfolk på Centre for Educational Development.