En kursusspecifik chatbot kaldet “Phil” er blevet udviklet til undervisning i videnskabsteori på baggrund af kursets currriculum og faglige indhold. Igennem kurset kan de studerende kommunikere med “Phil”, som udelukkende baserer sine svar på kursets curriculum, samt henviser til relevante sektioner i curriculum ved givne svar.
Didaktiske udfordringer:
Vi kan ikke besvare spørgsmål fra alle studerende med et hold på 550 studerende.
Udfordringer ved anvendelse af alm. chatbots.
Hallucinationer
LLM’er, som ChatGPT og CoPilot, kender ikke til den kursusspecifikke kontekst.
Opfinder kilder.
GDPR: Ingen databehandleraftale med chatbotudbydere.
Copyright
De studerende kan interagere med en GDPR kompatibel chatbot, som kan tilbyde svar og referencer baseret på curriculum.
CASENS FORLØB | |||
Undervisers forberedelse | Opbygning af chatbotten “Phil”: Chatbotten “Phil” anvender en kombination af RAG-teknologi (Retrieval-Augmented Generation) og en stor sprogmodel som eksempelvis ChatGPT (OpenAI). Denne integration gør det muligt at hente relevante informationer fra udvalgte datakilder, som derefter kombineres med sprogmodellen i genereringen af svar. Implementeringen kræver en teknisk opsætning og programmering på Azure-platformen, hvilket sikrer stabil og sikker adgang for studerende.
| ||
Individuelt (In class) | En støtte i undervisningen
| ||
Individuelt (out of class) | En støtte i selvstudie
| ||
RESSOURCER TIL STUDERENDE | SUPPORT TIL STUDERENDE |
Adgang til “Phil”
| Undervisning i prompting-teknikker samt god anvendelse af GAI-værktøjer. Ved afklaring af fagbegreber og uddybning af artikler kunne spørgsmål eksempelvis være:
|
I løbet af kursets varighed blev der foretaget i alt 20.000 interaktioner. Et opfølgende survey blev udsendt, som blev besvaret af 77 studerende. Her svarede
91% gav udtryk for, at de ønskede andre kurser tilbød et lignende værktøj.
76%, at de foretrækker “Phil” fremfor andre chatbots (ChatGPT, Gemini eller Copilot).
En efterfølgende kodning af 230 tilfældige besvarelser fra “Phil” viste at svarene var:
Ikke givet, da der ikke var noget relevant materiale tilgængeligt 13,9%
Ikke rigtigt besvaret 3,9%
Fejlbehæftede og vildledende svar 22%
Nyttige, men upræcise svar 10,4%
Nyttige, men ikke perfekte svar 18.2%
Meget hjælpsomme svar 45,9%
Økonomi udfordringer: Udgifterne forbundet med udviklingen og driften af “Phil” løb op i 4.500 DKK, inklusiv abonnement, test og setup.
Pædagogiske udfordringer: De studerende skal stilladseres i anvendelsen af chatbots for at kunne anvende den korrekt, herunder prompting metoder samt kritisk tænkning.
Vær opmærksom på, at det er relativt teknisk udfordrende at oprette en RAG, og man skal kunne programmere. Har man ikke kompetencerne, må man få hjælp fra andre på sit institut.
Har man ikke erfaring med programmering, kan man med fordel lave sin egen chatbot-app (GPT) i ChatGPT, eller skabe en gem-bot i Google Gemini. Her kan man også uploade materiale (man har copyright til) og via en system prompt guide app’en i, hvordan spørgsmål bør besvares. Link til chatbotten vil kunne deles med studerende. Det giver mulighed for at forme de svar, de studerende får fra en chatbot, om end tilgangen her ikke er så afgrænset som Phil.
| Undervisers navn | Carsten Bergenholtz og Oana Vuculescu |
| Fakultet og institut | BSS, Institut for Virksomhedsledelse |
| Uddannelse | Erhvervsøkonomi |
| Studieniveau | Bachelor |
| Kursus | Videnskabsteori |
| Antal studerende | 550 |
| Omfang | Kursus |
| Undervisningsform | Forelæsning |
Skriv til redaktion bag AU Educate, hvis du har spørgsmål til indholdet eller har brug for sparring omkring din undervisning fra en af de mange dygtige fagfolk på Centre for Educational Development.
