Aarhus Universitets segl

Kan man stole på GAI? Studerendes kritiske tilgang til GAI i kvalitativ forskningsanalyse

Kort beskrivelse

I kurset forskningsmetoder lærer de studerende at foretage teoristyret kodning af kvalitative data, og undersøger samtidig, hvordan GAI kan anvendes som støtte i kodningsarbejdet. De studerende afprøver forskellige værktøjer til kodning og sammenligner resultater fra GAI med egne koder og analyser for at vurdere gyldighed og kvalitet af resultaterne. 

Motivation

Jeg bruger selv GAI dagligt i mit arbejde og oplever, hvordan teknologien kan både understøtte og udfordre den analytiske proces. I undervisningen ønsker jeg derfor at skabe et rum, hvor de studerende kan afprøve, diskutere og vurdere, hvordan GAI kan anvendes i teoristyret kodning af kvalitative data. Målet er at styrke deres kritiske sans og refleksion over anvendelse af GAI i deres akademiske arbejde, for at forberede dem på at navigere kompetent i deres fremtidige virke. 

Læringsmål

Formålet med aktiviteten er, at de studerende: 

  • Introduceres til, hvordan GAI kan anvendes som støtte i teori-styret kodning af kvalitative data 

  • Træner og reflekterer over, hvordan GAI kan integreres i kvalitative analyseprocesser  

  • Opnår indsigt i forskelle mellem AI-genererede og menneskelige koder og deres betydning for analysens gyldighed 

Udførelse

CASENS FORLØB

Forberedelse

Forberedelse af materialer. Til aktiviteten udvælger jeg nogle enkle og gensidigt udelukkende koder, f.eks. Mortimer & Scott, der egner sig til teoristyret kodning. 

  • Derudover udvælger jeg en transskribering af en dialog som kvalitativ case, der er egnet til at identificere centrale mønstre i data. Casen er på ca. 2-3 sider og skal overholde gældende GDPR-retningslinjer.  

  • Jeg udarbejder den prompt, som de studerende skal anvende til at prompte deres chatbot til aktiviteten. 

  • Jeg indsætter casen og koder i hvert deres dokument sammen med en trin-for-trin beskrivelse og prompt til aktiviteten.  

I undervisningen

Forelæsning

Indledende oplæg (20 min).  Jeg indleder undervisningen med at gennemgå og demonstrere teoristyret deduktiv dataanalyse. 

Plenum

Introduktion til aktiviteten (10 min). Jeg introducerer de studerende til aktiviteten, formålet med denne og udleverer casen og dokumenter indeholdende trin-for-trin beskrivelsen, samt prompten til aktiviteten. 

Par

Teoristyret analyse (15 min). På baggrund af det indlendende oplæg foretager de studerende selv en teoristyret analyse på den udleverede case. 

  • I par koder de studerende manuelt casen og identificerer mønstre.  

  • Undervejs drøfter de, hvordan teoriens begreber påvirker deres fortolkning. 

Par

Teoristyret analyse med GAI (10 min). Efter den manuelle kodning gentages øvelsen men med hjælp fra GAI. 

  • De studerende uploader casen til en chatbot og indsætter den udleverede prompt:

    • Prompt: "Analyser dokumentet med Mortimer og Scotts kommunikationsmodel. Angiv for hvert af lærerens spørgsmål hvilken kommunikationsform der er tale om: Interactive/dialogic, interactive/autoritative, non-interactive/dialogic eller non-interactive/autoritative"

  • Herefter sammenligner de chatbottens kodning med deres egen. 

Par/grupper

Opfølgende refleksion (10 min). Som opfølgning reflekterer de studerende over deres resultater og identificerer forskelle i fortolkning, samt diskuterer metodiske og etiske komplikationer.  

  • I hvilken grad hjælper øvelsen til at forstå, hvad teoristyret kodning er? 

  • Hvordan bidrager GAI til at forstå og lave teoristyret analyse? 

  • I hvilken grad er GAI en troværdig hjælp eller snarere det modsatte? 

Plenum

Afsluttende opsamling (10 min). I den afsluttende opsamling diskuteres resultaterne i plenum og der reflekteres i fællesskab over, hvordan GAI kan anvendes indenfor det akademiske felt for kvalitativ analyse. 

  • Gruppernes manuelle kodning sammenlignes med chatbottens kodning og analyse, hvor der ofte fremkommer markante forskelle i både kodetyper og fortolkninger. Særligt i data, hvor studerende kan udlede information mellem linjerne, som chatbotten ikke formår at afkode.  

  • Der sættes også fokus på variationer i chatbottens output ved gentagen brug af samme prompt, hvilket giver anledning til kritisk samtale om chatbottens konsistens og pålidelighed.  

RESSOURCER TIL STUDERENDE

SUPPORT TIL STUDERENDE

  • Tekst om teoristyret analyse 

  • Forudformuleret prompt til brug i GAI, så resultaterne bliver sammenlignelige på tværs af par/grupper 

  • Klare instruktioner og aktivitetsbeskrivelser til rådighed i Brightspace 

  • Indledende forelæsning med gennemgang og demonstration af teoristyret dataanalyse 

Erfaringer

Udbytte

Jeg har gennemført undervisningen på fire hold med 126 studerende i alt. 

De studerende udfyldte anonymt TaskCards om deres erfaringer: 

  • Alle grupper fremhævede det positive i at afprøve manuel kodning. 

  • Flere fremhævede GAI’s potentiale for at validere egne fund. 

  • Resultaterne fra chatbotten stemte i begrænset omfang overens med gruppernes fund. 

  • Gentagende prompts med samme ordlyd gav forskellige resultater. 

  • De studerende ser GAI som et stærkt værktøj til at afprøve ideer, bl.a. hvilken teori der vil være hensigtsmæssig at benytte analytisk på en case. 

  • De studerende tilskriver ikke GAI høj validitet eller reliabilitet men betragter det som et supplerende værktøj til inspiration. 

Udfordringer

  • En case til analyse skal overholde gældende GDPR-rettigheder. 

  • Og den anvendte GAI-model bør være datasikker og ikke bruge en case i træningsøjemed. 

Gode råd til andre undervisere

  • Hvis de studerende har kendskab til begrebet inter-rater reliabilitet, kan grupperne beregne en kappa-værdi for overensstemmelsen mellem deres egne koder og chatbottens kodning.  

  • Alternativt kan de anvende en simpel procentvis overensstemmelse. Dette giver en konkret forståelse af, hvordan pålideligheden kan vurderes og fortolkes i kvalitative analyser, både med og uden brug af GAI.


Basisinformationer

Undervisers navn Niels Bonderup Dohn 
Fakultet og institut ARTS, DPU 
Uddannelse Generel pædagogik
Studieniveau Kandidat 
Kursus Forskningsmetoder 
Antal studerende 30 
Undervisningsform Holdundervisning 
Gennemførelsestidspunkt E2024 

Kontakt

Skriv til redaktion bag AU Educate, hvis du har spørgsmål til indholdet eller har brug for sparring omkring din undervisning fra en af de mange dygtige fagfolk på Centre for Educational Development.