Orijentacija: Studije slučaja u analitici učenja

Kontekst:
Fakultet organizacije i informatike Sveučilišta u Zagrebu; kolegiji Matematika 1 (prijediplomski studij) i Diskretne strukture s teorijom grafova (diplomski studij); za oba kolegija dizajn učenja razvijen je uz primjenu BDP alata (konstruktivno poravnanje) i primjenjuju se inovativne strategije učenja i poučavanja.
Cilj:
Cilj je usporediti prediktivnu moć rezultata formativnog vrednovanja (kvizovi, domaće zadaće) i drugih studentskih aktivnosti (video, e-knjige, dolazak na nastavu) za rezultate sumativnog vrednovanja (kolokviji) i razviti pouzdan prediktivni model.
Podatci:
Podatci o rezultatima vrednovanja (formativno – kvizovi, domaće zadaće, sumativno – kolokviji); zapisi o aktivnosti (logovi) u LMS-u (video, e-knjige); podatci o dolascima na nastavu; odgovori na studentsku anketu; ukupno 813 studenata u dvjema uzastopnim godinama (2021/2022.; 2022/2023.).
Analiza:
Algoritam strojnog učenja Random Forest (slučajna šuma) (u R-u) za predikcije – testiranje efikasnosti različitih modela; distribucija studenata u klase i tranzicije među klasama; analiza logova studenata prema klasama; deskriptivna statistika za studentsku anketu).
Rezultati:
Formativno vrednovanje, zajedno s prethodnim sumativnim vrednovanjem, pokazalo se snažnijim prediktorom rezultata sumativnog vrednovanja od ostalih podataka o aktivnosti studenata. Studija je ukazala na važnost potpunosti i kvalitete podataka te jasne povezanosti između vrednovanja i ishoda učenja prilikom predviđanja studentskih rezultata. Pokazalo se da su predikcije manje pouzdane za studente s najnižim i najvišim rezultatima. Uočeno je da i drugi čimbenici mogu utjecati na predikcije poput razine ishoda učenja ili čimbenika koji se teško mogu izvući iz digitalnih podataka, kao što su okruženje za učenje i individualne strategije učenja.
Cjelovita studija:
Divjak, B., Svetec, B., & Horvat, D. (2024). How can valid and reliable automatic formative assessment predict the acquisition of learning outcomes? Journal of Computer Assisted Learning, 40(6), 2616–2632.