Orijentacija: Studije slučaja u analitici učenja

1. Studije

Proučite sažetke triju studija vezanih uz analitiku učenja pa među njima odaberite jedan članak koji ćete pročitati i proučiti u cijelosti.

Studije imaju tri različita fokusa, a to su:

Studija 1: Prediktori rezultata sumativnog vrednovanja

Studija 2: Pružanje povratne informacije

Studija 3: Dashboard i preskriptivna analitika.

2. Prediktori rezultata sumativnog vrednovanja

Kontekst:
Fakultet organizacije i informatike Sveučilišta u Zagrebu; kolegiji Matematika 1 (prijediplomski studij) i Diskretne strukture s teorijom grafova (diplomski studij); za oba kolegija dizajn učenja razvijen je uz primjenu BDP alata (konstruktivno poravnanje) i primjenjuju se inovativne strategije učenja i poučavanja.
Cilj:
Cilj je usporediti prediktivnu moć rezultata formativnog vrednovanja (kvizovi, domaće zadaće) i drugih studentskih aktivnosti (video, e-knjige, dolazak na nastavu) za rezultate sumativnog vrednovanja (kolokviji) i razviti pouzdan prediktivni model.
Podatci:
Podatci o rezultatima vrednovanja (formativno – kvizovi, domaće zadaće, sumativno – kolokviji); zapisi o aktivnosti (logovi) u LMS-u (video, e-knjige); podatci o dolascima na nastavu; odgovori na studentsku anketu; ukupno 813 studenata u dvjema uzastopnim godinama (2021/2022.; 2022/2023.).
Analiza:
Algoritam strojnog učenja Random Forest (slučajna šuma) (u R-u) za predikcije – testiranje efikasnosti različitih modela; distribucija studenata u klase i tranzicije među klasama; analiza logova studenata prema klasama; deskriptivna statistika za studentsku anketu).
Rezultati:
Formativno vrednovanje, zajedno s prethodnim sumativnim vrednovanjem, pokazalo se snažnijim prediktorom rezultata sumativnog vrednovanja od ostalih podataka o aktivnosti studenata. Studija je ukazala na važnost potpunosti i kvalitete podataka te jasne povezanosti između vrednovanja i ishoda učenja prilikom predviđanja studentskih rezultata. Pokazalo se da su predikcije manje pouzdane za studente s najnižim i najvišim rezultatima. Uočeno je da i drugi čimbenici mogu utjecati na predikcije poput razine ishoda učenja ili čimbenika koji se teško mogu izvući iz digitalnih podataka, kao što su okruženje za učenje i individualne strategije učenja.
Cjelovita studija:
Divjak, B., Svetec, B., & Horvat, D. (2024). How can valid and reliable automatic formative assessment predict the acquisition of learning outcomes? Journal of Computer Assisted Learning, 40(6), 2616–2632. 

3. Pružanje povratne informacije

Kontekst:
Computer Science School na jednom australskom sveučilištu; dva najveća programa: diplomski studij Data Science i prijediplomski studij Computer Science.
Cilj:
Cilj je istražiti usklađenost praksi nastavnika u davanju povratne informacije (engl. feedback) u stvarnim obrazovnim okružjima s dobro istraženim teorijama povratne informacije usmjerenima na studenta (engl. learner-centred feedback), uz analizu razlika između dvaju velikih skupova podataka (prijediplomski i diplomski studij).
Podatci:
Podatci o povratnim informacijama pruženim putem LMS-a (2022.); ukupno 95 kolegija sa svih godina studija, s ukupno 4959 studenata i oko 200 nastavnika; odabrani programi predstavljali su najveće studentske populacije na svakoj razini studija, s 2187 studenata na diplomskom i 2772 na prijediplomskom studiju. Analizirano je 10 % povratnih informacija sa svakog kolegija, odnosno 16.408 rečenica.
Analiza:
Deskriptivna i inferencijalna statistika; analiza uređenih mreža (Ordered Network Analysis) (u R-u).
Rezultati:
Studija pokazuje da su prakse pružanja povratne informacije (engl. feedback) u visokom obrazovanju, analizirane u sklopu odabranih studijskih programa, djelomično usklađene s modelom povratne informacije usmjerene na studenta (engl. learner-centred feedback), s naglašenim fokusom na dimenziju stvaranja smisla (engl. sensemaking). No, uočene su značajne razlike u ostalim dvjema dimenzijama — budući učinak (engl. future impact) i aktivnost (engl. agency) — koje ukazuju na različite pristupe ovisne o razini obrazovanja. Na diplomskoj razini prioritizira se budući učinak, uz smjernice za napredne zadatke. Na prijediplomskoj razini ističe se poticanje aktivnosti kroz studentski angažman i sudjelovanje. Studija pokazuje I da se prakse povratne informacije razlikuju s obzirom na razinu studentske uspješnosti.
Cjelovita studija:
Aldino, A. A.; Tsai, Y.-S.; Gupte, S., Henderson, M., Nath, D., Gašević, D., Chen, G. (2025).
Analytics of Learner-Centered Feedback: A Large-Scale Case Study in Higher Education. Computers & Education, 237, 105360. 

4. Dashboard i preskriptivna analitika

Kontekst:
Faculty of Business and Law, nadzorna ploča (engl. dashboard) za analitiku učenja razvijena sa studentima u participativnom pristupu; dashboard uključuje deskriptivne, prediktivne i preskriptivne elemente.
Cilj:
Cilj je prikupiti i analizirati percepcije studenata prijediplomskog studija o utjecaju korištenja nadzorne ploče (engl. dashboard) za analitiku učenja usmjerene na korisnost i motivaciju studenata tijekom studiranja online i na daljinu.
Podatci:
Uzorak od 30 studenata koji su 4 - 15 tjedana pristupali dashboardu; podatci prikupljeni aknetom i intervjuima u kojima su studenti davali svoje povratne informacije o dasboardu i prijedloge za unaprjeđenja; podatci o aktivnosti u sustavu (logovi).
Analiza:
Deskriptivna i inferencijalna statistika za analizu pitanja iz ankete zatvorenog tipa i analizu logova; tematska analiza odgovora na otvorena pitanja u anketi i intervjua.
Rezultati:
Pokazalo se da dashboard pozitivno utječe na ponašanje i uspješnost studenata. Iako su sve funkcionalnosti nadzorne ploče percipirane kao korisne, posebna vrijednost pridana je preskriptivnim elementima, osobito preporukama za nastavne materijale te mogućnosti kontaktiranja nastavnika i sveučilišnih službi za podršku. Naglašena je vrijednost pružanja jasnih prijedloga za aktivnosti kojima se može poboljšati uspjeh, kao i utjecaj na motivaciju i samoregulaciju učenja. Na temelju istraživanja dashboard se planira unaprijediti.
Cjelovita studija:
Herodotou, C., Carr, J., Shrestha, S., Comfort, C., Bayer, V., Maguire, C., Lee, J., Mulholland, P., Fernandez, M. (2025). Prescriptive analytics motivating distance learning students to take remedial action: A case study of a student-facing dashboard. 15th International Learning Analytics and Knowledge Conference (LAK 2025), March 03–07, 2025, Dublin, Ireland. ACM, New York, NY, USA.