Analitika učenja za unapređenje vrednovanja

Uvod u pristupe i primjenu

U digitaliziranom obrazovnom okruženju sve je više dostupnih podataka o učenju studenata, njihovoj interakciji s nastavnim sadržajima, aktivnostima i sustavima za upravljanje učenjem (LMS). Takvi podaci postaju temelj za analitiku učenja (eng. learning analytics), a kada se fokus usmjeri na podatke povezane s vrednovanjem, govorimo o analitici vrednovanja (eng. assessment analytics).

Analitika vrednovanja obuhvaća prikupljanje, analizu i interpretaciju podataka radi unapređenja praksi vrednovanja, povratnih informacija i u konačnici boljeg postizanja ishoda učenja. 

Podaci, koji se koriste u analitici vrednovanja, mogu uključivati rezultate formativnog i sumativnog vrednovanja, obrasce pokušaja i pogrešaka pri rješavanju zadataka, vremensku dinamiku izvršavanja zadataka, kao i povratne informacije koje nastavnik daje studentima i obrnuto, povratne informacije koje studenti daju u vezi sa svim aspektima vrednovanja.

Ključni elementi analitike učenja za vrednovanje

1. Izvori podataka

Podaci za analitiku vrednovanja prikupljaju se iz različitih izvora:

• • LMS sustavi koji daju pregled vrednovanja i vrste pitanja (npr. Moodle, Canvas)
  • digitalni testovi i kvizovi (npr. u Moodleu, Kahoot)
  • aktivnosti poput eseja, rasprava, portfelja koje se prikupljaju u fizičkom obliku
  • praćenje vremena, broja pokušaja (npr. ISVU, LMS)
  • povratne informacije nastavnika i studenata (npr. u obliku institucijskih upitnika ili upitnika na razini kolegija).

2. Etički izazovi i kvaliteta podataka

Prikupljanje podataka i njihova uporaba suočavaju se s nizom etičkih izazova, uključujući lociranje i tumačenje podataka, informirani pristanak, privatnost i deidentifikaciju podataka i klasifikaciju i upravljanje podacima (Slade & Prinsloo, 2013). Kvaliteta podataka ključna je za valjanost daljnje analize i treba sustavno voditi brigu o: 

• relevantnosti – jesu li podaci povezani s ciljevima vrednovanja 

• točnosti i potpunosti – jesu li podaci precizni i reprezentativni

• pravovremenosti – jesu li podaci dostupni kada su potrebni

• etičnosti – je li način prikupljanja i uporabe podataka odgovoran. 

3. Alati i metode analize

Analitika vrednovanja uključuje deskriptivne (što se dogodilo), dijagnostičke (zašto se dogodilo), prediktivne (što će se vjerojatno dogoditi) i preskriptivne (što treba učiniti) pristupe (Siemens & Long, 2011).
Uobičajeni alati analitike vrednovanja uključuju:

• vizualizacije s pomoću upravljačkih ploča (eng. dashboard)
• statističke analize (npr. korelacije, regresije)
• strojno učenje (eng. machine learning) za predikciju uspjeha.

Slika 1: Primjer studentske upravljačke ploče

Na primjer,

jednostavne vizualizacije mogu otkriti nerazmjer između vremena provedenog na zadatku i konačne ocjene, što može upućivati na potrebu za prilagodbom vrednovanja.

4. Primjeri primjene analitike vrednovanja

1. Praćenje napretka studenata u testovima (formativna analitika)
   Nastavnik se u Moodleu koristi izvješćem Quiz statistics kako bi analizirao uspješnost po pitanjima.
   Na primjer, ako analitika pokaže da više od 70 % studenata griješi na istom pitanju, nastavnik može prepoznati da pitanje nije jasno postavljeno ili da gradivo treba dodatno objasniti. Studenti istodobno dobivaju povratnu informaciju o temama koje trebaju ponoviti, što omogućuje ciljano učenje.

2. Prepoznavanje rizika od neuspjeha
   Na kolegiju s više faza vrednovanja (test, esej, završni ispit) nastavnik analizira obrasce sudjelovanja i uspješnosti.
   Na primjer, ako student ne predaje zadatke na vrijeme i ima nizak broj pokušaja u testovima, sustav može generirati upozorenje. Nastavnik se tada obraća studentu i nudi potporu (npr. konzultacije ili dodatni materijal). Ovaj pristup koristi se u mnogim sustavima pod nazivom analitika za rano upozoravanje (“early warning analytics”).

3. Usporedba konzistentnosti vrednovanja (analitika pouzdanosti)
   U kolegiju u kojem više nastavnika vrednuje eseje prema rubrici analitika može izračunati odstupanja između ocjenjivača. Na primjer, ako se ocjene/bodovi istog rada razlikuju za više od 20 %, to upućuje na potrebu za kalibracijom kriterija. Ova vrsta analitike pomaže u održavanju objektivnosti i pravičnosti vrednovanja (vidi Divjak i sur., 2023).

4. Analitika povratnih informacija
   Analiza teksta komentara nastavnika i studenata (npr. u aktivnostima Radionica ili Zadatak) može pokazati koje vrste povratnih informacija prevladavaju: deskriptivne, poticajne ili kritičke.
   Na primjer, ako analitika pokaže da većina komentara sadržava samo „dobro“ ili „u redu“, nastavnik može planirati radionicu o davanju konstruktivne povratne informacije. Takve se analize danas mogu provoditi s pomoću AI jezičnih modela (LLM-ova) u kombinaciji s alatima kao što je NVivo.

5. Implikacije za praksu i odlučivanje

Analitika učenja može služiti kao podrška nastavnicima i donositeljima odluka u:

• • prepoznavanju neučinkovitih ili neobjektivnih oblika vrednovanja

  • praćenju postizanja ishoda učenja

  • individualizaciji pristupa studentima

  • donošenju strateških odluka o izmjeni kurikula i oblikovanju podrške studentima

  • identifikaciji studenata koji su u riziku od nezavršavanja i odustajanja od studija

  • provjeri pouzdanosti i valjanosti vrednovanja (Divjak i sur., 2023).
    
    

Slika 2: Implikacije analitike učenja 

5. Interpretacija rezultata analitike učenja

Pravilna interpretacija podataka omogućuje odlučivanje koje se temelji na analizama, odnosno odlučivanje temeljeno na dokazima, što je osobito važno u vrednovanju koje znatno utječe na studente (npr. završni ispiti ili studij). Neke interpretacije su zahtjevne za prosječnog nastavnika koji nije dobro upoznat s algoritmima (npr. za predikciju) koji se koriste u analizama pa je potrebno osigurati podršku na razini visokog učilišta za nastavnike. Nadalje, ako se studentima osiguravaju upravljačke ploče koje se oslanjaju na analitike, potrebno je napisati jasna obrazloženja pojedinih prikaza. 

Dakle, iako analitika nudi snažne alate, ona mora biti korištena odgovorno. Postoje rizici od pogrešnih interpretacija, etiketiranja studenata ili prekomjerne automatizacije odluka. Preporučuje se uključivanje studenata u raspravu o korištenju njihovih podataka i osiguranje transparentnosti i svrhovitosti analitičkih alata (Ifenthaler & Yau, 2020).

Vanjski resurs

Za dodatno razumijevanje osnovnih pojmova i metoda analitike učenja u vrijeme umjetne inteligencije preporučuje se sljedeće videopredavanje: 

Draga Gasevic: Towards Novel Assessment with Learning Analytics for the Age of AI. Tecnológico de Monterrey. Poveznica:

Literatura:

• Divjak, B., Svetec, B., Horvat, D., Kadoić, N. (2023). Assessment validity and learning analytics as prerequisites for ensuring student-centred learning design. British Journal of Educational Technology, 54, 313– 334. 

• Ifenthaler, D., Yau, J. Y.-K. (2020). Utilising learning analytics to support study success in higher education: A systematic review. Educational Technology Research and Development, 68(4), 1961–1990. 

• Siemens, G., Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30–40.
• Slade, S., Prinsloo, P. (2013). Learning analytics: Ethical issues and dilemmas. American Behavioral Scientist, 57(10), 1510–1529. 

Zadatak za polaznike

Cilj: Prepoznati mogućnosti korištenja analitike učenja za poboljšanje vlastite prakse vrednovanja.

Upute:

1. Analizirajte primjer (ili koristite vlastiti kolegij):
   Odaberite jednu aktivnost u Moodleu (npr. test, zadatak, radionicu) i s pomoću dostupnih izvješća (npr. Activity report, Quiz statistics, Grades overview) pokušajte uočiti jedan obrazac ili problem (npr. visoku stopu pogrešaka, kašnjenje u predaji, nisku aktivnost).
   Opišite što ti podaci mogu značiti za unapređenje vrednovanja.

2. Predložite poboljšanje:
   Na temelju uočenih podataka predložite konkretnu promjenu u svojem kolegiju (npr. izmjenu pitanja u testu, promjenu rokova, dodatni sadržaj ili obuku studenata o kriterijima).

3. Promislite:
   U nekoliko rečenica objasnite kako biste dugoročno mogli uključiti analitiku učenja u praćenje studenata, planiranje vrednovanja i unapređenje kvalitete kolegija.