Evaluacija implementacije (orkestracije) dizajna učenja za ciljanu skupinu studenata

1. Pregled važnih pojmova i aktivnosti evaluacije

Dizajn učenja mogli ste osmisliti u različitim modelima i uz pomoć pogodnih alata za dizajn učenja. Posebno se ističu modeli: ABC, BDP i OULDI.

Nakon toga taj ste dizajn (automatski) prenijeli u sustav za upravljanje učenjem (LMS) kojim se koristi Vaše visoko učilište, a to je najčešće neka inačica Moodlea. Početnu ste strukturu zatim dopunili materijalima za učenje i vrednovanje i i tako ste pripremili kolegij za studente.

U fazi implementacije dizajna učenja prati se pogodnost dizajna za ciljanu skupinu studenata koji uče u sklopu kolegija. Napredak studenata pratite s pomoću analitike učenja koja se temelji na prikupljanju podataka tijekom samog procesa učenja i poučavanja, njihovoj analizi i prikazu rezultata nastavnicima i studentima. Prikaz rezultata važno je dopuniti primjerenom interpretacijom analitike učenja kad god je to moguće i osigurati odgovarajuću edukaciju za nastavnike i studente.

Treba imati na umu da nisu svi podatci o aktivnostima učenja studenata dostupni u obliku digitalnih tragova u digitalnim sustavima. Međutim, u sustavima kojima se koriste visoka učilišta dostupni su vrlo vrijedni podatci čijom se analizom može doći do zanimljivih spoznaja o tome kako studenti uče i nastavnici poučavaju. U nekim slučajevima pojedine su analize automatizirane u sustavima, ali za sofisticiranije analize i spoznaje potrebno je znanje o analitici učenja (dostupan je i takav tečaj u sklopu CARNET-ovih tečajeva stručnog usavršavanja pod nazivom: Analitika učenja). Ovo posljednje dio je procesa u kojem se evaluacije približavaju onima koji ih nisu izravno izrađivali, ali trebaju, barem načelno, razumjeti sve korake u procesu evaluacije.

Takve analize i spoznaje do kojih se došlo temelj su za donošenje odluka na razini kolegija, aktivnosti, ali i šire na razini visokih učilišta ili čak obrazovnog sustava. Odluke donose studenti, nastavnici i odgovorne osobe na različitim razinama upravljanja.

U ovom materijalu zadržat ćemo se na analitika koje pomažu studentima i nastavnicima, a za koje se podatci automatski prikupljaju u sustavima za dizajn učenja i upravljanje učenjem.

U nastavku ćemo dati tri studije slučaja o evaluaciji implementacije dizajna učenja koji mogu imati utjecaj na redizajn vrednovanja, aktivnosti učenja i poučavanja, odnosno na davanje povratne informacije studentima.

Slika 13. Ciklus dizajna učenja 

2. Evaluacije u obrazovanju i analitika učenja

Često korištena opća definicija koju je dao Scriven (1991) i koju je kasnije preuzeo American Evaluation Association (2014) glasi: Evaluacija je sustavan proces kojim se utvrđuje zasluga, vrijednost, važnost ili značaj.

Često se pod pojmom evaluacije u obrazovanju podrazumijeva da je evaluacija zapravo primijenjeno istraživanje (evaluation is applided research) (npr. Rallis, 2014) zato što su evaluacije često akcijska istraživanja koja provode sami nastavnici. Međutim, kako metode prikupljanja i analize podataka postaju sve kompleksnije, to uglavnom više nije tako za većinu nastavnika.

Međutim, važan je aspekt evaluacije koji ovdje zagovaramo taj da je evaluacija podloga za donošenje odluka. U našem su slučaju donosioci odluka studenti, nastavnici, voditelji studija, dekani, rektori, ministri itd.

Više o teoriji evaluacije možete pronaći u Wanzer, D. L. (2020).

Analitika učenja ne zamjenjuje pedagoško promišljanje, već ga nadopunjuje pružajući objektivizirane uvide o tome kako studenti pristupaju sadržajima, sudjeluju u aktivnostima i ostvaruju ishode učenja. Ove informacije mogu biti ključne:

• za identifikaciju ranjivih skupina studenata
• za doradu dizajna aktivnosti i materijala
• za prilagodbu vrednovanja
• za poboljšanje podrške studentima.

Za učinkovitost evaluacije implementacije dizajna učenja važno je povezati podatke o kontekstu (ciljana skupina studenata, način poučavanja, raspoloživi resursi), podatke iz sustava (LMS, alati za dizajn i vrednovanje) i povratne informacije sudionika (studenti i nastavnici).

3. Tri studije slučaja

1. Kolegij Uvod u statistiku – prilagodba tempa i materijala

Kontekst: Prva godina sveučilišnog preddiplomskog studija, kolegij obvezan za n = 400 studenata na studijskom programu iz društvenog područja. Studentima je „Uvod u statistiku“ njihov prvi susret s kvantitativnim predmetom. Dosad su održana dva kolokvija kao dio sumativnog vrednovanja i tijekom dva tjedna bit će treći, završni kolokvij.

Prošle godine prolaznost na kolegiju bila je 55 % i nije napravljena promjena u dizajnu kolegija prije izvođenja ove godine.

Evaluacija: Analiziraju se podatci iz LMS-a (učestalost logiranja, vrijeme provedeno na testovima, rezultati testova po tjednima).

Rezultati: Otkriveno je i da 40 % studenata zaostaje u rješavanju tjednih zadataka ili ih uopće ne rješava. Razina aktivnosti unatrag tri mjeseca dana je prikaza aktivnosti tijekom semestra iz Moodlea. 

Na sljedećem grafu prikazano je radno opterećenje polaznika u dizajnu učenja po tipovima aktivnosti učenja i poučavanja.

4. Zadatak

Kakva je Vaša procjena uspjeha studenata na trećem kolokviju?

Kakvu intervenciju nastavnika preporučujete u ovom trenutku za ovu skupinu studenata?

Koje izmjene u dizajnu učenja preporučujete za iduću godinu kako bi se rezultati studenata poboljšali?

Što biste učinili drukčije da ste već početkom semestra imali ove podatke? Kako biste se kontinuirano koristili podatcima za unapređenje nastave?

5. Dodatna literatura

Divjak, B., Svetec, B., & Horvat, D. (2024). How can valid and reliable automatic formative assessment predict the acquisition of learning outcomes? Journal of Computer Assisted Learning, 1–17.

Taras, M. (2010). Assessment – summative and formative – some theoretical reflections. British Journal of Educational Studies, 53(4), 466–478.

Uputa za pristup: Ako ne možete pristupiti člancima izravno putem poveznice, uzmite u obzir da se radi o znanstvenim člancima u časopisima, a našim su visokoškolskim nastavnicima i znanstvenicima dostupni u bazama ili časopisima uz registraciju uz pomoć AAI identiteta.

6. Studija slučaja 2

2. Kolegij Umjetna inteligencija – teorija i primjena –prilagodba načina vrednovanja

Kontekst: Kolegij se izvodi na diplomskom studiju tehničkog fakulteta i na kolegiju je 120 studenata. Prolaznost studenata prošle je godine bila 85 % i nije bilo bitne izmjene dizajna učenja prije izvođenja kolegija ove akademske godine. Na kolegiju je pored teoretskih znanja potrebno pokazati i sposobnost primjene teorije na rješavanje praktičnih problema iz tehničkog područja, i to radom u timu.

Evaluacija: Analiziraju se podatci iz LMS-a (učestalost logiranja, vrijeme provedeno na wikiju, rezultati kolokvija i projektnog zadatka) i iz BDP alata.

Rezultati: Struktura vrednovanja oblikovana je iz BDP alata.

Na sljedećem grafu prikazano je planirano opterećenje po tipovima aktivnosti učenja i poučavanja (u BDP alatu) za ishod učenja vezan uz primjenu umjetne inteligencije na rješavanje problema iz prakse. Na kraju su prikazani rezultati kolokvija iz Moodleove statistike.

Problemski zadak studenti su radili u timovima od četiri studenta i trebali su ga rješavati koristeći wiki u Moodleu, a zatim rješenje predati u Radionicu u kojoj su projektni rad vrednovali nastavnici (dva su nastavnika na kolegiju) i drugi studenti prema unaprijed zadanim kriterijima.

Prosječna ocjena rada bila je 18/27, a prosječna ocjena koju su studenti dobili za kvalitetu vrednovanja u Radionici (strogo) iznosila je 1,5/3.

7. Zadatak

Kakva je Vaša procjena uspjeha studenata na kolegiju?

Kakvu intervenciju nastavnika preporučujete za ovu skupinu studenata? Uzmite u obzir i aspekt razvoja umjetne inteligencije i njezinu dostupnost studentima.

Koje izmjene u dizajnu učenja preporučujete za iduću godinu kako bi se rezultati studenata na ishodu učenja vezanom za primjenu umjetne inteligencije u rješavanju problema iz prakse poboljšali?

8. Dodatna literatura

Biggs, J., & Tang, C. (2011). Teaching for quality learning at university (4th ed.). McGraw-Hill Education.

Divjak, B., Svetec, B., Horvat, D., & Kadoić, N. (2023). Assessment validity and learning analytics as prerequisites for ensuring student-centred learning design. British Journal of Educational Technology, 54, 313–334.

9. Studija slučaja 3

3. Kolegij Didaktika – povratna informacija utemeljena na analitici foruma

Kontekst: Na pedagoškom kolegiju na diplomskom studiju za buduće nastavnike fokus je na istraživačkom učenju i refleksivnom učenju sudjelovanjem u raspravama na forumima. Na kolegij je upisano 36 studenata i prolaznost je visoka (preko 90 %), ali nastavnici (3) nisu zadovoljni razinom interakcije na kolegiju u online okruženju i uživo u učionici.

Evaluacija: Dizajn kolegija iz BDP alata. Analitika foruma (broj objava po studentu, dubina rasprava – broj replikacija, sadržaj analiziran automatski i ručno)

Rezultati: Primijećen je neravnomjeran angažman – 25 % studenata nije objavilo više od jednog posta po temi. Tematski gledajući, rasprave su često ostajale površne.

U BDP alatu dana je sljedeća analitika radnog opterećenja studenata po tipovima aktivnosti učenja i poučavanja: najviše opterećenje planirano je za istraživanje, a slijedi produkcija).

Na sljedećem grafu su podatci o aktivnostima iz Moodlea za jednu akademsku godinu o diskusijama po temama. Na posljednjem nalazi se primjer odgovora na studentskoj anketi na kraju semestra. Odgovore je dalo 20 studenata.

U odgovorima otvorenog tipa studenti su napisali da je previše zadaća esejskog tipa, da je studentsko opterećenje bilo bitno više od očekivanog i da je povratne informacije studentima trebalo dati u roku od dva dana.

10. Zadatak

Kakva je Vaša procjena uspjeha studenata na kolegiju?

Kakvu intervenciju nastavnika preporučujete za ovu skupinu studenata? Uzmite u obzir kontekst i konkretnu grupu studenata.

Koje izmjene u dizajnu učenja preporučujete za iduću godinu kako bi studenti bili aktivniji u raspravama? Povežite svoj prijedlog s relevantnom literaturom i teorijom učenja.

Na ova pitanja polaznici prvo odgovore individualno i zabilježe odgovore jer će im biti korisni za nastavak rada u timovima koje su ranije formirali.

11. Pitanja i prijedlozi za promišljanje

Pitanja za samoprovjeru

1. Koja je osnovna razlika između evaluacije i istraživanja u obrazovnom kontekstu prema Scrivenu (1991) i Rallis (2014)?

2. Koje su tri glavne skupine podataka koje se koriste u evaluaciji implementacije dizajna učenja?

3. Na koji način analitika učenja može podržati nastavnika i studente tijekom implementacije kolegija?

4. Koji su osnovni ciljevi evaluacije implementacije dizajna učenja u odnosu na ishode učenja i pedagošku učinkovitost?

5. U kojim slučajevima evaluacija može dovesti do redizajna aktivnosti, vrednovanja ili povratne informacije studentima?

Pitanja za promišljanje

1. Kako biste u svojem kolegiju pratili uspješnost implementacije dizajna učenja i kojim biste se pokazateljima koristili (kvantitativnim i kvalitativnim)?

2. Kad bi tijekom semestra uočili da 40 % studenata zaostaje u aktivnostima (kao u studiji slučaja „Uvod u statistiku“), koje bi intervencije proveli i zašto?

3. Na temelju studije slučaja „Umjetna inteligencija – teorija i primjena“ što biste promijenili u strukturi vrednovanja kako biste bolje potaknuli primjenu znanja i timski rad?

4. Kako bi analitika iz foruma, kao u slučaju „Didaktika“, mogla pomoći u razvijanju dubljih rasprava i refleksivnog učenja?

5. Koje biste korake poduzeli kako biste uključili studente i kolege u proces evaluacije kolegija tako da evaluacija postane zajednički alat za učenje i unapređenje kvalitete?

12. Opća literatura

American Evaluation Association. (2014). What is evaluation?

Rallis, S. F. (2014). When and how qualitative methods provide credible and actionable evidence: Reasoning with rigor, probity, and transparency. In Credible and actionable evidence: The foundation for rigorous and influential evaluations (2nd ed., pp. 137–156). SAGE Publications.

Scriven, M. (1991). Evaluation thesaurus (4th ed.). SAGE.

Wanzer, D. L. (2021). What is evaluation?: Perspectives of how evaluation differs (or not) from research. American Journal of Evaluation, 42(1), 28–46.

Za one koji žele znati više

Polaznicima se preporučuje da dodatne primjere za analitiku učenja i studije slučaja pronađu u člancima u otvorenom pristupu u zbornicima radova vrhunskih međunarodnih konferencija iz toga područja (Core rank A).

13. Dodatna literatura

Brookfield, S. D., & Preskill, S. (2016). The discussion book: 50 great ways to get people talking. Jossey-Bass.

Vygotsky, L. S. (1978). Mind in society: The development of higher psychological processes (M. Cole, V. John-Steiner, S. Scribner, & E. Souberman, Eds. & Trans.). Harvard University Press.