Videolekcija: Vjerodostojnost analitike učenja

Dobro došli u videolekciju o vjerodostojnosti analitike učenja. Nakon uvoda u analitiku učenja, definiranja i rasprave o ključnim konceptima, govorit ćemo o aspektima koji utječu na vjerodostojnost analitike učenja kao i o odgovornostima različitih dionika. Analitika učenja već se dulje od jednoga desetljeća koristi da bi se unaprijedilo razumijevanje procesa učenja, pripremile podloge za ciljanu podršku u učenju, poboljšala iskustva učenja i potaknulo samoregulirano učenje. Iako su njezine dobrobiti jasno prepoznate u praksi i istraživanju, primjena analitike još nije dovoljno široka, posebice izvan konteksta visokog obrazovanja. Tome pridonose različiti razlozi, poput onih vezanih za nedostatak odgovarajućih politika, strategija i kapaciteta. Jedan od razloga može biti vezan i za povjerenje. Naime, bez povjerenja teško je očekivati da će studenti i nastavnici, a i drugi dionici poput institucija i donositelja odluka, sudjelovati u implementaciji analitike učenja ili je rabiti kao temelj za donošenje odluka. Zato je osiguravanje vjerodostojnosti analitike učenja ključna pretpostavka za ostvarenje njezina punog potencijala kao podloge za donošenje informiranih odluka u obrazovanju. Dok je povjerenje subjektivno, vjerodostojnost možemo gledati kao objektivnu kvalitetu sustava za analitiku učenja. Proveden je niz istraživanja koja su se bavila temama vezanima za vjerodostojnost analitike učenja. Analitika učenja blisko je vezana s umjetnom inteligencijom pa u aspektima vjerodostojnosti postoje i brojne paralele. Posebno se važna pitanja otvaraju s rapidnim razvojem generativne umjetne inteligencije. Uzimajući sve to u obzir, dimenzije vjerodostojnosti možemo povezati u nekoliko ključnih aspekata. Možemo govoriti o društvenim, tehnološkim i horizontalnim aspektima. Oni nisu izolirani, već se međusobno isprepleću i u interakciji pridonose vjerodostojnosti analitike učenja. Društveni aspekti usmjereni su na ljude, njihove uloge i prava te su vezani za etičnost. Sustavi za analitiku učenja često prikupljaju osjetljive podatke poput ocjena i interakcija u online okruženju. Stoga je važna dimenzija privatnost, zaštita podataka i sigurnost podataka. Važno je osigurati da su osobni podatci zaštićeni od zlouporabe, neautoriziranog pristupa i neprimjerene analize. Zato se, primjerice, podatci o studentima anonimiziraju prije analiza. Druga je dimenzija djelovanje, autonomija i nadzor. Važno je studentima dati glas u tome kako se podatci koriste u analitici učenja, omogućiti im da sami odluče hoće li svoje podatke učiniti dostupnima te ih informirati o tome kako se koriste. U kontekstu kontrole, važno je i pitanje vlasništva nad podatcima izvedenim iz sirovih podataka o studentima. Ključna dimenzija jesu dionici. Svi uključeni u obrazovni proces trebaju imati mogućnost sudjelovanja u dizajnu i primjeni analitike učenja, uključujući nastavnike, studente i donositelje odluka. Osiguravanjem da sustavi za analitiku učenja odgovaraju interesima studenata i drugih dionika može se pridonijeti transparentnosti i vjerodostojnosti. Također, važno je da postoji povjerenje u visoka učilišta, ali i vanjske dionike, u smislu njihovih kompetencija za provedbu analitike učenja. S druge strane, tehnološki aspekti usmjereni su više na tehničke značajke alata i sustava za analitiku učenja koje su također vezane za privatnost i etičko korištenje podataka. Prva je dimenzija vezana za podatke, algoritme, točnost i pravednost. Naime, točnost, pouzdanost i pravednost analitike učenja blisko je povezana s podatcima na kojima se temelji. Međutim, postoje izazovi vezani za nepotpunost i pristranost u podatcima, što može voditi do pristranosti algoritama i nepouzdanih rezultata. Takvi izazovi mogu biti vezani, primjerice, uz različitost kanala kojima se prikupljaju podatci, ali i uz odabir studenata da svojim podatcima ne sudjeluju u analitici učenja. Druga je dimenzija infrastruktura, odnosno dostupnost odgovarajuće softverske arhitekture i osnove za sigurno upravljanje podatcima, uključujući velike količine podataka. Treća je dimenzija dostupnost. Sustavi za analitiku učenja trebaju biti dostupni i razumljivi različitim skupinama korisnika, uključujući i osobe s poteškoćama (poput, primjerice, poremećaja vida) ili govornike slabije zastupljenih jezika. Postoje i horizontalni aspekti koji su vezani i za društvene i za tehnološke. To je prije svega transparentnost. Studenti trebaju znati koji se podatci prikupljaju, tko ih prikuplja i s kojim ciljem, kao i tko im ima pristup. Osim toga, potrebna je i transparentnost i objašnjivost algoritama, što posebnu važnost dobiva u kontekstu primjene generativne umjetne inteligencije. Druga je dimenzija odgovornost dionika. Područje odgovornosti dionika za osiguravanje vjerodostojnosti analitike učenja razlikuju se, ali se i preklapaju. Prvo, na razini obrazovnih sustava i institucija, donositelji odluka odgovorni su za strateško planiranje i pružanje vodstva da bi primjena analitike učenja bila smislena, fokusirana i transparentna. Također, njihova je odgovornost osiguravanje investicija i preduvjeta poput infrastrukture, kao i tehničke i pedagoške podrške za nastavnike i studente. Nastavnici imaju ključnu ulogu u provedbi obrazovnih intervencija temeljenih na analitici učenja. Kao podlogu trebaju osigurati pedagošku utemeljenost procesa učenja i poučavanja, uključujući dizajn učenja. Ako ta baza nije uspostavljena, smislenost i objašnjivost analitike učenja postaju upitne. Nastavnici su ključni u interpretiranju rezultata analitike učenja i reagiraju na način koji potiče usvajanje ishoda učenja. Obje skupine dionika trebaju voditi brigu o ograničenjima u podatcima i mogućoj pristranosti koja je posljedica nepotpunih podataka. Također, važna je svijest o primjeni adekvatnih algoritama i statističkih modela, kao i o rizicima primjene generativne umjetne inteligencije. Poznavanje specifičnog obrazovnog i kulturološkog konteksta potrebno je za ispravnu interpretaciju i kreiranje usmjerenih intervencija. Treća skupina su studenti. Njihova je uloga pružati informacije o tome kakve su im analitike učenja važne i korisne i kakva im podrška treba. Na njima ostaje samoregulirati svoje učenje vodeći se saznanjima iz analitike učenja. Na kraju, sve tri skupine dionika trebaju sudjelovati u procesima razvoja i primjene analitike učenja. Na taj način ostvaraju se sustavi analitike učenja usmjerene na čovjeka. Također, važno je da razvijaju razine podatkovne pismenosti i pismenosti o umjetnoj inteligenciji potrebne za implementaciju i razumijevanje analitike učenja. Rad svih dionika u skladu s etičkim standardima ključan je preduvjet za vjerodostojnost analitike učenja. Razgovarat ćemo o analitici učenja kako bismo bolje razumjeli izazove i prilike iz prakse. P: Prema vašem iskustvu, koji je najveći izazov u primjeni vjerodostojne analitike učenja na visokim učilištima? O: Prije svega je važno dobro vidjeti koja je pedagoška opravdanost analitike učenja i onda osigurati i tehničke uvjete da se to provede na način da analitike učenja budu vjerodostojne. Za to treba imati kvalitetne podatke, što znači da ono čišćenje podataka, pripreme podataka o studentима, nastavnicima, procesima, obično dosta dugo traje i mora se sustavno unapređivati i prikupljati. Moramo biti spremni i reći da nam nekad podatci nisu vjerodostojni, prepoznati određene pristranosti i tako da traži određenu potporu, dakle tehničku koja nije mala. I s druge strane postoje ti etički aspekti o kojima treba voditi računa tako da je jasno da nemamo prikupljanje podataka za koje nemamo dozvolu i naravno da se ti podatci kad se dobiju obrade i kad dobijemo rezultate koriste na etički način i da bude ta upotreba pedagoški smislena. P: Uzimajući u obzir ideju analitike učenja usmjerene na čovjeka, kako bi studenti i nastavnici mogli aktivnije sudjelovati u razvoju sustava za analitiku učenja? O: Analitika učenja je zapravo namijenjena studentima i nastavnicima, što znači da oni moraju od početka jasno reći koje su njihove potrebe. Primjerice, može se napraviti istraživanje, to je ono što smo mi radili, koje su potrebe studenata, što studenti od analitike učenja žele koristiti. Primjerice, dakle jedan pregled aktivnosti koje su pred njima, to uglavnom svi žele, ali s druge strane imate, primjerice, smo pitali studente da li žele dobiti informaciju kako oni sa svojim rezultatima stoje u odnosu na grupu. Pa dosta njih je reklo da im to baš i ne treba. S druge strane, nastavnici također moraju sudjelovati u kreiranju pitanja na koja bi analitika učenja trebala odgovarati, evaluaciji rezultata i sigurno je da njihova interpretacija onoga što smo dobili je ključna pa je onda i njihova, dakle njihova potreba za edukacijom ovdje je veća i to im također institucija treba osigurati. Ali uloga i studenata i nastavnika mora biti aktivna. P: U kontekstu sve većih mogućnosti i primjene generativne umjetne inteligencije što smatrate ključnim etičkim izazovima za sustave analitike učenja? Pa tu je veliki problem transparentnosti. Kad god koristimo generativnu umjetnu inteligenciju, kad dobijemo rezultate pitanje je što smo dobili, što je u toj crnoj kutiji. A ako se još to koristi na način da, primjerice, nastavnik ili student ne razumije što je dobio, nego to samo prihvaća nekritički, onda niti povjerenje u sustav ne možemo reći da je takvo da bi se trebalo podržavati korištenje analitika, tako da ja zagovaram korištenje onih analitika za koje jasno možemo reći što se dešava u onoj crnoj kutiji. Tu je onda naravno sljedeći problem zaštita i privatnost podataka gdje svatko tko sudjeluje i čiji se podatci prikupljaju ili tko sudjeluje u tome procesu mora imati uvid u to što se dešava i moramo biti svjesni da se može dogoditi pristranost. Ako, primjerice, svi studenti određene skupine, recimo studenti s invaliditetom, odustanu od toga da se njihovi podatci prikupljaju ili ne daju pristanak, vi dobijete analitike temeljem toga koje ne sadrže podatke o toj skupini pa su onda i analitike pristrane. Znači, ovo sigurno nije jednostavno kako ćemo napraviti vjerodostojnima i algoritme, podatke na kojima se analitike temelje, a onda i interpretaciju rezultata na pedagoški smisleni način. Hvala na inspirativnim porukama koje možemo pokušati primijeniti u svojim obrazovnim kontekstima. Vjerodostojne analitike učenja traže naše sudjelovanje, razumijevanje i kritičko propitivanje. Hvala na pozornosti svima koji su pratili ovu videolekciju.