Evaluacija i praćenje učinka digitalnih tehnologija

1. Uvod

Uvođenje digitalnih tehnologija u visoko obrazovanje donosi brojne mogućnosti, ali i izazove. Dok digitalni alati mogu znatno unaprijediti procese učenja, suradnje i komunikacije, njihova stvarna učinkovitost ne smije se uzimati zdravo za gotovo. Potrebno je sustavno pratiti kako se koriste, u kojoj mjeri doprinose ostvarenju pedagoških i organizacijskih ciljeva i kakav je njihov utjecaj na studente i nastavnike. 

Evaluacija i praćenje učinka digitalnih tehnologija zato predstavljaju ključni segment suvremenog obrazovanja. Ona omogućuju nastavnicima i institucijama da donose odluke temeljene na dokazima, unaprjeđuju nastavne prakse i osiguraju da ulaganja u digitalne alate zaista donose željene rezultate. U tom procesu važno je promatrati različite dimenzije: od definiranja jasnih ciljeva, preko odabira alata i metodologija, do interpretacije podataka i uključivanja svih relevantnih dionika u proces odlučivanja.

2. Definiranje ciljeva

Definiranje ciljeva prvi je i najvažniji korak u procesu evaluacije učinka digitalnih tehnologija. Ako ciljevi nisu jasno postavljeni, svi kasniji napori mogu dovesti do konfuznih rezultata ili pogrešnih interpretacija. U visokoškolskom kontekstu, ciljevi se često povezuju s pedagoškim ishodima, kvalitetom poučavanja, angažmanom studenata ili razvojem specifičnih kompetencija. Na primjer, nastavnik koji uvodi Moodle LMS kao glavni alat želi povećati razinu aktivnog sudjelovanja studenata u raspravama, pa može postaviti cilj: „Povećati broj studentskih objava u forumima za 30 % u odnosu na prošlu akademsku godinu.“

Osim pedagoških, ciljevi mogu biti i organizacijski. VU može uvesti novu platformu za videokonferencije (npr. BigBlueButton) s ciljem smanjenja troškova licenci komercijalnih alata i povećanja kontrole nad podatcima. U tom slučaju, evaluacija ne mjeri samo studentski angažman, nego i ekonomsku isplativost, tehničku pouzdanost i zadovoljstvo nastavnika.

Važno je koristiti model SMART ciljeva (Specifični, Mjerljivi, Ostvarivi, Relevantni, Vremenski određeni). Tako, umjesto apstraktnog cilja poput „unaprijediti digitalne vještine studenata“, nastavnik definira konkretan: „80 % studenata kolegija Digitalne kompetencije do kraja semestra uspješno će koristiti suradničke alate (npr. Google Docs ili MS Teams) u pisanju zajedničkog seminarskog rada.“

Primjeri ciljeva mogu biti: povećanje učestalosti sudjelovanja u online raspravama, smanjenje broja studenata koji odustaju od kolegija, poboljšanje uspješnosti u rješavanju online kvizova ili smanjenje vremena potrebnog za administrativne zadatke nastavnika. Jasno postavljeni ciljevi služe kao putokaz za odabir metodologije, alata i načina interpretacije podataka, a bez njih proces evaluacije gubi smisao i ne donosi stvarnu vrijednost obrazovnoj praksi.

3. Alati i platforme za prikupljanje podataka

Prikupljanje podataka temelj je kvalitetne evaluacije, a izbor alata u visokom obrazovanju presudan je za točnost i pouzdanost rezultata. Danas gotovo svaki digitalni sustav koji se koristi na sveučilištima bilježi podatke o interakcijama korisnika. Moodle LMS primjer je središnje platforme koja omogućuje prikupljanje informacija o broju prijava studenata, vremenu provedenom na kolegiju, aktivnostima u forumima, rezultatima na testovima i statusu dovršenosti neke aktivnosti. Ovi podatci mogu se izvoziti u obliku izvještaja ili integrirati s alatima za analitiku učenja, poput Moodle Analytics Dashboarda.

Uz sustave za upravljanje učenjem, često se koriste i anketni alati (npr. Google Forms, LimeSurvey ili institucionalne platforme za anketiranje) kako bi se prikupili podatci o stavovima i zadovoljstvu studenata. Na primjer, nakon završetka nastave na kolegiju, studenti mogu ispuniti anketu u kojoj ocjenjuju kvalitetu videopredavanja, jasnoću uputa za zadatke i korisnost povratnih informacija.

Za detaljnije praćenje interakcija, sve je popularnija upotreba alata koji analiziraju podatke iz videokonferencijskih sustava. Na primjer, Zoom ili Microsoft Teams bilježe trajanje sudjelovanja, broj postavljenih pitanja ili korištenje opcija poput glasanja i chata.

Osim kvantitativnih podataka, važni su i alati za prikupljanje kvalitativnih uvida. Digitalni forumi, blogovi i refleksivni dnevnici omogućuju nastavnicima analizu sadržaja studentskih objava. To se može koristiti kako bi se pratilo razvijaju li studenti kritičko mišljenje ili sposobnost argumentirane rasprave.

Primjer iz prakse: na fakultetu nastavnik koristi kombinaciju Moodle izvještaja, anketu u Google Formsu i analizu studentskih objava u forumu kako bi dobio cjelovitu sliku o učinku uvođenja interaktivnih videolekcija. Kombinacija alata osigurava da evaluacija nije jednostrana, već obuhvaća različite aspekte studentskog iskustva i angažmana.

4. Metodologije praćenja i evaluacije

Metodologije praćenja i evaluacije u visokom obrazovanju moraju biti prilagođene ciljevima i resursima. Najčešće se koristi kombinacija kvantitativnih i kvalitativnih metoda kako bi se dobila uravnotežena i pouzdana slika.

Kvantitativne metode uključuju analizu podataka iz sustava poput Moodle LMS-a, gdje nastavnik može pratiti stopu završavanja aktivnosti, prosječne rezultate na kvizovima, učestalost prijava ili broj predanih zadataka. Na primjer, nastavnik može primijetiti da studenti koji češće sudjeluju u online forumima imaju bolje rezultate na završnim ispitima. Takav nalaz omogućava donošenje zaključka o povezanosti angažmana i uspjeha.

Kvalitativne metode nadopunjuju ovu sliku. Intervjui i fokus-grupe sa studentima mogu otkriti razloge zašto neki ne sudjeluju aktivno ili zašto preferiraju određene alate. Na primjer, studenti mogu navesti da forumi nisu dovoljno motivirajući, ali da interaktivni alati poput Mentimetera potiču veću uključenost. Analiza sadržaja pisanih refleksija može dodatno otkriti percepciju korisnosti digitalnih alata.

Jedna od suvremenih metodologija jest analitika učenja, koja koristi napredne algoritme za predviđanje studentskog ponašanja. Na primjer, analiza obrazaca prijava može signalizirati studente u riziku od odustajanja s kolegija, čime se nastavnicima daje prilika za pravovremenu intervenciju.

Primjer prakse: na jednom kolegiju korištena je kombinacija kvantitativnih podataka iz Moodle LMS-a i kvalitativnih intervjua sa studentima kako bi se evaluirala učinkovitost uvođenja videomaterijala. Kvantitativni podatci pokazali su da studenti češće pregledavaju kraće videolekcije, dok su kvalitativni uvidi objasnili da su im one preglednije i lakše za učenje. Takav integrirani pristup omogućuje precizniju i smisleniju interpretaciju.

5. Obrada i interpretacija podataka

Obrada i interpretacija podataka možda su najosjetljiviji dio evaluacijskog procesa jer se u toj fazi podaci pretvaraju u korisne spoznaje. Sama količina podataka iz digitalnih alata u visokom obrazovanju može biti ogromna, no bez odgovarajuće obrade ti podatci ne govore mnogo.

Kod kvantitativnih podataka, obrada uključuje korištenje statističkih alata i metoda. Na primjer, nastavnik može analizirati povezanost između vremena provedenog na Moodle LMS-u i uspjeha na završnom ispitu. Ako se pokaže da studenti koji su aktivniji na forumima imaju više ocjene, to se može interpretirati kao dokaz da digitalna interakcija pozitivno utječe na ishode učenja.

Kvalitativni podatci zahtijevaju drugačiji pristup. Na primjer, studentske refleksije u blogovima ili forumima mogu se analizirati metodom tematske analize, gdje se prepoznaju obrasci i kategorije (npr. zadovoljstvo digitalnim alatima, izazovi u korištenju, prijedlozi za poboljšanja).

Interpretacija mora biti pažljiva i utemeljena na kontekstu. Na primjer, manja učestalost prijava u sustav ne znači nužno slab angažman – studenti možda koriste druge izvore ili rade offline. Zato se rezultati trebaju promatrati u kombinaciji s dodatnim podatcima.

Primjer iz prakse: u evaluaciji kolegija na kojem su korišteni interaktivni testovi u Moodle LMS-u, kvantitativna analiza pokazala je da studenti koji su redovito rješavali testove postižu bolji uspjeh. Međutim, kvalitativna analiza studentskih komentara otkrila je da im testovi pomažu u praćenju vlastitog napretka, a ne samo u pripremi za ispit. Takva interpretacija daje nastavniku korisne smjernice za daljnje unapređenje nastave.

Na taj način, obrada i interpretacija podataka ne završavaju samo iznošenjem statistika, već dovode do razumijevanja šire slike i stvarnog utjecaja digitalnih tehnologija.

6. Uključivanje dionika i donošenje odluka

U evaluaciji digitalnih tehnologija u visokom obrazovanju važno je uključiti sve relevantne dionike: studente, nastavnike, administratore i donositelje odluka. Samo tako evaluacija može imati praktičnu vrijednost i rezultirati promjenama.

Studenti su glavni korisnici digitalnih tehnologija i njihovo iskustvo mora biti u središtu evaluacije. Uključivanje studenata putem anketa, fokus-grupa ili refleksivnih zadataka omogućuje da se čuje njihov glas i razumiju njihove potrebe. Na primjer, studenti mogu ukazati da im je korisno imati snimke predavanja dostupne na Moodle LMS-u, ali da žele kraće i preglednije segmente.

Nastavnici su drugi ključni dionici. Oni mogu dati povratne informacije o tome koliko im digitalni alati olakšavaju ili otežavaju izvođenje nastave. Ako nastavnici ocijene da im neki alat (npr. BigBlueButton) štedi vrijeme u organizaciji online rasprava, to je važan podatak za donošenje odluka na razini institucije.

Administratori i uprava fakulteta također sudjeluju u procesu. Oni donose strateške odluke o financiranju i tehničkoj podršci. Evaluacijski rezultati im pomažu da procijene treba li ulagati u proširenje korištenja određenih platformi ili u obuku nastavnika.

Primjer prakse: na jednom sveučilišnom odjelu provedena je evaluacija uvođenja MS Teamsa kao glavnog alata za komunikaciju. Studenti su istaknuli da im alat olakšava grupni rad, nastavnici su izrazili zabrinutost oko preklapanja s Moodle LMS-om, dok je uprava bila fokusirana na troškove i usklađenost s GDPR-om. Tek kombinacija tih perspektiva omogućila je donošenje uravnotežene odluke: MS Teams se zadržao kao alat za kolaboraciju, dok je Moodle LMS ostao primarna platforma za izvođenje nastave.

7. Zaključak

Evaluacija i praćenje učinka digitalnih tehnologija nisu jednokratne aktivnosti, nego kontinuirani procesi koji prate dinamiku visokoškolskog obrazovanja. Njihova je svrha ne samo dokazati da tehnologija funkcionira, nego i osigurati da ona donosi stvarnu pedagošku i organizacijsku vrijednost. Jasno definiranim ciljevima, sustavnim prikupljanjem podataka, primjenom kombiniranih metodologija i pažljivom interpretacijom rezultata moguće je dobiti relevantne uvide o učinku digitalnih alata.

Još važnije, uključivanje studenata, nastavnika i uprave u proces evaluacije osigurava transparentnost i povećava vjerojatnost donošenja odluka koje će biti prihvaćene i korisne. Na taj se način evaluacija pretvara u alat za unaprjeđenje kvalitete obrazovanja, a ne tek formalnost. U konačnici, samo sustavno praćenje učinka omogućava da digitalne tehnologije postanu doista integrirani i smisleni dio akademske prakse, a ne prolazni trend ili tehnička inovacija bez dugoročnog učinka.

8. Literatura

• LibreTexts. Evaluating Educational Technology. https://workforce.libretexts.org/Courses/Evergreen_Valley_College/Transforming_Learning%3A_Integrating_Technology_and_Media_in_Education_(Rahim_and_Albrecht)/07%3A_Evaluating_Educational_Technology