Čitanje: Savjeti za interpretaciju analitike učenja

1. Uvod

Smjernice za interpretaciju analitike učenja u nastavku temeljene su na Divjak, B.; Žugec, P. (2022). Learning Analytics: Tips and Tricks for Teachers and Institutions. Razvijeno u sklopu Erasmus+ projekta Relevant Assessment and Pedagogies for Inclusive Digital Education (RAPIDE).

U smjernicama za interpretaciju analitike učenja, razvijenim u sklopu projekta RAPIDE, autorice B. Divjak i P. Žugec daju smjernice primjenjive na dvjema razinama – na razini visokog učilišta i na razini nastavnika. U nastavku se prenose ključne smjernice i preporuke sa stvarnim primjerima i prijedlozima za interpretaciju. 

2. Visoka učilišta

Aktivnosti institucija

Potrebno je razviti i implementirati kulturu temeljenu na podatcima (engl. data-driven culture) te su potrebne redovite edukacije o analitici podataka kako bi se umjetna inteligencija (UI), a posebno analitika učenja, koristila na odgovoran i pouzdan način izbjegavajući pristranosti. Za razvoj te kulture oportuno je imati odgovarajuća znanja iz područja strateškog planiranja koja možete usvojiti u e-tečaju Strateško planiranje primjene digitalnih tehnologija. Također, izvještaje i materijale koje stvaramo u okviru analitike možemo pretvoriti u otvorene obrazovne sadržaje, o čemu govorimo u e-tečaju Otvoreno obrazovanje i znanost.

Za sveučilišne nastavnike ključno je educiranje za smisleno korištenje analitike podataka. Dostupni su MOOC-ovi i online tutorijali kao početna točka, no potrebno je organizirati institucionalnu edukaciju kako bi se otvorila rasprava.

Analitika učenja trebala bi se temeljiti na etičkim načelima i načelima jednakosti i pravednosti. Može se razviti institucionalni kodeks prakse ili barem preporuke.

Podatkovna pismenost, kao i pismenost u vrednovanju, trebaju biti sastavni dio skupa kompetencija nastavnika. To može biti dio doktorskog studija za nastavnike na početku karijere i/ili dio daljnjega stručnog usavršavanja sveučilišnih nastavnika i osoblja.

Institucije bi trebale pružiti podršku nastavnicima u korištenju analitike učenja i umjetne inteligencije u smislu edukacije, resursa i opreme, kao i u smislu podrške osoblja.

Najbolji je pristup provođenje ciklusa strateškog planiranja.

Pitanja koja treba postaviti na razini institucije:

• Koje su kompetencije u području podatkovne pismenosti potrebne dionicima (studentima, nastavnicima, programerima, istraživačima, donositeljima odluka u obrazovanju i poslodavcima) za učinkovitu primjenu alata za analitiku učenja unaprijeđenih umjetnom inteligencijom? Razlikuju li se te kompetencije među studentima različitih disciplina i među različitim dionicima?
• Kako su kompetencije krajnjih korisnika u području podatkovne pismenosti povezane s njihovim tumačenjem mogućnosti koje pruža analitika učenja, njihovim prosuđivanjem i donošenjem odluka vezanih uz proces učenja uz interakciju s alatima za analitiku učenja?
• Kako poticati kulturu temeljenu na podatcima, digitalnu pismenost i etičko korištenje podataka u razvoju odgovorne primjene umjetne inteligencije u obrazovanju?
• Kako strateški planirati i zajednički kreirati analitiku učenja i resurse za postizanje strateških ciljeva?

3. Sveučilišni nastavnici

Opće preporuke

Analitika učenja ne pruža nastavniku univerzalna pravila niti opće rezultate, već ju je potrebno tumačiti u konkretnom obrazovnom kontekstu.

Barem osnovne funkcionalnosti vezane za analitiku učenja dostupne su u raznim alatima za e-učenje i sustavima za upravljanje učenjem (LMS-ovima). Provjerite analize koje su ondje dostupne, ali ih nemojte tumačiti bez proučavanja priručnika i konzultacija s kolegama o mogućim prednostima i nedostatcima.

Analitika učenja je uvijek u određenoj mjeri pristrana, stoga nastavnici trebaju biti svjesni vlastitih ciljeva, kao i ograničenja određene analize podataka.

Budite svjesni da analitika učenja može motivirati, ali i demotivirati studente za učenje, stoga obratite pozornost na vrste analiza i povratnih informacija koje bi mogle biti korisnije za učenje vaših studenata.

Pitanja koja trebaju postaviti nastavnici:

Zašto vam je potrebna analitika učenja?

Neki od mogućih odgovora:

• • praćenje ili vrednovanje mojeg poučavanja i učenja mojih studenata
  • evaluacija dizajna kolegija i učenja
  • pružanje povratnih informacija studentima radi unapređenja njihova učenja
  • evaluacija korisnosti i unaprjeđenje obrazovnih materijala
  • praćenje i evaluacija učinka novoga pedagoškog pristupa
  • identificiranje ranih pokazatelja uspjeha ili neuspjeha
  • prilagodba poučavanja specifičnim potrebama studenata.

Na temelju odgovora birate pristup, metrike, izvore podataka, metodu analitike učenja i razinu diseminacije, kao što je analizirano u nastavku:

Tablicu niže možete koristili da biste saželi svoje odgovore na postavljena pitanja i planirali aktivnosti vezane uz primjenu analitike učenja:

4. Primjeri s prijedlozima za interpretaciju

U nastavku se nalazi nekoliko primjera s prijedlozima za interpretaciju.

4.1. Analitika učenja o tipovima aktivnosti učenja i poučavanja

Primjer 1.

Ovakva analitika može se dobiti kombiniranjem alata za dizajn učenja (BDP) i LMS-a (Moodle).

Možemo si postaviti sljedeća pitanja:

• Kada su studenti aktivni i angažirani?
• Uče li studenti na našem kolegiju samo za ispite?
• Imaju li studenti dovoljno vremena za dovršavanje svih planiranih aktivnosti?

Što možemo naučiti iz analitike učenja dostupne u alatu BDP i u Moodleu?

Slika 1. Radno opterećenje studenata (BDP) - Slika 2. Aktivnost studenata i nastavnika (Moodle)

Očekivano, aktivnost i angažiranost studenata varira tijekom semestra. Vidljive su oscilacije koje se mogu povezati sa sumativnim vrednovanjem. Analiza aktivnosti pokazuje kada su studenti aktivni i angažirani. Uočljivo je da aktivnost raste prije ispita pa možemo zaključiti da studenti u našem kolegiju uče za ispite. U tim razdobljima dolazi do vrhunca aktivnosti i korištenja materijala, dok se nakon ispita vidi pad angažiranosti.
Tijekom ostatka semestra studenti se koriste materijalima i alatima za formativno vrednovanje, što je vidljivo na grafu ispod. Manji skokovi u aktivnosti javljaju se i u dijelu u kojem primjenjujemo pristup obrnute učionice.

4.2. Interpretacija analitike vrednovanja u Moodleu

Primjer 2.

4.3. Evaluacija materijala za učenje

Primjer 3.

Ako želite identificirati materijale za učenje na kolegiju koje treba unaprijediti, možete se koristiti statistikama u LMS-u vezanim za korištenje online materijala (videozapisi, tekstualni materijali, aplikacije itd.), povratnim informacijama studenata te postotcima završetka. Na temelju analize aktivnosti možete vidjeti rade li studenti više s kraćim videopredavanjima (5 –15 minuta), cijelim snimkama predavanja (45 minuta) ili s materijalima za čitanje. No, to nije jedini pokazatelj upotrebljivosti ili kvalitete materijala. Možete ih dodatno upitati u kratkom upitniku što preferiraju, zašto i u koje svrhe. Rezultate je moguće povezati s klasteriranjem studenata i analizirati koji se materijali koriste i s kakvom uspješnosti. Na temelju toga mogu se oblikovati preporuke za sve studente, a nastavnici mogu iskoristiti povratne informacije kako bi optimizirali svoje radno opterećenje i izrađivali smislenije materijale za učenje. No, treba imati na umu da svi studenti nemaju iste potrebe ni navike u učenju te da pristup „jedno rješenje za sve" nije smislen.

Osim toga, analitika učenja može povezati korištenje materijala za učenje s vrednovanjem. Na primjer, možda studenti stalno padaju na testu jer preskaču određeni resurs (video, aplikaciju, vježbu ili poglavlje u knjizi). Nastavnik može odgovoriti na taj izazov tako da ograniči pristup testu dok student ne pregleda relevantni resurs za učenje.

Slika 4: Opcije u sučelju Loomen unutar postavki aktivnosti: Dovršenost aktivnosti

Slika 5: Opcije u sučelju Loomen unutar postavki aktivnosti: Ograniči dostupnost

5. Pitanja za samoprocjenu i promišljanje

1. Kako se nastavnici mogu koristiti analitikom učenja za unapređenje dizajna kolegija i materijala za učenje? Razmislite o primjerima iz vlastite prakse i konteksta.
2. Koje su kompetencije i podrška potrebne nastavnicima za odgovornu i učinkovitu primjenu analitike učenja? Povežite s vlastitim iskustvom.

5.1. Brzi pogled na analitiku učenja 

Primjer 4.

Ovakav brzi pogled koristan je za pripreme predavanja ili drugih aktivnosti učenja i poučavanja.

Zamislite da ste nastavnik koji se koristi pristupom obrnute učionice (engl. flipped classroom) i dali ste studentima zadatak za pripremu prije nastave. Sada planirate predavanje. Prilikom osmišljavanja predavanja možete pregledati neke jednostavne analitike učenja u LMS-u poput aktivnosti i angažmana studenata s materijalima, rezultata predtesta o osnovnim pojmovima vezanim uz temu i pitanja koja su studenti postavili u diskusijskom forumu.