Ako sledovať dopad organizácie? Inšpirujte sa príkladmi z praxe

Organizáciám zaradeným do EDUakcelerátora sprostredkovávame pravidelné konzultácie s výskumníkmi a výskumníčkami, ktorí im pomáhajú vypracovať spoľahlivú stratégiu. Cieľom je naučiť ich, ako si nastaviť vhodné metodiky zberu dát, veľkosť výskumnej vzorky, periodicitu zberu, spôsob vyhodnocovania, spracovania a komunikácie výsledkov.

Sledovanie dopadu je jednou z kľúčových oblastí, na ktoré v programe Generácia 3.0 kladieme dôraz. Prečo je to tak, vysvetľujeme napríklad v tomto článku.

Vytvoriť si stratégiu je nevyhnutné

Mnohé organizácie pred absolvovaním EDUakcelerátora svoj dopad nesledujú, prípadne sa spoliehajú na občasnú spätnú väzbu od účastníkov. Vytvoriť si stratégiu pravidelného zberu a spracovania dát je pritom nevyhnutné z viacerých dôvodov:

1. organizácia má objektívne informácie o účinnosti aktivít a na základe dát vie operatívne prispôsobovať obsah tak, aby dosiahla čo najväčší dopad,
2. donori sa pri rozhodovaní o podpore môžu riadiť výsledkami, ktoré ukazujú, nakoľko efektívne budú využité ich finančné dary,
3. školy dostávajú informáciu o reálnom vplyve projektu, napríklad na postoje žiakov, čo vedie k vyššej motivácii pokračovať, prípadne do nej zapojiť viac žiakov/učiteľov, a šíriť tak projekt ďalej.

Rovnako, ako je každý projekt iný, vyžaduje si aj iný prístup k nastaveniu stratégie sledovania dopadu. Prinášame vám konkrétne príklady projektov v EDUakcelerátore, ktoré ponúkajú viaceré prístupy:

• Post Bellum sa zameralo na vypracovanie dotazníkov, ktoré pomáhajú sledovať zmenu postojov.
• Inštitút pre aktívne občianstvo začal uplatňovať Q-metodológiu, ktorá kombinuje kvantitatívnu a kvalitatívnu analýzu dát.
• Nadácia otvorenej spoločnosti sa zamerala na vypracovanie manuálu príkladov dobrej praxe.
• Medzinárodná cena Vojvodu z Edinburghu riešila, ako zvýšiť počet vyplnených výstupných dotazníkov, aby boli schopní vyčísliť spoločenskú hodnotu (social value) svojho prínosu.
• Junior Achievement Slovensko urobilo prvé, dôležité kroky k nastaveniu systematického merania dopadu na úroveň finančnej gramotnosti žiakov prvého stupňa ZŠ.

Post Bellum
Dramatickou výchovou a poznaním minulosti k lepšej budúcnosti

Organizácia realizuje zážitkové workshopy, cez ktoré sa žiaci a žiačky základných, stredných aj vysokých  škôl oboznamujú so slovenskými dejinami 20. storočia.

Princípom workshopov je štruktúrovaná dráma, najmä hranie rolí – účastníci sa stávajú bežným človekom, ktorý bol svedkom významných historických udalostí a pokúšajú sa vcítiť do jeho pocitov. Zámerom je stať sa vnímavejšími voči súčasnému dianiu. Žiaci a študenti si tak počas 4 hodín vyskúšajú život pred Nežnou revolúciou alebo počas 30. rokov 20. storočia. Skúsenosti s prístupom priamo na škole si môžete prečítať na tomto linku.

Pred vstupom do EDUakcelerátora zbieralo Post Bellum informácie o počte zapojených škôl. Chýbali však ďalšie kvantitatívne dáta, napríklad počty študentov, aj akékoľvek kvalitatívne dáta. V priebehu troch mesiacov sa preto, spolu s výskumníkom Martinom Poschom z Historického ústavu SAV, zamerali na vytvorenie nástroja, ktorý im umožní sledovanie kvantitatívnych ukazovateľov, ale aj postojov žiakov v témach ako migrácia, xenofóbia, nacionalizmus, či rasizmus.

Na konci akcelerátora tak malo Post Bellum vytvorených a otestovaných niekoľko typov dotazníkov, v ktorých študenti na škále vôbec nesúhlasím – úplne súhlasím vyjadrujú svoj súhlas s výrokmi.

V prvom kroku nazbierali stovky odpovedí pred workshopmi a tesne po nich. Na základe nich sa dotazníky ďalej upravili – prispôsobili sa niektoré formulácie alebo upravila škála. Dôležité bolo hlavne formulovať jednotlivé výroky tak, aby im porozumeli žiaci v každom veku.  Napríklad, žiaci na ZŠ môžu mať problém porozumieť pojmom ako holokaust, migrant, utečenec či demokracia, čo sa prejaví v odpovediach tým, že väčšina odpovedá neutrálne. Preto sa otázky preformulovali na jednoduchšie vety a škála sa upravila tak, aby nútila žiakov vyjadriť sa buď kladne alebo záporne.

Už za prvé mesiace (december 2019 – marec 2020) sa podarilo nazbierať vyše 1 000 odpovedí. Aktuálne sa v spolupráci s výskumníkom vyhodnocujú dáta a pripravujú výsledky na komunikáciu. Cieľom je osloviť hlavne donorov a ukázať, že aj intervencie založené na jednorazovej aktivite majú zmysel a darí sa im napĺňať zvolený cieľ.

Inštitút pre aktívne občianstvo (IPAO)
Školy, ktoré menia svet

Dvojročný tréningovo-mentoringový program pre učiteľov a učiteľky spoločenskovedných predmetov na ZŠ a SŠ sa zameriava na profesionálny rozvoj pedagógov a na rozvoj občianskych zručností ich žiakov a žiačok.

Do vyučovania zavádza zážitkové a interaktívne metódy a kreatívne prvky neformálneho vzdelávania, čím sa snaží podnecovať kritické myslenie, myslenie v súvislostiach, mediálnu gramotnosť, demokratické zmýšľanie, morálne hodnoty a empatiu. Skúsenosti s prístupom priamo na škole si môžete prečítať na tomto linku.

IPAO už od začiatku zbieralo spätnú väzbu od účastníkov. Dotazníky distribuovali na školy na začiatku a konci školského roka. Vďaka výskumníčke Janke Fúskovej z Trnavskej univerzity a SAV sa v dotazníkoch upravili formulácie a škály tak, aby boli čo najefektívnejšie. Počas konzultácií v EDUakcelerátore tiež riešili, ako formulovať otázky a interpretáciu zistení pre komunikačné účely, ako vyberať zo zozbieraných dát tie najkľúčovejšie pre danú cieľovú skupinu (v tomto prípade najmä pre verejnosť) a ako ich graficky čo najjednoduchšie a najintuitívnejšie zobrazovať. Výskumníčka odporučila komunikovať výsledky v čase, keď téma rezonuje v spoločnosti, graficky zvýrazniť najdôležitejší údaj a pod.

Hlavným výstupom spolupráce však bolo nastavenie úplne novej metódy zberu dát o zmenách postojov účastníkov. Pre tzv.  Q-metódológiu (ktorá sa dá v budúcnosti využiť aj na storytelling, pútavú prezentáciu výstupov a predikcie) spolu s výskumníčkou pripravili všetky podklady, úspešne nástroj otestovali a spustili zber dát na školách. Q-metodológia kombinuje kvantitatívnu a kvalitatívnu analýzu dát. Využíva sa na tvorbu typológií, ktoré v sebe zahŕňajú identifikáciu postojov v populácii k rôznym témam alebo pojmom (Sukolová D., MUNI, 2019).  V praxi  sa pripraví sada 50 až 80 výrokov na témy ako tolerancia, gendrové stereotypy, predsudky voči menšinám, vzťah k životnému prostrediu, dôvera v autority alebo vo vlastnú schopnosť ovplyvniť a meniť veci okolo seba, napríklad:

• depresia je len zlá nálada – nie je hanba vyhľadať pomoc, keď ma niečo trápi, 
• očkovanie spôsobuje autizmus – očkovanie je bezpečné a chráni nás (pred ochoreniami),
• zmením názor, ak nájdem lepšie argumenty – neoverujem si informácie, sám/a viem, čo je pravda,
• môj hlas nič nezmení – na každom hlase záleží.

Tieto výroky sa umiestňujú ku škále od striktného nesúhlasu po zásadný súhlas a výsledná pyramída ukazuje, aké postoje človek má a aké témy uňho najviac rezonujú.

Aktuálne má organizácia dáta z Q-výskumu zozbierané, prvotne zanalyzované a chystá sa pripravovať výsledkové profily pre školy a hĺbkovú analýzu výsledkov aj z dotazníkového výskumu, pravdepodobne za asistencie výskumníčky. Zistené dáta bude prezentovať zapojeným i verejnosti.

Nadácia otvorenej spoločnosti (NOS)
Otvorené školy

Cieľom programu je podporiť demokratické prostredie v školách a výchovu k občianstvu cez rovesnícke vzdelávanie a prácu žiackych školských rád.

NOS úzko spolupracuje s vedením škôl, so žiackymi školskými radami a s ich koordinátormi a koordinátorkami. S každou školou počas školského roka systematicky spolupracujú vyškolení dobrovoľníci. Realizujú workshopy, aktívne pracujú so žiackymi školskými radami, podporujú ich aktívnu a zmysluplnú spoluúčasť na chode školy a pomáhajú k ich udržateľnému fungovaniu. Skúsenosti s prístupom priamo na škole si môžete prečítať na tomto linku.

Pomocou dotazníkov na začiatku a na konci školského roka a zápisov dobrovoľníkov pracujúcich na školách sa NOS snaží identifikovať faktory vplývajúce na dobré fungovanie programu na školách (školská klíma, vzťahy na školách, …) a sleduje jednotlivé trendy vývoja práce so žiakmi v rozličných podmienkach.

Práve odlišnosť situácie na každej škole znemožňuje overiť, či školské rady fungujú ideálne – to, čo je pre jednu školu malý pokrok, pre inú môže byť míľový skok. V EDUakcelerátore sa preto NOS, spolu s výskumníčkou Simonou Oľhovou z Ostravskej Univerzity, zamerala na vytvorenie manuálu, ktorý by mal pomôcť s unifikáciou príkladov dobrej praxe a postupov pri zakladaní a vedení školskej rady. Manuál obsahuje tri prípadové štúdie škôl, kde žiacke školské rady vznikli a fungujú, a popisuje, čo rozvoj spoluúčasti na jednotlivých školách podporilo.

Výskumníčka tiež zhodnotila prieskumy z minulých rokov, zápisy z monitorovacích stretnutí a na ich základe nastavila nové, upravené dotazníky. Ide o štyri typy: pre žiakov, žiakov aktívnych v žiackej školskej rade, učiteľov a rodičov. Aktuálna pandémia však znemožnila druhý zber dát plánovaný na koniec školského roka (máj 2020), výskumný plán sa preto bude realizovať až v ďalšom školskom roku.

Medzinárodná cena Vojvodu z Edinburghu (The Duke of Edinburgh’s International Award – DofE)

Program sa zameriava na komplexný rozvoj osobnosti prostredníctvom 4 oblastí – šport, talent, dobrovoľníctvo a expedícia. Realizuje sa v rozpätí od 6 do 18 mesiacov, počas ktorých musia účastníci a účastníčky plniť aktivity z každej oblasti aspoň 1 hodinu týždenne v partnerskej organizácii. Každý účastník si môže voliť aktivity a ciele primerané jeho záujmom a ambíciám.

Cieľovou skupinou sú mladí ľudia vo veku 14 až 24 rokov. Program je vhodný pre rôzne socio-ekonomické vrstvy, vrátane marginalizovaných skupín alebo hendikepovaných ľudí. Skúsenosti s prístupom priamo na škole si môžete prečítať na tomto linku.

DofE sa, už od spustenia programu na Slovensku, snaží prostredníctvom výskumu overiť, či sa po absolvovaní zmenili osobnostné postoje účastníka – či mal program preukázateľný vplyv na formovanie charakterových, vôľových vlastností a mäkkých zručností. Tieto dáta chce zbierať a vyhodnocovať v ročnej periodicite pomocou dotazníkov na začiatku programu a po jeho skončení. Ambíciou je aj dlhodobejší výskum spoločenskej návratnosti programu (social value). Tento typ výskumu sa snaží vyjadriť prínos programu pre spoločnosť a ekonomiku (napr. každé euro využité v programe DofE vytvorí spoločenskú hodnotu x). Podmienkou realizácie social value výskumu je však úspešné meranie výsledkov pomocou dotazníkov aspoň tri ročníky po sebe.

O takéto meranie sa DofE neúspešne snažilo už v dvoch ročníkoch. Problematický bol zber odpovedí po skončení programu, keď pre nízku návratnosť nebolo možné dáta vyhodnotiť. Chýbali aj „post-survey“ odpovede kontrolnej vzorky, čiže dotazníky od nezapojených študentov po skončení programu.

Počas konzultácií s výskumníčkou Romanou Kanovskou z NÚCEM-u sa preto DofE pokúsilo nájsť praktické riešenia a postupy ako, s kým a kedy zabezpečiť, aby sa zvýšil počet absolventov programu, ktorí vyplnia aj výstupný dotazník. Výskumníčka napríklad navrhla, aby vyplnenie bolo podmienkou úspešného absolvovania programu, či aby sa všetkým deťom zabezpečil bezproblémový prístup k online dotazníku. Tým sa odstráni zásadná bariéra k zabezpečeniu úspešného (aj dlhodobého) výskumu DofE na Slovensku. Aktuálne sa ukončil zber dotazníkov po skončení tohtoročného programu a prebieha vyhodnocovanie a nastavovanie zberu dát v nadchádzajúcom ročníku.

Junior Achievement Slovensko (JA)
Ja a peniaze

Cieľom programu je zážitkovou formou naučiť žiakov a žiačky prvého stupňa ZŠ orientovať sa v základných pojmoch z oblasti finančnej gramotnosti a osvojiť si základné zručnosti pre plánovanie finančnej budúcnosti. Je pripravený v súlade s Národným štandardom finančnej gramotnosti a pravidelne ho odporúčajú aj v Pedagogicko-organizačné pokyny. Skúsenosti s prístupom priamo na škole si môžete prečítať na tomto linku.

JA pred vstupom do EDUakcelerátora cez online prihlášky zbierala dáta o školách, v ktorých program prebieha, ako aj o zapojených učiteľoch a učiteľkách. Pomocou papierových dotazníkov tiež zisťovali spätnú väzbu od učiteľov a učiteliek o kvalite programu a školení.

S výskumníčkou Luciou Kováčovou z Inštitútu pre dobre spravovanú spoločnosť si pre akcelerátor stanovili dva hlavné ciele:

1. zlepšiť nastavenie získavania spätnej väzby od učiteľov a učiteliek,
2. zlepšiť nastavenie štruktúry zberu dát v dvoch už existujúcich dotazníkoch pre školy a učiteľov.

Nastavenie dlhodobých cieľov výskumu v tomto období nebolo možné, keďže zatiaľ neexistuje žiadna metodika na meranie finančnej gramotnosti u žiakov prvého stupňa ZŠ. Metodiky, ktoré sa momentálne používajú, napríklad pri testovaní PISA, sú zamerané na starších žiakov a študentov. Vyvinutie takejto metodiky aktuálne nie je vo finančných a personálnych možnostiach JA. Dá sa však predpokladať, že postupne budú vytvorené, či už na Slovensku alebo v zahraničí, aj metodiky zamerané na mladších žiakov, keďže téma finančnej gramotnosti v spoločnosti stále viac rezonuje.

Aby však v budúcnosti bolo možné realizovať hodnotenie projektu na úrovni dopadov na žiakov z hľadiska získania konkrétnych zručností a znalostí vo finančnej gramotnosti, je dôležité, aby si organizácia už teraz stanovila postupné ciele na budúce hodnotenie.

Výskumníčka organizácii pomohla navrhnúť detailný postup na takéto budúce dlhodobé hodnotenie, pričom odporučila zisťovať možné dopady prostredníctvom techniky najvýznamnejšej zmeny. Tá sa osobitne robí pri pilotných programoch, ktoré doteraz neboli testované (neexistuje ani žiadne štandardizované testovanie) a dizajn ich intervencie je komplexnejší (napr. na rôznych školách prebieha intervencia rôznym spôsobom, cieľová skupina je rôznorodá, kontrola nad tým, ako prebieha je slabšia, existuje veľa faktorov ovplyvňujúcich dopady a ďalšie).

Popísala tiež kroky, ktoré treba už teraz urobiť, aby raz bolo dlhodobé hodnotenie možné, napríklad realizovať kvalitatívny výskum a následne vytvoriť pracovnú skupinu, ktorá sa bude zaoberať výsledkami tohto výskumu. Rovnako zrevidovala doterajší zber dát tak, aby viedol k zhromažďovaniu kvalitných a relevantných dát, ktoré bude možné v budúcnosti jednoducho analyzovať a vyhodnocovať.