Sledovanie dopadu: tipy na výskumné metódy za málo peňazí a v krátkom čase

Môže sa zdať, že sledovanie dopadu je zložitá vec, do ktorej sa rozumejú iba vedci a výskumníci. Zároveň, nie každý musí mať čas a financie na to, aby dokázal robiť svoj vlastný výskum. Nemali by sme však rezignovať na akýkoľvek zber dát. Aj súčasná pandémia zvýraznila nevyhnutnosť mať údaje, na základe ktorých sa vieme rozhodovať. Sledovanie dopadu sa dostáva viac do popredia, aj zo strany donorov rastie záujem vidieť výsledky. Na Slovensku sú firmy, aj organizácie, ktoré majú nastavené sledovanie dopadu. Ukážeme vám príklady výskumných metód, ktoré dokáže pripraviť a zrealizovať aj interne organizácia alebo firma.

Nastavte meranie už na začiatku

Sledovanie dopadu má niekoľko úrovní. Základom sú výstupy, v ktorých sa mapujú napríklad počty zapojených účastníkov či realizovaných školení. Nasledujú výsledky, ktoré reflektujú zmenu alebo to, aký mala aktivita efekt na cieľovú skupinu. Napríklad, že si študenti zlepšili konkrétne zručnosti. Až posledným zamýšľaným efektom je dopad – dlhodobá zmena očistená od toho, čo by sa udialo aj bez nás. Príkladom je, že študent si na základe našej aktivity a zlepšeným zručnostiam, kompetenciám založí vlastnú firmu.

Proces sledovania dopadu sa neobmedzuje iba na výber metódy zberu dát. Tomu predchádza  zadefinovanie problému, stanovenie cieľov, predpokladaných výstupov, výsledkov – sumárne nazývané aj teória zmeny. Ďalej nasleduje výber osôb , ktoré do programu treba zapojiť, a až následne výber vhodnej metódy sledovania výsledkov.

Široká škála metód sledovania dopadu

Sledovanie dopadu môže byť náročné – časovo, aj finančne. No firmy a organizácie by nemali rezignovať na snahu sledovať to, aký má ich program či projekt vplyv na spoločnosť. Každé euro, ktoré darujú s tým, že budú poznať výsledky, môže byť znásobené. A aj jednoduchá spätná väzba môže dopad ešte zlepšiť.

Zároveň je treba povedať, že sledovanie výsledkov je možné realizovať širokou škálou nástrojov – od najjednoduchších foriem, ako je zber príbehov či príprava videí, cez dotazníky spätnej väzby, štruktúrované rozhovory či fokusové skupiny, až po sofistikované prístupy, ako je napríklad zúčastnené pozorovanie výskumníkom.

Zber príbehov

Príbehy sú z pohľadu vynaloženého času a dosahu najefektívnejší spôsob, ako ukázať výsledky. Ľudia sú uspôsobení ľahko ich vnímať a šíriť. Vyvolávajú emócie, ktoré podnecujú akciu. Preto je napríklad pri programe, v ktorom sa snažíme o zlepšenie zručností mladých ľudí, vhodné ukázať príbeh konkrétneho človeka a to, ako mu nové zručnosti pomohli k lepšej práci.

Prípadová štúdia – rozhovor

Zložitejšie ako prerozprávanie príbehu je prípadová štúdia. Má väčšiu šírku a širší kontext. Môže to byť popísaný výsledok aktivít napríklad na jednej škole. Vhodné je ukázať, aký vplyv mali aktivity na učiteľov, na žiakov. V prípadovej štúdii sú zachytené vzťahy a viaceré faktory, ktoré mohli spôsobiť zmenu. Forma môže byť napríklad aj rozhovor s jedným človekom. V Generácii 3.0 robíme rozhovory priamo s učiteľkami a učiteľmi, ktorí na príklade svojej školy ukazujú, ako im pomáhajú inovatívne vzdelávacie prístupy.

Foto – videodokumentácia

Práca s emóciami a ukázanie čiastočných výsledkov je možné aj cez videodokumentáciu alebo fotky.

Monitorovanie počtov

Na úrovni výstupov by mal každý projekt/program sledovať minimálne štatisticky počty účastníkov, počty školení, počty vyškolených ľudí, počty zasadených stromov a pod. Je to dôležité pre evidenciu a zhodnotenie, či naše aktivity rastú alebo stagnujú. V Generácii 3.0 sme pomohli napríklad organizácii Post Bellum s nastavením zaznamenávania kvantitatívnych údajov, ako sú počty zapojených študentov apod.

Dotazník na účastníkov, spätná väzba

Pre organizáciu alebo firmu je veľmi dôležité, aby sledovala, či ich aktivity majú pre cieľovú skupinu hodnotu. To sa dá zistiť cez dotazníky, v ktorých sa pýtame ľudí na ich motiváciu zapojiť sa, ako hodnotia zrealizované aktivity a ako a v čom im pomohli. Takto sme pomohli napríklad organizácii DOfE, ktorá hľadala spôsoby, ako zabezpečiť návratnosť týchto dotazníkov. Takéto dotazníky dokážu stále realizovať aj interne ľudia v organizáciách alebo vo firmách.

Štruktúrovaný rozhovor

Už o niečo zložitejší je štruktúrovaný rozhovor. Ten si vyžaduje väčšiu prípravu, stanovenie si cieľov, čo chceme zistiť, stanovenie si hypotéz, ktoré ideme otázkami overovať. Rozhovory je vhodné robiť skúsenejším facilitátorom, alebo výskumníkom.

Fokusové skupiny

Spôsob, ako získať od väčšej skupiny ľudí názory, postoje, v pomerne krátkom čase, sú fokusové skupiny. Zjednodušene, ide o pološtruktúrovaný rozhovor s jednou skupinou na jednom mieste. Podobne ako pri štruktúrovanom rozhovore je potrebná príprava – ujasnenie si cieľov, hypotéz. Pre Slovenskú akademickú asociáciu pre medzinárodnú spoluprácu (SAAIC) sme pomáhali facilitovať a spracovať výsledky fokusovej skupiny, v ktorej sme zisťovali vnímanie stáží v zahraničí žiakmi stredných škôl.

Zúčastnené pozorovania výskumníkom

V tejto kategórii výskumných metód rátame už s aktívnou participáciou výskumníkov – aj pri príprave, aj pri realizácii a analýze dát. Zúčastnené pozorovanie si vyžaduje skúseného výskumníka, ktorý dokáže navnímať v jednom čase priestor, ľudí, čo sa hovorí, a to všetko v kontexte aktuálnych vzťahov.

Štandardizované dotazníky / opakované merania pred a po

Pokiaľ chceme mať ešte viac spoľahlivé dáta, tak štandardizované dotazníky sú vhodná voľba. Výskumníci dokážu navrhnúť na mieru a podľa stanovených cieľov šitý výskumný dizajn. Pomohli sme napríklad Bilingválnemu gymnáziu C.S. Lewisa nastaviť dotazníkový výskum. Zisťovali sme, do akej miery prispievajú aktivity školy k pozitívnym postojom k žiakom so znevýhodnením. Výskum sa realizoval opakovaným kvantitatívnym zberom dát na škole medzi všetkými žiakmi a všetkými učiteľmi.

Dlhodobý výskum

Z pohľadu náročnosti na financie a čas sú najnáročnejšie dlhodobé výskumy s náhodnými kontrolnými vzorkami, ktoré sa však vyznačujú vysokou mierou spoľahlivosti dát. Vyžadujú si vysokú odbornosť a precízny výskumný dizajn. Aktuálnym príkladom vo vzdelávaní je experimentálne overovanie novej podoby občianskej náuky na základných a stredných školách, ktorý ide robiť Inštitút pre aktívne občianstvo. S Pedagogickou fakultou Univerzity Komenského budú 3 roky na viacerých školách overovať, ako si žiaci a žiačky zlepšujú občianske kompetencie.

Ukážte výsledky a zlepšujte ich

Akokoľvek získate svoje výsledky, či už to bude cez príbeh, alebo opakovaným zberom kvantitatívnych dát, treba ich ukázať svojim stakeholderom. Minimálne ich informujete, čo robíte, získavate ich pre svoju zmenu a zvyšujete tým svoje výsledky. Ucelenou podobou prezentácie výsledkov je impact report, spracovaný napríklad podľa medzinárodne uznávanej metodiky Social Reporting Standard.

A keďže cieľom každého je čo najväčší dopad, tieto reportované dáta sú pre nás vstup pre zlepšovanie aktivít a pre optimalizáciu dopadu. V Nadácii Pontis sa nastaveniu sledovania dopadu venuje Dominika Hroššová (dominika.hrossova@nadaciapontis.sk) a Norbert Maur (norbert.maur@nadaciapontis.sk). Ak potrebujete poradiť pri nastavovaní cieľov vašich programov (Teória zmeny), alebo s analýzou stakeholderov, či potrebujete pomoc pri výbere metódy sledovania dopadu alebo reportingu, radi vám pomôžeme.