Miałam okazję wziąć udział w Kongresie Ewaluacyjnym w Warszawie. Ewaluacja to stosunkowo świeżo popularne słowo w środowisku organizacji, zarządzania i marketingu oraz szeroko pojętego sektora biznesowego. No i przysłuchiwałam się wykładom i panelom dyskusyjnym Kongresu.
Definicja ewaluacji jest następująca (podaję za Wikipedią):
Ewaluacja (ang. evaluate „oceniać, szacować” z łac. evalesco „stawać się, być zdolnym, potężnieć” i evaleo „móc, zdołać”) – systematyczne badanie wartości albo cech konkretnego programu, planu, działania (eksperymentu) bądź obiektu (programu komputerowego, programu nauczania, lekarstwa, rozwiązania technicznego) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. Jest to ocena wartości interwencji z zastosowaniem określonych kryteriów tejże oceny, podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne.
Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości.
Dzięki temu, że ewaluacja jest systematycznym zbieraniem informacji, pozwala na ulepszanie podejmowanych działań jeszcze w trakcie ich realizacji. Jeśli na przykład podczas trwania programu okazuje się, że do osiągnięcia zamierzonych celów zostały użyte niewłaściwe środki, innymi słowy – są to działania nieadekwatne, które nie prowadzą do osiągnięcia celu – można podjąć decyzję o zmianie podejmowanych działań. Ewaluacja wiąże się wobec tego z oszczędnością pieniędzy, czasu i zasobów ludzkich.
Na osobie, która podejmuje się ewaluacji, ciąży moralny obowiązek zachowania obiektywizmu i etycznego podejścia do procesu ewaluacji. Bez tego cały proces przestaje być ewaluacją, a może przerodzić się w próbę manipulacji lub osiągania prywatnych celów.
Ewaluacja to umiejętność zbierania i analizowania takich informacji, by odpowiedzieć na pytanie, czy zostały osiągnięte zamierzone cele. Jeżeli celem działań ma być propagowanie zdrowego trybu życia, to przydatną informacją może być liczba zorganizowanych szkoleń pierwszej pomocy, wydanych poradników medycznych czy wyniki konkurs dotyczącego pomocy przedmedycznej.
Nie każda informacja będzie przydatna dla potrzeb ewaluacji (szum informacyjny), dlatego tak ważne jest pytanie o cele. Nie ma informacji dobrych czy złych – są tylko przydatne i nie dla danego procesu ewaluacji. Aby samo zbieranie informacji/danych było przeprowadzone prawidłowo, już na etapie planowania należy zadecydować, czego i w którym momencie chcemy się dowiedzieć. Należy także ustalić mierniki osiągnięcia celów.
Przydługa ta definicja. W skrócie chodzi o zebranie wyników efektów projektów, działań i wysnucie z nich wniosków w celu poprawy jakości działania lub projektu.
I jest tak jak podejrzewałam. Ewaluacja jest traktowana po macoszemu. Najlepiej jak jest to laurka, zestaw punktacji maksymalnej itp. Dla urzędników liczy się wynik ilościowy ewaluacji. Jakość jest traktowana jako coś mało wiarygodnego, niemierzalnego. Zwłaszcza w wielu działaniach, gdzie tak naprawdę wyniki jakościowe są podstawą do oceny efektów działań. Zwłaszcza w kulturze, polityce społecznej. Tam nie powinna decydować ilość odwiedzających, ilość beneficjentów itp. tylko faktycznie efekt wpływu na daną społeczność lokalną.
Sprawozdania robione dla urzędów de facto ewaluacją nie są. Są jedynie statystyką. One nie zawierają żadnych przesłanek ani porad do dokonania efektywniejszych zmian w danym działaniu. Już nie mówiąc o ewaluacji pod kątem osób niepełnosprawnych. Zdecydowanie za mało się włącza te osoby. Profesor Wadowski z KUL opowiadał o ewaluacji 1 z muzeów celem dokonania zmian i przyciągnięcia większej liczby odwiedzających. Wskutek moich pytań okazało się, że jednak stricte ewaluacja pod kątem osób niepełnosprawnych nie była robiona m.in. dlatego, że muzeum ma problemy architektoniczne itp. Jedynie ma w ofercie audiodeskrypcję.
Zresztą ewaluatorzy sami kompletnie nie mają wiedzy i świadomości. Powszechnie jest stosowana spychologia. Jest mus, ale trzeba to zrobić tak, by nikt się nie doczepił, że za dużo problemów.
Regionalny Ośrodek Polityki Społecznej w Poznaniu dokonał ewaluacji projektów z Programów Operacyjnych Kapitał Ludzki i faktycznie 1 wniosek taki nadrzędny dało się wysunąć z raportu. W ewaluacjach projektów grantobiorcy wyraźnie unikają sytuacji problemowych, statystyka ma być piękna i różowa jak landrynki. Przeważa tzw. funkcjonalizm – wnioski z projektów są zbyt oczywiste i ogólne, lub też nawiązujące/kopiujące wnioski z poprzednich podobnych projektów.
Za mało się zwraca uwagi na niezwykle ważny czynnik – sam proces zmiany. Podczas panelu ewaluacji w polityce społecznej padło pytanie: proszę podać konkretny efekt danych badań, projektów, raportów. I o to właśnie chodzi. O konkretny efekt, niekoniecznie mierzalny. Efekt kończący się realną zmianą społeczną. Dla uczestników w sporej części ważna była realna zmiana. Niekoniecznie te wskaźniki, które czasem są wysuwane na wyrost i nie zawsze dadzą się wypełnić. Również na wskaźnikofobię mają wpływ grantodawcy, który muszą przekazywać wyniki dalej do góry i założone wartości w raportach muszą się z reguły zgadzać. Wobec takiego podejścia wszelka wartość pracy z beneficjentem, działanie, które wpływa REALNIE i pozytywnie na sytuację beneficjenta staje się mniej ważna. Ważne są wskaźniki, liczby i cyferki. Oraz papiery (z reguły rzeźbione by dopasować praktykę do teorii wskaźników.
W sumie nie ma co się dziwić, w projektach i wszelkich działaniach największa przeszkodą jest sterta papierów. To temat do kolejnej notki