Rak Szyjki Macicy : Ewaluacja działań profilaktycznych : HPV, szczepienia, profilaktyka

samorządy/poradnik dla samorządów lokalnych

Ewaluacja działań profilaktycznych

Ewaluacja to sprawdzanie i ocenianie, czy zaplanowane i wdrożone działania osiągnęły zamierzony cel. Nie należy utożsamiać jej z „kontrolą”, bo inny jest jej cel – ma dostarczyć informacji, które pozwolą podsumować zrealizowane działania i posłużą do ich usprawnienia i udoskonalenia.

W ewaluacji można wyróżnić 2 etapy związane z różnymi fazami realizowanego projektu. W czasie jego realizacji będziemy chcieli uzyskiwać informacje o jego przebiegu i ten proces nazywamy ewaluacją procesu.

Natomiast po zakończeniu programu będą nas interesowały jego efekty i odpowiedź na pytanie czy osiągnęliśmy zamierzone cele – pozwoli nam na to ewaluacja wyników.

Ewaluację należy zaplanować przed rozpoczęciem realizacji programu. Musimy się zastanowić, jakie informacje będą nam potrzebne, kiedy i gdzie możemy je uzyskać i zadbać o to, aby je zgromadzić.

Ewaluacja procesu powinna dać odpowiedź na następujące pytania:

Czy program został wdrożony? Czy stało się to w zaplanowanym terminie?
Czy zmierzamy do osiągnięcia zamierzonego celu?
Czy zadania realizowane są zgodnie z harmonogramem? Jeśli nie, to dlaczego? Co zawiodło?
Czy program dociera do odbiorców? Jeśli nie, to dlaczego?
Co sądzą o programie jego odbiorcy?
Jakie są trudności w realizacji?
Co zawodzi? Co wymaga korekty?

Informacje te zbieramy czasie całego procesu realizacji programu.

Ewaluacja wyników ustali stopień osiągnięcia zamierzonych celów i da informacje o skuteczności i jakości
naszego działania. Powinniśmy się z niej dowiedzieć:

Jakie są efekty realizacji programu?
Czy osiągnęliśmy cel w stosunku do przyjętego kryterium sukcesu?
Czy program powinien być kontynuowany?
Co należy zmodyfikować?

Ewaluacja wyników jest przeprowadzana po zakończeniu kolejnych etapów programu oraz po całkowitym
jego zakończeniu.

Informacje zebrane w procesie ewaluacji służą:

zespołowi realizującemu program – pozwalają pokazać jego efekty, zmodyfikować i udoskonalić program, są przesłanką do jego kontynuacji,
społeczności lokalnej, szczególnie adresatom programu; wyniki mogą zachęcić innych do udziału w programie,
sponsorowi programu – pokazują, że zainwestowane środki zostały wykorzystane zgodnie z przeznaczeniem,a działania przyniosły zamierzone efekty,
władzom lokalnym – potwierdzają słuszność podejmowanych działań i ich pozytywny wpływ na mieszkańców danego terenu,
innym społecznościom lokalnym – dają argumenty i motywują do podjęcia podobnych działań.

Ewaluacja może być prowadzona przez realizatorów programu – mówimy wtedy o samoewaluacji – lub przez ewaluatorów zewnętrznych. Oba rozwiązania mają plusy i minusy. Zewnętrzni ewaluatorzy mają większy dystans do programu, świeże spojrzenie i mają merytoryczne przygotowanie w zakresie metod ewaluacji.

Podstawową wadą takiego rozwiązania jest cena – zewnętrzni eksperci sporo kosztują a koszty te często nie są uwzględniane w budżecie programu na etapie jego planowania. Samoewaluacja programu może wydawać się mniej obiektywna, ale jeśli potraktujemy ją jako zadanie dla większego zespołu, może skutecznie pomóc w zidentyfikowaniu barier i rozpoznaniu potrzeb.

Etapy ewaluacji

A. Planowanie

Na tym etapie musimy zdecydować:

jakie są kryteria sukcesu dla osiągnięcia głównego celu programu oraz jego poszczególnych elementów?
jakie wskaźniki będziemy stosować?
jak będziemy zbierać informacje?
kto będzie zajmował się ewaluacją?

Na etapie planowania musimy ustalić pytania ewaluacyjne dotyczące 3 aspektów funkcjonowania naszego
programu:

nakładów
skuteczności
efektywności

Zmierzenie nakładów wymaga udokumentowania czasu pracy i środków włożonych w oddziaływania oraz zarejestrowania świadczonych usług. Przykłady pytań o nakłady:

ile spotkań edukacyjnych zorganizowaliśmy?
ile osób przeszkoliliśmy?
ile godzin szkolenia zorganizowaliśmy?
do ilu osób dotarły nasze materiały edukacyjne?
jaki był koszt przygotowania (opracowania i druku) materiałów edukacyjnych?

Pytanie o skuteczność ma nam dać informacje, jakie zmiany zaszły w osobach czy warunkach, na które oddziaływano poprzez realizację programu. Trudność w oszacowaniu tych zmian wynika z faktu, że w działaniach
profilaktycznych efektów często nie obserwuje się tuż po zakończeniu programu. Pytania, jakie należy zadać, mogą dotyczyć tzw. wyników pośrednich, np.:

czy uczestnicy szkolenia przyswoili sobie przekazywaną wiedzę?
czy program wpłynął na postawy uczniów wobec używania substancji uzależniających?
czy realizacja programu spowodowała większą zgłaszalność na badania profilaktyczne?

Efektywność to stosunek pomiędzy nakładami a obserwowanym skutkiem. Nakłady określone są przez wydane pieniądze, liczbę przepracowanych godzin, wartość zużytych materiałów, itp. Musimy określić wartość tych wszystkich składników. Pytania o efektywność pozwalają ocenić: czy ekonomicznie wykorzystano zasoby? czy działania są efektywne w wywoływaniu wyników pośrednich? czy osiągnięte wyniki pośrednie efektywnie służą oczekiwanym wynikom odroczonym? Pytania o efektywność pozwalają porównać różne sposoby osiągania danego celu. Przykładowe pytania:

czy bardziej efektywne jest wykorzystanie nauczycieli do edukacji zdrowotnej uczniów czy studentów uczelni medycznej?
czy przy ograniczonych funduszach efektywniej jest realizować program we wszystkich szkołach, ale nie we wszystkich klasach, czy mniejszej liczbie szkół, ale w każdej klasie?

B. Zbieranie danych

Zbieranie danych powinno się odbywać w czasie realizacji programu (ewaluacja procesu) i po jego zakończeniu
(ewaluacja wyników).

Należy zbierać tylko te dane, które są niezbędne i które będziemy wykorzystywać.
Zbierane dane powinny być wiarygodne i rzetelne.
Sposób zbierania danych powinien być jak najprostszy, nie powodować nadmiernej pracy i nie obciążać dodatkowo odbiorców programu.

C. Analiza danych

Zebrane dane należy uporządkować i opracować tak, aby pozwoliły one na przygotowanie raportu. Będzie to końcowy dokument podsumowujący cały program. Powinien on zawierać następujące informacje:

Krótki opis przebiegu programu z informacją o zgodności realizacji z planami.
Wyjaśnienie różnic pomiędzy planami a rzeczywistą realizacją.
Informacja o wprowadzonych w programie zmianach w stosunku do planów w trakcie realizacji programu (w wyniku ewaluacji procesu).
Informacja o odbiorcach programu – jakie grupy, ile osób, jak docierano do odbiorców.
Opinie odbiorców o programie.
Informacje o realizatorach – kto (jakie instytucje, organizacje, itp.) zarządzał programem?, ile osób uczestniczyło w jego realizacji?
Informacje o środkach na realizację programu – finanse, zasoby ludzkie, wsparcie „w naturze” poprzez sponsorowanie pewnych elementów programu – kto? ile? czy były to wystarczające środki?
Korzyści dla odbiorców.
Korzyści dla realizatorów.
Stopień osiągnięcia sukcesu – wg zaplanowanego kryterium – w stosunku do celu i zadań.

Wnioski: mocne i słabe strony programu, szanse i zagrożenia na przyszłość (analiza SWOT).
Zalecenia dotyczące modyfikacji programu.

D. Upowszechnianie wyników

Raport z ewaluacji powinien trafić do wszystkich zainteresowanych i zostać szeroko upowszechniony. Dla realizatorów jest to podsumowanie ich pracy i zadania, jakie wykonali. Nawet jeśli nie było ono doskonale, to z pewnością zasługuje na uwagę – ich dotychczasowe doświadczenia posłużą do modyfikacji programu w przyszłości a innym pozwolą uniknąć popełnionych błędów. Zakończenie realizacji programu jest osiągnięciem i warto powiedzieć „dziękuję” osobom, dzięki którym przedsięwzięcie miało szanse zaistnieć.