PROJEKT MICHAŁ PAWLĘGA Scenariusz 5 : Ewaluacja i wnioski na przyszłość

1.
Powitaj osoby uczestniczące, ewentualnie przypomnij obowiązujące w grupie zasady.

Przedstaw cele zajęć:

• dokonanie oceny efektów przeprowadzonych warsztatów,
  
• nabycie umiejętności planowania oceny zrealizowanych projektów.
  Przypomnij także przedstawiony podczas pierwszych zajęć (scenariusz „Projekt - co to takiego?”) cel cyklu,
  
• nabycie podstawowych umiejętności w zakresie przygotowania projektów.
  Wyjaśnij, że są to ostatnie zajęcia w tym cyklu i chcesz podczas nich dowiedzieć się, na ile cel ten został osiągnięty: jak osoby uczestniczące oceniają zmianę swojej wiedzy i umiejętności w zakresie przygotowania projektów.
  Powiedz, że ponadto interesuje Cię także przyjrzenie się temu, jak uczące się osoby czuły się w trakcie szkolenia
  
• czy atmosfera, prowadząca osoba i jej postawa sprzyjały nabywaniu nowej wiedzy i umiejętności?
  Posłużą Ci do tego ćwiczenia, które chcesz zaproponować osobom uczestniczącym w zajęciach. (2 min)
  

2.
Połóż na podłodze przygotowany wcześniej arkusz papieru z zaznaczonymi na nim wyspami.

Rozdaj osobom uczestniczącym kolorowe karki papieru A4 i poproś je o samodzielne wykonanie z nich statków – jako instrukcję wykonania możesz wyświetlić flm z portalu youtube, prezentujący technikę wykonania (opcja).
Jeżeli nie masz możliwości dostępu do internetu, obejrzyj flm przed zajęciami i zademonstruj technikę wykonania.

Osoby uczestniczące mogą oznaczyć swoje statki imionami lub innymi, dowolnymi nazwami.

Po ich wykonaniu powinny umieścić je na “morzu”, w dowolnym, wybranym przez siebie punkcie.

Następnie wyjaśnij, że położona na podłodze karta papieru symbolizuje morze – przestrzeń symbolizującą bezkres wiedzy, umiejętności, relacji między osobami uczestniczącymi w szkoleniu.

Uczestniczące osoby są kapitanami statków, które po tym morzu będą pływać.
Wyjaśnij także, że zaznaczone wyspy oznaczają poszczególne zagadnienia, których powodzenie wpływa na zadowolenie i skuteczność przeprowadzonego szkolenia.

Odczytaj nazwy wysp i wyjaśnij, co one oznaczają:

• atmosfera – atmosfera podczas szkolenia pomiędzy osobami uczestniczącymi i między nimi a prowadzącym; atmosfera powodująca, że osoby uczestniczące czują się bezpiecznie, sprzyjająca swobodnej wymianie pomysłów, doświadczeń i zadawaniu pytań,
  
• umiejętności – przekazywanie umiejętności podczas szkolenia w czytelny i przystępny sposób; umiejętności dopasowane do możliwości i oczekiwań uczestniczących osób,
  
• przydatność – przydatność przekazywanej podczas szkolenia wiedzy i umiejętności w przyszłej pracy; wskazywanie przez prowadzącego, jakie zastosowanie mogą znaleźć nabyte w trakcie szkolenia umiejętności w przyszłej pracy/działaniach.
  
• przekaz – prowadząca osoba formułuje myśli w przejrzysty sposób, przystępny dla osób uczestniczących; język jest dopasowany do poziomu ich wiedzy.
  

Wyjaśnij zasady ćwiczenia: ćwiczenie składa się z czterech etapów.
Podczas każdego z nich oceniany będzie jeden z omówionych elementów szkolenia: atmosfera, umiejętności, przydatność, przekaz.
Po odczytaniu ocenianej kategorii zadaniem uczestniczących osób będzie umiejscowienie ich statku na morzu (“podpłynięcie”) do wyspy, oznaczającej oceniane zagadnienie na odpowiednią odległość.
Odległość ta zależy od oceny danego kryterium – czym bliżej odpowiedniej wyspy “podpłynie” statek, tym ocena ta jest wyższa.
Osoby oceniające dane zagadnienie maksymalnie wysoko mogą umieścić swój statek bezpośrednio na wyspie.

Rozpocznij ćwiczenie, odczytaj pierwszą ocenianą kwestię i poproś osoby uczestniczące o „podpłynięcie” w odpowiedniej odległości od pierwszej wyspy.
Kiedy statki zakończą ruch poproś chętne osoby o wyjaśnienie, dlaczego umiejscowiły swój statek w wyznaczonym punkcie.

Staraj się zachęcać do konkretnego uzasadniania, bazującego na emocjach (komunikat z „ja”: czułem/ czułam się…, było mi z tym… itp.) unikając stwierdzeń ogólnych lub niewiele znaczących, np. „było fajnie”, „podobało mi się” i wypowiadających się w imieniu grupy, np. „wiele się nauczyliśmy”, „czuliśmy się bezpiecznie podczas zajęć” – komunikaty takie nie wniosą wiele do rezultatów ewaluacji.

Pozwól przez 2-3 minuty podzielić się uczestniczącym osobom swoimi wrażeniami i przejdź do oceny kolejnego zagadnienia.

Po zakończeniu oceny wszystkich zagadnień wyjaśnij, w jaki sposób wykorzystasz zebrane podczas tego ćwiczenia informacje do planowania kolejnych szkoleń w przyszłości – da to osobom uczestniczącym poczucie sensu wykonanej przed chwilą pracy.

Wyjaśnij także, że celowo nie zmuszałaś, zmuszałeś do wypowiedzi, gdyż rozumiesz, że nie wszystkim osobom łatwo przychodzi wypowiadanie się na forum grupy, a także nie każdy, każda chce ujawniać swoje opinie publicznie. (25 min)

3.
Wyjaśnij, że poza oceną atmosfery szkolenia, jakości relacji między osobami uczestniczącymi i osobą prowadzącą, jakością przekazu oraz przydatnością przekazywanej wiedzy i umiejętności chcesz także dowiedzieć się, jakie zmiany w wiedzy i umiejętnościach uczestniczących osób zaszły podczas szkolenia.
Podkreśl, że zdajesz sobie sprawę, że nie wszystkim osobom będzie łatwo opowiedzieć o tym na forum grupy, dlatego chcesz zaproponować ćwiczenie, podczas którego będzie to możliwe w formie anonimowej.

Rozdaj osobom uczestniczącym formularze – kartki przygotowane zgodnie ze wzorem („materiał 1”).
Wyjaśnij, że osoba (ludzik) narysowana na kartce symbolizuje proces „zabierania” ze sobą ze szkolenia wiedzy i umiejętności, podobnie jak w walizce zabieramy ze sobą rzeczy niezbędne np. do pobytu wakacyjnego.

Poproś, by osoby uczestniczące wypełniły otrzymane formularze, zapisując na nich najważniejszą wiedzę i umiejętności, zdobyte podczas szkolenia, które wydają im się najcenniejsze, najbardziej przydatne do ich przyszłej przygody z realizacją własnych projektów.
Zaznacz, że w zależności od oczekiwań i przyszłych planów mogą się one różnić i każda wiedza i umiejętności zapisane na formularzu są dobre.

Daj osobom uczestniczącym czas na chwilę zastanowienia się i wypełnienie.

Po wykonaniu ćwiczenia poproś o umieszczenie wypełnionych formularzy na wydzielonym kawałku ściany za pomocą masy mocującej lub o zawieszenie ich na wcześniej przygotowanym sznurku do bielizny za pomocą klipsów.

Zaproponuj osobom uczestniczącym przyjrzenie się wynikom tej ewaluacji.
Daj im na to kilka minut.

Na zakończenie ćwiczenia wyjaśnij, w jaki sposób wykorzystasz wyniki tej ewaluacji przy organizowaniu podobnych szkoleń w przyszłości. (25 min)

4.
W trakcie mini wykładu, przygotowanego w oparciu o materiał uzupełniający nr 1 przedstaw podstawowe informacje na temat ewaluacji, sposobu jej planowania i wykorzystania w przyszłych projektach.

Podczas mini wykładu odwołaj się do prezentowanego podczas zajęć „Projekt - co to takiego?” cyklu projektu oraz wskaż jak przeprowadzona przez Ciebie ewaluacja odnosi się do przekazywanych w trakcie wykładu informacji (ćwiczenie ewaluacyjne „Statki” wykorzystuje formę wywiadu, z kolei ćwiczenie ewaluacyjne „Walizka” ma formę ankiety – oczywiście w obu z nich dodano odpowiednią fabułę, czyniącą proces ewaluacji atrakcyjniejszym dla uczestniczących osób).

Wyraźnie podkreśl, że ankieta ewaluacyjna jest jedną z metod ewaluacji, ale nie zawsze najodpowiedniejszą i najskuteczniejszą.

Możesz także rozważyć powielenie materiału uzupełniającego nr 1 i rozdanie go osobom uczestniczącym. (8 min)

5.
Poproś, by osoby uczestniczące usiadły w grupach, w których tworzyły projekty.

Poproś je o zaplanowanie przynajmniej jednej metody ewaluacji dla ich projektów.
Zwróć uwagę, że punktem wyjścia do planowania ewaluacji projektów powinno być przyjrzenie się celowi projektu i zaplanowanie ewa-luacji w taki sposób, by pozwalała ona zmierzyć, na ile cel projektu został osiągnięty.

Poproś, by wyniki pracy zostały krótko opisane w formie notatek roboczych. Daj osobom uczestniczącym czas na dyskusję w grupach.

Po zakończeniu pracy grup, poproś ich przedstawicielki, przedstawicieli o hasłowe przedstawienie wypracowanych metod: zadaniem każdej z grup będzie wskazanie na forum grupy metody, metod jakimi zamierzają prowadzić ewaluację projektu, przygotowanych warsztatów.

Określenie przedmiotu i metody ewaluacji w projekcie może sprawiać osobom uczestniczącym kłopot.

Zadbaj o udzielenie pomocy grupom, które będą miały z tym trudność. (20-30 min)

Angielskie słowo evaluation zawiera właśnie w sobie rdzeń pochodzący od słowa value, czyli wartość. W naszym przypadku obiektem jest projekt albo wybrane jego aspekty.

Ocena wyników działania to ewaluacja końcowa, natomiast ewaluacja projektu w trakcie (np. po zakończeniu jednego happeningu, poprzedzającego kolejny, przewidziany w projekcie) to ewaluacja kształtująca.

Ewaluację można przeprowadzić samodzielnie – jest to samoewaluacja, może ją przeprowadzić osoba z naszej grupy, organizacji nie zaangażowana w projekt – jest to ewaluacja wewnętrzna lub zlecić jej przeprowadzenie komuś innemu, spoza naszego zespołu, jest to ewaluacja zewnętrzna.

Co można ewaluować w związku z realizacją projektu?

• jakie są potrzeby i oczekiwania uczestników naszych projektów na przyszłość?
  
• jakie przyjęte metody działania odpowiadały możliwościom i oczekiwaniom uczestniczących w projekcie osób?
  
• jaki jest poziom zadowolenia z uczestnictwa w projekcie jego uczestników, uczestniczek?
  
• czy przedsięwzięcie (projekt) było efektywne? W jakim stopniu zostały zrealizowane postawione cele?
  
• jaka jest przydatność przedsięwzięcia dla jego uczestników, uczestniczek w ich pracy?
  

Ewaluacja stanowi nie tylko możliwość sprawdzenia powodzenia projektu i informację zwrotną dla jego realizatorek, realizatorów, ale może być także elementem sprawozdania ze zrealizowanego projektu, przekazywanego sponsorom, władzom szkoły czy organizacji.

Aby dobrze zaplanować ewaluację rozważcie następujące kwestie:

1. Dla kogo będziemy realizować ewaluację? Komu przekażemy jej wyniki?
   
2. Jaki rodzaj ewaluacji zostanie przeprowadzony (autoewaluacja, wewnętrzna, zewnętrzna)?
   
3. Co będzie ewaluowane – co chcemy sprawdzić w trakcie ewaluacji?
   
4. Kto będzie prowadzić ewaluację? W jaki sposób udokumentuje jej przeprowadzenie i wyniki?
   
5. Jakie metody należy zastosować do przeprowadzenia ewaluacji? Czy metody te zostaną zaakceptowane przez osoby, które będą brały udział w ewaluacji?
   
6. Czy przeprowadzenie ewaluacji wiąże się z uzyskaniem zgód/pozwoleń? Jeżeli tak, kto je pozyska i czy nie będzie to zbyt czasochłonne?
   
7. W jaki sposób wykorzystacie przeprowadzoną ewaluację? Czy osobom uczestniczącym zostanie przekazana informacja o wynikach ewaluacji i sposobie jej wykorzystania?
   

Najczęściej wykorzystywane metody ewaluacji

Podane poniżej metody mają charakter przykładowy, można je dowolnie modyfkować i opracowywać inne metody, pod warunkiem, że umożliwią one zbadanie zaplanowanych efektów projektu.

• Ankieta
  konstruując ankietę należy pamiętać, by zadane pytania odpowiadały zagadnieniom, które zaplanowano do zbadania. Przy zadawaniu pytań zamkniętych należy podać katalog możliwych do wybrania odpowiedzi, z kolei przy pytaniach otwartych należy pozostawić wolne miejsce na udzielenie odpowiedzi przez badaną osobę. Najlepszym źródłem informacji są pytania otwarte, jednak należy liczyć się z tym, że część osób udzieli na nie jedynie skrótowych odpowiedzi lub wpisze jako odpowiedź jeden wyraz. Przygotowując formularz do ewaluacji w formie ankiety konieczne jest przygotowanie „instrukcji obsługi” wskazującej, w jaki sposób należy wypełnić formularz.
  
  
• Obserwacja
  decydując się na wykonanie ewaluacji metodą obserwacji należy uwzględnić jej aspekty etyczne: badane osoby powinny zostać poinformowane o prowadzeniu takiego rodzaju ewaluacji i wyrazić na nie zgodę. Przed przystąpieniem do badania metodą obserwacji konieczne jest przygotowanie zagadnień, które będą obserwowane – powinny one wynikać z wcześniej określonego przedmiotu ewalu-acji. Efektem przeprowadzonej obserwacji są najczęściej notatki, w których należy zawrzeć wyłącznie opis tego, co zaobserwowano, bez osobistego komentarza.
  
  
• Wywiad
  metoda wywiadu może zostać zastosowana w formie nieformalnej rozmowy, wywiadu prowadzonego w oparciu o wcześniej określone pytania lub wywiadu dotyczącego określonego aspektu projektu. Pytania, wykorzystywane w wywiadzie prowadzonym w oparciu o wcześniej przygotowane pytania powinny zostać dostosowane do przedmiotu prowadzonej ewaluacji. Z kolei przy badaniu metodą swobodnej rozmowy można „zagaić”, pytając np. co myślicie o wydarzeniu/warsztacie/happeningu, w którym uczestniczyłyście/uczestniczyliście? Wywiady można prowadzić zarówno z indywidualnymi osobami jak i w grupie wszystkich lub wybranych uczestniczek, uczestników projektu.
  

Opracowano na podstawie
A. Fijałkowska, E. Kędracka-Feldman, Ewaluacja działalności Szkolnego Klubu Europejskiego,
w: Szkolny Klub Europejski. Poradnik. Centralny Ośrodek Doskonalenia Nauczycieli, Warszawa 2002

Projekt jest realizowany przy wsparciu udzielonym przez Islandię,
Lichtenstein i Norwegię ze środków Mechanizmu Finansowego Europejskiego
Obszaru Gospodarczego, Norweskiego Mechanizmu Finansowego oraz budżetu
Rzeczypospolitej Polskiej w ramach Funduszu dla Organizacji Pozarządowych.

PARTNERZY PROJEKTU