Ulla-Maija Koivula
MSU:n erillisyksikkö Outreach and engagement järjesti laajan konferenssin liittyen näyttöön perustuvaan käytäntöön (Evidence-based practice) lokakuun alussa Kellog Centerissa. Professori Hiram Fitzgeraldin avustuksella ryhmämme pääsi osallistumaan konferenssin ennakko-ohjelmaan, päivän seminaariin, jossa kouluttajana oli itse Michael Quinn Patton. Patton on yksi maailman tunnetuimpia evaluaatiotutkimuksen asiantuntijoita ja USAn arviointiyhdistyksen aiempi puheenjohtaja. Hänen pääteoksensa Utilization Focused Evaluation, jota käsitääkseni ei ole käännetty suomeksi, on lähes kaikkien käytännön arviointeja jollain tavoin tehneiden käsikirja. Seminaariin osallistui noin 100 tutkijaa sekä käytännön toimijaa ja projektityöntekijää, lähinnä Michiganin alueelta. Kansainvälisyyttä edustimme me 8 suomalaista sekä yksi etelä-afrikkalainen jatko-opiskelija.
MSU:n Outreach and engagement –yksikkön tekee käytäntölähtöistä tutkimus- ja kehitystyötä monella eri alueella, erityisesti lasten ja nuorten palveluitten kehittämiseksi. Hiram Fitzgerald on käynyt usein Suomessa ja hänen yksi läheisiä kollegoitaan on professori Tuula Tamminen. Olimme siis enemmän kuin hienossa seurassa! (Tietoa yksikön toiminnasta, katso powerpoint esitys http://www.aplu.org/document.doc?id=2705)
Patton aloitti arvioinnin syntytarinalla: Kun Jumala oli luonut maan ensimmäisen päivän jälkeen, hän katsoi sitä ja ajatteli, tämä on hyvä. Vielä seuraavina päivinäkin hän katseli työnsä jälkeä ja ajatteli, tämä on hyvä. Tuli sunnuntai ja maailma oli valmis. Jumala oli tyytyväinen. Jumalan luo tuli mies, joka alkoi kysyä: Mistä tiedät, että maailma on hyvä? Mitkä ovat arviontikriteerisi? Mikä on datasi? Millä mittasit? Keneltä kysyit? Jumalaa ärsytti toisen kyselyt: Lucifer, mene helvettiin siitä!
Patton oli loistava puhuja, hauska, innostava ja tarinallinen. Seminaari kesti yhdeksästä neljään – lauantaipäivänä. Esitys sisälsi 107 diaa, mutta ne olivat esityksessä sivuseikka. Tärkeintä oli pääsanoma: Tutkimus ja arviointi ovat eri asioita. Arvoinnin tarkoitus on tuottaa tarkoituksenmukaista tietoa päätöksenteon tueksi. On aina määriteltävä kenelle arviointi tehdään ja mitä varten. Tätä varten ei ole olemassa yhtä oikeaa arvioinnin metodologiaa vaan metodit on aina suunniteltava tarkoitukseensa sopiviksi.
Patton kritisoi, että yhä tehdään paljon todella huonoja evaluaatioita, joissa ei ole mietitty evaluaation kontekstia (esimerkiksi ohjelmaa tai toimintaympäristöä) vaan arviointi toteutetaan mekaanisesti. Arviointia ei tule tehdä rahoittajille tai hallinnon raportointitarpeisiin vaan siten, että sen avulla voidaan kehittää toimintaa paremmaksi. Ei tuottaa raporttia vaan oppia vaikuttavuudesta: mikä toimii, mikä ei ja missä olosuhteissa. Arviointi on oppimista.
Arvioinnin kultaiset säännöt ovat:
1. Ole tietoinen siitä, kenelle arviointi tehdään. Ketkä ovat arvioinnin ensisijaiset käyttäjät? Tämä määrittää esimerkiksi sen tehdäänkö summatiivista (esimerkiksi rahoittajille kannattaako toimintaa jatkaa, onko se vaikuttavaa?) vai formatiivista arviointia (esimerkiksi miten toimintakäytäntöjä kannattaa parantaa, jotta saavuttaisimme paremmin tavoitteemme?)
2. Määrittele arvioinnin kohteet and neuvottele arviointikriteerit etukäteen.
3. Sovi arviointimenetelmistä ja tiedonkeruun tavoista
4. Kerää ja analysoi data läpinäkyvällä tavalla
5. Kokoa tulokset ja raportoi ne
Pattonin sanoin: “Evaluation is negotiated, not handed down from somewhere. There is no perfect evaluation or a right way to do it.”
Patton on juuri julkaissut uuden teoksen “Essential of Utization Focused Evaluation” joka on entistäkin teosta vielä käsikirjamaisempi. Arviointi on vaikeaa, mutta välttämätöntä. Monesti projektimaailmassa arviointi tehdään päälle liimatusti ilman suurempaa intoa sen aitoon hyödyntämiseen projektin aikana. Toimiva ja kehityshakuinen arviointiprosessi toteutuu projektin tai toiminnan aikana siten, että siitä muodostuu aito oppimisen ja kehittymisen prosessi. Mutta tämä taas edellyttää sitä, että arviointi on osa projektin toteutusta – ei vain rahoittajalle tehtävä arviointiraportti.
Päivän anti oli uskomattoman tärkeä ja painava. Mukaan nimittäin tuli muutamankin meistä ostettua kolme kiloa kirjallisuutta: kaikki Pattonin uusimmat teokset. Ylipainoa tuli siis muustakin kuin syömisestä.
Ja mitä teimmekään lopuksi seminaarissa: no lauloimme tietysti. Patton sanoi, että koska tuntui yleisön kanssa olevan niin hyvä ”vibat” niin eiköhän lauleta. Ja sitten hoilasimme Auld Lang Syne sävelellä, kaikki satakunta asiantuntijaa ja tutkijaa, evaluaation ylistyslaulun. Sanat Michael Quinn Patton. Ja jutun liitteenä tästä kulttuurin helmestä kuvattu lyhyt video.
Lisää tietoa:
1. Video, jossa Patton erittelee kehityssuuntautuneen arvioinni eroja muihin: http://www.youtube.com/watch?v=Wg3IL-XjmuM
2. Pattonin artikkeli: http://www.pol.ulaval.ca/perfeval/upload/publication_195.pdf
3. Pattonin facebook –sivu: http://www.facebook.com/mqpatton
Ei kommentteja:
Lähetä kommentti