Tutkijakommentti: Pirkanmaan työllisyyskokeilulla vuosina 2017-2018 oli myönteisiä työllisyysvaikutuksia

Työllisyysasteen nostaminen ja erityisesti osatyökykyisten työllistymisen edistäminen ovat viime vuosina olleet työllisyyden hoidon keskiössä. Paineet ovat lisääntyneet myös tutkimuksen ja siihen liittyen vaikuttavuustulosten suhteen. Vuonna 2020 käynnistyvien kuntien työllisyyskokeilujen suhteen on ollut työllisyyttä edistäviä vaikuttavuusodotuksia, mutta myös tätä koskevia epäilyjä. Yhtenä keskustelun kohteena on ollut vuosina 2017-2018 toteutettu Pirkanmaan työllisyyskokeilu.

Tutkijat Robert Arnkil, Esa Jokinen ja Timo Spangar avaavat kokeilun tuloksia ja kehottavat vuoropuhelun jatkamiseen vaikuttavuusarvioinnin kehittämiseksi.

Työllisyys ja sen kehittyminen on nyt keskeinen poliittinen kysymys Suomessa. Hallitus on asettanut työllisyyden paranemisen olemassaolonsa keskeiseksi kantimeksi. Työllisyystoimenpiteitä ja niiden onnistumista tai epäonnistumista halutaan seurata hyvin tarkkaan. Poliitikot asettavat myös tutkijat osoittamaan, mikä työllisyydenhoidossa toimii tai ei toimi ja odotetaan viestiä siitä, mitä heidän pitäisi nyt ja tulevaisuudessa tehdä, esimerkiksi vuonna 2020 käynnistyvien kuntien työllisyyskokeilujen ja niiden arvioinnin suhteen.

Työllisyysvaikutusten, kuten ylipäänsä moniulotteisten yhteiskunnallisten interventioiden vaikutusten selvittäminen on usein varsin vaikeaa, kuten mm. aktiivimallin työllisyysvaikutusten selvittäminen ja myös perustulon vaikutusten tutkiminen osoittivat. Työllisyysvaikutusten arvioinnissa haasteet ovat erityisen suuria vaikeammassa asemassa olevien työllistymisen tutkimisessa.

Tämä kommenttimme liittyy siihen, että Pirkanmaan 2017-2018 toteutetun työllisyyskokeilun vaikuttavuuden suhteen on esitetty epäilyjä viitaten meidän tutkimukseemme tuosta kokeilusta. Koska vuonna 2020 on suunniteltu käynnistettäväksi varsin pitkälle juuri Pirkanmaan kokeilusta vaikutteita ottaneita kokeiluja, katsoimme aiheelliseksi avata tutkimustuloksiamme. Haluamme myös arvioida avoimesti tutkimuksemme rajoituksia ja lopussa kommentoida vaikuttavuustutkimuksen uusia mahdollisuuksia.

Suomi on poikkeuksellisen suurten haasteiden edessä sen vuoksi, että työvoimavaramme ovat niukat, niukkenemassa ja osin epäadekvaatissa tai heikossa kunnossa työelämän ja tulevaisuuden työmarkkinoiden suhteen ja näiden suhteen vallitsee merkittäviä palvelu-, tieto- ja tutkimusvajeita, kuten Oivo-Kerättären selvityskin osoittaa. Työvoimapalvelujen resursseja on vuosikausia heikennetty, joka on ohentanut palvelukosketusta ja asiakastuntemusta. Tarvitaan tähänastista laajempaa työllisyyttä edistävää palvelujen ekosysteemiä ylittämään nämä vajeet. Työllisyyden kuntakokeilut liittyvät juuri tällaiseen voimavarojen yhdistämiseen. Samansuuntaista kehitystä on ollut monissa muissa maissa, kuten Saksassa, Hollannissa ja Britanniassa, Tanskasta puhumattakaan.

Työllisyysvaikutusten typistäminen vain työllistymiseksi ei riitä

Heikossa työmarkkina-asemassa olevien työhön saamiseksi ei ole olemassa mitään oikopolkuja, eikä pakottaminen johda heikossa asemassa olevien kohdalla tuloksiin, kuten aktiivimallin tutkimuskin osoitti. Aktivoivia vaikutuksia voitiin todeta vain niiden osalta (ansiosidonnaiset), jotka ovat pääsääntöisesti lähempänä työmarkkinoita, kuin muilla tuilla olevat. Heikossa asemassa olevien tilanne näytti vain heikkenevän entisestään. Myös kansainvälisessä keskustelussa on todettu, mm. Tanskassa, että sanktioinnin kaavamainen ulottaminen koko työnhakijajoukkoon ei tuota tuloksia. Vaikeammassa päässä tarvitaan perusteellista, kärsivällistä ja riittävän pitkäkestoista ja työllisyyttä kohti vievien askelten toteuttamista. Tästä ei ole missään maailmassa olemassa oikoteitä.

Työvoimapalvelujen arvioinnille on ollut tyypillistä, että selvitetään nimenomaan, onko palveluun osallistunut työllistynyt avoimille työmarkkinoille ennen pitkää palvelun jälkeen. Kun palvelujen kohderyhmänä ovat ne, joiden ei ole helppo työllistyä, kuten pitkään työttöminä olleet, työmarkkinoille alikoulutetut tai terveydellisiä tai sosiaalisia rajoitteita omaavat, tarvitaan tyypillisesti pitkiä työllistymispolkuja, joita tuetaan erilaisilla toisiaan täydentävillä palveluilla, joihin voi sisältyä esimerkiksi kuntoutusta, ohjausta ja kokeilua, koulutusta, valmennusta ja palkkatuettua työtä. Jos palveluketjuja ei tunnisteta ja yksittäisiä palveluita arvioidaan vain välittömän työllistymisen kriteerillä, ne näyttäytyvät tuloksettomina, vaikka ne olisivat tärkeitä askeleita reitillä vakaaseen työllistymiseen. Työllistyvyyden muutosta tulisi arvioida vasta tällaisten ketjujen päätyttyä, ja myös välitavoitteiden ja edistysaskelten saavuttamista olisi opeteltava arvioimaan – ne ovat tärkeitä vaikutuksia, eli huomio tulisi kiinnittää yhtä lailla työttömien elämäntilanteiden kokonaisuuteen ja niiden muutoksiin. Työvoimapalveluiden ja aktiivisen työvoimapolitiikan tavoite on motivoida asiakkaat matkalle kohti työelämää silloinkin, kun tuo matka vaikuttaa pitkältä ja pessimistiseltä taivaltaa.

Näiden välitulosten ja palvelupolkujen suhteen vallitsee kuitenkin varsin merkittävä tieto- ja tutkimusvaje. Työvoimapalvelujen URA-järjestelmä tavoittaa tätä vain osittain, tietoja on päivittämättä ja suunnitelmia tekemättä ja palveluketjujen seuranta ontuu. Terveyttä, osaamista ja sosiaalista tilannetta ja niissä mahdollisesti tapahtuvaa muutosta koskeva tieto on hajallaan eri toimialoilla ja keskenään kommunikoimattomissa tietojärjestelmissä.

Vakavin ongelma työllisyysvaikutusten esiin saamisen suhteen on siinä, että edellä mainittujen työllisyyttä edistävien askelten toteuttaminen erittäin usein ylittää kokeilujen ja vaikuttavuustutkimusten aikarajat, jolloin työllisyysvaikutuksia, varsinkaan avoimille markkinoille, ei ole ehtinyt ilmetä kuin osittain. Pitkäaikaisseurantaa, eli tutkimuksen toistamista vuosien päästä ei tyypillisesti tehdä juuri lainkaan.

Vaikuttavuuden tutkimisen kehittämisessä on myös muita haasteita, joista vertailujen toteuttaminen on tärkein. Myös tässä suhteessa on Suomessa huomattavaa tutkimusvajetta. Esitämme tämän kommenttimme lopussa joitakin ajatuksia siitä, miten vaikuttavuuden tutkimista voisi kehittää ja toivomme vuoropuhelun jatkuvan.

Pirkanmaan kokeilun vaikutuksia koskeva epäily

Kansanedustaja Juhana Vartiainen, kok., viestitti Twitterissä 1.10.2018: ”Kysymys ekonomistikollegoille: Onko missään osoitettu kausaalisia työllisyysvaikutuksia työllisyyden hoidon ’kuntakokeiluilla’.” Tähän reaktiona Vesa Rantahalvari viittasi Pirkanmaan tutkimukseemme.  Professori Roope Uusitalo Helsingin yliopistosta vastasi 6.10.2018: ”On, mm. s. 67 alla [viittaa tutkimukseemme]. Ei ne tosin olleet positiivisia” [kursivointi tämän artikkelin kirjoittajien].

Tämä twiittiesimerkki ei tietenkään sinänsä kommentoi kaikkea edellä sanottua, mutta työllisyyskokeilun valmistelussa olevien henkilöiden kertoman mukaan tätäkin ’epäilyä’ on käytetty argumentoimaan, että suunniteltuja työllisyyskokeiluja Pirkanmaan kokemuksia seuraten ei pitäisi kenties toteuttaa, koska Pirkanmaan kokeilulla ei ollut positiivisia vaikutuksia, tarkoittaen työllistymistä.

Koska asia on Suomen strategisten haasteiden kannalta tärkeä, katsoimme Pirkanmaan kokeilun tuloksia tutkineina välttämättömäksi avata mitä Pirkanmaan tulokset olivat (mm. tuo viittaus tutkimuksen sivulle 67).

Pirkanmaan työllisyyskokeilun yhteydet työllisyysindikaattoreihin

Kokeiluasiakkaiden (noin 20 000 henkilöä) työllistymistä ei ollut mahdollista verrata kokonaisuutena suoraan vastaavan kohderyhmän työllistymiseen muualla Suomessa ilman eri rekisteritietojen yhdistämistä, mikä ei ollut toteutetun tutkimuksen puitteissa mahdollista. Rekisterien hyödyntämisen ongelmana ovat pitkät, käytännössä useiden vuosien viiveet, eikä niiden avulla voida siten vastata nopean arvioinnin tarpeisiin, mihin tehdyllä tutkimuksella kuitenkin tähdättiin.

Kokeilun työllisyys- ja työmarkkinavaikutuksia haarukoitiin siten kolmella erilaisella menetelmällä. Eniten huomiota herättänyt tarkastelumme perustui kuntakohtaiseen laajennetun työttömyysasteen kehityksen vertailuun kokeilukuntien ja niiden vertailukuntien muodostamien ryhmien välillä (raportti, s. 66-67). Laajennettuun työttömyysasteeseen laskettiin virallisesti ”työttömien” lisäksi ”palveluissa olevat” kuukausittaisten tietojen perusteella, ja heidän osuutensa laskettiin kunnan koko työvoimasta. Raportin visuaalisesti havainnollistettu esitys kertoi, että kokeilukuntaryhmän (joka koostui 10 eri kunnasta), keskimääräinen laajennettu työttömyysaste seurasi hyvin saman tyyppistä kehitystä kuin verrokkikuntien muodostaman ryhmän kokeiluajanjaksona. Kuten raportissa todettiin (s. 66), puolen vuoden aikana (marraskuu 2017 – toukokuu 2018) kokeilukuntien laajennettu työttömyysaste laski verrokkien alapuolelle, mutta tämän jälkeen palautui kokeilua edeltävälle tasolle hieman verrokkikuntia korkeammalle tasolle.

Tämän tuloksen tulkintaan liittyy neljä tärkeää varausta.

Ensinnäkin laajennettu työttömyysaste ei kuvannut pelkästään kokeilun kohderyhmää syistä, jotka edellä todettiin, vaan siihen sisältyivät myös ansiosidonnaisen päivärahan saajat (kokeilussa olivat muut kuin ansiosidonnaista saavat) ja ylipäätään kaikki niin kunnan kuin valtion TE-palveluihinkin kirjatut työttömät ja palveluissa olevat työnhakijat kyseisessä kunnassa. Toisin sanoen tämä vertailu ei kertonut sinänsä mitään kokeilun työllisyysvaikutuksista vaan ainoastaan siitä, miten Pirkanmaan kokeilussa tehty asiakasjako oli yhteydessä kuntien kokonaistasolla laajennetun työttömyyden kehitykseen. Tarkoituksena olikin saada käsitys siitä, tapahtuuko asiakasjaon myötä jonkinlainen ”heilahdus” laajennetussa työttömyysasteessa, kun asiakasjako muuttuu. Tästä näkökulmasta tulos osoitti, että ainakaan mitään kielteistä heilahdusta ei tapahtunut esimerkiksi sen vuoksi että asiakkaat olisivat jääneet jollain tavalla jumiin eri palveluiden ja vastuiden välille. Tästä tutkimuksemme kohdasta, ’s.67’ viittauksesta ei siis mitenkään voida vielä päätellä että ’Pirkanmaan kokeilulla ei ollut positiivisia vaikutuksia’.

Toiseksi ottaen huomioon kokeilun kohderyhmän keskimääräistä haasteellisemman työmarkkinatilanteen, ei heidän palveluidensa kokonaisvastuun siirtymisestä voitu realistisesti odottaa merkittäviä työllisyysvaikutuksia kyseisellä, vain noin vuoden tehokkaan toiminnan ajanjaksolla (kokeilujen ylösajoon ja alasajoon kuluu aina useita kuukausia). Kaikkia 20 000 asiakasta ei voitu lähteä kokeilunkaan puitteissa auttamaan yhtäaikaisesti, vaan pidemmän aikavälin aikana. Myöskään pidempään työttömänä olleiden koulutus- ja muut palvelut eivät suurimmaksi osaksi ehtineet edes päättyä, ennen kuin kokeilu päättyi.  Tästä johtuen kokeiluajanjakso oli aivan liian lyhyt mielekkään ryhmätasoisen työllistymisvertailun kannalta – ja myöskin ylipäätään työllistymistulosten ilmenemiselle, jota vain työllisyyteen kohdistuva ’katse’ ei siis tavoittaisi juuri ollenkaan.

Kolmanneksi kokeilussa käynnistettiin voimakasta asiakkaiden aktivointia ja palveluihin ohjaamista. Tämän seurauksena myös jonkin verran asiakkaita siirtyi työmarkkinoiden (ja tilastojen) ulkopuolelta palveluiden piiriin ja nostamaan laajennettua työttömyysastetta. Kokonaisuutena arvioitiin, että voimakas aktivointi toimintatapana oli omiaan ”heikentämään” kokeilun tuloksia tällä mittarilla verrattuna ns. normaalitoimintaan. Aktivointi ja palveluohjaus on ollut palveluvajeen umpeen kuromista.

Neljänneksi tuloksiin vaikuttavat vertailuryhmän muodostamisen ongelmat. Kuten raportissa (s. 67) todettiin, Pirkanmaan kokeilukunnille ei ollut mahdollista löytää täsmällisesti samanlaista vertailuryhmää, vaan kullekin kunnalle oli nimetty useampia vertailukuntia tiettyjen taustamuuttujien perusteella tehdyn matsauksen mukaisesti. Koska kuntien eli mahdollisten verrokkien määrä on rajallinen ja tilanteet erilaisia, vertailun tuloksiin vaikutti yhtä paljon kuin kokeilukuntien ominaisuudet, myös vertailukuntien ominaisuudet. Tilanteiden eroavuuksien lisäksi on tärkeää huomata, että määrällisessä vertailuasetelmassa on vaikea huomioida eri kuntien ja erilaisten työvoimapalveluiden laadullisia eroja. Tämä jää ongelmaksi nimestään huolimatta myös kontrolloiduissa vertailuasetelmissa. Toisin sanoen monissa kunnissa ja työvoimapalveluissa on samankaltaisia elementtejä, eikä niin sanottua ”normaalitoimintaa” kokeilun vertailukohdaksi ole käytännössä mahdollista määrittää. Näin on oli myös Oulun suhteen, jossa ei ollut ’virallista’ kokeilua, mutta jossa tosiasiallisesti oma-aloitteisesti toteutettiin kokeilun tyyppisiä ratkaisuja. Oulun tilanne ja kehityspolku poikkesivat myös monella tavoin Tampereesta/Pirkanmaasta.

Samansuuntainen tulos saatiin toisesta näkökulmasta. Kokeilun tuottaman 10 kuukauden asiakasseurannan perusteella palveluista työllistyneiden osuus oli suurin piirtein samaa luokkaa kuin työvoimapalveluissa yleensä, mutta sillä erotuksella, että seurannan aikajänne kokeilussa oli hyvin lyhyt ja kokeilussa hallittavana oleva asiakasvirta erittäin suuri ja heterogeeninen. Työttömien osuus vähentyi seuranta-aikana yli puolella ja jatkoi laskuaan seurannan loppuun asti. Asiakkuudesta poistuminen vaikutti seurannan puitteissa melko pysyvältä. Mikäli kokeilu olisi jatkunut kauemmin, olisi asiakasmäärä jatkanut nopeasti laskuaan tuottaen vääjäämättä myös näkyvämpiä työllisyysvaikutuksia. Lisäksi asiakkaiden suuren määrän vuoksi noin kolmasosaa asiakkaista (~6000) ei ollut seurannan aikana ehditty kohdistaa lainkaan aktivoivia toimenpiteitä, mikä vähentää merkittävällä tavalla kokeilussa mukana olleiden työllistyneiden osuutta.

Kokeilun yhteyttä tarkasteltiin myös työn kysynnän ja tarjonnan kohtaantoon. Vaikka mittaukseen liittyy epävarmuustekijöitä etenkin avointen työpaikkojen osalta, olivat nämä tulokset varsin myönteisiä. Vakanssiasteen ja laajennetun työttömyysasteen perusteella laskettuna kohtaanto parani vuodesta 2017 vuoteen 2018 kokeilukunnissa keskimäärin enemmän kuin vertailukunnissa.

Emme tässä yhteydessä ryhtyneet avaamaan kaikkia Pirkanmaan kokeilun tuloksia vaan keskityimme lähinnä siihen mitä aktivoinnista, työllisyyspoluista ja työllistymisestä voi sanoa. Myös muut kuin nämä ovat tietysti tärkeitä tulosalueita. Tällaisia ovat vaikutukset palvelujärjestelmän toimivuuteen ja yhteistyökykyyn, asiakaslähtöisyyden, palvelun laadun ja asiakaskontaktin kehitys, henkilöstön osaamisen ja hyvinvoinnin kehitys jne. eli erilaiset ’systeemiset’ ja prosessivaikutukset, joista kuntakokeiluissa painotetusti on kyse. Kaikissa näissä suhteissa tutkimuksemme toteaa Pirkanmaan kokeilulla olleen positiivisia vaikutuksia, eli tätä kautta myös mahdollista työllisyyttä lisäävää vaikutusta pidemmällä aikavälillä. Tämä pitäisi kuitenkin todentaa jatkossa. Viittaamme näistä tutkimuksemme tuloksista erityisesti lukuun III. Myös nämä vaikutukset ovat vaarassa jäädä vain työllistymistä yksipuolisesti korostavan ’katseen’ vuoksi liian vähälle huomiolle. Kuntakokeiluissa on kuitenkin kysymys todella suuresta systeemisestä muutoksesta Suomen työvoimapalvelujen järjestelmässä ja siitä on saatava riittävän rikas kuva, jotta palveluja osataan kehittää oikein.

Arvioinnin jatkokehittämisen tarpeita

Vaikka edistystä vaikuttavuuden arvioinnin saralla on Suomessa tapahtunut, niin edelleenkään tutkijoilla ei usein ole riittäviä edellytyksiä tuottaa päteviä ja luotettavia arvioita. Kyse ei ole siitä, etteikö tieteellisiä arviointimenetelmiä ja alan osaamista olisi, vaan siitä, että jonkun politiikan vaikuttavuutta verrattuna sen vaihtoehtoihin voidaan mitata vain, jos voidaan muodostaa vertailuasetelma, jossa toteutetun toiminnan tuloksia voidaan verrata siihen, mitä olisi tapahtunut jos kokeilua tai uudistusta ei olisi toteutettu. Ellei voida, tutkija voi kertoa vain kuten äskeisessä aktiivimallin arviossa, että toimintamallilla saattoi olla vaikutusta, mutta verrokkiryhmän puuttuessa sitä ei voi erottaa muiden seikkojen kuten suhdanteiden vaikutuksista, tai kuten Pirkanmaan tutkimuksemme tapauksessa, verrokkiasetelmien rakentamisen käytännön rajoitukset tuottivat tilanteen, jossa asiaa voi valaista vain osittain, mutta rajoituksista huolimatta useasta näkökulmasta.

Työllisyyden kuntakokeiluja ja niiden arviointi on käynnistymässä vuonna 2020. Niiden suhteen on olemassa uusia mahdollisuuksia, mutta myös ongelmia. Yksi tärkeistä ongelmista on se, että kokeilujen hakeminen ja kriteerit määriteltiin ennen vaikuttavuustutkimuksen toteutuksen suunnittelua. Vaikuttavuuden tutkiminen, erityisesti satunnaistetun kokeen toteuttaminen edellyttää kuitenkin varsin paljon panosta myös ’kentältä’, johon ei siis olla osattu varautua. Esimerkiksi verrokkiryhmän muodostaminen kokeiluun osallistumista vaiheistamalla voi tuottaa sekä käytännöllisiä että poliittisia vaikeuksia. Myös muiden verrokkiasetelmien ja -menetelmien suhteen on varsin merkittäviä haasteita, sillä mikäli kokeilut toteutetaan suunnitellussa laajuudessa, ei toimivia verrokkiasetelmia ole helppo löytää.

Uuden toimintamallin vaikuttavuuden arviointi tieteelliset pätevyyskriteerit täyttäen olisi mahdollista toteuttaa lähtien liikkeelle Pirkanmaan 2017-2018 työllisyyskokeilun arvioinnin täydentämisestä ja jatkamisesta. Kohtuullisin resurssein voidaan nyt muodostaa aikaisemmissa sen arvioissa toteutettua selvästi parempi vertailuasetelma, jonka avulla voidaan luotettavasti osoittaa, oliko Pirkanmaan toimintamallilla vaikuttavuutta valtakunnan silloiseen normaalikäytäntöön verrattuna, ja seurata myös mitä tapahtui, kun kokeilu keskeytettiin. Olisi vahinko, jos tämä mahdollisuus jätettäisiin käyttämättä.

TEKSTI: Robert Arnkil, Esa Jokinen, Timo Spangar

Juttua muokattu 27.11. klo 22.05: Korjattu Juhana Vartiaisen puoluekanta. Kuntalehden toimituksellisessa käsittelyssä tekstiin tuli virheellisesti Vartiaisen puoluekannaksi SDP. Alkuperäisessä Arnkilin, Jokisen ja Spangarin tekstissä puoluekantaa ei mainittu.