
This story isn't available in English yet
Showing the original in inglise. A translation is on the way.
Uuring Eesti moodi: raha raisatud, tulemus null
Veel samal teemal:
Tellid järjekordse uuringu, aga pettud jälle, sest sul pole sellega midagi peale hakata! Kolmest apsakast, mis tellimisel tehakse, räägib oma kolleegidelt kogutud info põhjal Kristina Mänd. Uuringuid, analüüse, nõustamist jms pole mõtet tellida, kui tingimused pole selgelt läbi mõeldud. See on lihtsalt aja ja raha raiskamine. Toon siin näidete varal ära põhiprobleemid. Lähteülesannete koostamine Nii […]
Tellid järjekordse uuringu, aga pettud jälle, sest sul pole sellega midagi peale hakata! Kolmest apsakast, mis tellimisel tehakse, räägib oma kolleegidelt kogutud info põhjal Kristina Mänd.
Uuringuid, analüüse, nõustamist jms pole mõtet tellida, kui tingimused pole selgelt läbi mõeldud. See on lihtsalt aja ja raha raiskamine. Toon siin näidete varal ära põhiprobleemid.
Lähteülesannete koostamine
Nii tellija kui ka läbiviija jaoks on kõige olulisem uuringuküsimus: mida sellega teada saada soovitakse. Kuid paljud keskenduvad hoopis uuringumetoodika sisulisele kirjeldamisele, teadmata tegelikult tagamaid.
Lähteülesanne peab täpselt kirjeldama, millisele probleemile otsitakse lahendust või mis küsimused vajavad vastuseid. See, kuidas vastused leitakse, jäägu analüütikute ja uurijate ülesandeks välja pakkuda. Selleks aga, et tellija teaks ja oskaks hinnata, kas pakutav metoodika on asjakohane, soovitan tal ennast koolitada või siis lihtsalt nõu küsida. Muidu võib hirmsasti alt minna.
Lugu 1
Tellija soovis mõõta elanikkonna teadlikkust karjääriteenustest ja karjääriplaneerimise oskusi, analüüsida nende teenuste kättesaadavust ja hinnata huvipoolte koostööd. Nii et ühe uuringu raames taheti ühekorraga saada vastused küsimustele, mis puudutasid:
- sihtrühmade teadlikkust karjääriteenustest;
- elanike tuleviku planeerimise strateegiaid, sh eneseanalüüsioskusi, motivatsiooni, õpistrateegiate tundmist ja kuidas tööturuinfoga ümber käiakse;
- vajadusi karjääriplaneerimise toe osas;
- karjääriteenuste kättesaadavust ja sellega seotud probleeme;
- karjääriteenuste pakkujate kogemusi;
- koostöösuhteid karjääriteenuste huvigruppide vahel ja hinnanguid neile;
- karjääriteenuste parendamise ettepanekuid.
Lähteülesanne peab täpselt kirjeldama, millisele probleemile otsitakse lahendust või mis küsimused vajavad vastuseid.
Ühe uuringuga tahtetakse kaardistada kogu karjääri-maailma, kui tegelikult vajaks iga küsimus omaette uuringut. Kui analüüsiküsimusi on liiga palju, ei saa neist ükski korralikku vastust ning tellija ei saa ikka oma tööd planeerida. Kas ei ole otstarbekam mõelda, mis on nendest teemadest olulisim, kus uuring lisateavet võiks anda, ning keskenduda sel juhul vaid nendele?
Lugu 2
Meenub ka selline lugu, mis puudutab kvaliteeti. Tellija nõudis metoodikas fookusgruppe ja intervjuusid. Tegime väga põhjaliku pakkumise: kogemustega intervjueerijad, intervjuud kirjutatakse üles, kodeeritakse ja analüüsitakse jne. See kõik käib kvaliteetse teenuse juurde. Kuid teenusepakkujaks valiti hoopis see, kes tegi odavama pakkumise – nagu hiljem selgus, viisid intervjuud läbi tudengid ja mingit üleskirjutamist ei toimunudki.
Kas tellija ikka adub, et ta ei saa sel moel kvaliteetset tulemust? Kvalitatiivne analüüs ei ole odav ja kogutud andmete põhjal tasakaalustatud analüüsi kokkukirjutamine nõuab kogemust ja teadmisi. Intervjuud tuleb kindlasti üles kirjutada, siis ei pea analüütik lootma ainult oma mälule.
Ajakava ja hind
Arusaam, kuidas uuringut teha, ei teki kahe päevaga. Selleks et pakkumist teha, tuleb tervet uuringut süsteemina arutada ja seejärel sobivad lahendused, metoodika, ajakava ning eelarve leida. See võtab loomulikult aega.
Pahatihti tahavad tellijad juba nädalaga pakkumist saada, võttes samas endale pakkumuste kaalumiseks terve kuu. Kindlasti on vahel olemas objektiivsed põhjused, miks uuring soovitakse kiiresti valmis saada (nt konverentsi ettekande jaoks, seaduseelnõu ettevalmistamine jms), kuid enamjaolt tuleneb ebarealistlik ajakava lihtsalt teadmatusest. Meeles tuleb pidada ka seda, et küsitlustöö planeerimine suveks on ebamõistlik, sest vastajaid on sel ajal väga raske tabada.
Lugu 3
Tellija pöördus Praxise poole sooviga uurida haldusala korraldust. Kuigi meie lahendus meeldis üldjoontes talle, öeldi siiski, et neil pole selle täies mahus teostamiseks finantsvahendeid ega ka aega. Nii otsustati rahastada uuringut piiratud mahus.
Enne lepingu sõlmimist saadeti kärbitud uuringukava tellijale, ja muidugi tekkis neil tohutult ettepanekuid üht või teist detaili uurida. See aga oleks tähendanud kordades rohkem tööd, kui oli raha ja aega. Arutasime tellijaga, mis mahus on võimalik tööd teha, ja sõlmisime lõpuks lepingu.
Esitasime valmis töö tähtajaks tellijale. Kuid sellele tuli väga palju negatiivset tagasisidet, kuna see ei vastanud ootustele. Hoolimata pahameelest võtsid nad töö vastu, sest see vastas lepingulistele tingimustele.
Moraal: muidugi on hea küsida kõigilt ettepanekuid, kuid juhul, kui kõiki neid ei ole võimalik arvestada, tuleks sellest teada anda ka ettepanekute tegijaile.
Sisu ja/või hind
Kolmas probleem on pakkumiste hindamine ja valimine. Kui tellija küsib sisu ja hinda, kuid teeb oma otsuse ainult hinna põhjal, siis on ju sisu küsimine põhjendamatu. Tellijatel peaks olema mõistlikud hindamissüsteemid, et vähendada hangete vaidlustamisi. Eriti halvad on sellised näited, kus hanke võitja õigustamiseks tuuakse välja näitajaid, mida hankekutses välja ei toodud. Kõige olulisem aga on, et algusest saadik oleks kõigile selge, mille alusel pakkumisi hinnatakse ja võrreldakse.
Lugu 4
Tellija tahab uuringut ning kuulutab välja hanke. Lähteülesanne on arusaadav ja ajakava mõistlik. Tellija kirjutab:
- pakkumine sisaldab tegevuskava, ajakava ja ideelahendit, sh kirjeldust, kuidas ja mis meetoditega kavatseb pakkuja nimetatud tegevusi ellu viia,
- pakkumine sisaldab oodatavate tulemuste kirjeldust,
- pakkuja on teadlik, et ostja ei rakenda arveldamiseks ettemaksu, ostja teeb väljamakse 14 päeva jooksul alates arve saamisest,
- pakutav hind sisaldab kõiki tasusid,
- pakkumine peab kehtima 110 kalendripäeva.
- koolituste toimumise asukoht on XXX.
Hindamiskriteeriumitest juttu ei ole, aga kuna küsitakse nii sisu, tulemusi kui ka eelarvet, siis eeldame, et hindamisel neid ka arvestatakse. Pakkumise koostamisel tekib terve rida küsimusi, saame neile ka vastused. Teeme tööd peamiselt sisu kokkupanemise ja lahenduseks sobiva metoodika kirjeldamisel. Saadame pakkumise ära ja kirjutame: „Pakkumuskutses puudub info selle kohta, mille alusel XXX hindab koolitusteenuse pakkumusi. Meie võtsime aluseks, et tellija soovib saada võimalikult kvaliteetset sisu, ja eeldame, et hindamiskriteeriumid on järgmised: 70% kvaliteet ja 30% pakkumuse maksumus”.
Esitame pakkumise ning saame siis mõne aja pärast ka vastuse. Hindamisprotokollis on kirjas, et võitis YY kui kõige odavam pakkumus.
Milleks siis üldse sisu ja metoodikat küsida, kui valitakse ainult hinna järgi. Kui odavaim hind on valiku ainus alus, siis tuleks seda lähteülesandes kohe ausalt ja selgelt öelda. Meie esimene pahameele põhjus on meie ajakulu. Nägime palju vaeva, esitasime lisaküsimusi ning keskendusime sisule ja kvaliteedile. Teine põhjus on kvaliteedis. Osaleme paljudes pakkumistes ja meie kogemused näitavad, et ainult hinnapõhised otsused ei taga kvaliteeti.
Me ei pane kahtluse alla võitjat, kuid kõige odavam ei ole alati kõige parem.
***
Neli küsimust, mis tellija peaks läbi mõtlema
Mida sa uuringuga saavutada soovid?
Mõtle läbi eesmärk, sõnasta probleem ja lähteülesanne võimalikult täpselt, suhtle pakkujatega kiiresti ja aktiivselt. Tee endale selgeks, mida üks uuring/analüüs saab anda tulemuseks ja mida mitte; mida uurijad saavad lubada ja millise info kätte saamist mõjutada, mida aga ei saa. Hea lähteülesande põhieesmärgid: kirjeldada analüüsi tausta, vajadust (miks selline vajadus on tekkinud, mida seni on tehtud jne); analüüsi tulemuste kasutamise plaan (st mis selle töö tulemusena peaks toimuma).
Kas andmed on olemas või nõuab uurimisküsimustele vastamine eraldi andmekogumist?
Mõtle läbi, mis andmed sul olemas on. Üha enam kasutatakse uuringutes registrite andmeid, mis annavad tavaliselt infot kogu üldkogumi kohta ning mida vajadusel ja võimalusel täiendatakse infoga teistest registritest. Sel juhul jääb ära kulukas andmekogumistöö, samas tuleb läbi mõelda, kuidas teha uurijatele andmed kättesaadavaks kooskõlas andmekaitse põhimõtetega.
Kõige olulisem aga on, et algusest saadik oleks kõigile selge, mille alusel pakkumisi hinnatakse ja võrreldakse.
Kui registrites sisalduvat infot ei ole võimalik kasutada, võib abi olla ka mõne juba olemasoleva küsitlusuuringu andmete detailsemast analüüsist (nt statistikaameti kogutavad tööjõu-uuringu andmed vms). Kui uurimisküsimustele vastamiseks tuleb andmed eraldi koguda, tuleb arvestada, et enamasti on sel juhul hind kõrgem.
Milline ajakava on mõistlik?
Uuringu pikkus sõltub pakkuja valitud metoodikast. Mõtle läbi, millised on mõistlikud pakkumise koostamise ja töö teostamise tähtajad, näiteks kui palju tüüpilised analüüsitegevused aega võtavad. Tark on kuulutada hange välja ja valida tegija välja varakult, nt hange jaanuaris, pakkumised veebruari algul, valik veebruari lõpus, leping märtsis, töö algus aprillis-mais.
Millised hindamiskriteeriumid on mõistlikud ja tagavad tellijale parima tulemuse.
Hindamise tingimused peavad olema pakkujatel alati ette teada. Mõtle läbi mõistlikud kvalifitseerimistingimused, hanke tüüp ja hankereeglid, tulemuste hindamise viis ja sobivad hindamiskriteeriumid, et need poleks liialt madalad ega kõrged. Mõtle, millised on töö teostamiseks vajalikud ekspertide teadmised-oskused, mis seda tõendavad ning milline info on pakkumuse hindamises kriitiline ja milline mitte?