Um aðferðir við skoðanakannanir

Undanfarið hefur verið talsvert fjallað um skoðanakannanir, meðal annars í nokkrum greinum í Morgunblaðinu fimmtudaginn 23. apríl. Sumt af því sem þar er sagt er hárrétt. Sérstaklega var grein Helga Þórssonar tímabær ábending um það að skoðanakannanir má aldrei líta á sem nákvæma mælingu, heldur verður að taka með í reikninginn þá tölfræðilegu óvissu sem óhjákvæmilega fylgir hverri könnun. Eins tek ég undir það með Helga að nauðsynlegt er að þeir aðilar sem að skoðanakönnunum vinna í alvöru ættu að setja sér ákveðnar starfsreglur, meðal annars um með hvaða hætti er greint frá niðurstöðum. Þetta er ekki aðeins nauðsynlegt vegna leikmanna, því samkvæmt viðtali Morgunblaðsins við Elías Héðinsson, einn sérfræðinga Félagsvísindastofnunar, fylgjast þeir greinilega heldur ekki nógu vel með starfsháttum allra þeirra sem að könnunum vinna hérlendis.

Fyrirtæki mitt, Talnakönnun, hefur um nokkurt skeið unnið við tölfræðilega úrvinnslu og ráðgjöf fyrir SKAÍS. Eins og mönnum er kunnugt hefur SKÁÍS m.a. séð um hlustenda- og áhorfendakannanir fyrir bæði Ríkisútvarpið og Stöð 2, sem og skoðanakannanir fyrir Stöð 2 og Helgarpóstinn. Þessar kannanir hafa verið unnar með ýmsum hætti. Stundum eru notuð þjóðarúrtök, í öðrum könnunum símanúmeraúrtök, sumar kannanir eru gerðar í síma, aðrar bréflega. Í hvert skipti sem nýrri tegund kannana er hleypt af stokkunum er fengið leyfi tölvunefndar. Fulltrúum hennar hefur einnig verið boðið að fylgjast með framkvæmd kannana.

Í sambandi við kannanir um ýmis atriði, sem ætla má að séu viðkvæm, t.d. um skoðanir manna í einstökum málum, hefur verið talið eðlilegt að hringt væri blint, þ.e. spyrjandinn vissi ekki við hvern’ hann væri að tala hverju sinni. Þess vegna hefur í slíkum könnunum ekki verið notast við þjóðskrárúrtök, né heldur símaskrár, heldur hafa verið notaðir listar um símanúmer, þar sem nöfn koma ekki fram. Til skamms tíma var hins vegar ekki hægt að fá frá Pósti og síma upplýsingar um hvaða númer tilheyrðu einkaaðilum. Þess vegna var svörunarhlutfall oft lágt vegna þess að fjöldi símanúmera tilheyrði stofnunum og fyrirtækjum. Þess vegna var reynt að komast sem næst fyrirfram ákveðinni tölu svara. Annmarkar á þessari aðferð hafa alla tíð verið ljósir og var því óskað eftir því við Póst og síma að fá skrá um númer einkaaðila einungis. Afar langan tíma tók að afgreiða erindi þetta, en það fékkst þó um miðjan mars. Síðan þá hafa kannanir SKÁÍS verið byggðar á tilviljanaúrtaki símanúmera einkaaðila. Frá upphafi er ákveðinn fjöldi númera í úrtakinu og reynt að ná í þau á könnunartímabilinu. Nöfn koma þar hvergi nærri. Því legg ég svo mikla áherslu á nafnleyndina, að stundum hefur komið fyrir að einstakir spyrlar ónafngreindra kannanaaðila hafa haldið mjög á loft skoðunum nafngreindra aðila, sem hafa lent í úrtaki þeirra. Auðvitað eru starfsmenn þeirra fyrirtækja sem gera kannanir misjafnir eins og annað fólk en full ástæða er til að varast að þeir geti fallið í slíka freistni.

Hér að framan vék ég að nákvæmni í könnunum. Fræðilegar rannsóknir eru til um óvissu í tilviljanaúrtökum, en þær breytast hins vegar, þegar brottfall er mikið. William Cochran segir í bók sinni Sampling Techniques, sem oft hefur verið kölluð biblía úrtakskönnuða, að þegar brottfallið sé orðið yfír 20% þá sé tölfræðilega óvissan orðin svo mikið að fræðilegu mörkin séu einskis virði. Þó hefur það sýnt sig að í könnunum hérlendis eru niðurstöðurnar alls ekki víðs fjarri öllum sanni, þó ónákvæmnin sé meiri en búast má við í venjulegu handahófsúrtaki eins og ég hef sýnt fram á í grein (Nýjungar í tölfræðilegum aðferðum og tölvuvinnslu, Rannsóknarstofnun uppeldismála 1985). Þetta atriði þarf að kanna mun betur. Kostnaður er miklu meiri við þjóðskrárúrtakakannanir, en hvers vegna skyldu menn eyða í þær miklum peningum, ef ekki er þörf allra þeirra upplýsinga sem þær geta veitt, sérstaklega ef í ljós kemur að nákvæmni þeirra er ekki miklu meiri en hinna?

Ég geri mér fulla grein fyrir því, að sitthvað má finna að öllum þeim könnunum sem gerðar eru hér á landi. Félagsvísindastofnun hefur stundum sett sig á hærri hest en aðrir hvað framkvæmd kannana varðar, en sannleikurinn er sá að sumt að því sem frá þeim hefur komið stenst ekki fyllstu kröfur um vísindaleg vinnubrögð að mínu mati. Sem dæmi má nefna könnun sem stofnunin gerði á heilli viku um mánaðamótin mars-apríl. Á þessari viku urðu geysilegar hræringar í stjórnmálunum og með niðurstöðum fylgdi viðtal við umsjónarmann könnunarinnar sem sagði eitthvað á þá leið að fylgi Borgaraflokksins hefði farið minnkandi á könnunartímabilinu. En um þetta væru ekki birtar neinar tölur. Ef fylgið var að breytast á tímabilinu, sýndi könnunin þá nokkurn skapaðan hlut? Mætti þá ekki eins að mati stofnunarinnar birta könnun sem unnin væri á heilum mánuði eða jafnvel ári, ef með niðurstöðum fylgdu óljósar yfirlýsingar um að . fylgi flokkanna hefði verið breytilegt á þessu tímabili?

Eins hefur réttilega verið bent á það að varhugavert væri að birta niðurstöður flokkaðar niður eftir kjördæmum, því óvissa væri óviðunandi nema íReykjavík og e.t.v. Reykjanesi. Á sama tíma hefur Félagsvísindastofnun hins vegar skipt fylgi eftir starfsgreinum, byggt á allt niður í 60 svörum. Svo vitnað sé í grein Helga Þórssonar: „Könnun sem byggir á minna en 300 svörum er mjög ónákvæm.“ Á sextíu svörum í kjördæmum og starfsgreinum er tölfræðilega enginn munur.

Dæmi þessi nefni ég ekki hér til þess að gera Félagsvísindastofnun tortryggilega né heldur er ég að gefa í skyn að ekkert sé að marka kannanir hennar. Mergurinn málsins er sá, að allir þeir aðilar sem að slíkum könnunum vinna, þurfa í ýmsu að bæta sín vinnubrögð. Tölfræðilega stöndum við frammi fyrir þeim vanda að með hinu mikla brottfalli úr úrtökum verður óvissan miklu meiri en búast mætti við ef algjört handahóf ríkti. Þess vegna hvet ég hér með til þess að þeir aðilar, sem í alvöru stunda kannanir hér á landi taki höndum saman um að rannsaka gæði hinna einstöku aðferða og myndi sér almennar siðareglur.

Höfundur er doktor í tölfræði og rekur ráðgjafarfyrirtækið Talnakönnun.

Birtist í Morgunblaðinu 25.4. 1987

Færðu inn athugasemd

Skráðu umbeðnar upplýsingar að neðan eða smelltu á smámynd til að skrá þig inn:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Breyta )

Google photo

You are commenting using your Google account. Log Out /  Breyta )

Twitter picture

You are commenting using your Twitter account. Log Out /  Breyta )

Facebook photo

You are commenting using your Facebook account. Log Out /  Breyta )

Tengist við %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.