Spørreskjema : Spørsmål og ordbruk

En viktig del av spørreskjema design er å stille de riktige spørsmålene og velge de riktige ordene.

Ordbruken i hvert enkelt spørsmål

Slik du spør får du som svar er det noe som heter. Tenk derfor nøye gjennom ordbruken og spørsmålsformuleringen.

Benytt ord som er presise og som bare har en mening. Bruk aldri fremmedord, abstrakte begreper eller fagsjargonger såfremt du ikke er 100% sikker på at respondenten vet betydningen. Hvis det likevel er nødvendig, må begrepene forklares gjennom en kort introduksjon til spørsmålet (Halvorsen -93).

Unngå nøkkelord, sterotypier og prestisjebetonede ord. Bruk heller ikke ledende spørsmål. En markedsundersøkelse skal være objektive. Pass på at du ikke formulerer ubegripelige spørsmål. Legg mye tid ned i formuleringen av spørsmålet og ta bare opp et problem om gangen.

Her er et skrekkeksempel av et spørsmål som tverrsnittet av Norges befolkning ble bedt om å svare grip på for en tid tilbake (Halvordsen -94):

Mener de landets økonomiske situasjon muliggjør en nedsettelse av arbeidstiden til seks timer med opprettholdelse av uforandret lønn og av pensjonsalderen med uforandret pensjon, eller mener de at bare arbeidstiden kan nedsettes, eller bare pensjonsalderen, eller mener de ikke at noe av dette kan gjennomføres nå ?”

Her er det virkelig grunn til å spørre tilbake: “Hva prøver man å måle?”

Unngå dobbelt-tydige spørsmål, og bruk enkle setninger. Man bør ikke bruke mer enn 20 ord til sammen på hvert spørsmål.

Betydningen av presisering av innholdet i et spørsmål

Formuleringer med samme real innhold, men med ulikt presisjonsnivå, kan gi signifikant forskjellige svartendenser.

Under gjengis det meningsmålinger som er utført som et samarbeid mellom tre norske meningsmålingsinstitutter; Norges Markedsdata, Meningsmålingsinstituttet og Gallup/NOI. De tre understående meningsmålingene viser hvordan svarfordelingen forandrer seg i takt med hvor presise spørsmålene er (Wenstrøp -94):

Lav presisjon

1500 mennesker ble spurt om følgende:

“Dersom De måtte foreta et valg mellom to livsformer, hva ville De da velge:

1. Et liv med begrenset inntekt og få materielle goder
2. Et liv med høy inntekt og mange materielle goder”

Svarfordelingen var:      a) 27%     b) 54%     Vet ikke 19%

Økonomistudenter reagerer gjerne med forbauselse over at nesten 1/3 foretrekker det “åpenbart” ugunstige A alternativet. Årsaken er selvsagt at mange legger mer innhold i livsformene enn det som sies eksplisitt. Det ser man klart når vi bruker en noe mer presis spørreform.

Middels presisjon

1500 andre mennesker ble spurt:

“Dersom De måtte foreta et valg mellom to livsformer, hva ville De da velge:

1. Et rolig og enkelt liv med begrenset inntekt og få materielle goder
2. Et mer oppjaget liv med høy inntekt og mange materielle goder”

Svarfordelingen var:      a) 79%     b) 17%     Vet ikke 4%

Nå er svarfordelingen dramatisk endret på tross av at realinnholdet i spørsmålene er uforandret. La oss presisere ytterligere.

Høy presisjon

1500 nye mennesker ble spurt:

“Dersom De måtte foreta et valg mellom to livsformer, hva ville De da velge:

1. Et rolig og enkelt liv med bare nødvendige goder, men samtidig med begrenset inntekt og begrenset adgang til karriere.
2. Høy inntekt, mange materielle goder og gode muligheter for karriere; men samtidig med muligheter for stress i arbeid og fritid.

Svarfordelingen var:      a) 69%     b) 20%     Vet ikke 11%

Hva kan man så lære av dette eksemplet ? Jo, at utformingen av spørsmålene har mye å si på svarene man får. For å mest mulig riktig svar fra respondentene må alle nøkkelbegreper defineres og klargjøres. Det man ønsker å måle må presiseres så godt at man er sikre på at alle legger den samme meningen i spørsmålene. I motsatt fall, vil man meget lett oppleve å få responsfeil.

Betydningen av svaralternativet “vet – ikke”

Tre meningsmålingsinstituttene har undersøkt betydningen av å la “vet-ikke” være et svaralternativ på linje med de andre. Resultatene er hentet fra Statistikk og dataanalyse – Fred Wenstrøp (1994).

1500 mennesker ble spurt:

“Er De for eller mot at Norge setter ut fiskeyngel i havner for å sikre bestanden av enkelte fiskeslag ?”

Svarfordelingen var: For) 81% Mot) 2% Vet ikke) 17%

Denne problemstillingen var ny for de fleste, og 81% støttet derfor det de syntes hørtes positivt ut. Få er i mot, men 17% svarte likevel “vet-ikke” selv om dette ikke var eksplisitt tillatt. La oss se hva som skjer når vi gjør dette tillatt (Wenstøp -94):

1500 andre mennesker ble spurt:

“Er De for eller mot at Norge setter ut fiskeyngel i havet for å sikre bestanden av enkelte fiskeslag, eller har De ikke noe standpunkt i saken ?”.

Svarfordelingen var For) 71% Mot) 3% Vet ikke) 26%

Som man ser sank “For”-prosenten betydelig, mens “mot”-prosenten ble omtrent uforandret. Det betyr at det i den første “For”-prosenten skjulte seg anslagsvis 9% “Vet-ikkere”. Hva kan man så lære av dette ? Jo er folk usikre, støtter de det som på overflaten høres “riktig” ut.

Fraværet av “Vet-ikke” alternativet gir derfor responsskjevhet. Man bør derfor ta med “Vet-ikke” kategorien for å sikre seg mot at folk svarer på problemstillinger de ikke har kunnskap om, eller som de ikke har tatt standpunkt til.

Betydningen av eksempel i spørsmålstillingen

Ofte ønsker man å måle folks meninger om problemstillinger av uvant størrelsesorden.

I samfunnsplanlegging kan det ofte være snakk om å bruke millioner eller milliarder kroner til et eller annet formål.

Få omgås milliarder av kroner daglig. I slike tilfeller er det nyttig å eksemplifisere med en mer kjent målestokk. Men hvor stor rolle spiller valget av eksempel? Også dette har meningsmålingsinstituttene undersøkt (Wenstrøp -94):

Uvant størrelsesorden

1500 mennesker ble spurt:

“Rundt 20% av prisen på elektrisk kraft til husholdningsbruk er særavgift til Staten. Dette gir Staten en inntekt på ca. 1,5 milliarder kroner. Er De for eller mot at denne avgiften fjernes slik at strømmen blir billigere, eller har De ikke noe standpunkt i denne saken?”

Svarfordeling:      For) 50%     Mot) 21%      Vet ikke) 29%

Her er “Vet -ikke”-andelen betydelig. Det kan kanskje avhjelpes ved å eksemplifisere hvor mye 1,5 milliarder kroner er:

MOT – ledende eksemplifisering

Ytterligere 1500 mennesker ble spurt:

“Rundt 20% av prisen på elektrisk kraft til husholdningsbruk er særavgift til Staten. Dette gir Staten en inntekt på ca. 1,5 milliarder kroner – Det vil si tre ganger det driften av Rikshosipitalet koster i hele 1981. Er De for eller mot at denne avgiften fjernes slik at strømmen blir 20% billigere, eller har De ikke noe standpunkt i denne saken?”.

Svarfordeling:      For) 37%     Mot) 28%      Vet ikke) 35%

Som vi kunne vente vil færre nå fjerne avgiften, siden Staten jo kan gjøre god bruk for den. Pussig nok er det flere som svarer “Vet ikke”. Det kommer kanskje av at flere nå er på vippen mellom “For” og “Mot”. La oss se på en eksemplifisering som virker positivt for avgiftsfjerningslyst:

FOR – ledende eksemplifisering

Nye 1500 mennesker ble spurt:

“Rundt 20% av prisen på elektrisk kraft til husholdningsbruk er særavgift til Staten. Dette gir Staten en inntekt på ca. 1,5 milliard kroner – det vil si ca. 1,5 prosent av statens totale inntekter. Er De for eller mot at denne avgiften fjernes slik at strømmen blir 20% billigere, eller har De ikke noe standpunkt i saken?”.

Svarfordeling:      For) 53%     Mot) 22%      Vet ikke) 25%.

Igjen ser vi at meningene dreier i forventet retning: “1,5% er en ubetydelig andel. Det kan Staten sikkert unnvære”.

Dette eksemplet er også egnet til å vekke bekymring hos meningsmålere. Vi ser at eksempler som rent faktisk gir samme realinnhold, fører til klare forskjeller i svarene. Dette gir grunn til å vurdere målinger som er bestilt av en interessepart, da spørsmålsstillingen kan lede svarene i en spesiell retning med eksempler o.l. (Wenstøp-94). Eksempler har med andre ord stor makt.

Idealet er objektive spørsmål

Som en oppsummering av de foregående eksemplene kan vi derfor slå fast at man bør strebe etter å formulere objektive spørsmål, med høy presisjonsgrad, balanserte eksempler og med et “vet-ikke” alternativ.

Ordet objektivt kommer opprinnelig fra det latinske ordet objicere, og betyr det motsatte av subjektiv. Det vil si allmenngyldig, saklig og upartisk. For å forklare hva som legges i begrepet objektivitet kan vi ta utgangspunkt i Jørgen Westerståhl sin modell som er vist under.

I følge Westerståhl er objektivitet et spørsmål om å komme med upartiske og saklige fremstillinger av en sak. Å være saklig vil si å fortelle sannheten og ikke trekke inn urelevante ting inn i spørsmålet.

I likhet med sakelig-hetskravet, består nøytraliserings-kravet av to forhold; balanse og presentasjon. Dvs. hvordan vi vektlegger de ulike synspunktene når vi formulerer spørsmålet og hvordan de ulike synspunktene blir presentert i spørsmålet og i spørreskjema generelt.

En annen definisjon av begrepet objektivitet er å finne i Føllesdal, Walløe, Elster (1984) sin bok “Argumentasjonsteori, språk og vitenskapsfilosofi“:

“En fremstilling (f.eks. en avhandling, et fjernsynsprogram, en artikkel) er objektiv hvis og bare hvis de oppfatninger og holdninger den skaper hos mottageren ikke vill forandres dersom man tok med flere opplysninger (data eller hypoteser som understøttes godt av data)”

Innholdet i hvert enkelt spørsmål

Under følger et sett momenter og spørsmål du bør gå i gjennom i forbindelse med utarbeidelsen av spørsmålene i spørreskjemaet.

Er spørsmålet nødvendig?

Jo flere spørsmål, jo dyrere blir undersøkelsen. Samtidig som kravet til respondentens samarbeidsvilje øker. (Sannsynligheten for at de vil besvare alle spørsmålene like grundig minsker med mengden av dem). 

Jo flere spørsmål, jo dyrere blir undersøkelsen. Samtidig som kravet til respondentens samarbeidsvilje øker. (Sannsynligheten for at de vil besvare alle spørsmålene like grundig minsker med mengden av dem).

Sitter respondentene inne med den nødvendige kunnskapen, erfaringen eller informasjonen som er nødvendig for å besvare spørsmålene?

Mange svarer skråsikkert på ting de ikke vet noe om. Et eksempel på dårlig spørsmålsfomulering i denne sammenheng er:

“Hva synes du om IDUN Tomatsuppe i forhold til andre ferdigsupper ?”

Her risikerer man å få en rekke svar fra personer som aldri har smakt denne suppen.

Benytt derfor først et “filterspørsmål”; helst indirekte;

 “Hvilke ferdigsupper har du spist i år ?” eller direkte ” Har du spist IDUN tomatsuppe i år?”

Deretter stiller man spørsmålet hvor man ber om sammenligning med andre supper.

Husker respondenten informasjonen?

De færreste husker hva slags toalettpapir de kjøpte for to uker siden, mens de fleste husker hvor de var på ferie i fjor. Be derfor ikke folk huske detaljer for lengre tid tilbake enn maksimum 1 måned. Eks.: “Hvor mange ganger gikk du på kino i forrige måned?“

Når man skal stille spørsmål som krever at respondenten husker en hendelse e.l., må man alltid avveie om man skal gi respondentene hukomelsesstimulans eller ikke. Her går skillet mellom “Unaidet recall” og “aidet recall”. “Unaidet recall” vil si at man ikke gir respondentene hjelp til å huske en hendelse. F.eks. “Hvilke annonser kan du huske å ha sett i VG idag ?”

Ved “Aidet recall” gir man respondentene hjelp til å huske hendelsesforløpet. F.eks. kan man først vise bilder av en rekke annonser, for så å spørre:

“Hvilke av disse annonsene kan du huske å ha sett i VG idag ?”

Vil respondenten gi informasjonen?

Dreier det seg om sensitive emner kan man oppleve at respondenten vegrer seg mot å gi intervjueren de riktige svarene. I andre tilfeller kan det hende at respondenten ikke er i stand til å uttrykke hva han eller hun føler og mener i ord. Ønsker vi å kartlegge sensitive opplysninger, bør man vurdere å benytte seg av en projektiv spørreteknikk.

Kan spørsmålet misforståes?

Spørsmålene må stilles slik at de ikke kan misforståes. Misforstår respondenten spørsmålet blir også svaret feil. Unngå upresise spørsmål av typen “Hvor mye…”, “hvor lenge….”. Eks.: “Går du ofte på kino ?”. Presiser heller i retning av: “Hvor mange ganger gikk du på kino i forrige måned ?” (Halvorsen-93).

Kan spørsmålet stilles slik at man kan sammenligne resultatet med andre undersøkelser?

Still gjerne spørsmål som er stilt i andre undersøkelser. Det gjør det mulig å sammenligne svarene, og se trendutviklingen.

Er det nødvendig med kontrollspørsmål ?

I mange sammenhenger kan det være hensiktsmessig å sette inn kontrollspørsmål som viser hvor konsekvent respondenten er i sine svar, og om respondenten svarer sant.

Kilde:

• Statistikk & Dataanalyse – Fred Wenstrøp (1994)