Validitet


   Domene + webhotell + epost = kr. 198/år
   Tast inn domene du ønsker å bestille webhotell til:
   http://www.


    Denne artikkelen er del 2 av 6 artikler om Feilkilder
     Hvordan lese artiklene og -seriene?


 

validitet

Validitet = Gyldighet

Validitet – eller gyldighet/relevans – er knyttet til hvorvidt undersøkelsen virkelig måler det den har til hensikt å måle. En sikker måte å få dårlig validitet på er å intervjue folk om ting de ikke har greie på.

Som regel gjennomføres forskningsprosjekter og markedsundersøkelser for å skaffe seg et beslutningsgrunnlag. For at det skal være mulig å treffe beslutninger og legge opp planer på bakgrunn av markedsforskning, må resultatene ha validitet og reliabilitet.

Viktigst er validitet. Mangler begrepene eller variablene vi måler validitet, står vi i fare for å trekke feilaktige slutninger. Målet til ethvert markedforskningsprosjekt er derfor:

  • Å skaffe informasjon/data som man kan stole på. Det vil si data som både har høy validitet og reliabilitet!

reliable-validitet

Utfordringen ligger i å skaffe seg en oversikt over de data som er relevante for den problemstillingen man arbeider med, og samle dem inn på en pålitelig måte.

Sub – validitet

Det finnes mange forskjellige former for sub – validitet som vi må forholde oss til for å kunne si at resultatet er valid. Ulike forfattere opererer med ulike former for validitet. De vanligste formene for sub-validitet er:

  • Begreps validitet (teoretisk validitet)
  • Statistisk validitet
  • Intern validitet
  • Ekstern validitet
  • Overflate validitet
  • Konvergent validitet

 

Begreps validitet (teoretisk validitet)

Begreps validitet har å gjøre med i hvilken grad vi virkelig måler det vi ønsker å måle, og er den mest grunnleggende formen for validitet. Begreps validitet kan defineres som (Hellevik – 91):

«Graden av samsvar mellom den teoretiske definisjonen av den latente egenskapen og den operasjonelle definisjonen av den manifeste egenskapen som skal måles»

Begreps validitet kaller flere steder i litteraturen for definisjonsmessig validitet. Hvis det er høyt samsvar mellom resultatene ved bruk av ulike operasjonelle definisjoner av det samme teoretiske begrep, sies det at kriteria validiteten er høy. (Halvorsen-93).

Den begreps validiteten sier noe om hvor god «broen» mellom det det teoretiske og praktiske (operasjonelle) planet er. Eller sagt på en annen måte:

Om våre empiriske data virkelig måler de teoretiske begrepene og variablene vi hadde til hensikt å måle.

Begreps validitet er derfor en nødvendighet for at forskningsresultatene skal være:

  • meningsfulle
  • tolkbare
  • generaliserbare

Dette gjør begreps validitet logisk overordnet de andre formene for validitet, og en den vesentligste validitetformen i alle former for empirisk forskning.

Teoretisk validitet

Kriterier for teoretisk validitet er følgende.

Relevante begreper og variabler: Det er spesifisert hvilke enheter og variabler som er relevante og hvordan de måles. Relevante variabler kan være uavhengige, avhengige, mellomliggende-, moderator- eller forstyrrende variabler.

Sammenhenger mellom ulike typer variabler

Den uavhengige variabelen kan f.eks. være et sikkerhetstiltak som påvirkes av et effektmål for sikkerheten, f.eks. antall ulykker eller antall skadde eller drepte personer. En mellomliggende variabel er en variabel som blir påvirket av den uavhengige variablen og som påvirker den avhengige variabelen. En moderator er en variabel som påvirker sammenhengen mellom uavhengig og avhengig variabel, dvs. at sammenhengen er forskjellig mellom ulike nivåer eller grupper av moderator variabelen. Forstyrrende variabler er variabler som er relatert til den uavhengige og den avhengige variabelen, og sammenhengen mellom den forstyrrende og den avhengige variabelen kan forveksles med en virkning av den uavhengige variabelen. En moderator som ikke er kontrollert i undersøkelsen kan også virke som er forstyrrende variabel.

Hypoteser om sammenhengen mellom variablene blir formulert basert på et teoretisk univers. I tillegg blir de viktigste alternative hypoteser formulert, som kan forklare resultatene som ikke støtter hypotesene.

Hypoteser om virkningsmekanismen: Virkningsmekanismer er faktorer som kan forklare virkningen av den uavhengige på den avhengige variabelen. Når man har en hypotese om hvilke virkninger av et tiltak som kan forklare virkningen på ulykker, og når man finner slike virkninger, øker dette den teoretiske validiteten. Virkningsmekanismer kan være konkrete risikofaktorer for ulykker (f.eks. fart eller promillekjøring), eksponering, eller risikofaktorer for skader. Basert på de antatte virkningsmekanismene kan man som regel også formulere hypoteser om hvilke typer ulykker eller skader et tiltak virker på (og hvilke ulykker eller skader et tiltak ikke har noen virkning på, noe som kan være relevant for valget av kontrollgruppen).

Overflate validitet

Overflate validitet kalles også «face validity» og sier noe om det umiddelbare samsvaret mellom teoretisk og operasjonell definisjon av en variabel. Her vil det være snakk om bruk av muliple mål/multiple metoder overfor samme begrep eller spørre etter andres oppfatning. Dette siste kalles ekspertkonsensus.

Konvergent validitet

Konvergent validitet sier noe om i hvilken grad det er samsvar mellom multiple mål og eller multiple metoder.

Korrelasjonsteknikker er enkle tester for konvergent validitet.

Divergent validitet

Divergent- eller discriminant validitet sier noe om i hvilken grad et begrep skiller seg fra et annet begrep. Det operasjonelle mål for begrep A må kunne skilles fra et operasjonelt mål av begrep B, og sammenblanding må unngås.

For å beregne divergent validitet kan korrelasjonsteknikken benytten, forutsatt at studiet inkluderer flere begreper.

Nomologisk validitet

I hvilken grad prediksjoner fra et teoretisk nettverk som inneholder begrepet kan bekreftes.

Statistisk validitet

Statistisk validitet forteller om vi har et tilstrekkelig statistisk grunnlag for å trekke de konklusjoner vi gjør eller ikke. Eller litt mer presist:

I hvilken grad vi trekker de riktige konklusjonene om kovarians gjennom våre statistiske analyser

Statistisk validitet er graden av tallmessig nøyaktighet, feilfrihet og representa­tivitet i resultatene av en undersøkelse. Et resultat er statistisk valid dersom det ikke skyldes tilfeldige eller systematiske feil i dataene og dersom det er representativt for en kjent populasjon av enheter. Følgende faktorer bidrar til den statistiske validiteten:

Størrelse av undersøkelsen: Jo større utvalget er, desto mindre vil den statistiske usikkerheten i resultatene være. For å kunne vurdere den statistiske usikkerheten i resultatene, må antall utvalgets størrelse være oppgitt. Alternativt kan standardavviket til effektmålet oppgis, eller informasjon som gjør det mulig å beregne standardavviket.

Systematiske målefeil bidrar til systematisk variasjon i resultatene som ikke kan tilskrives fenomenet som undersøkes/studeres. Eksempel på systematisk målefeil er når du prøver å måle årsaken til bilulykker, og baserer studiene på et ulykkes register som har en ufullstendig ulykkes rapportering som gjør at du ikke får et komplett bilde av variablene som skal studeres. Systematiske målefeil kan føre til en systematisk overvurdering (eller undervurdering) av virkningen av en variabel, f.eks et tiltak.

Utvalgsmetode: Ideelt sett bør utvalget i undersøkelsen (studiene) plukkes ut ved bruk av statistisk tilfeldig utvelgelse fra en kjent populasjon. Et tilfeldig utvalg er imidlertid ofte umulig, siden det på forhånd er bestemt hvor tiltak skal settes inn, eller for hvilke enheter relevant informasjon er tilgjengelig.

Statistisk validitet forbedrer først og fremst ved å velge riktig utvalgs- og analysemetode. Den statistisk validiteten kan som regel også økes ved å øke antall observasjoner.

Intern validitet (indre validitet)

Intern validitet, også kalt indre validitet, er holdbarheten av betingelsene for å trekke slutninger om årsakssammenheng mellom en antatt årsaksfaktor og en antatt virkning av denne. Intern validitet har å gjøre med å gjøre med i hvilken grad vi kan si at det eksisterer et kausaliditetsforhold. Dvs. i hvilken grad vi kan konkludere med at en effekt kan tilskrives den årsaken vi tror, eller om det kan være andre utenforliggende faktorer som er like sannsynlig (Selnes -94). Denne formen for validitet er derfor mest sentral ved eksperimentelle studier og kausalanalyser.

Den beste måten å oppnå høy grad av intern validitet er å foreta en pilotundersøkelse som baserer seg på et eksplorerende design. Hvis det foreligger alternative forklaringer gjelder det å redegjøre for disse, og forsøke å minimere disse faktorene eller sannsynliggjøre at disse vil ha liten eller ingen effekt.

Ved vurdering av intern validitet bør følgende utenforliggende forklaringsfaktorer sjekkes:

  • Historie
  • Modning
  • Målerefleks
  • Instrumentvariasjon
  • Statistisk regresjon
  • Utvalgsskjevhet
  • Frafall

Historie

Historie er en hendelse som skjer på det tidspunkt vi gjør våre målinger, men som vi ikke har kontroll over. Kjører f.eks. en konkurrent en stor kampanje samtidig som vi setter i gang vår, vil resultatet fra denne undersøkelsen være representativ i et tidsperspektiv. Kommer det en periode med «regn» og «snøstorm» i juli måned i Oslo, samtidig som man lanserer en nye solkrem, er det ikke sikkert at salgssvikten skyldes dårlig markedsføring e.l. Været er antagelig en bedre forklaring

Modning

Modning innebærer at respondentene forandrer seg mellom to målinger, men av andre grunner enn det vi manipulerer. Har vi f.eks. forandret slagordet og foretatt en «før og etter» måling for å sjekke effekten, er det ikke sikkert at en evt. omsetningsøkning skyldes det nye slagordet. Det kan skyldes bedre distribusjon, resultater fra tidligere gjennomførte tiltak e.l.

Målerefleks

Målerefleks er et problem hvis testen eller målingen i seg selv påvirker respondentene. Folk ønsker som regel å være konsistente. Hvis vi f.eks. måler holdninger på to tidspunkter, vil de fleste forsøke å erindre hva de svarte på den første testen når de svarer på den andre. Slik at det blir mest mulig likt selv om holdningen faktisk er endret. Dette kalles «main testing – effekt» (Fred Selnes – 94). En annen mulighet er at respondenten svarer annerledes eller endrer atferd som en følge av at vedkommende blir spurt eller observert. Dette kalles «reactive testing – effect». Dette er et problem ved panelstudier og ved observasjoner. Det er grunn til å tro at folk blir mer rasjonelle og mindre impulsive når de må rapportere sin atferd, og at de ikke oppfører seg naturlig i alle sammenhenger når de blir observert (Fred Selnes).

Vi kan også risikere at det vi måler påvirker det vi manipulerer. Dette kalles «interactiv testing». Skal du f.eks. delta i en «før og etter» test er det alltid en fare for at du skal bli mer bevisst på det vi prøver å måle slik at vi kan komme til å trekke feil slutning.

Instrumentvariasjon

Instrumentvariasjon betyr at respondentene ikke blir målt på samme måte. En mulighet er at de ulike intervjuene har ulik stil. En annen måte er at en intervjuer endrer stil etter som han eller hun får erfaring. En tredje mulighet er at forandrer måleinstrumentet underveis (F.Selnes).

Statistisk regresjon

Statistisk regresjon er et fenomen som tilsier at ekstreme cases tilnærmer seg gjennomsnittet over tid (F. Selnes – 94).

Utvalgsskjevhet

Utvalgsskjevhet er systematiske skjevheter i utvalget. Enkelte enheter er f.eks. systematisk underrepresentert eller ikke tatt med i utvalget i det hele tatt. Vi kan ha for mange menn e.l.

Ekstern validitet (ytre validitet)

Ekstern validitet, også kalt ytre validitet, angir i hvilken grad vi kan generalisere resultatene til andre populasjoner og andre kontekster enn dem undersøkelsen gjaldt. Gjelder resultatet for andre personer, i andre situasjoner, og/eller på et annet tidspunkt ?

Forskjellen mellom ekstern og intern validitet er meget sentral, idet det er et motsetningsforhold. Ønsker vi å maksimere intern validitet, må vi vanligvis slakke på kravene til ekstern validitet, og omvendt. Det er derfor viktig at man har det klart for seg hva som er viktigst; – intern- eller ekstern validitet.

Ekstern validitet kan best bedømmes ved å sammenlikne resultater av ulike undersøkelser om samme problemstilling. Resultater har høy ekstern validitet dersom de er stabile i tid og rom og på tvers av ulike undersøkelser. Eventuelle forskjeller i resultater mellom undersøkelser bør kunne forklares ut fra kjente egenskaper ved undersøkelsesmetodene og variablene i undersøkelsen. Ekstern validitet kan, i en viss grad, kompensere for en mangel på teoretisk bakgrunn.

Denne artikkelen og resten av artiklene i denne artikkelserien kan lastes ned og leses som en e-bok ved å klikke her !

Klikk her hvis du ikke fant svaret på det du lurte på
Topp20
Siste 20
Nye serier
Du leser nå artikkelserien: Feilkilder

  Gå til neste / forrige artikkel i artikkelserien:  << Feilkilder og usikkerhet ved resultateneReliabilitet >>
    Andre artikler i serien er: 
  • Feilkilder og usikkerhet ved resultatene
  • Validitet
  • Reliabilitet
  • Potensielle feilkilder ved prosessdata (byttemodellen)
  • Potensielle feilkilder ved kvantitative undersøkelser
  • Potensielle feilkilder ved kvalitative undersøkelser/metoder
  • DEL
    Denne artikkelen er skrevet av Kjetil Sander. En entrepenør og forretningsutvikler som har etablert en rekke selskaper de siste 20 årene. Samtidig som har han lang styre- og topp-leder erfaring. Han er utdannet Diplom økonom / markedsfører fra BI/NMH, og jobber til daglig som daglig leder i OnNet. På hobbybasis er han i tillegg ansvarlig redaktør for eStudie.no. Les mer.