Fejlmargen – hvor pålideligt er dit data?

Om værktøjet

Ønsker du at lave en publikumsundersøgelse, så kan det være en god ide at starte med at arbejde med en fejlmargen. Flere faktorer kan påvirke, hvor meget du kan stole på dit data. Ét af de mest brugbare værktøjer for at forstå, hvor pålideligt dit data er, er fejlmargenen. Her forklarer vi, hvad en fejlmargen er, hvorfor den er vigtig, og hvordan du bruger den i dit arbejde med data.  

Dette redskab er til dig, der gerne vil lave din egen publikumsundersøgelse, og som vil tage spadestikket dybere og sikre validiteten af din data. Det er en god idé at være ekstra opmærksom på fejlmargen, hvis man har kørt en mindre undersøgelse med færre besvarelser, da fejlmargen så er større og påvirker validiteten af ens data i højere grad. 

Hvad er en fejlmargen? 

Hver gang du laver en undersøgelse, prøver du at finde ud af noget om en population – en stor gruppe mennesker (fx hele dit publikum). Ofte er der for mange mennesker i en population, til at du kan spørge ind til hvert enestes holdninger. Derfor adspørger du en stikprøve, som er et lille udsnit af den befolkning, du ønsker at undersøge (fx en mindre andel af dit publikum). For at danne en stikprøve, udvælger du en gruppe af mennesker, som ligner populationen så meget som muligt.  

Fejlmargenen er en statistik, der helt overordnet fortæller dig, hvor meget du kan stole på stikprøvens resultater. Du kan forestille dig fejlmargenen som en slags ring af usikkerhed, som ligger omkring et resultat. Den fortæller dig nemlig, i hvilken grad stikprøvens svar er repræsentativt i forhold til populationens svar (fx hvor tæt respondenternes svar er på hele publikummets svar).  

Det er vigtigt at huske, at fejlmargenen går ud fra, at stikprøven ligner populationen.  Lad os sige, at du fx laver en undersøgelse blandt dit publikum, som består af en lige andel af mænd og kvinder fra alle aldersgrupper. Men du adspørger kun 50-årige kvinder i din stikprøve. Det har en konsekvens: Fejlmargenen går ud fra, at stikprøven ligner populationen – derfor fortæller den dig nu, hvor meget stikprøvens holdninger ligner alle 50-årige kvinders holdninger i dit publikum, men ikke hele publikummets holdninger. Derfor skal du helst udvælge sin stikprøve med omhu, så den ligner populationen så meget som muligt. 

Hvordan læses en fejlmargen? 

Fejlmargenen vises som en procentandel, fx 5 %. Det betyder at stikprøvens svar ligger fx +/- 5 % fra populationens svar i de fleste tilfælde.  

Forestil dig, at du laver en stikprøve med 400 respondenter med et simpelt ja-nej-spørgsmål – fx ”Kan du lide vores program? Ja eller nej.” 50 % af respondenterne svarer ja.  

Du kan se i tabellen nedenfor hvad fejlmargenen for en stikprøve af 400 respondenter er for en given svarfordeling. For 400 respondenter, af hvem 50 % har valgt et svar, er fejlmargenen 5 %. Det betyder konkret, at 50 % +/- 5 %, altså at mellem 45 % og 55 % af publikummet, kunne lide programmet.  

Fejlmargenen fortæller dig dermed, hvor meget du kan stole på et resultat. Du skal derfor altid regne med +/- fejlmargenen, når du ser er statistisk resultat i en rapport.  

Er fejlmargenen stabil eller kan den ændre sig? 

Flere ting påvirker, hvor stor din undersøgelses fejlmargen er. Fejlmargenen bliver mindre, jo flere personer du adspørger. Derfor bliver resultater mere præcise med flere besvarelser. Som tommelfingerregel er fejlmargenen højst 5 % ved 400 besvarelser og 3,1 % ved 1.000 besvarelser. 

Hvorfor egentlig ”højst”? Fejlmargenens størrelse afhænger også af, hvor mange respondenter har valgt et svar. Den er størst, når 50 % af respondenterne har valgt et svar. Den er mindre, når flere eller færre end 50 % (fx 80 % eller 10 %) har valgt et svar.  

Tabellen nedenfor viser, hvordan antallet og fordelingen af respondenter for et spørgsmål sammen påvirker fejlmargenen.  

Tabel: Fejlmargen – afhængig af antallet og fordelingen af respondenter 

(Harlow, Bob. (2015). Taking Out the Guesswork. Wallace Studies in Building Art Audiences. S. 92) 

Hvor meget kan jeg stole på selve fejlmargenen? 

Tidligere skrev vi, at ”Fejlmargenen (…) betyder, at stikprøvens svar ligger fx +/- 5 % fra populationens svar i de fleste tilfælde.” Hvad mener vi så med ”i de fleste tilfælde”?  

Hos Applaus udregner vi fejlmargenen pba. et 5 %-signifikansniveau. Det betyder, at hvis vi spurgte hele populationen mange gange i træk, ville vi se, at stikprøvens svar ligger +/- fejlmargen (fx +/- 5 %) fra populationens svar i ca. 95 ud af 100 af tilfælde. Man kan også udregne fejlmargen med andre signifikansniveauer, som har fordele og ulemper. Et 5 %-signifikansniveau, som vi bruger, er standarden for den type undersøgelser, Applaus laver.  

Fejlmargenen kan beregnes på forskellige måder og med forskellige parametre. Hos Applaus bruger vi altid de mere konservative metoder, som betyder, at fejlmargenen kan virke større end med andre metoder, men til gengæld er den pålideligt beregnet. En nem, konservativ måde, hvorpå du selv kan udregne den størst mulige fejlmargen:  

Fejlmargen = 1/(√(antal respondenter for spørgsmålet)).