Er svarprocenten hos Eurobarometer et problem?

Information kunne tidligere på ugen rapportere, at Eurobarometer, der står for Europa-Parlamentets opinionsundersøgelser, har metodiske udfordringer i forhold til deres svarprocent.

Konkret viser Informations dækning, at svarprocenterne hos Eurobarometer i 2018 var helt nede på omkring 15 procent i lande som Finland og Tyskland. I Danmark var svarprocenten på omkring 30 procent.

Jeg har i løbet af de seneste par dage talt med flere journalister om disse tal. Grundlæggende er jeg selvfølgelig enig i, at en svarprocent på 85 procent alt andet lige er bedre end en svarprocent på 15 procent, men jeg synes der er vigtige forbehold at tage højde for.

Min primære anke i forhold til debatten omkring svarprocenten er udgangspunktet om at betegne svarprocenten som en særdeles vigtig information, når man skal vurdere repræsentativiteten af en undersøgelse.

Tag eksempelvis dette udsagn fra Informations artikel: “Eksperter, som Information har talt med, vurderer, at svarprocenten bør ligge på 45-50, før undersøgelsen er repræsentativ.”

Dette er en mærkelig tommelfingerregel. Der er ingen garanti for, at en svarprocent på omkring 50 (eller højere) vil gøre en undersøgelse repræsentativ. Det er sågar muligt at en undersøgelse med en svarprocent på 35 kan være mere repræsentativ end en undersøgelse med en svarprocent på 45.

Som det næste er det vigtigt at huske på, at udfordringer med at skabe repræsentative undersøgelser ikke er isoleret til Eurobarometer. Alle analyseinstitutter har udfordringer forbundet med at få repræsentative data, hvorfor der ofte ligger et stort statistisk arbejde og venter, når data er indsamlet. Disse data skal således vægtes, så de tager højde for de skævheder, der er i datasættet (hvis der eksempelvis er flere ældre borgere i undersøgelsen end i befolkningen som helhed, lader man de yngre respondenters svar have relativt større betydning for resultaterne).

En kritik kan være, som det antydes i Informations artikel, at de indsamlede data givet svarprocenterne ikke er repræsentative, hvorfor svarene heller ikke kan blive det. Det er muligt, at Eurobarometer har konkrete problemer, der ikke kan løses med deres nuværende metode, men det er ligeledes vigtigt at holde sig for øje, at forskning har vist, at det er muligt at få repræsentative estimater på baggrund af meget ikke-repræsentative data (se eksempelvis dette studie).

Jeg er derfor ikke fuldkommen enig med de eksperter, der argumenterer for, at man ikke kan bruge Eurobarometers data og på den baggrund konkluderer, at vi ikke aner om bestemte tal fra deres undersøgelse er korrekte eller ej. Igen, højere svarprocenter er bedre, men lad os ikke brænde Eurobarometer på bålet fordi de ikke rammer en bestemt svarprocent. Der er grund til at være kritisk og diskutere implikationerne af svarprocenterne, men Eurobarometers data er ikke ubrugelige.

Som jeg fortalte de journalister, jeg talte med, er det – som med al data – godt at kigge på flere datasæt og se, om tendenser bekræftes på tværs af forskellige datakilder. Derfor anbefalede jeg også, at man ikke resolut affejer Eurobarometer, men forholder sig – som altid – kritisk til metoden og supplerer med data fra andre undersøgelser.

Her er hvad jeg eksempelvis argumenterer for til en journalist fra Kristeligt Dagblad:

Det bedste bud, hvis man rent faktisk vil vide, om EU-opbakningen er glødende eller lunken, er ifølge Erik Gahner Larsen ikke at afvise Eurobarometer helt. I stedet bør den kombineres med andre målinger, både nationale og tværnationale.

Det er vigtigt at vi har adgang til information om metodiske begrænsninger og forbehold, når der indsamles data. Der er ligeledes grund til at forholde sig kritisk til svarprocenterne hos Eurobarometer. Jeg ser dog ingen grund til at anbefale, at man ikke tager deres resultater seriøst eller på anden måde partout advokerer for, at undersøgelser med en højere svarprocent er mere repræsentative.

Afslutningsvis skal jeg for fuld åbenheds skyld deklarere, som jeg også har gjort overfor de journalister, jeg har talt med, at jeg anvender data fra Eurobarometer i min egen forskning (se evt. her og her).

Har hver femte elev i hotel- og restaurationsbranchen oplevet sexchikane?

Dette spørgsmål stiller faktatjekmediet TjekDet i denne artikel, hvor jeg giver et par ord med på vejen. Artiklen tager udgangspunkt i en rapport fra Institut for Menneskerettigheder, der hæver, at hver femte elev, der uddanner sig til kok, tjener eller receptionist, har været udsat for sexchikane på lærepladsen.

Rapporten er blandt andet blevet dækket i Politiken. Der er tale om endnu et eksempel, hvor en undersøgelse ikke nødvendigvis er repræsentativ. Som jeg udtaler: “Undersøgelsen er ikke repræsentativ og kan derfor ikke bruges til at konkludere noget generelt”.

Institut for Menneskerettigheder har på baggrund af TjekDets arbejde opdateret deres pressemeddelelse. Dette er fortrinligt og noget man kunne ønske blev gjort oftere, når metodiske forbehold og begrænsninger går tabt i formidlingen.

Når der går kage i repræsentativiteten

Ser 41 pct. af danskerne gerne, at der var mindre kage på jobbet? Det er hvad denne artikel hos BT påstår. TjekDet har taget et nærmere kig på den pågældende undersøgelse, der ligger til grund for påstanden. Jeg har i den forbindelse også givet et par kritiske kommentarer med på vejen.

Undersøgelsen bygger på respondenter fra det “danske vægttabsregister”, som partner i Fitness Institute, Henrik Duer, står bag. Det lyder metodisk fint, men det er intet andet end tomme kalorier. Konkret er der tale om, at Henrik Duer har delt et link til en spørgeskemaundersøgelse på Facebook, og bedt folk om at deltage med deres holdning til sundhed og kage på jobbet.

Det er der kommet 6.020 svar ud af, hvilket ingenlunde er et tegn på, at der er tale om en god undersøgelse. Blot fordi du tilføjer flere ingredienser til din kage, gør det ikke, at du per automatik har en bedre kage. Jeg har gentaget denne pointe flere gange (se eksempelvis her for et otte år gammelt indlæg).

I den konkrete undersøgelse er der selvfølgelig flere respondenter, der går op i at tabe sig, end vi finder i befolkningen. Der er derfor naturligvis en overvægt af overvægtige. Undersøgelsen er med andre ord ikke repræsentativ.

Vi kan derfor ikke sige noget om, på baggrund af den pågældende undersøgelse, hvor stort et problem kage på jobbet er for danskerne på arbejdsmarkedet.

Hvad vi ser her er et klassisk eksempel på, hvordan journalister hopper i med begge ben, blot fordi der er et par tal, de ukritisk kan videreformidle. Og når den slags hænder, sker det, at der går kage i repræsentativiteten.

Hvorfor er flere respondenter ikke nødvendigvis bedre?

Under valgkampen i 2007 lavede Ekstra Bladet et prøvevalg på deres hjemmeside, hvor læserne blev spurgt om, hvem de ville stemme på. Da daværende oppositionsleder Helle Thorning-Schmidt blev bedt om at kommentere hendes partis ringe opbakning i det pågældende prøvevalg, var hendes upåklagelige kommentar: »Det lyder ikke som nogen seriøs meningsmåling. Den har jeg ingen kommentarer til«.

Under valgkampen i september i år, lagde en bekendt statskundskabsstuderende et billede op på facebook af en afstemning på bt.dk, omhandlende læsernes holdning til Helle Thorning-Schmidts evne til at danne et stærkt ministerhold, hvortil vedkommende skrev: »Nu med 7800 stemmer :) Repræsentativt!«.

På selve valgdagen i valgkampen i år kunne man læse en tåkrummende artikel på Ekstra Bladets hjemmeside med overskriften ’Måling med 72.886 danskere: Løkke vinder’. Artiklen er ligegyldig og sælger sig selv med indledningen: »Analyseinstituterne [sic] laver meningsmålinger med mellem 1000 og 2000 personer – her kan du se målingen med 72.886 svar«.

Jeg skal fatte min simple pointe i korthed, der bunder i ren og skær frustration: Fordi der er mange respondenter i en meningsmåling, er den ikke nødvendigvis repræsentativ. Sidstnævnte er et perfekt eksempel. Løkke vandt som bekendt ikke.

Hvorfor fører mange respondenter så ikke automatisk til repræsentativitet? Svaret er logisk og ligetil: Fordi respondenter ofte ikke er tilfældigt valgt fra populationen. I tilfældet med simple netafstemninger er vi endda langt fra noget der giver et udgangspunkt, hvor man kan sige noget fornuftigt om, hvordan danskerne vil stemme.

En meningsmåling med små 1.000 respondenter kan derfor være betydeligt mere repræsentativ end en med 72.886 respondenter – afhængigt af hvordan respondenterne er udvalgt. Det er så elementært at det ikke burde være nødvendigt at skrive et blogindlæg, for at få den pointe ud – men nu er det gjort. Det var så lidt.