Information kunne tidligere på ugen rapportere, at Eurobarometer, der står for Europa-Parlamentets opinionsundersøgelser, har metodiske udfordringer i forhold til deres svarprocent.
Konkret viser Informations dækning, at svarprocenterne hos Eurobarometer i 2018 var helt nede på omkring 15 procent i lande som Finland og Tyskland. I Danmark var svarprocenten på omkring 30 procent.
Jeg har i løbet af de seneste par dage talt med flere journalister om disse tal. Grundlæggende er jeg selvfølgelig enig i, at en svarprocent på 85 procent alt andet lige er bedre end en svarprocent på 15 procent, men jeg synes der er vigtige forbehold at tage højde for.
Min primære anke i forhold til debatten omkring svarprocenten er udgangspunktet om at betegne svarprocenten som en særdeles vigtig information, når man skal vurdere repræsentativiteten af en undersøgelse.
Tag eksempelvis dette udsagn fra Informations artikel: “Eksperter, som Information har talt med, vurderer, at svarprocenten bør ligge på 45-50, før undersøgelsen er repræsentativ.”
Dette er en mærkelig tommelfingerregel. Der er ingen garanti for, at en svarprocent på omkring 50 (eller højere) vil gøre en undersøgelse repræsentativ. Det er sågar muligt at en undersøgelse med en svarprocent på 35 kan være mere repræsentativ end en undersøgelse med en svarprocent på 45.
Som det næste er det vigtigt at huske på, at udfordringer med at skabe repræsentative undersøgelser ikke er isoleret til Eurobarometer. Alle analyseinstitutter har udfordringer forbundet med at få repræsentative data, hvorfor der ofte ligger et stort statistisk arbejde og venter, når data er indsamlet. Disse data skal således vægtes, så de tager højde for de skævheder, der er i datasættet (hvis der eksempelvis er flere ældre borgere i undersøgelsen end i befolkningen som helhed, lader man de yngre respondenters svar have relativt større betydning for resultaterne).
En kritik kan være, som det antydes i Informations artikel, at de indsamlede data givet svarprocenterne ikke er repræsentative, hvorfor svarene heller ikke kan blive det. Det er muligt, at Eurobarometer har konkrete problemer, der ikke kan løses med deres nuværende metode, men det er ligeledes vigtigt at holde sig for øje, at forskning har vist, at det er muligt at få repræsentative estimater på baggrund af meget ikke-repræsentative data (se eksempelvis dette studie).
Jeg er derfor ikke fuldkommen enig med de eksperter, der argumenterer for, at man ikke kan bruge Eurobarometers data og på den baggrund konkluderer, at vi ikke aner om bestemte tal fra deres undersøgelse er korrekte eller ej. Igen, højere svarprocenter er bedre, men lad os ikke brænde Eurobarometer på bålet fordi de ikke rammer en bestemt svarprocent. Der er grund til at være kritisk og diskutere implikationerne af svarprocenterne, men Eurobarometers data er ikke ubrugelige.
Som jeg fortalte de journalister, jeg talte med, er det – som med al data – godt at kigge på flere datasæt og se, om tendenser bekræftes på tværs af forskellige datakilder. Derfor anbefalede jeg også, at man ikke resolut affejer Eurobarometer, men forholder sig – som altid – kritisk til metoden og supplerer med data fra andre undersøgelser.
Her er hvad jeg eksempelvis argumenterer for til en journalist fra Kristeligt Dagblad:
Det bedste bud, hvis man rent faktisk vil vide, om EU-opbakningen er glødende eller lunken, er ifølge Erik Gahner Larsen ikke at afvise Eurobarometer helt. I stedet bør den kombineres med andre målinger, både nationale og tværnationale.
Det er vigtigt at vi har adgang til information om metodiske begrænsninger og forbehold, når der indsamles data. Der er ligeledes grund til at forholde sig kritisk til svarprocenterne hos Eurobarometer. Jeg ser dog ingen grund til at anbefale, at man ikke tager deres resultater seriøst eller på anden måde partout advokerer for, at undersøgelser med en højere svarprocent er mere repræsentative.
Afslutningsvis skal jeg for fuld åbenheds skyld deklarere, som jeg også har gjort overfor de journalister, jeg har talt med, at jeg anvender data fra Eurobarometer i min egen forskning (se evt. her og her).