Giver lotterier tvivlsomme meningsmålinger? #2

I forbindelse med YouGovs seneste meningsmåling, som jeg skrev om for en uge siden, skrev jurist og radiovært, Nima Zamani, en kommentar i Ekstra Bladet, hvori han kritiserer YouGovs meningsmålinger. Der er flere kritikpunkter, men en af de primære kritikpunkter går på, at YouGovs meningsmålinger anvender muligheden for at ‘vinde gratis præmier’.

Konkret formuleres kritikken som følger: “Hos YouGov er det et mere særligt og snævert udvalgt segment af borgere, der udgør resultatet af meningsmålingen, der altså helt ekseptionelt giver Nye Borgerlige 6-7 flere mandater end alle de andre matematisk redelige målinger. Det er borgere, der blandt andet bruger internettet til at vinde gratis præmier. Man deltager nemlig – og hold nu helt fast – i lodtrækningen om luksusgavekort til internetshopping, når man tilmelder sig hos YouGov. […] Og uden at skulle lyde elitær er det altså oftest de mindre velhavende, der er interesserede i luksusgavekort og gratis sager på nettet. Knap halvdelen er Nye Borgerliges vælgere er arbejdsløse eller står udenfor arbejdsmarkedet.”

Med andre ord kritiseres YouGov for at anvende en bestemt metode, der giver skæve svar. Man kan med rette diskutere og kritisere YouGovs meningsmålinger, men jeg finder ikke den konkrete kritik overbevisende.

Jeg finder ikke kritikken overbevisende, da ingen metode er perfekt. Der er intet der taler for, at noget analyseinstitut kan foretage “matematisk redelige målinger”. Analyseinstitutterne har ikke mulighed for at foretage en tilfældig udvælgelse af stemmeberettigede og spørge om, hvilket parti, de ville stemme på, hvis der var valg i morgen. Det er derfor nemt blot at henvise til nogle specifikke begrænsninger ved ét bestemt analyseinstitut og antage, at andre analyseinstitutter ikke har specifikke begrænsninger og udfordringer.

Det er ikke første gang meningsmålinger kritiseres for at anvende lotterier til at tiltrække respondenter, og jeg skrev et indlæg om dette tilbage i 2015. Spørgsmålet om hvorvidt en meningsmåling anvender et lotteri eller ej er dog ingenlunde det eneste relevante aspekt at kigge på, når man skal forstå rekrutteringen af respondenter til en meningsmåling. Ligeledes er det på ingen måde det eneste aspekt, der er relevant for at forstå, om en meningsmåling kun siger noget om et “særligt og snævert udvalgt segment”.

Mange forestiller sig meningsmålinger som noget der primært består af telefoninterviews, men dette er efterhånden undtagelsen mere end reglen. Mig bekendt anvender alle analyseinstitutter – med undtagelse af Voxmeter – en kombination af telefoninterviews og webpaneldeltagelse. De fleste analyseinstitutter anvender dog ikke egentilmelding, hvor man hos YouGov selv kan tilmelde sig panelet, når man har interesse heri. Dette har dog ikke nødvendigvis noget at gøre med præmier, man kan vinde i et lotteri.

Min pointe er, at YouGov afviger fra de andre analyseinstitutter på nogle parametre, men ikke nødvendigvis i så drastisk et omfang, som man tror. Alle analyseinstitutter ville ønske, at det var nemmere at få fat i et repræsentativt snit af danskerne, at der ville være en højere svarprocent osv., men det er og bliver ikke den virkelighed, vi lever i.

Pointen om at lotterier giver tvivlsomme meningsmålinger er i min optik ikke en tilstrækkelig kritik for at kunne diskvalificere eller diskreditere en meningsmåling. Det er langt mere relevant at se på summen af de metodiske valg, der er aktuelle i forhold til, hvordan et analyseinstitut kommer frem til et bestemt estimat for et parti, herunder hvilke variable der vægtes på, om der anvendes tematiske spørgsmål og andre potentielt vigtige karakteristika.

Giver lotterier tvivlsomme meningsmålinger?

På Berlingske kan man læse en artikel med titlen “Advarsel! Lotterier giver tvivlsomme meningsmålinger“, der indledes med følgende: “Vind store lotterigevinster, en iPad eller optjen point til at købe en pizzaskærer med varmefast håndtag. Kampen om at få danskerne til at deltage i meningsmålinger får institutterne til at tage flere værktøjer i brug for at lokke holdningerne ud af de danske vælgere. På tærsklen til et nyt folketingsvalg, hvor vælgerne kan se frem til at blive bombarderet med daglige meningsmålinger, advarer flere forskere dog nu mod, at flere af de dagsordenssættende målinger risikerer at tegne et skævt billede af virkeligheden.”

Der er altid grund til at være skeptisk, når det handler om meningsmålinger og hvordan de gennemføres. Det britiske parlamentsvalg er den seneste reminder herom. Når dette er sagt vil jeg anfægte den påstand, at lotterier som rekrutteringsredskab til meningsmålingerne er noget, der giver tvivlsomme og skæve meningsmålinger.

Først er det selvfølgelig vigtigt at få på plads, at der ikke er én bestemt type af lotteri, som alle analyseinstitutterne anvender. Dette er vigtigt af tre grunde. For det første anvendes der også andre redskaber end lotterier til at tiltrække respondenter. Gallup, Epinion og Greens bruger lodtrækninger, hvor man kan vinde gavekort, men Norstat og Wilke har et pointsystem, hvor man kan bruge optjente point på at købe produkter (YouGov har både pointsystem og lotterier). Pointsystemer er kvalitativt forskellige fra lotterier. For det andet er det ikke alle institutter, der bruger den slags incitamenter til at rekruttere respondenter til deres politiske meningsmålinger. Megafon og Voxmeter er eksempler herpå. For tredje, og i forlængelse af de to foregående pointer, har vi dermed variation på tværs af institutter i forhold til, om de anvender lotterier, hvorfor man også kan se nærmere på, om dét aspekt medfører systematiske skævheder.

Giver disse lotterier og pointsystemer så tvivlsomme meningsmålinger, der tegner et skævt billede af virkeligheden? Det har jeg svært ved at forestille mig. Vi ved, som det også forklares i artiklen, at incitamenter tiltrækker en særlig gruppe mennesker. Det er dog ikke det samme som, at vi får et mere skævt billede af virkeligheden. Tværtimod. En af grundene til at man netop bruger penge på at rekruttere folk, er, at alternativet er målinger, der er endnu mere skæve. I den bedste af alle verdener havde alle stemmeberettigede borgere samme sandsynlighed for ikke alene at blive ringet op af et analyseinstitut, men også at deltage i en meningsmåling. Det er bare ikke den virkelighed, vi lever i, og tværtimod en virkelighed vi bevæger os endnu længere væk fra.

Der er dermed ingen grund til at frygte eller advare mod bestemte rekrutteringsredskaber til at få folk til at deltage i meningsmålinger (hvad enten de bygger på sociale normer eller økonomiske incitamenter). Man skal stadig være yderst kritisk i forhold til den måde hvorpå meningsmålinger gennemføres (og formidles!), men der er ingen grund til at forvente, at lotterier systematisk bidrager til, at meningsmålingerne bliver tvivlsomme. Jeg har med andre ord lige så stor tiltro til Gallups meningsmålinger som til Megafons, også selvom førstnævnte adskiller sig ved at anvende lotterier.