Meningsmålingerne har (igen) fået en masse opmærksomhed i forbindelse med det amerikanske præsidentvalg. Ramte de forkert? Kan vi stole på dem? Hvad kan de egentlig bruges til? I de danske medier er meningsmålingerne ved det amerikanske præsidentvalg blevet diskuteret eksempelvis her og her. Jeg takkede pænt nej til de journalister, der gerne ville have et par kommentarer med på vejen, da jeg ikke har fulgt tilstrækkeligt med i dækningen (modsat de eksperter, der har udtalt sig kvalificeret og nøgternt) – og jeg planlægger at skrive et indlæg om meningsmålingerne og præsidentvalget ved en senere lejlighed, når støvet har lagt sig.
Én ting jeg dog finder relevant at pointere her, er, at der er enormt stor forskel på at foretage meningsmålinger i Danmark og USA. Med andre ord vil jeg argumentere for, at selvom der er mulighed for at drage paralleller mellem udfordringerne forbundet med at foretage og dække meningsmålinger i Danmark og USA, skal vi være påpasselige med ikke at fokusere for meget på det amerikanske præsidentvalg, når vi skal sige noget om, hvad meningsmålingerne kan i en dansk kontekst. Med andre ord savner jeg, at når de danske medier diskuterer meningsmålingerne i USA, at man fremhæver, at det er begrænset, hvad man kan bruge disse diskussioner til i en dansk kontekst.
Det er nemt at se store forskelle på tværs af Danmark og USA, der kan have implikationer for, hvor nemt (eller svært) det er at foretage meningsmålinger. Eksempelvis er valgsystemerne fundamentalt forskellige (hvilket gør det nemmere at foretage meningsmålinger i Danmark) og valgdeltagelsen er stabil på tværs af sociodemografiske grupper og generelt højere i Danmark (hvilket også gør det nemmere at foretage meningsmålinger i Danmark). Du kan ikke foretage én meningsmåling i USA, der vil give et bud på, hvem der bliver den næste præsident. En meningsmåling kan med andre ord ikke sige at sandsynligheden for at kandidat X bliver præsident er Y%. Når vi alligevel hører disse udsagn er det på baggrund af statistiske modeller, der estimerer hvilken kandidat der står til at vinde forskellige delstater (og de dertilhørende valgmænd).
Meningsmålinger foretages i USA derfor ikke kun nationalt men også på delstatsniveau, hvor kvaliteten mildest sagt er meget svingende (især i de stater, hvor incitamentet til at lave mange meningsmålinger, eksempelvis fordi udfaldet er sikkert, er begrænset). Det er en kæmpe fordel i en dansk sammenhæng at analyseinstitutterne kan foretage en national meningsmåling, der vil afspejle valgresultatet godt, og er fri for at skulle lave meningsmålinger, der er repræsentative for eksempelvis lige præcis Nordjylland og Bornholm.
Det er som sagt derfor begrænset, hvor meget vi kan bruge de amerikanske diskussioner til at sige noget om meningsmålingernes kvalitet i Danmark. Og jeg vil pointere, at meningsmålingerne er ret præcise i Danmark. Men hvor præcise er de?
I et arbejdspapir, der bærer titlen “Public Election Polls are 95% Confident but only 60% Accurate“, viser et par amerikanske forskere, at selvom den statistiske sandsylighed i meningsmålingerne i USA er 95%, rammer de kun rigtigt 60% af gangene. Det vil sige, at kun 60% af gangene er estimatet inden for de 95% af den statistiske sandsynlighed. Har du en interesse i meningsmålingsfejl i forbindelse med amerikanske præsidentvalg, kan jeg varmt anbefale den nye bog Lost in a Gallup: Polling Failure in U.S. Presidential Elections, der giver en detaljeret gennemgang af fejl i meningsmålingerne fra 1936 til 2016.
Til at belyse hvor præcise meningsmålingerne er i en dansk sammenhæng, kigger jeg på meningsmålingerne fra den sidste uge op til de tre seneste folketingsvalg (2011, 2015 og 2019). Det giver sammenlagt 811 estimater. Jeg finder det unfair for meningsmålingerne at forvente, at de skal være præcise, når vi går længere væk fra valget, da meningsmålingerne ganske enkelt ikke forsøger at forudsige hvem der vinder valget – men hvem der ville vinde, hvis der var valg den dag, meningsmålingen er foretaget. (Jeg bryder mig af samme grund ikke om den formulering, der lyder, at meningsmålingerne bliver mere præcise, jo tættere vi kommer på valgdagen.)
I 88% af tilfældene ramte meningsmålingerne ved de tre seneste folketingsvalg partierne korrekt. Det er mindre end 95% af gangene, men ikke desto mindre tyder det på, at meningsmålingerne rammer rigtigt 9 ud af 10 gange. Det må siges at være meget godt. Dette kan føre til en diskussion om, hvorvidt man skulle bruge 90% konfidensintervaller i stedet for 95% konfidensintervaller, hvilket dog blot ville føre til, at man tager fejl endnu oftere. Nedenstående figur viser hvor præcise de forskellige analyseinstittutter var ved de tre folketingsvalg.
Det mest præcise analyseinstitut, når man kigger på hvor mange partier de ramte rigtigt, var Greens i 2015 (94%). Det mindst præcise analyseinstitut var også Greens – i 2019 (70%). Kun YouGov i 2011 og Greens i 2019 er under 80%, hvilket tyder på at de fleste analyseintitutter som minimum rammer fire ud af fem partier rigtigt, når den statistiske usikkerhed er 95%.
Ovenstående figur skjuler dog det faktum, at analyseinstitutterne rammer de fleste partier meget præcist i de fleste tilfælde, men har problemer med enkelte partier ved enkelte valg, som eksempelvis Dansk Folkeparti i 2015 og Venstre i 2019, hvor under 25% af meningsmålingerne havde partiernes endelige valgresultat inden for den statistiske usikkerhed på 95% i løbet af valgkampens sidste uge.
I 15 ud af 27 tilfælde – når vi kigger på partiene (vist i ovenstående figur) – ramte alle meningsmålinger korrekt (altså 100%). 21 ud af 27 partier blev ramt rigtigt i omkring eller mere end 95% af gangene.
Hvad vi kan se er, at meningsmålingerne ikke rammer rigtigt i 95% af tilfældende, og når de ikke gør, har meningsmålingerne det med kollektivt at tage fejl. Dette så vi især i 2015, hvor der var talrige diskussioner om, hvorvidt vi overhovedet skulle og kunne stole på meningsmålingerne. Faktum er dog at meningsmålingerne i Danmark generelt rammer præcist, men at dette ikke er det samme som, at der ikke kan være udfordringer i forhold til at ramme alle partier præcist.
Meningsmålingerne er mere præcise i Danmark end i USA, og det er det vigtigt at huske på – især når diskussionen omkring meningsmålingernes anvendelighed i disse uger primært sker i forlængelse af og forbindelse med det amerikanske præsidentvalg.