Erik Gahner Larsen

Er meningsmålingerne i Danmark præcise?

Meningsmålingerne har (igen) fået en masse opmærksomhed i forbindelse med det amerikanske præsidentvalg. Ramte de forkert? Kan vi stole på dem? Hvad kan de egentlig bruges til? I de danske medier er meningsmålingerne ved det amerikanske præsidentvalg blevet diskuteret eksempelvis her og her. Jeg takkede pænt nej til de journalister, der gerne ville have et par kommentarer med på vejen, da jeg ikke har fulgt tilstrækkeligt med i dækningen (modsat de eksperter, der har udtalt sig kvalificeret og nøgternt) – og jeg planlægger at skrive et indlæg om meningsmålingerne og præsidentvalget ved en senere lejlighed, når støvet har lagt sig.

Én ting jeg dog finder relevant at pointere her, er, at der er enormt stor forskel på at foretage meningsmålinger i Danmark og USA. Med andre ord vil jeg argumentere for, at selvom der er mulighed for at drage paralleller mellem udfordringerne forbundet med at foretage og dække meningsmålinger i Danmark og USA, skal vi være påpasselige med ikke at fokusere for meget på det amerikanske præsidentvalg, når vi skal sige noget om, hvad meningsmålingerne kan i en dansk kontekst. Med andre ord savner jeg, at når de danske medier diskuterer meningsmålingerne i USA, at man fremhæver, at det er begrænset, hvad man kan bruge disse diskussioner til i en dansk kontekst.

Det er nemt at se store forskelle på tværs af Danmark og USA, der kan have implikationer for, hvor nemt (eller svært) det er at foretage meningsmålinger. Eksempelvis er valgsystemerne fundamentalt forskellige (hvilket gør det nemmere at foretage meningsmålinger i Danmark) og valgdeltagelsen er stabil på tværs af sociodemografiske grupper og generelt højere i Danmark (hvilket også gør det nemmere at foretage meningsmålinger i Danmark). Du kan ikke foretage én meningsmåling i USA, der vil give et bud på, hvem der bliver den næste præsident. En meningsmåling kan med andre ord ikke sige at sandsynligheden for at kandidat X bliver præsident er Y%. Når vi alligevel hører disse udsagn er det på baggrund af statistiske modeller, der estimerer hvilken kandidat der står til at vinde forskellige delstater (og de dertilhørende valgmænd).

Meningsmålinger foretages i USA derfor ikke kun nationalt men også på delstatsniveau, hvor kvaliteten mildest sagt er meget svingende (især i de stater, hvor incitamentet til at lave mange meningsmålinger, eksempelvis fordi udfaldet er sikkert, er begrænset). Det er en kæmpe fordel i en dansk sammenhæng at analyseinstitutterne kan foretage en national meningsmåling, der vil afspejle valgresultatet godt, og er fri for at skulle lave meningsmålinger, der er repræsentative for eksempelvis lige præcis Nordjylland og Bornholm.

Det er som sagt derfor begrænset, hvor meget vi kan bruge de amerikanske diskussioner til at sige noget om meningsmålingernes kvalitet i Danmark. Og jeg vil pointere, at meningsmålingerne er ret præcise i Danmark. Men hvor præcise er de?

I et arbejdspapir, der bærer titlen “Public Election Polls are 95% Confident but only 60% Accurate“, viser et par amerikanske forskere, at selvom den statistiske sandsylighed i meningsmålingerne i USA er 95%, rammer de kun rigtigt 60% af gangene. Det vil sige, at kun 60% af gangene er estimatet inden for de 95% af den statistiske sandsynlighed. Har du en interesse i meningsmålingsfejl i forbindelse med amerikanske præsidentvalg, kan jeg varmt anbefale den nye bog Lost in a Gallup: Polling Failure in U.S. Presidential Elections, der giver en detaljeret gennemgang af fejl i meningsmålingerne fra 1936 til 2016.

Til at belyse hvor præcise meningsmålingerne er i en dansk sammenhæng, kigger jeg på meningsmålingerne fra den sidste uge op til de tre seneste folketingsvalg (2011, 2015 og 2019). Det giver sammenlagt 811 estimater. Jeg finder det unfair for meningsmålingerne at forvente, at de skal være præcise, når vi går længere væk fra valget, da meningsmålingerne ganske enkelt ikke forsøger at forudsige hvem der vinder valget – men hvem der ville vinde, hvis der var valg den dag, meningsmålingen er foretaget. (Jeg bryder mig af samme grund ikke om den formulering, der lyder, at meningsmålingerne bliver mere præcise, jo tættere vi kommer på valgdagen.)

I 88% af tilfældene ramte meningsmålingerne ved de tre seneste folketingsvalg partierne korrekt. Det er mindre end 95% af gangene, men ikke desto mindre tyder det på, at meningsmålingerne rammer rigtigt 9 ud af 10 gange. Det må siges at være meget godt. Dette kan føre til en diskussion om, hvorvidt man skulle bruge 90% konfidensintervaller i stedet for 95% konfidensintervaller, hvilket dog blot ville føre til, at man tager fejl endnu oftere. Nedenstående figur viser hvor præcise de forskellige analyseinstittutter var ved de tre folketingsvalg.

Det mest præcise analyseinstitut, når man kigger på hvor mange partier de ramte rigtigt, var Greens i 2015 (94%). Det mindst præcise analyseinstitut var også Greens – i 2019 (70%). Kun YouGov i 2011 og Greens i 2019 er under 80%, hvilket tyder på at de fleste analyseintitutter som minimum rammer fire ud af fem partier rigtigt, når den statistiske usikkerhed er 95%.

Ovenstående figur skjuler dog det faktum, at analyseinstitutterne rammer de fleste partier meget præcist i de fleste tilfælde, men har problemer med enkelte partier ved enkelte valg, som eksempelvis Dansk Folkeparti i 2015 og Venstre i 2019, hvor under 25% af meningsmålingerne havde partiernes endelige valgresultat inden for den statistiske usikkerhed på 95% i løbet af valgkampens sidste uge.

I 15 ud af 27 tilfælde – når vi kigger på partiene (vist i ovenstående figur) – ramte alle meningsmålinger korrekt (altså 100%). 21 ud af 27 partier blev ramt rigtigt i omkring eller mere end 95% af gangene.

Hvad vi kan se er, at meningsmålingerne ikke rammer rigtigt i 95% af tilfældende, og når de ikke gør, har meningsmålingerne det med kollektivt at tage fejl. Dette så vi især i 2015, hvor der var talrige diskussioner om, hvorvidt vi overhovedet skulle og kunne stole på meningsmålingerne. Faktum er dog at meningsmålingerne i Danmark generelt rammer præcist, men at dette ikke er det samme som, at der ikke kan være udfordringer i forhold til at ramme alle partier præcist.

Meningsmålingerne er mere præcise i Danmark end i USA, og det er det vigtigt at huske på – især når diskussionen omkring meningsmålingernes anvendelighed i disse uger primært sker i forlængelse af og forbindelse med det amerikanske præsidentvalg.

Jeg faldt i søvn i én virkelighed, og vågnede i en anden

Det amerikanske præsidentvalg 2016 er overstået. Donald Trump vandt. Mod alle odds. De forskellige prognoser fortalte os, at sandsynligheden for, at Hillary Clinton ville blive USAs næste præsident, var i omegnen af 99%, 98,6%, 98%, 92%, 85%, 81,9% og 71,8%. Nu er den som bekendt 0%.

Som procenttallene indikerer, var modellerne ikke af den samme overbevisning i forhold til, hvor stor sandsynligheden var for en sejr til Hillary Clinton. De kom dog alle frem til, at Hillary Clinton ville vinde, og det står derfor klart, at de alle ramte forkert, hvorfor det ikke giver mening at tale om en vinder – men om hvem der tabte mindst.

Nate Silvers model fra FiveThirtyEight har været en af de mere konservative, der har givet Hillary Clinton den laveste sandsynlighed for at vinde. Denne model har mødt en del kritik op til selve afgørelsen (se eksempelvis her og her), og Nate Silver har været ude og forklare de valg, der i overvejende grad har ført til mere konservative bud.

Der er kun én måde at forstå modellernes fiasko på: meningsmålingerne i nogle stater. Som det blev beskrevet andetsteds: “if the polls go down, our model is going down with them“. Sam Wang, der kom frem til de 99 procents sandsynlighed for en Clinton-sejr, beskrev sin models fejl med ordene: “Polls failed, and I amplified that failure.”

Det nemmeste at gøre i disse situationer er at spille bagklog og give udtryk for, at man vidste, hvordan det kunne være undgået. Sandheden er nok desværre den, at alle de mennesker, for hvem meningsmålingernes fejl er åbenlyse, ikke havde samme skepsis og kritiske tilgang for et par dage siden, og ej heller kan pointere, hvor det med sikkerhed er gået galt (og hvad der kan løse det).

Det sjoveste eksempel er Asger H. Nielsen fra Megafon, der til Information udtaler: “Hvis de amerikanske institutter havde været på studietur her i Danmark og havde talt med os, så var det måske ikke gået helt så galt. Vi begik jo samme fejl med DF-stemmerne i særligt Sønderjylland”. Denne sammenligning giver ingen mening, hvorfor det ville være rart, hvis det kunne blive forklaret, hvad der helt præcist menes. Ligeledes er udfordringen selvfølgelig den, at Megafon konsekvent og ofte rammer så forkert, at de nok ville få mere ud af en studietur til USA, end amerikanske analyseinstitutter ville få ud af at besøge Danmark.

Det relevante er ikke kun meningsmålingerne i forhold til præsidentvalget, men flere lignende begivenheder, hvor vores forventninger til et udfald ikke matcher det faktiske udfald. Vi taler her om folketingsvalget 2015, Brexit, fredsaftalen i Columbia m.v. Det amerikanske præsidentvalg minder mig på mange måder om Brexit, hvor jeg mentalt – sammen med målingerne og markedet – havde forberedt mig på ét udfald, og ud af det blå er realiteten en anden.

Jeg talte med en journalist fra Zetland på selve valgdagen (altså i forgårs), hvor journalisten spurgte om det netop ikke kunne være endnu en Brexit, vi potentielt set kunne se frem til at opleve. Jeg udelukkede ikke den mulighed, men sagde også, at det – som alt så ud nu – pegede på en klar sejr til Hillary Clinton. Da jeg talte med journalisten kort tid efter jeg vågnede dagen derpå (altså i går), gav jeg således også udtryk for, at jeg var meget overrasket:

Hvis Erik Gahner Larsen, valgforsker ved Syddansk Universitet, havde holdt sig vågen bare et par minutter længere natten til onsdag, havde han set det vende.

Indtil klokken 2 eller 3 pegede alle meningsmålinger, der havde nogen form for troværdighed, på en Clinton-sejr. Nogle mente, den ville blive snæver, et flertal mente, den var hjemme med helt op til 99 procents sikkerhed. Da Gahner Larsen vågnede først på morgenen, var det til sit fags totale fiasko.

“Jeg faldt i søvn i én virkelighed,” siger han, “og vågnede i en anden.”

Sådan er det. Meningsmålingerne tog fejl i nogle stater, og dette på en sådan måde, at det havde væsentlige implikationer for valgets udfald. Som Nate Silver skriver i et indlæg, skulle der blot små forandringer til, før valget ville have set betydeligt anderledes ud. Dette ændrer selvfølgelig ikke på, at prognoserne var alt for optimistiske ift. en sejr til Clinton, men den logiske følgeslutning er ingenlunde, at meningsmålinger er valgdækningens svar på ukrudt.

Susanne Sayers har hos Journalisten reflekteret over meningsmålingernes betydning i relation til det amerikanske præsidentvalg: “Vi stolede i medierne på meningsmålingerne. Vi fortolkede, analyserede, debatterede i ét væk på baggrund af undersøgelser, som viste sig at give en misvisende konklusion.” Det er korrekt, men jeg er ikke enig i begge af de konklusioner, Susanne Sayers drager herpå, nemlig at der er brug for 1) færre meningsmålinger og 2) større ydmyghed. Førstnævnte køber jeg således ikke. Færre meningsmålinger er ikke i sig selv løsningen på noget som helst. Det handler ikke om at have færre målinger, men bedre målinger. Sidstnævnte er jeg desuden helt enig i. Der er brug for ydmyghed og et kritisk forhold til meningsmålingerne. Det har jeg stået på mål for i en del år efterhånden – og det vil ikke ændre sig.

Da en journalist fra MediaWatch kontaktede mig i går med spørgsmål om meningsmålingernes fiasko, var det derfor også vigtigt at fremhæve den pointe, at meningsmålingerne selvfølgelig ikke er perfekte, men heller ikke elendige. Én pointe bliver dog nemt til fem, hvilket kommer til udtryk i artiklen, der blev skrevet. Jeg vil kort uddybe de fem pointer her.

For det første er det amerikanske præsidentvalg først lige overstået. Røgen har ikke lagt sig endnu, og det er svært at sige, hvad der helt præcist er sket. Det tyder ikke på, at nogle af de forklaringer, vi intuitivt finder afgørende (eksempelvis indkomstforskelle), har været så betydningsfulde. Med andre ord starter evalueringen af meningsmålingerne og prognoserne først nu. Som de skriver hos Huffington Post:

It’s too early to know what happened. The exit polls will shed some light on it as we move forward, but we don’t have final exit polls yet. Claims that there was a “silent majority” or “shy Trump” voters can’t be ignored. If those are indeed where the polls missed, it’s time to take a good, hard look at surveys’ extremely low response rates, as well as how we locate voters. And we’ll want to look at the effects of voter identification laws and voter registrations being purged as well.

For det andet er der intet der tyder på en smoking gun. Det mest sandsynlige er, at vi har at gøre med et utal af metodiske udfordringer. Andrew Gelman peger således på flere forskellige potentielle forklaringer. Forvent derfor ikke, at nogen om en uge kommer ud og siger, at det hele kan forklares ud fra én fejlkilde. Virkeligheden er som regel kompliceret, og intet tyder på, at den har været mindre kompliceret ved dette valg.

For det tredje har vi at gøre med metodiske udfordringer, der skal tages mere seriøst, end tilfældet er nu. Som beskrevet: udfordringen er ikke antallet af meningsmålinger, men kvaliteten af dem. Jo bedre målinger vi får, desto bedre prognoser vil vi også få.

For det fjerde er der ingen garanti for, at det bliver bedre i fremtiden. Der er masser af valg, hvor meningsmålingerne rammer noget nær perfekt, og det kan sågar diskuteres, hvor meget ved siden af, målingerne har været ved nogle af ovenstående eksempler. Det er derfor vigtigt at huske på, at når meningsmålingerne rammer rigtigt, tænker vi ikke nærmere over det, men når de rammer forkert, kommer de i vælten. Det er ikke et forsvar for meningsmålingerne, men blot en reminder om, at det er det bedste redskab vi har – og det handler om at gøre det endnu bedre.

For det femte er det ikke journalisternes ansvar, når eksperter laver prognoser og sælger valgets udfald som 99% sikkert. Journalister kan – retmæssigt – beskyldes for meget (og det bliver de skam også), men det relevante her er i lige så høj grad, hvordan de eksperter, der udarbejder og analyserer meningsmålinger, selv er med til at promovere deres produkt på en måde, der ikke nødvendigvis matcher virkeligheden. Sean Trende skrev således sidste år:

Electoral modelers have a nerdy little secret: We aren’t oracles. Draw back the curtain, and you’ll see that we are only as good as the polls we rely on and the models we invent. And there are real problems with both.

That’s why the “data journalism” movement contains the seeds of its own destruction. The danger lies in data journalists’ tendency to belittle skeptics and other analysts who get it wrong. Worse is the distinct tendency to downplay how much uncertainty there is around our forecasts. This is a shame, because sooner or later — probably sooner — the models are going to miss in an American presidential election and data journalism as a whole is going to suffer.

Det er spot on. Nu har vi fået et amerikansk præsidentvalg, hvor modellerne tog fejl. Meningsmålingerne er ikke perfekte, og den store lektie i denne sammenhæng er sådan set bare den reminder, at vi skal være kritiske (ikke kun hvad angår meningsmålingerne – men al valgdækning). Som beskrevet hos The Economist: “For the layman, it serves as a devastating reminder of the uncertainty in polling, and a warning about being overconfident even when the weight of surveying evidence seems overwhelming.”

Meningsmålingerne tog fejl. Det ændrer dog ikke på, at det ville være at smide barnet ud med badevandet, hvis vi – fordi de tager fejl – ikke længere tager dem seriøst.