Folketingsvalget 2022 har fundet sted og vi har endelig fået bekræftet valgresultatet (det kan findes i en PDF-fil her). Ved forrige valg kiggede jeg på, hvordan meningsmålinger, vægtede snit og exitpolls klarede sig, og det skal jeg selvfølgelig også gøre ved dette valg.
Min overordnede konklusion er, at meningsmålingerne klarede sig godt. En af grundene til, at der ikke har været mange artikler og kommentarer om, hvordan meningsmålingerne har klaret sig, er, at de netop har klaret sig godt. Hvis meningsmålingerne havde ramt helt forbi, kan du være sikker på, at der nok skulle være mere omtale af meningsmålingerne. Det er én af grundene til, at mange tror, at meningsmålingerne er dårlige, altså at der er mere fokus på dårlige meningsmålinger end gode meningsmålinger.
Det er på ingen måde en selvfølge, at meningsmålingerne ville klare folketingsvalget godt (se mit indlæg med argumenter herfor). Det skal dog heller ikke lyde som, at der ikke var udfordringer. Men disse udfordringer er ikke problematiske, og det ville være at smide barnet ud med badevandet, hvis vi droppede meningsmålingerne på baggrund af de udfordringer, vi har set i forbindelse med folketingsvalget 2022.
Når vi kigger på meningsmålingerne, er vi interesseret i at sammenligne dem med valgresultatet. Jo tættere på valgresultatet, desto bedre. Det giver som sagt her også mening at kigge på exitpolls og vægtede gennemsnit, for at vurdere, hvordan meningsmålingerne klarede sig sammenlignet med nævnte. Generelt har vi en forventning om, at exitpolls er bedre end meningsmålingerne og at de vægtede snit skulle klare sig bedre end de fleste (men ikke alle) meningsmålinger.
I nedenstående figur har jeg taget forskellen mellem valgresultatet og det seneste estimat i meningsmålingerne, exitpolls og de vægtede snit for hvert af de 14 partier, vælgerne kunne stemme på. Vi har at gøre med meningsmålinger foretaget op til valget (Epinion afviger her fra ved at være foretaget op til 27. oktober). Der er tre exitpolls, hvor to af dem er fra TV 2/Megafon (én blev annonceret klokken 20.00, én klokken 20.20), og den tredje er fra DR/Epinion. De to vægtede snit er henholdsvis mit eget samt Risbjerg-snittet for Altinget. I figuren skal positive værdier forstås som, at et estimat har overvurderet opbakningen til et parti.
Hvis der ikke var nogle fejl, ville vi ikke se nogle søjler. Det første vi skal bemærke her er, at de fleste partierer ramte relativt præcist. Den primære undtagelse her, hvor vi ser en generel fejl i opbakningen, er hos Socialdemokratiet. Det eneste institut, der ramte dette parti præcist, var YouGov. Dette illustrerer en pointe, jeg fremhævede tidligere i valgkampen, nemlig at der er forskel på huseffekter og husfejl. Blot fordi ét analyseinstitut afviger fra gennemsnittet af andre institutter (huseffekt), er det ikke det samme som, at det pågældende institut tager fejl (husfejl).
YouGov gav Socialdemokratiet 27,6% af stemmerne, og partiet endte som bekendt med at få 27,5% af stemmerne. Det er utroligt godt ramt, især når man tager højde for, at den statistiske usikkerhed er større for store partier. Gallup var heller ikke langt fra (1,3 procentpoint fra at ramme partiet). Den laveste opbakning til Socialdemokratiet blev dog ikke fremført i en meningsmåling, men i en exitpoll hos DR, hvor partiet kun stod til at få 23,1% af stemmerne. Det siger en del om meningsmålingernes kvalitet, når de kan konkurrere med kvaliteten af exitpolls.
Hos Alternativet ser vi, at YouGov ramte mest forbi, da de gav partiet 1,9% af stemmerne, altså 1,4 procentpoint mindre end de 3,3% af stemmerne, de endte med at få. Epinion havde dem på 2,3%, Megafon på 2,9%, Gallup på 3,2% og Voxmeter på 3,6%. Det var således Gallup, der klarede sig godt her. Jeg skal ikke kunne sige, hvad der kan forklare variationen her, men det kan have været et svært parti at ramme rigtigt hvis der evt. har været en såkaldt ketchupflaske-effekt, hvor de får flere stemmer, når det først tyder på, at de ligger trygt over spærregrænsen (samme fænomen hos Alternativet blev diskuteret i 2015, da de kom over spærregrænsen).
Det er eksempelvis muligt, at mange potentielle Alternativet-vælgere har hældt mest til Enhedslisten, men så stemt på Alternativet for at sikre sig, at partiet er blevet valgt ind (især hvis klima og miljø har været den afgørende faktor for disse vælgere). Ved Enhedslisten ser vi da også, at alle institutter har overvurderet partiets opbakning – selv i de tre exitpolls og to vægtede snit. Partiet fik 5,1% af stemmerne, men alle estimater var mere end et procentpoint væk fra den egentlige opbakning.
Vi ser en lignende tendens hos tre andre partier – Konservative, SF og Nye Borgerlige, hvor alle estimater giver dem en større opbakning, end de fik ved valget. Det viser med andre ord, at meningsmålingerne ikke har ligget tilfældigt fordelt omkring det “sande” estimat, men systematisk overvurderet opbakningen til nævnte partier. Forskellene er ikke store, men de er der.
Hos Moderaterne ser vi det modsatte, hvor alle institutter undervurderede partiets opbakning. De tre exitpolls og Risbjerg-snittet ramte partiet spot on. Megafon var det analyseinstitut, der kom tættest på Moderaternes valgresultat. Meningsmålingerne viste et fald til partiet i løbet af valgkampens sidste dage, og det skal ikke kunne siges, om målingerne generelt undervurderede partiet en smule eller om der var tale om nogle andre tendenser i valgkampens sidste uge end målingerne gav udtryk for.
Hos de andre partier ser vi forskelle på tværs af institutterne, hvor de overvurderer eller undervurderer de respektive partier (eller rammer partierne præcist). Hos Danmarksdemokraterne ser vi, at YouGov overestimerede opbakningen til Danmarksdemokraterne med 2 procentpoint, hvor eksempelvis Voxmeter, Megafon og Gallup alle undervurderede opbakningen med omkring 1 procentpoint. YouGov undervurderede også opbakningen til Radikale og Venstre, hvor alle andre institutter overvurderede partiet (med undtagelse af Venstre hos Epinion, der ramte partiets opbakning præcist).
Der er to mål vi kan bruge her til at aggregere disse tal og vurdere, hvor godt meningsmålingerne, de vægtede snit og de tre exitpolls klarede sig. Det første mål er blot at tage gennemsnittet af de numeriske værdier af forskellene vist ovenfor (på engelsk kaldet mean absolute error, MAE). Fordelen ved dette mål er, at det er intuitivt at tolke. Ulempen er, at vi ikke tager højde for, at en stor forskel ved ét parti er mere problematisk end mange små forskelle ved flere partier.
Det andet mål, der tager højde for størrelsen på, hvor stor afvigelse der er, finder vi ved at tage kvadratroden af den gennemsnitlige kvadratafvigelse (på engelsk kaldet root mean squared error, RMSE). Det vil sige at vi først kvadrerer fejlene, hvorefter vi tager gennemsnittet af disse og så til slut tager kvadratroden af gennemsnittet. Jeg bruger disse to forskellige mål, da de giver lidt forskellige resultater. Dette fremhæver dog blot hvilke af forskellene der er marginale på tværs af forskellige mål.
Lad os først se på den gennemsnitlige numeriske fejl på tværs af alle estimaterne. Figuren nedenfor viser at alle numeriske fejl er mindre end 1, hvilket ikke var tilfældet i 2019. Meningsmålingerne – overordnet betragtet – klarede sig med andre ord godt ved dette valg (selvom man selvfølgelig skal have in mente, at der var et par partier mere ved dette valg end i 2019).
Vi ser her at Risbjerg-snittet for Altinget klarede sig bedst, efterfulgt af TV 2s første exitpoll og mit snit. Det er imponerende hvor godt de vægtede gennemsnit har klaret sig, når man normalt vil se, som i 2019, at der er enkeltmeningsmålinger, der klarer sig bedre.
Det er interessant, at der er så stor forskel på exitpolls fra hhv. TV 2 og DR. Det er især DRs exitpoll, der afviger fra det endelige valgresultat, og det er mærkværdigt, at TV 2 opdaterede deres exitpoll efter 20 minutter (fra 20.00 til 20.20), uden at informere om, hvad der lå til grund for denne opdatering. I mit indlæg om hvad der kunne gå galt med målingerne nævnte jeg herding som en potentiel udfordring med meningsmålingerne, og jeg kunne godt være interesseret i at vide, om TV 2 har set DRs exitpoll og rykket lidt tættere på deres tal. Det er eksempelvis interessant, at deres opdaterede exitpoll bevægede sig længere væk fra valgresultatet, men tættere på DRs exitpoll.
Det er desuden også interessant at se, at DRs første prognose ikke var imponerende og kun gav rød blok 80 mandater. DR har kun udtalt, at deres prognose ramte forkert i forhold til det sidste mandat (fra 86 til 87) som følge af en ekstraordinær situation, men det er i min optik ikke det interessante her. DR har forsøgt at gemme sig bag valgmatematik, men det vigtige her er ikke kun udviklingen fra 86 til 87 (som kan forklares med den ekstraordinære situation med mange kredsmandater til Socialdemokratiet), men udviklingen fra 80 til 87 i løbet af valgaftenen (fra prognose til valgresultat).
Der har med andre ord været nogle interessante forhold ved både DR og TV 2s exitpolls og prognoser, som begge stationer nok skal arbejde videre med. Disse har dog intet med meningsmålingerne at gøre, hvorfor det er vigtigt at adskille selve prognoserne fra valgaftenen fra meningsmålingerne.
I nedenstående figur kigger vi på kvadratroden af den gennemsnitlige kvadratafvigelse, der som sagt “straffer” større afvigelser mere. Her ser vi de samme generelle konklusioner, hvor de vægtede gennemsnit klarer sig godt, men vi ser også, at Gallup har klaret sig utroligt godt her – og sågar bedre end de to vægtede snit og alle exitpolls. Det kan forklares med, at Gallups fejl ved bl.a. Socialdemokratiet ikke var stor, og generelt kun havde mindre fejl ved de fleste partier. Det var således kun Gallup og mit snit der formåede at præsentere forskelle mindre end 2 procentpoint for hvert af de 14 partier.
Vi ser her at mit snit er marginalt bedre end Risbjerg-snittet, men forskellene er som sagt så små, at jeg vil betegne dem som irreleveante. De to snit har været utroligt tæt på hinanden, og det ville have været dejligt at se flere vægtede snit ved dette valg (a la hvad vi så i 2019). Vi ved at der er forskelle i hvordan de vægtede snit er skruet sammen (se evt. dette indlæg), men det tyder ikke på, at disse forskelle har haft en stor betydning ved dette folketingsvalg.
Til trods for at meningsmålingerne har klaret sig godt, og herunder også de vægtede snit, er det relevant at nævne, at mandatfordelingen ikke ramte det endelige udfald, og mit seneste snit ville gøre Lars Løkke og Moderaterne til kongemager (samme konklusion som i sidste Risbjerg-snit hos Altinget). En af de interessante udfordringer fremadrettet vil være at formidle usikkerhed i mandatfordelingen på baggrund af meningsmålingerne og de vægtede snit. Det vil sige, at vi er blevet gode til at formidle statistisk usikkerhed i forhold til opbakningen til partierne i procent, men glemmer den, når vi kigger på antallet af mandater som partierne og blokkene står til at.
En af de kommentarer jeg har fået flere gange siden 2019 er, at det har været en fejl at mit snit antog, at alle meningsmålinger var lige gode, når vi vidste, at YouGov klarede sig dårligere end andre institutter i 2019. I mit forrige indlæg om meningsmålingerne skrev jeg følgende om YouGov og de andre institutter: “Jeg har dog ingen grund til at antage, at YouGov vil ramme hverken mere eller mindre forbi denne gang sammenlignet med andre institutter.” En af grundene til dette er, at vi ved, at institutterne løbende foretager ændringer til deres metode, hvorfor vi ikke blot kan antage, at institutterne vil være lige så gode (eller dårlige) ved dette valg som ved forrige valg.
I 2019 var Epinion det institut, der klarede sig bedst, og i 2022 er det så Gallup, men jeg vil ikke på den baggrund konkludere, at der er grund til at antage, at et af de to institutter derfor vil være bedst ved næste folketingsvalg. Jeg er tværtimod tilfreds med, at jeg ikke gør mig antagelser om, hvilke institutter, der er bedst. Det er især godt at standarden er så høj i Danmark sammenlignet med eksempelvis USA, hvor det er vigtigt at tage kvaliteten af institutterne i betragtning.
Når det er sagt er jeg imponeret over, hvor godt især Gallup har klaret de to seneste folketingsvalg. De havde et rigtig godt valg i 2019 og har igen klaret sig godt ved dette valg. Husk her desuden på, at Gallup også ramte folkeafstemningen omkring forsvarsforbeholdet så godt som præcist tidligere i år. Hvis man skulle kåre én vinder på baggrund af folketingsvalget, må det derfor være Gallup.
Vi skal dog ikke kun kigge på tallene, men også hvordan dækningen af meningsmålingerne har været. I 2019 kritiserede jeg især BTs dækning af meningsmålingerne fra YouGov, hvor der blev skrevet daglige artikler på baggrund af tilfældig støj. Det har dog været en fornøjelse at se, at dækningen har været betydelig bedre hos BT ved dette valg, hvor der i de fleste artikler har været henvisninger til andre målinger og Risbjerg-snittet (se eksempelvis denne artikel).
Generelt er det min opfattelse, at dækningen af meningsmålingerne har været god, og ikke taget fokus væk fra den politiske substans, men tværtimod faciliteret en fagligt funderet dækning af, hvordan styrkeforholdet har været mellem de politiske partier. Jeg er af den klare overbevisning, at mediernes dækning af den potentielle parlamentariske situation på ingen måde ville have været bedre, hvis vi ikke havde haft meningsmålingerne. Tværtimod ville det blot have skabt et vakuum, hvor politiske kommentatorer, politikere og andre omkostningsfrit kunne have delt fejlagtige opfattelser omkring hvor stor opbakning der var til de respektive partier. Meningsmålingerne klarede sig dermed ikke alene godt, men dækningen af dem var i min optik nuanceret, hvor de fleste artikler var gode til også at nævne relevante metodiske forbehold (vi mangler dog en egentlig systematisk analyse af mediernes dækning af meningsmålingerne ved dette valg før vi kan konkludere at dette generelt var tilfældet).
Forud for valget var jeg indstillet på, at meningsmålingerne kunne gå hen og tage fejl, især når man tog andelen af nye partier, tvivlere og vælgervolatilitet i betragtning ved dette valg. Overordnet må man dog blot konkludere, at meningsmålingerne i forbindelse med folketingsvalget 2022 klarede sig rigtig godt.