Hvordan klarede meningsmålingerne sig?
Folketingsvalget er overstået. Vi kan nu langt om længe vurdere, hvordan meningsmålingerne har klaret sig. I dette indlæg kigger jeg nærmere på det netop overståede folketingsvalg. For en historisk gennemgang af hvordan meningsmålingerne har klaret sig i en dansk sammenhæng, se dette arbejdspapir af Martin Vinæs Larsen.
Kigger vi på meningsmålingerne ved dette valg er det ikke udelukkende et spørgsmål om, hvorvidt meningsmålingerne som kategori ramte rigtigt, men i lige så høj grad et spørgsmål om, hvilke meningsmålinger, der ramte rigtigt.
Meningsmålingerne har været uenige om især opbakningen til Nye Borgerlige, da analyseinstitutterne har placeret dem fra under spærregrænsen til omkring 5-6% af stemmerne. Disse forskelle har været systematiske over tid og kan ikke tilskrives tilfældigheder.
For at se nærmere på, hvordan de respektive institutter præsterede ift. de forskellige partier, viser Figur 1 meningsmålingerne foretaget i valgkampens sidste dage og valgresultatet for de forskellige analyseinstitutter.
Figur 1: Meningsmålinger og valgresultatet
Overordnet betragtet klarede meningsmålingerne sig ganske fint (jo tættere partierne er på den stiplede linje, desto mere præcist ramte de). Denne pointe bringer jeg også til bordet i denne artikel hos Altinget. Der var dog enkelte partier, meningsmålingerne havde svært ved at ramme præcist. Dette var blandt andet Venstre og Dansk Folkeparti, hvor meningsmålingerne undervurderede førstnævnte og overvurderede sidstnævnte.
Det er ligeledes interessant at kigge på, hvor langt de forskellige meningsmålinger var fra at ramme valgresultatet. Til at undersøge dette kan vi se på den gennemsnitlige numeriske forskel mellem hver meningsmåling og valgresultatet (alternativt kan man kigge på kvadratroden af den gennemsnitlige kvadratafvigelse, der normalt giver lignende resultater).
Dette mål viser hvor meget en meningsmåling i gennemsnit, for hvert parti, ramte forbi. Foruden meningsmålingerne indsamlede jeg de vægtede snit og exit polls, der var tilgængelige på valgaftenen. Figur 2 viser afvigelsen mellem diverse målinger og det endelige valgresultat.
Figur 2: Afvigelse mellem målinger og resultat
Som det kan ses, havde Epinion og Gallup de mest korrekte meningsmålinger. De største afvigelser finder vi hos YouGov, der eksempelvis gav 4,7% til Nye Borgerlige, 11,3% til Dansk Folkeparti, 3% til Stram Kurs og 18,6% til Venstre. Alle estimater der lå et pænt stykke fra det endelige valgresultat. Dette fører til, at YouGov var valgets store taber.
Et af de store spørgsmål i løbet af de seneste år har været, om YouGov eller andre analyseinstitutter har haft ret, når YouGov systematisk har givet Nye Borgerlige en større andel af stemmerne end de andre institutter. De seneste Voxmeter-måling gav 2,7% til Nye Borgerlige og 9,2% til Dansk Folkeparti. Disse tal giver mig umiddelbar anledning til at vurdere, at YouGov systematisk har overvurderet Nye Borgerlige.
Vi ser ligeledes at meningsmålingerne klarede sig lige så godt som TV 2s og DRs exit polls (og bedre end BTs exit polls – foretaget af YouGov). De vægtede snit klarede sig også relativt godt, men her er der flere interessante aspekter at forholde sig til.
For det første er det vigtigt at huske på, at intet vægtet snit er bedre, end de meningsmålinger, vi fodrer de vægtede snit med. Når YouGov er inkluderet, vil det selvsagt påvirke det vægtede snit. Udfordringen er, at vi ikke kan sige med sikkerhed før valget, om nogle meningsmålinger rammer helt skævt (vi kan kun korrigere for dette).
For det andet siger ovenstående tal intet om usikkerheden. Nogle af disse vægtede snit kommer ikke med statistisk usikkerhed, hvorfor det kan være svært at sammenligne kvaliteten af disse estimater. Styrken ved de vægtede snit ligger især i formidlingen af meningsmålinger, hvor der er fokus på, at vi kigger på flere meningsmålinger – og den statistiske usikkerhed.
For det trejde – og som ikke er at se i ovenstående figurer – lå Norstat et pænt stykke fra valgresultatet. Det har fået Jyllands-Posten til at droppe meningsmålingerne, eller som Jacob Nybroe, ansvarshavende chefredaktør for avisen, udtaler: “Derfor kommer vi, foreløbigt og med øjeblikkelig virkning til at indstille brugen af meningsmålinger, der måler på Folketingets sammensætning”.
Jeg forstår dog ikke denne beslutning eller kritikken af Norstat. Norstat foretog ikke nogen meningsmåling i dagene op til valget (deres seneste meningsmåling blev indsamlet 31. maj). Jeg inkluderede derfor heller ikke Norstat i ovenstående figurer (og heller ikke Greens, der foretog en meningsmåling nogle dage før valget), da det ville være at sammenligne forskellige målinger, der siger noget om partiernes opbakning på forskellige tidspunkter.
Da jeg talte med en journalist fra Ritzau, tog jeg da derfor også Norstat i forsvar og pointerede blandt andet, at vælgerne kan “ændre deres planer om, hvem de vil stemme på i løbet af de sidste dage op til valget” (kan blandt andet læses hos BT, Jyllands-Posten og Kristeligt Dagblad).
Hos P1 Orientering pointerede jeg ligeledes det væsentlige problem i, at sammenligne en meningsmåling foretaget i slutningen af maj med de seneste målinger fra andre institutter. Det der overraskede mig her er, at Jacob Nybroe kunne informere mig om, at de udelukkende havde bedt Norstat om at komme med et korrekt bud på et valgresultat. Derfor undrer det mig betydeligt, at man har foretaget en meningsmåling i slutningen af maj i stedet for i dagene op til 5. juni.
Hvorfor fokuserer jeg så meget på disse dage op til valget? Dette fordi der er flere forhold, der får mig til at tro, at valgkampens sidste dage har givet analyseinstitutterne bedre betingelser for at ramme valgresultatet. Dette kan skyldes, at vi opfanger bevægelser i dagene op til valget, at vælgerne er mere sikre på, om de vil stemme og hvem de vil stemme på osv.
Kigger man således på de vægtede snit, tror jeg at de mere konservative vægtede snit har haft sværere ved at opfange disse ændringer i de sidste dage (især når man ikke inkluderer al tilgængelig data, i.e. Megafons meningsmålinger).
Kasper Møller Hansen har desuden regnet på, hvordan snittet ville se ud med de ekstra meningsmålinger i Risbjerg-snittet (altså meningsmålingerne foretaget lige op til valget). Denne opdaterede prognose giver en gennemsnitlig afvigelse, der er at sammenligne med Politologi Prognose. Dette indikerer at de meningsmålinger, der lå tættest på valget, var brugbare til at forudsige valgresultatet.
En interessant undtagelse her er YouGov, der var tættere på at ramme valgresultatet en uge før valget end dagen før valget. Givet de fluktuationer, der har været i deres meningsmålinger (herunder også i BTs dækning heraf), er jeg dog tilbøjelig til at konkludere, at det er mere held end forstand.
Det er ligeledes værd at bemærke, at meningsmålingerne havde problemer med at forudsige EP-valget kort tid forinden folketingsvalget, hvor det også var en udfordring at estimere opbakningen til blandt andet Venstre. Dermed ikke sagt, at det har været de samme problemer for analyseinstitutterne ved de to valg, men der er klart tale om noget, de skal kigge nærmere på.
Meningsmålingerne klarede sig ganske fint ved dette valg. De kunne have gjort det bedre, men de gjorde et fint stykke arbejde. Den store forbedring ift. seneste valg har været i formidlingen – ikke deres kvalitet. Med andre ord er medierne blevet betydeligt bedre til at formidle meningsmålinger (som jeg også gjorde det klart i Presselogen før valget).
