I mit seneste indlæg kiggede jeg på, hvad meningsmålingerne viste op til valget til Europa-Parlamentet. Vi har nu fået valgresultatet på plads, så vi kan sammenligne resultaterne med ikke alene meningsmålingerne, men også vægtede snit af målingerne og exit polls (som jeg også gjorde ved folketingsvalgene i 2019 og 2022).
Konkret kan vi sammenligne valgresultatet med tre meningsmålinger (Epinion, Verian og Megafon), to exit polls (Megafon og Epinion) og ét vægtet snit (fra Altinget). Vi skal her huske på, at der er forskel på, hvornår analyseinstitutterne foretog deres sidste meningsmåling, hvor Epinion foretog deres sidste meningsmåling den 3. juni, Verian den 5. juni og Megafon den 7. juni.
I nedenstående figur ser vi nærmere på forskellene mellem valgresultatet og de respektive estimater for hvert af de relevante partier. Værdierne er i procentpoint. Negative værdier skal tolkes således, at estimatet lå under hvad det respektive parti endte med at få ved valget. Jo tættere på nul, desto bedre var det pågældende estimat.
Vi ser at meningsmålinger, exit polls og det vægtede snit af meningsmålingerne alle overvurderede opbakningen til partier som Liberal Alliance og Danmarksdemokraterne, men undervurderede opbakningen til partier som Venstre, Konservative og Radikale Venstre. Partier som Alternativet, DF, Enhedslisten og Moderaterne blev omvendt ramt uden de store vanskeligheder.
Disse tal kan også bruges til at sige noget interessant om kvalitetsvægtede gennemsnit af meningsmålingerne, som jeg har forsøgt at formidle i en række tidligere indlæg i løbet af det seneste årti (se eksempelvis dette indlæg fra 2022). Når meningsmålingerne tager fejl på en måde, hvor et analyseinstitut undervurderer et parti og et andet analyseinstitut overvurderer et parti, vil et vægtet gennemsnit være at foretrække. Det ser vi eksempelvis i dette tilfælde med Enhedslisten, hvor Verian undervurderede opbakningen og Epinion overvurderede opbakningen til partiet, så det vægtede snit gav et mere præcist billede. Når de enkelte målinger omvendt tager fejl i samme retning, vil et vægtet snit ikke give et mere præcist estimat, men blot have en usikkerhed der i højere grad udelukker det “sande” estimat. Da meningsmålingerne ved dette valg i høj grad viste fejl i samme retning, kombineret med det faktum at der kun var få meningsmålinger (og ingen meningsmålinger fra Megafon blev inkluderet), gjorde det vægtede snit sig ikke betydeligt godt.
Det bringer os til det interessante spørgsmål om, hvem og hvad der ramte EP-valget bedst. I nedenstående figur viser vi den gennemsnitlige afvigelse for meningsmålingerne, de to exit polls og det vægtede snit. Jo lavere en søjle vi ser i figuren, desto bedre ramte det pågældende institut/snit valget (for en mere præcis beskrivelse af, hvordan værdierne er udregnet, se mit indlæg fra folketingsvalget i 2022).
Vi ser her at Epinions exit poll klart gav det mest præcise bud på, hvordan valget ville falde ud. Denne exit poll klarede sig lige så godt som de bedste vægtede snit og exit polls ved folketingsvalget i 2022 (et valg hvor meningsmålingerne generelt klarede sig rigtig godt). Epinions exit poll klarede sig generelt ikke godt ved folketingsvalget i 2022, hvilket også fremhæver, at man skal være påpasselig med at bruge sidste valg som en baseline for, hvor godt analyseinstitutterne vil klare valget (hvilket også var en af grundene til, at jeg ikke brugte denne information i mit kvalitetsvægtede snit ved folketingsvalget i 2022).
Den bedste meningsmåling var fra Megafon. Her skal vi selvfølgelig overveje om det skyldes, at de lavede en meningsmåling tættere på valgdagen end Epinion og Verian. Det er dog ikke et argument, jeg giver meget for. For det første var Epinion mere præcis end Verian, og sidstnævntes meningsmåling fra tættere på valgdagen. For det andet var der så godt som ingen ændring over tid i de respektive meningsmålinger, og da meningsmålingerne generelt tog fejl i samme retning, tyder det på, at Megafon – gennemsnitligt betragtet – klarede sig lidt bedre i deres sidste meningsmåling. For det tredje skal det ikke være en let forklaring at bruge fra analyseinstitutterne. Hvis instittutterne står på mål for at de kunne have lavet en mere præcis meningsmåling tættere på valgdagen, så vis det.
Det kvalitetsvægtede snit af meningsmålingerne fra Altinget befinder sig et sted mellem Epinion og Verian, da det er et vægtet snit af målingerne fra Epinion og Verian. Men her skal vi også huske på, at det vægtede snit ikke kun er en funktion af den seneste meningsmåling fra de to institutter, men deres seneste meningsmålinger. Det kan også forklare, hvorfor det vægtede snit ramte SF mere forkert end de seneste målinger. Da både Epinion og Verian viste en lille stigning til SF i deres seneste meningsmålinger, men det vægtede snit også tog den forrige meningsmåling i betragtning, var det vægtede snit mere forkert end begge de seneste meningsmålinger fra de to institutter. Hvis der havde været flere meningsmålinger fra flere forskellige institutter, ville der have været bedre betingelser for at vægtet kunne have ramt valget mere præcist (i.e., givet større vægt til de seneste målinger).
Epinions præcise exit poll og Megafons upræcise exit poll gjorde også, at vi på valgaftenen så forskellige konklusioner på tværs af af DR og TV 2. Hos DR, der brugte Epinion, så vi nedenstående forside, der harmonerede godt med det endelige valgresultat, altså at SF stod til at blive det største parti.
Hos TV 2, der brugte Megafons exit poll, så vi en dækning, der ramte andre konklusioner, eksempelvis som nedenstående eksempel, hvor Socialdemokratiet stadig stod til at blive det største parti. Denne exit poll gav også Moderaterne nul mandater og to mandater til Liberal Alliance, som også skulle vise sig at ramme forbi skiven (har man først én større fejl i en måling, herunder også en exit poll, er der selvfølgelig flere fejl).
Megafon havde en upræcis exit poll. Megafon står på mål for, at “upræcis” er et hårdt ord, da deres exit poll “var inden for den statistiske usikkerhed og fejlmargen på 3 procent”. Det er såvidt jeg kan se ikke tilfældet, da stikprøven var betydeligt større. Det undrer mig, at Megafon sandsynligvis ikke evner at tolke deres egen exitpoll. Det kommer dog desværre ikke som en overraskelse.
Ovenpå folketingsvalget i 2022 skrev Megafon et indlæg, hvori de hæftede sig ved, at de på baggrund af deres exit poll var Danmarks mest præcise analyseinstitut (jeg diskuterede det pågældende indlæg her). Det bliver spændende at se, hvilken evaluering Megafon og TV 2 vil foretage i kølvandet på denne exit poll. Hvis jeg kender TV 2 rigtigt, er det ingenlunde en prioritet at give en retvisende dækning af meningsmålinger (de er med længder det værste medie til at dække meningsmålinger), hvorfor jeg ikke har de storre forventninger til forbedringer.
Dækningen af de to exit polls var på valgaftenen var dog generelt rigtig god. For det første rapporterede medierne begge exit polls, eksempelvis hos Politiken og DR, og der var ligeledes overvejelser omkring, hvorvidt forskelle i deres metode kunne forklare forskellene i de respektive exit polls.
Valget til Europa-Parlamentet var ingen katastrofe for meningsmålingerne. Det var ikke et lige så præcist valg som folketingsvalget i 2022, men seneste folketingsvalg også et særdeles godt valg for analyseinstitutterne. Epinions exit poll klarede sig bedre end Megafons, men man skal være påpasselig med at drage konklusioner om, hvorfor dette var tilfældet. Det kan vi forhåbentlig blive klogere på i fremtiden, når de respektive analyseinstitutter kigger nærmere på, hvad der ikke fungerede – og ikke fungerede – optimalt.