I dag går de fleste stemmeberettigede vælgere ned og stemmer. Hvor sikre kan vi være på, at meningsmålingerne giver et retvisende billede af, hvilke partier vælgerne vil stemme på? Det historiske svar er, at vi kan være relativt sikre på, at meningsmålingerne kommer til at klare sig fint. Der er ingen evidens for, at meningsmålingerne klarer sig dårligere i dag end for år tilbage.
Meningsmålingerne rammer dog sjældent et valg helt perfekt. Der er ofte et eller flere partier, hvor meningsmålingerne har svært ved at ramme rigtigt, her forstået som at ramme et parti inden for den statistiske usikkerhed i målingen. I 2011 ramte mange målinger forkert ift. Venstre, i 2015 havde målingerne svært ved at ramme opbakningen til Dansk Folkeparti og i 2019 ramte målingerne opbakningen til Venstre forkert igen. I 2020 præsenterede jeg nedenstående figur i et indlæg, hvor man kan se, hvor ofte meningsmålingerne ramte rigtigt ved de respektive partier.
Mit gæt er, at jeg ikke vil lave en figur i morgen, hvor alle analyseinstitutter har ramt alle partierne rigtigt. Tværtimod mener jeg der er gode grunde til at forvente, at vi vil se meningsmålingerne tage fejl ved et eller flere partier. Der er specifikke såvel som generelle årsager til dette.
En af grundene til, at meningsmålingerne i højere grad kan tage fejl, er andelen af tvivlere i meningsmålingerne ved dette valg. Epinion har mere end 20% tvivlere i dagene op til valget og Voxmeter viser også flere tvivlere end ved tidligere valg. YouGov viser at 9,2% af vælgerne er tvivlere, hvilket nok er det mest præcise tal på andelen af tvivlere (da det kun inkluderer de vælgere, der eksplicit svarer, at de er i tvivl – og dermed ikke eksempelvis folk, der siger, at de vil stemme blankt).
Jo større andelen af tvivlere er, desto sværere vil det være at give præcise tal på, hvilke partier vælgerne vil stemme på (hvis der var nul tvivlere, ville meningsmålingerne være bedre). Når det ikke er tilfældigt, hvilke partier tvivlerne ender med at stemme på, kan det føre til en forskel mellem valgresultatet og meningsmålingerne. Tvivlere var eksempelvis mere tilbøjelige til at stemme på Donald Trump ved det amerikanske præsidentvalg i 2016.
En anden grund er, at der er historisk stor opbakning til nye partier. Jo flere der står til at skifte parti, desto sværere vil det være at indfange opbakningen i meningsmålingerne (cf., Tudor og Wall 2021). Disse bevægelser er især relateret til hvor mange partier, vælgerne kan stemme på. Hvis der kun var to partier, ville det alt andet lige være nemmere at foretage en meningsmåling.
En udfordring ved nye partier er desuden at analyseinstitutterne selvsagt ikke har viden omkring, hvem der normalt ville stemme på det nye parti. Det vil også sige at man, når man vægter for partivalg ved forrige valg, selvsagt ikke kan inkludere vægte for de nye partier, men at de vil være en del af den samme kategori. Analyseinstitutterne er meget lidt transparente omkring, hvilke metoder de anvender her, hvorfor jeg ikke skal kunne udtale mig om, hvor stort et problem det vil være. Det eneste vi kan sige med sikkerhed er, at det ingenlunde er en nemmere opgave for analyseinstitutterne, når der er flere nye partier.
En tredje grund er de bevægelser, vi har set i løbet af valgkampen. Hvis valgkampen ikke rykkede så meget som én stemme, ville udfordringen for analyseinstitutterne være den samme over tid, og det ville ikke være en udfordring at skulle indfange hurtige, store bevægelser i vælgerhavet. Hvis mange vælgere eksempelvis skifter holdning fra den 31. oktober til 1. november, vil meningsmålingerne ikke kunne fange disse bevægelser. Det er en meget bekvem forklaring som fortalere for meningsmålinger elsker, da man blot kan sige, at meningsmålingerne ramte forbi, men ikke tog fejl. Der skete blot ændringer fra dag til næste, hvor meningsmålingerne ikke blev foretaget. Udfordringen er, at vi ikke med sikkerhed kan sige, om der er en masse, der ændrer parti i valgkampens sidste timer, og det skal ikke kunne udelukkes, at der også er vælgere ved dette valg, der kan finde på at skifte parti på meget kort tid.
Jeg er især skeptisk i forhold til hvordan Epinion har foretaget meningsmålinger i valgkampens sidste dage. Eller rettere sagt, hvordan de ikke har foretaget meningsmålinger i valgkampens sidste dage. Den seneste meningsmåling vi har fra Epinion er fra 27. oktober. Det er yderst mærkværdigt, tilnærmelsesvist problematisk, at der ikke bliver offentliggjort en meningsmåling tættere på valget.
Hvis et analyseinstitut kun foretager én meningsmåling i løbet af en valgkamp, ser jeg gerne, at det bliver på dagen før valget, så vi rent faktisk kan vurdere, om der var tale om en god meningsmåling eller ej. Det er derfor ingen overraskelse, at de andre analyseinstitutter alle offentliggør en meningsmåling dagen før valget. Megafon offentliggjorde sågar to! Når vi skal kunne vurdere kvaliteten af meningsmålingerne ovenpå valget må vi derfor blot bruge den seneste måling fra Epinion. Vi skal kunne vurdere kvaliteten af alle institutter, og ikke lade et institut flyve under radaren ved at undlade at offentliggøre en meningsmåling i valgkampens sidste dage.
En del af udfordringen med hvornår meningsmålingerne er foretaget er også relateret til dækningen af meningsmålingerne. Selvom medierne nu er gode til at informere om, hvornår en meningsmåling er blevet foretaget, formidles den seneste meningmåling ofte som et estimat på, hvor stor opbakningen vil være til et parti på valgdagen. Tag eksempelvis denne artikel fra TV 2 den 25. oktober, hvor der skrives: “Ifølge Jyllands-Postens vægtede gennemsnit af meningsmålingerne står Moderaterne til at få 10,3 procent af stemmerne ved folketingsvalget 1. november.” Ingen meningsmålinger bliver som bekendt foretaget på valgdagen den 1. november, hvorfor vi aldrig kan sige med sikkerhed, hvor stor en andel af en eventuel fejl, der kan tilskrives vælgervandringer i valgkampens 11. time.
For at opsummere er der således tre grunde til, at jeg tror, at meningsmålingerne især kan tage fejl ved dette valg: 1) højere andel af tvivlere, 2) flere nye partier, og 3) høj vælgervolatilitet i valgkampen. Her kan man indvende, at disse grunde hænger sammen, eksempelvis at en af grundene til, at der er mange tvivlere, er, at der er flere nye partier. Dette gør dog ikke udfordringen med at ramme partiernes opbakning rigtigt mindre. Tværtimod.
Det vigtige her er at konteksten spiller en rolle, og konteksten for dette valg er anderledes end i 2019. Det er muligt at der er andre aspekter end dem jeg har nævnt ovenfor, der kan gøre sig gældende. Hvad nu hvis mange på valgdagen beslutter sig for at stemme Alternativet for at sikre sig, at de kommer ind, men at det ikke nødvendigvis var noget man gav udtryk for, når man deltog i en meningsmåling? Med andre ord kan der være strategisk stemmeadfærd, som meningsmålingerne kan have svært ved at indfange. Jeg ser det ikke som en stor udfordring, men det er alligevel værd at nævne her, at der kan være flere forskellige forhold, der kan give problemer.
Når det kommer til de generelle udfordringer disse år med meningsmålingerne, er der flere metodiske udfordringer, som alle analyseinstitutter skal forholde sig til. Hvordan skal respondenterne kontaktes? Hvordan skal de spørges? Hvilke baggrundsvariable skal der vægtes på baggrund af? Hvordan ved vi om respondenterne giver sande svar?
Giver respondenterne eksempelvis ærlige svar, når de deltager i en meningsmåling? Er det muligt at folk planlægger at stemme på Danmarksdemokraterne, men siger i en meningsmåling, at de vil stemme på Socialdemokratiet? Dette var blandt andet noget man diskuterede ovenpå meningsmålingernes underestimering af Dansk Folkeparti i 2015. Det vil sige om vælgerne var mindre tilbøjelige til at være ærlige omkring, at de ville stemme DF. Lignende diskussioner har man haft i forhold til Trump i USA. Der er dog mig bekendt ingen overbevisende evidens for, at dette skulle være en plausibel forklaring på, hvorfor meningsmålingerne nogle gange rammer forkert. Jeg anser det ligeledes heller ikke som et potentielt problem ved dette valg, at vælgerne systematisk skulle lyve om deres partivalg, når de deltager i meningsmålingerne.
Studier har vist, at det især er repræsentativiteten af meningsmålingerne, der kan udgøre et problem i disse år (Prosser og Mellon 2018). Eksempelvis ved vi fra tidligere forskning, at internetpaneler, hvor folk selv tilmelder sig, historisk betragtet har givet dårligere meningsmålinger (Sohlberg et al. 2017). Ved forrige valg var YouGov, der netop udelukkende anvender et internetpanel, det institut der ramte mest forbi valgresultatet. Jeg har dog ingen grund til at antage, at YouGov vil ramme hverken mere eller mindre forbi denne gang sammenlignet med andre institutter. Det kan vi først belyse i morgen.
Det store spørgsmål, når vi taler repræsentativitet, er som bekendt, hvor repræsentativ en stikprøve er for den population, vi ønsker at udtale os om. Det er ikke noget vi ofte diskuterer, især fordi analyseinstitutterne alle står på mål for, at deres meningsmålinger er repræsentative. Et eksempel på en sådan diskussion havde vi dog lige før valgkampen, da Sikandar Siddique fremførte en kritik af meningsmålingerne. I denne kritik fremhæver han, at meningsmålingerne ikke dækker etniske minoriteter tilstrækkeligt. Jeg har ingen grund til at tro, at Sikandar Siddiques kritik er gyldig, ej heller at Frie Grønne vil komme over spærregrænsen (det ville i så fald være en af valgets helt store nyheder!). Jeg kan dog nemt forestille mig, at et eller flere analyseinstitutter ikke har 100% repræsentative stikprøver (selv efter at diverse vægte er taget i brug).
Der er en lang række udfordringer analyseinstitutterne står med i forhold til at sikre repræsentative målinger. En konkret udfordring her er frafald i deres paneler. Er respondenterne eksemplevis mindre tilbøjelige til at deltage i meningsmålinger over tid? Er det bestemte grupper af borgere, der er mere tilbøjelige til at deltage i flere undersøgelser over tid? Hvis partivalg er relateret til sandsynligheden for frafald, kan det udgøre et stort problem for repræsentativiteten.
Dette er en udfordring for analyseinstitutterne i Danmark, men min vurdering er, at det ikke er et decideret problem som man ser det i eksempelvis USA. Det sidste vi skal have i Danmark er således amerikanske tilstande, hvor meningsmålingerne bliver politiseret. Natalie Jackson har en rigtig fin artikel herom. Kort fortalt er problemet i USA, at flere republikanere ikke længere stoler på meningsmålinger, hvorfor de i mindre grad deltager i samme. Dette er en udfordring, når dem der ikke stoler på meningsmålinger (og dermed ikke deltager i dem) stadig vælger at deltage i valg. På den måde kan forkerte meningsmålinger blive en selvopfyldende profeti, når konkrete vælgere ikke deltager i dem, fordi de ikke stoler på dem, og meningsmålingenre så ender med at tage fejl af den grund – hvorved endnu færre vil have tillid til meningsmålingerne. Der er midtvejsvalg i USA om en uges tid (den 8. november), hvor det også bliver spændende at se, hvordan meningsmålingerne klarer sig.
En væsentlig udfordring er, at når ét analyseinstitut tager systematisk fejl, øges sandsynligheden for, at andre institutter også tager fejl. Fejl kan med andre ord korrelere på tværs af analyseinstitutter. Ikke nok med dette, men analyseinstitutter kigger måske hinanden over skuldrene og justerer deres metoder for ikke at ligge alt for langt væk fra hinanden. Dette kaldes inden for branchen for herding. Jeg har ikke set nogle analyser af dette i en dansk kontekst, men det er noget der tidligere er belyst i eksempelvis England og USA.
Jo flere meningsmålinger vi har, desto mere kan vi udtale os med sikkerhed. Har vi eksempelvis fem meningsmålinger, der alle giver Moderaterne 10%, kan vi være mere sikre på, at Moderaternes opbakning er 10%, end hvis der kun er én måling, der viser det. Det er dog her, at vi skal huske at være kritiske i forhold til vægtede snit af meningsmålingerne. Hvis meningsmålingerne tager systematisk fejl i den samme retning, vil et vægtet gennemsnit ikke korrigere dem, men blot give mere præcise fejl (hvorfor vi vil udtale os med større sikkerhed omkring noget, der er forkert). Jo mere omtale et vægtet snit får, desto mere skal du forholde sig kritisk til sådan et snit, og især de enkeltmålinger, der bliver brugt i snittet.
Et andet spørgsmål der er relevant ved dette valg er, hvad vi helt præcist forventer af meningsmålingerne. Er vi klar til at acceptere et par fejl hist og her, hvis meningsmålingerne ender med at ramme mandatfordelingen til blokkene rigtigt? Vi ved at det eksempelvis er et større problem med meningsmålingerne, hvis de bruges til at udråbe en forkert vinder. Det var således et større problem da meningsmålingerne viste et flertal til Remain i England, og udfaldet så blev Leave, end det ville have været, hvis fejlen havde været større men med det korrekte udfald.
Når alt dette er sagt skal jeg afslutte med et par pointer, der stadig gør, at jeg har stor tiltro til, at meningsmålingerne – gennemsnitligt betragtet – kan ramme rigtigt i dag. Vi ved fra tidligere valg at meningsmålingerne plejer at ramme valgresultatet ganske præcist. Danmark har et politisk system, der ikke giver store udfordringer i forhold til strategisk stemmeadfærd m.v. Derudover har vi en høj valgdeltagelse og en høj tillid til det politiske system (herunder meningsmålingerne), hvorfor jeg er langt mere optimistisk når det kommer til at foretage meningsmålinger i Danmark end i eksempelvis USA.
Kommer meningsmålingerne til at tage fejl? Det korte svar er, at vi bliver meget klogere på dette spørgsmål inden for de næste 24 timer. Jeg kan se grunde til at være optimistisk, når det kommer til målingerne, men jeg ser også nogle konkrete udfordringer ved dette valg, der gør, at jeg ikke vil blive overrasket, hvis det skulle vise sig, at meningsmålingerne ikke rammer plet.