Hvor præcise var meningsmålingerne ved kommunalvalget? For at besvare dette spørgsmål må vi først forholde os til, hvilke meningsmålinger vi ønsker at se på. Skal vi eksempelvis belyse, om nationale meningsmålinger indfanger de nationale partiers opbakning lokalt? Eller skal vi se på, om de lokale meningsmålinger hver især rammer de lokale valg præcist?
Et landsresultat for kommunalvalget er på mange måder en kunstig konstruktion, da der som bekendt er tale om 98 unikke valg, hvor alle partier ikke stiller op i alle 98 kommuner – og lokale partier og lister stiller op i forskellige kommuner. Dertil gør valgforbund og andre forhold ligeledes, at vælgerne lokalt ikke nødvendigvis støtter det parti, de støtter nationalt. Et landsresultat er dermed primært af interesse for de nationale medier, der ønsker at diskutere, hvem af partierne i Folketinget der var vindere og tabere af kommunalvalget.
Udfordring forbundet med at kigge på meningsmålingerne ved kommunalvalget er, at i de fleste kommuner har vi ingen meningsmålinger. I de kommuner, hvor der bliver foretaget meningsmålinger, har vi ofte kun én meningsmåling. Kun i meget få kommuner får vi mere end én måling (eksempelvis København og Bornholm). Udfordringen med meningsmålingerne ved kommunalvalget er dermed ikke de meningsmåliner, vi har, men de målinger vi ikke har.
I den bedste af alle verdener foretog vi et tocifret antal meningsmålinger i hver af de 98 kommuner (hvilket ville give os rundt regnet 1000 meningsmålinger). Dette er selvsagt urealistisk, men jeg fremhæver det alligevel her for at pointere, hvad et fornuftigt udgangspunkt ville være, hvis vi skulle give meningsmålingerne en fair chance for at sige noget om alle lokale valg. Vi er således ikke interesseret i at se på, hvordan de mange kommunalvalgsmålinger klarede sig, men hvordan de få kommunalvalgsmålinger, der trods alt blev foretaget, har klaret sig.
Hvordan klarede de lokale meningsmålinger sig?
Der har mig bekendt været et begrænset fokus på, hvordan de lokale målinger har klaret sig. Fagbladet Journalisten præsenterede en lang række tal dagen efter kommunalvalget, men der er ikke tale om et egentligt overblik (den seneste meningsmåling fra Bornholm er eksempelvis ikke at finde i deres “overblik”). Derfor er det fint at kigge mere systematisk på, hvordan de respektive målinger helt præcist klarede sig.
Til at gøre dette har jeg taget udgangspunkt i mit datasæt med kommunalvalgsmålinger, hvor jeg afgrænsede målingerne til kommunalvalgkampens sidste måned, dvs. målinger foretaget i perioden fra 16. oktober til 16. november 2021. Skæringsdatoen 16. oktober kan virke arbitrær, men der er tre forhold at tage i betragtning. For det første vil det være unfair at inkludere de meningsmålinger, der blev foretaget for et års tid siden. Meningsmålinger er et øjebliksbillede og ikke et forsøg på at forudsige et valgresultat langt ude i fremtiden. For det andet, og som jeg vil vise nedenfor, tyder intet på, at det er afgørende om en måling er foretaget i dagene op til eller ugerne op til valget. Det er således ikke tilfældet, at målinger foretaget tættere på 16. oktober er mindre pålidelige end dem foretaget tættere på 16. november. For det tredje er der relativt få meningsmålinger. Havde der været mange flere meningsmålinger kunne vi få mere ud af systematisk at belyse, hvordan de har klaret sig over tid.
For hver lokal meningsmåling der blev foretaget i kommunalvalgkampens sidste måned, har jeg udregnet den gennemsnitlige fejl i hver meningsmåling. Det vil sige at jeg for hvert estimat i en meningsmåling har udregnet forskellen mellem estimatet i meningsmålingen og valgresultatet – og så taget gennemsnittet af disse. Jo større forskelle der var mellem resultaterne i en meningsmåling og valgresultatet, desto større er den gennemsnitlige fejl. Hvis en meningsmåling ramte 100% præcist for alle partier i en måling, ville den gennemsnitlige fejl være 0.
Den mest præcise meningsmåling blev foretaget af Gallup i København den 8. november. Den gennemsnitlige fejl var her 0,78. Denne måling ramte især rigtigt ved partier som Venstre, Liberal Alliance, Socialdemokratiet og Konservative, men havde svært ved at ramme SF (målingen gav partiet 2,3 procentpoint flere stemmer, end de fik ved valget).
Den mindst præcise meningsmåling blev foretaget af Jysk Analyse på Bornholm en uge før kommunalvalget. Den gennemsnitlige fejl i denne meningsmåling var 1,74. Her ramte målingen forbi skiven ved flere partier, eksempelvis Venstre (5,8 procentpoint større opbakning i målingen), Konservative (4,8 procentpoint lavere opbakning i målingen) og Bornholmerlisten (3,9 lavere opbakning i målingen). Jeg har svært ved at forestille mig, at vælgerne har rykket sig så meget i ugen op til valget, hvorfor jeg gerne vil stå på mål for den påstand, at Jysk Analyse foretog en dårlig meningsmåling.
En anden måling der ikke klarede sig godt var Gallups måling på Frederiksberg. Denne måling undervurdere opbakningen til Enhedslisten, Radikale Venstre og Socialdemokratiet med henholdsvis 3,3, 2,6 og 2,6 procentpoint. Det tyder med andre ord på, at Gallup havde svært ved at ramme venstreorienterede vælgere på Frederiksberg. Disse vælgere er sandsynligvis yngre vælgere og mere tilbøjelige til at være tilflyttere.
Det er interessant at den mindst præcise meningsmåling og den mest præcise meningsmåling begge er foretaget af Gallup i hovedstadsområdet i samme periode. Dette kan tyde på, at der er specifikke udfordringer forbundet med hver kommune, man ønsker at foretage en meningsmåling i. Vi kan derfor ikke nødvendigvis konkludere, at et analyseinstitut, der har klaret sig rigtig godt i én kommune også vil klare sig godt i en helt anden kommune.
Nedenstående tabel viser den gennemsnitlige fejl, altså den gennemsnitlige forskel mellem valgresultatet og meningsmålingen, i målingerne foretaget senest en måned inden kommunalvalget.
| Gennemsnitlige fejl i meningsmålingerne | ||||
|---|---|---|---|---|
| Målinger foretaget senest en måned inden kommunalvalget | ||||
Nogle meningsmålinger klarede sig bedre end andre, men vi kan konkludere, at meningsmålingerne – overordnet betragtet – klarede sig ganske fint. De var ikke perfekte (den bedste lokale måling kunne ikke slå den bedste måling fra folketingsvalget i 2019), men de var på ingen måde i nærheden af at være en katastrofe.
Desuden var den lokale dækning generelt af meningsmålingerne god. De fleste artikler formidlede metodiske informationer, herunder hvornår meningsmålingen blev foretaget samt den statistiske usikkerhed, og i de tilfælde hvor den slags information ikke blev formidlet, var journalisterne generelt gode til at udlevere den slags information, når jeg spurgte dem.
Kvaliteten af meningsmålingerne ved kommunalvalget var dermed ganske fin. Når det er sagt, er det relevant at forholde sig til, om de lokale meningsmålinger er bedre end eventuelle alternativer. Hvis de lokale målinger ikke er bedre end eventuelle alternativer, er der ingen grund til at foretage dem og bruge spalteplads på at formidle dem.
Den nationale valgvind
Hvis vi ønsker at sige noget om partierens opbakning lokalt, kan vi kigge på hvordan nationale meningsmålinger, kombineret med lokale forhold, kan give deres bud på opbakningen til partierne på kommunalt niveau. Ideen er således at vi kan se hvordan den nationale valgvind påvirker de forskellige partier.
Martin Vinæs Larsen og Kasper Møller Hansen har et kapitel i bogen om kommunalvalget 2017, der bærer titlen ‘Om den landspolitiske valgvind i 2017 – og hvorfor Dansk Folkeparti klarede sig dårligere end forventet’. Som titlen på kapitlet antyder var deres valgvindsprognose i 2017 ubrugelig til at sige noget om, hvordan Dansk Folkeparti ville klare sig. De viser flere interessante ting i kapitlet, herunder hvordan sammenhængen mellem national og lokal opbakning for de politiske partier er svagere i mindre kommuner.
Dette skaber et godt udgangspunkt for at sige noget om, hvordan de nationale partier ville klare sig ved kommunalvalget i 2021. De offentliggjorde således deres valgvindsprognose for 2021, altså estimater på hvor stor opbakning man burde forvente at se for de forskellige partier i de 98 kommuner.
I nedenstående figur har jeg taget de estimater, hvor vi har data fra lokale meningsmålinger og data fra valgvindsprognosen. Jo tættere en observation er på den stiplede linje i figuren, desto tættere var estimatet på valgresultatet. Det vil sige at når eksempelvis en lokal måling ligger på den stiplede linje, ramte målingen et partis opbakning helt præcist.
Vi kan se at de lokale målinger generelt klarede sig bedre end valgvindsprognosen (de blå observationer ligger tættere på den stiplede linje end de røde observationer). Når en lokal måling og valgvindsprognosen var uenige om, hvor stor opbakningen ville være til et parti ved kommunalvalget, havde den lokale måling oftere ret. Der er således eksempler på ekstreme forskelle mellem valgvindsprognosen og valgresultatet, der ville være ekstra iøjnefaldende at se i en lokal meningsmåling.
Fordelen ved de lokale målinger er ikke blot, at de er mere præcise, men at vi også her har data for de lokale partier. Valgvindsprognosen kan selvsagt ikke sige noget om, hvordan det vil gå for Bornholmerlisten. Når det er sagt er det også på sin plads at nævne, at valgvindsprognosen har andre fordele. For det første forsøger valgvindsprognosen ikke at sige noget om ét parti lokalt (selvom vi har data herpå), men noget generelt om tendenserne i kommunerne. Det kan de lokale meningsmålinger ikke sige så meget om. For det andet er det – som anført ovenfor – kun udvalgte kommuner, der foretages meningsmålinger i. Hvis vi gerne vil sige noget fornuftigt om hvad vi kan forvente i landets 98 kommuner, giver valgvindsprognosen klart det bedste bud.
Formålet med ovenstående figur er således ikke at diskreditere valgvindsprognosen, men blot pointere, at i de få tilfælde hvor vi har data fra både en lokal måling og valgvindsprognosen, giver det mening – gennemsnitligt betragtet – at have større tiltro til den lokale måling.
Hvad med exitpolls?
Et andet alternativ til meningsmålingerne er exitpolls. Ved kommunalvalget foretog studerende og gymnasieelever exitpolls i specifikke kommuner, herunder Aarhus, Ringkøbing-Skjern, Hørsholm, Mariagerfjord og Skive. Jeg har ikke lavet en systematisk analyse af hvor præcise disse exitpolls var, men mit indtryk er, at de generelt klarede sig fint.
I den bedste af alle verdener foretog vi meningsmålinger og exitpolls i de samme kommuner, så vi kunne sammenligne de to. Mit gæt er, at exitpolls vil og bør være mere præcise, men jeg vil stadig argumentere for, at meningsmålinger er mere interessante. Jeg vil sågar gå så langt som til at sige, at exitpolls er overflødige i en kommunalvalgskontekst. Meningsmålinger foretages i perioden op til et kommunalvalg, hvor valgkampen stadig er aktuel. Når der kun er tale om få timer fra valgstederne lukker til vi har gode bud på, hvor stor opbakningen er til de respektive partier i de forskellige kommuner, er det begrænset, hvad vi kan bruge exitpolls til.
Når vi ligeledes ikke har gode indikatorer for, om de rammer præcist (gerne ved at have flere exitpolls foretaget af forskellige aktører/analyseinstitutter), kan de skabe mere støj og spekulation på valgaftenen end egentlige indsigter. Det er fint at der bliver foretaget exitpolls, men det ville i min optik ikke udgøre det store tab, hvis de slet ikke blev foretaget.
Hvad med regionsrådsvalget?
Vi taler primært om kommunalvalget, men der var tale om et kommunal- og regionsrådsvalg. Der blev mig bekendt kun foretaget én meningsmåling i forbindelse med regionsrådsvalget. Den blev foretaget af Gallup. Denne måling klarede sig overordnet godt, men overvurderede opbakningen til Nye Borgerlige og undervurderede især opbakningen til Venstre. Meningsmålingen gav Venstre 18% af stemmerne, men de endte som bekendt med at få 23,02% af stemmerne.
Hvad kan meningsmålingerne sige?
Meningsmålingerne kan sige noget om, hvilke partier vælgerne vil stemme på – men ikke hvorfor, vælgerne stemmer på de forskellige partier. Det samme kan man desuden sige om valgresultatet. Det er derfor interessant at se politiske kommentatorer og eksperter forsøge at give udtryk for, at de kan gøre sig kloge betragtninger herom. Jens Ringberg sagde eksempelvis til DR, at der blandt andet var tale om en Pape-effekt ved kommunalvalget: “Man taler om Pape-effekten og en særlig kommunal valgvind, der kommer fra de nationale målinger og skyller hen over kommunerne. Det er sådan set også det, der er sket her til aften.” Vi kan dog på ingen måde bruge de nationale meningsmålinger til at sige, at der er tale om en Pape-effekt. Vi kan end ikke sige, at de Konservatives nuværende opbakning i de nationale meningsmålinger kan tilskrives en Pape-effekt (se også mit indlæg fra 2017 med en lignende pointe).
Kommunalvalget er også blevet kaldt for det “første grønne kommunalvalg” med udgangspunkt i en meningsmåling foretaget af Electica. Jeg kunne finde meningsmålingen omtalt hos Klimabevægelsen i Danmark, men der står desværre intet om, hvorvidt de har finansieret den pågældende meningsmåling. Meningsmålingen bruges til at konkludere, at “Debatten om klimaet og den grønne dagsorden har haft en afgørende indflydelse på udfaldet af KV21”, men det kan den pågældende meningsmåling ikke bruges til at konkludere.
En stor udfordring med meningsmålingerne er således ikke hvad de viser, men hvad folk tror de viser. Dette er en pointe faste læsere for længst vil være bekendt med. Problemet med meningsmålingerne er ofte ikke meningsmålingerne selv, men hvordan journalister, politiske kommentatorer, politikere og ordinære borgere tolker og bruger meningsmålinger. Kommunalvalget er dermed ikke undtaget for, at meningsmålingerne også her skal stå på mål for udsagn, de ikke kan bakke op om.
Hvad kan vi vente os af KV25?
Der er nu fire år til næste kommunalvalg. Hvis dækningen af meningsmålingerne ved næste kommunalvalg vil være som i 2021, vil jeg være glad. Dækningen har været fin, og det var ikke et kommunalvalg, hvor meningsmålingerne var i centrum eller generelt klarede sig dårligt.
Det vil være fortrinligt at se mere arbejde i forhold til at belyse kommunalvalget fra et nationalt perspektiv. Et fornuftigt udgangspunkt er, at selvom der er tale om 98 lokale valg, så finder de sted i den samme nationale kontekst. Det giver derfor kun god mening at analysere og diskutere nationale tendenser med respekt for lokale forhold i de respektive kommuner. En analytisk udfordring vil være at udvikle redskaber, der bedre kan indfange variation på tværs af de forskellige kommuner i, hvad der er udslagsgivende for, hvilke partier vælgerne stemmer på lokalt. En mulighed kunne være en MRP model, der vha. én stor national måling, data fra tidligere valg (eksempelvis kommunalvalgsundersøgelserne), lokale data og maskinlæring kan indfange de kontekstuelle forhold, der bedst indfanger partiernes opbakning lokalt.
Som en afsluttende bemærkning kan det tilføjes, at det ville være at foretrække, hvis de respektive analyseinstitutter, der foretager lokale meningsmålinger, bliver bedre til at offentliggøre dem på deres hjemmesider. Jeg gjorde hvad jeg kunne for at indsamle de lokale målinger og gøre dem tilgængelige for alle, men det kan ikke udelukkes, at jeg har overset specifikke målinger. Mit håb er, at det vil være nemmere i 2025 at få data fra de forskellige analyseinstitutter.
Kommunalvalgsmålingerne rammer ikke lige så præcist som folketingsvalgsmålingerne, men kvaliteten af meningsmålingerne ved kommunalvalget var overordnet betragtet god. Jeg ser derfor ingen grund til at afskrive deres anvendelighed og relevans ved dette eller fremtidige kommunalvalg.