Erik Gahner Larsen

Meningsmålinger på Politologi.dk #3

I 2020 foretog jeg en række større ændringer til mine visualiseringer af meningsmålingerne på Politologi.dk. Siden da har jeg lavet et par små tilføjelser i ny og næ, eksempelvis når nye partier melder deres ankomst. På det seneste har jeg dog også tilføjet nogle ekstra funktioner på siden, som jeg gennemgår her.

Meningsmålinger fra forskellige valgperioder

Overblikket på forsiden er tiltænkt et hurtigt overblik, hvor man kan se, hvordan partierne klarer sig i meningsmålingerne i de seneste måneder. De er ikke tiltænkt et overblik for hele valgperioden eller tidligere valgperioder, men viser blot de seneste 75 meningsmålinger.

Der er flere der har efterspurgt, at det bliver lettere at se mere end de seneste 75 meningsmålinger. Derfor har jeg lavet separate sider, hvor man let kan få et overblik over meningsmålingerne fra de seneste valgperioder (inklusiv indeværende valgperiode). Her er eksempelvis en figur med meningsmålinger i valgperioden 2011-2015:

Jeg havde oprindeligt en idé om også at tilføje nogle dynamiske elementer, herunder eksempelvis muligheden for selv at vælge de partier og den periode, man gerne ville se meningsmålingerne fra. Til dette forsøgte jeg mig med plotly og ggplot2, men det viste sig hurtigt, at det ville fylde en del. Det er dog en af de ting, jeg vil forsøge at tilføje på et tidspunkt i fremtiden.

Rød og blå blok

Dansk politik handler som bekendt om at kunne tælle til 90. Det er vigtigt for Socialdemokratiet at vide, når de går tilbage i meningsmålingerne, om stemmerne bliver i rød blok eller om de går til blå blok.

Medierne ved således også kun fokusere mere på styrkeforholdet mellem rød og blå blok, når vi kommer tættere på et valg, hvorfor vi skal kigge på mere end opbakningen til de respektive partier.

Jeg har af den grund – og på baggrund af en forespørgsel – tilføjet opbakningen til rød og blå blok. Her er et eksempel på, hvordan det ser ud:

Det gør det let at se hvordan de to blokke står i forhold til hinanden, men det er ikke en figur der viser forandringer a la figurerne med partierne. Dette af to grunde. For det første er den statistiske usikkerhed større for blokkene end for partierne. For det andet sker forandringer i målingerne for det meste internt i blokkene. Når Nye Borgerlige går meget frem eller tilbage, er der større sandsynlighed for, at stemmerne kommer fra andre blå partier end røde partier.

Indlæg med seneste meningsmålinger

Når der kommer en ny meningsmåling, bliver denne også formidlet i sit eget indlæg. For at lave en tabel med tallene i den seneste meningsmåling, bruger jeg den fantastiske pakke gt i R (se her for en oversigt med gode resourcer til denne pakke).

Her er et eksempel med en meningsmåling fra december 2021 foretaget af Voxmeter:

Opbakning
23. december
Usikkerhed
95% KI
FV ’19
Resultat
Forskel
%-point
Socialdemokratiet
 26,3% ±2,7% 25,9% 0,4%
↑
Venstre
 15,2% ±2,2% 23,4% −8,2%
↓
Konservative
 14,5% ±2,2% 6,6% 7,9%
↑
Enhedslisten
 9,1% ±1,8% 6,9% 2,2%
↑
SF
 8,6% ±1,7% 7,7% 0,9%
↑
Dansk Folkeparti
 6,9% ±1,6% 8,7% −1,8%
↓
Radikale Venstre
 6,5% ±1,5% 8,6% −2,1%
↓
Nye Borgerlige
 6,4% ±1,5% 2,4% 4,0%
↑
Liberal Alliance
 2,6% ±1,0% 2,3% 0,3%
↑
Kristendemokraterne
 1,6% ±0,8% 1,7% −0,1%
↓
Alternativet
 1,3% ±0,7% 3,0% −1,7%
↓
Frie Grønne
 0,2% ±0,3% – –
–
Veganerpartiet
 0,0% ±0,0% – –
–

Tanken er at tabellen let kan vise hvordan partierne står i forhold til hinanden, hvor de største partier vises først – og der er lige så meget fokus på den statistiske usikkerhed for hvert af partierne. Denne opbygning gør det desuden også let at se, hvordan den statistiske usikkerhed er lavere for de små partier, og ved at følge disse indlæg vil du hurtigt kunne lære, hvad den statistiske usikkerhed er ved forskellige niveauer af opbakning.

Der er med sikkerhed mulighed for forbedringer, og har du forslag eller kommentarer, hører jeg gerne fra dig.

Er Socialdemokratiet gået tilbage i meningsmålingerne? #5

Hvordan står Socialdemokratiet i meningsmålingerne? I tidligere indlæg har jeg argumenteret for, at vægtede gennemsnit og specifikke enkeltmålinger ikke overbevisende har vist, at Socialdemokratiet er gået tilbage i meningsmålingerne (#1, #2, #3, #4).

Sidste år pointerede jeg, at blot fordi et vægtet gennemsnit hos Altinget gav Socialdemokratiet en opbakning på 31,5%, betød det ikke, at partiet havde mistet opbakning. Tværtimod var 31,5% meget foreneligt med, hvor partiet sandsynligvis havde ligget gennem store dele af 2020. Der var således større forskel mellem institutterne i, hvor stor opbakningen var til Socialdemokratiet end inden for institutterne, hvor opbakningen var relativt stabil.

I de efterfølgende indlæg fremhævede jeg, at det selvfølgelig ikke kunne udelukkes, at Socialdemokratiet gik tilbage – eller kunne gå tilbage – men at medierne ofte tolkede meningsmålingerne forkert, når de ville lave sådanne konklusioner. Dette skyldes især, at når man ønsker at se på en forskel mellem to meningsmålinger, skal man tage den statistiske usikkerhed i begge målinger i betragtning (journalister antager ofte at den statistiske usikkerhed i en tidligere meningsmåling er 0).

Det er nu efterhånden et godt stykke tid siden, at jeg sidst belyste opbakningen til Socialdemokratiet i meningsmålingerne. Er der sket noget siden sidst? Der har i løbet af de seneste måneder været målinger, der har vist både stabilitet og tilbagegang til Socialdemokratiet. Den 25. oktober kunne man eksempelvis læse hos Altinget, at “S ligger stabilt og fastholder lille coronagevinst”. Samme dag kunne man dog også læse hos BT, Kristeligt Dagblad, Netavisen Pio, Avisen Danmark og andre steder, at opbakningen til rød blok nu var på under 50%.

For at se hvordan det helt præcist er gået Socialdemokratiet siden coronapandemien brød ud, har jeg taget alle meningsmålinger fra januar 2020 til i dag og estimeret en model, hvor vi tager huseffekter i målingerne i betragtning.

Vi ser som bekendt at Socialdemokratiet oplevede en stor fremgang i meningsmålingerne ovenpå den første coronanedlukning i begyndelsen af 2020. Derefter lå partiet relativt stabilt på den gode side af 30%, men fra slutningen af sommeren til nu ser vi, at opbakningen til Socialdemokratiet gradvist er faldet til et niveau, hvor de var før coronapandemien. Konkret er mit bedste bud, at Socialdemokratiet – hvis der var valg i dag – ville få 25% af stemmerne.

Det går op og ned i politik. Det interessante er her, at opbakningen til Socialdemokratiet har ændret sig betydeligt på relativt kort tid. Det gik hurtigt op – og det er gået langsomt ned. Der er således ikke tale om så kort tid, at vi kan opfange sådanne forskydninger i de ugentlige målinger (hvis man ser bort fra fremgangen i begyndelsen af pandemien).

Tager vi alle meningsmålingerne og huseffekterne i betragtning, er der således evidens for, at Socialdemokratiet er gået tilbage i meningsmålingerne i løbet af de seneste måneder. De er i de seneste meningsmålinger således slået tilbage til start (altså før coronapandemien).

Hvad vi ikke ved er, om de vælgere der er gået væk fra Socialdemokratiet på det seneste, er de samme som gik til partiet i begyndelsen af pandemien. I så fald er der sket forandringer under mantraet ‘hvad der kommer let går let’. Mit gæt er at analyseinstitutterne vil være i stand til at besvare dette, men på nuværende tidspunkt har vi ingen evidens herfor.

Kvaliteten af meningsmålingerne ved kommunalvalget #2

Hvor præcise var meningsmålingerne ved kommunalvalget? For at besvare dette spørgsmål må vi først forholde os til, hvilke meningsmålinger vi ønsker at se på. Skal vi eksempelvis belyse, om nationale meningsmålinger indfanger de nationale partiers opbakning lokalt? Eller skal vi se på, om de lokale meningsmålinger hver især rammer de lokale valg præcist?

Et landsresultat for kommunalvalget er på mange måder en kunstig konstruktion, da der som bekendt er tale om 98 unikke valg, hvor alle partier ikke stiller op i alle 98 kommuner – og lokale partier og lister stiller op i forskellige kommuner. Dertil gør valgforbund og andre forhold ligeledes, at vælgerne lokalt ikke nødvendigvis støtter det parti, de støtter nationalt. Et landsresultat er dermed primært af interesse for de nationale medier, der ønsker at diskutere, hvem af partierne i Folketinget der var vindere og tabere af kommunalvalget.

Udfordring forbundet med at kigge på meningsmålingerne ved kommunalvalget er, at i de fleste kommuner har vi ingen meningsmålinger. I de kommuner, hvor der bliver foretaget meningsmålinger, har vi ofte kun én meningsmåling. Kun i meget få kommuner får vi mere end én måling (eksempelvis København og Bornholm). Udfordringen med meningsmålingerne ved kommunalvalget er dermed ikke de meningsmåliner, vi har, men de målinger vi ikke har.

I den bedste af alle verdener foretog vi et tocifret antal meningsmålinger i hver af de 98 kommuner (hvilket ville give os rundt regnet 1000 meningsmålinger). Dette er selvsagt urealistisk, men jeg fremhæver det alligevel her for at pointere, hvad et fornuftigt udgangspunkt ville være, hvis vi skulle give meningsmålingerne en fair chance for at sige noget om alle lokale valg. Vi er således ikke interesseret i at se på, hvordan de mange kommunalvalgsmålinger klarede sig, men hvordan de få kommunalvalgsmålinger, der trods alt blev foretaget, har klaret sig.

Hvordan klarede de lokale meningsmålinger sig?

Der har mig bekendt været et begrænset fokus på, hvordan de lokale målinger har klaret sig. Fagbladet Journalisten præsenterede en lang række tal dagen efter kommunalvalget, men der er ikke tale om et egentligt overblik (den seneste meningsmåling fra Bornholm er eksempelvis ikke at finde i deres “overblik”). Derfor er det fint at kigge mere systematisk på, hvordan de respektive målinger helt præcist klarede sig.

Til at gøre dette har jeg taget udgangspunkt i mit datasæt med kommunalvalgsmålinger, hvor jeg afgrænsede målingerne til kommunalvalgkampens sidste måned, dvs. målinger foretaget i perioden fra 16. oktober til 16. november 2021. Skæringsdatoen 16. oktober kan virke arbitrær, men der er tre forhold at tage i betragtning. For det første vil det være unfair at inkludere de meningsmålinger, der blev foretaget for et års tid siden. Meningsmålinger er et øjebliksbillede og ikke et forsøg på at forudsige et valgresultat langt ude i fremtiden. For det andet, og som jeg vil vise nedenfor, tyder intet på, at det er afgørende om en måling er foretaget i dagene op til eller ugerne op til valget. Det er således ikke tilfældet, at målinger foretaget tættere på 16. oktober er mindre pålidelige end dem foretaget tættere på 16. november. For det tredje er der relativt få meningsmålinger. Havde der været mange flere meningsmålinger kunne vi få mere ud af systematisk at belyse, hvordan de har klaret sig over tid.

For hver lokal meningsmåling der blev foretaget i kommunalvalgkampens sidste måned, har jeg udregnet den gennemsnitlige fejl i hver meningsmåling. Det vil sige at jeg for hvert estimat i en meningsmåling har udregnet forskellen mellem estimatet i meningsmålingen og valgresultatet – og så taget gennemsnittet af disse. Jo større forskelle der var mellem resultaterne i en meningsmåling og valgresultatet, desto større er den gennemsnitlige fejl. Hvis en meningsmåling ramte 100% præcist for alle partier i en måling, ville den gennemsnitlige fejl være 0.

Den mest præcise meningsmåling blev foretaget af Gallup i København den 8. november. Den gennemsnitlige fejl var her 0,78. Denne måling ramte især rigtigt ved partier som Venstre, Liberal Alliance, Socialdemokratiet og Konservative, men havde svært ved at ramme SF (målingen gav partiet 2,3 procentpoint flere stemmer, end de fik ved valget).

Den mindst præcise meningsmåling blev foretaget af Jysk Analyse på Bornholm en uge før kommunalvalget. Den gennemsnitlige fejl i denne meningsmåling var 1,74. Her ramte målingen forbi skiven ved flere partier, eksempelvis Venstre (5,8 procentpoint større opbakning i målingen), Konservative (4,8 procentpoint lavere opbakning i målingen) og Bornholmerlisten (3,9 lavere opbakning i målingen). Jeg har svært ved at forestille mig, at vælgerne har rykket sig så meget i ugen op til valget, hvorfor jeg gerne vil stå på mål for den påstand, at Jysk Analyse foretog en dårlig meningsmåling.

En anden måling der ikke klarede sig godt var Gallups måling på Frederiksberg. Denne måling undervurdere opbakningen til Enhedslisten, Radikale Venstre og Socialdemokratiet med henholdsvis 3,3, 2,6 og 2,6 procentpoint. Det tyder med andre ord på, at Gallup havde svært ved at ramme venstreorienterede vælgere på Frederiksberg. Disse vælgere er sandsynligvis yngre vælgere og mere tilbøjelige til at være tilflyttere.

Det er interessant at den mindst præcise meningsmåling og den mest præcise meningsmåling begge er foretaget af Gallup i hovedstadsområdet i samme periode. Dette kan tyde på, at der er specifikke udfordringer forbundet med hver kommune, man ønsker at foretage en meningsmåling i. Vi kan derfor ikke nødvendigvis konkludere, at et analyseinstitut, der har klaret sig rigtig godt i én kommune også vil klare sig godt i en helt anden kommune.

Nedenstående tabel viser den gennemsnitlige fejl, altså den gennemsnitlige forskel mellem valgresultatet og meningsmålingen, i målingerne foretaget senest en måned inden kommunalvalget.

Gennemsnitlige fejl i meningsmålingerne
Målinger foretaget senest en måned inden kommunalvalget
kommune institut n dato fejl
Bornholm Jysk Analyse 1031 11. nov 1,74
Frederiksberg Gallup 751 9. nov 1,73
Fredericia Jysk Analyse 1040 21. okt 1,55
Vejle Jysk Analyse 1009 4. nov 1,41
København Epinion 1024 19. okt 1,40
Hedensted Jysk Analyse 1005 26. okt 1,38
Horsens Jysk Analyse 1010 31. okt 1,23
Odense Jysk Analyse 1028 9. nov 1,11
Fredericia Voxmeter 500 31. okt 0,98
Viborg Jysk Analyse 1010 4. nov 0,95
København Gallup 1073 8. nov 0,78

Nogle meningsmålinger klarede sig bedre end andre, men vi kan konkludere, at meningsmålingerne – overordnet betragtet – klarede sig ganske fint. De var ikke perfekte (den bedste lokale måling kunne ikke slå den bedste måling fra folketingsvalget i 2019), men de var på ingen måde i nærheden af at være en katastrofe.

Desuden var den lokale dækning generelt af meningsmålingerne god. De fleste artikler formidlede metodiske informationer, herunder hvornår meningsmålingen blev foretaget samt den statistiske usikkerhed, og i de tilfælde hvor den slags information ikke blev formidlet, var journalisterne generelt gode til at udlevere den slags information, når jeg spurgte dem.

Kvaliteten af meningsmålingerne ved kommunalvalget var dermed ganske fin. Når det er sagt, er det relevant at forholde sig til, om de lokale meningsmålinger er bedre end eventuelle alternativer. Hvis de lokale målinger ikke er bedre end eventuelle alternativer, er der ingen grund til at foretage dem og bruge spalteplads på at formidle dem.

Den nationale valgvind

Hvis vi ønsker at sige noget om partierens opbakning lokalt, kan vi kigge på hvordan nationale meningsmålinger, kombineret med lokale forhold, kan give deres bud på opbakningen til partierne på kommunalt niveau. Ideen er således at vi kan se hvordan den nationale valgvind påvirker de forskellige partier.

Martin Vinæs Larsen og Kasper Møller Hansen har et kapitel i bogen om kommunalvalget 2017, der bærer titlen ‘Om den landspolitiske valgvind i 2017 – og hvorfor Dansk Folkeparti klarede sig dårligere end forventet’. Som titlen på kapitlet antyder var deres valgvindsprognose i 2017 ubrugelig til at sige noget om, hvordan Dansk Folkeparti ville klare sig. De viser flere interessante ting i kapitlet, herunder hvordan sammenhængen mellem national og lokal opbakning for de politiske partier er svagere i mindre kommuner.

Dette skaber et godt udgangspunkt for at sige noget om, hvordan de nationale partier ville klare sig ved kommunalvalget i 2021. De offentliggjorde således deres valgvindsprognose for 2021, altså estimater på hvor stor opbakning man burde forvente at se for de forskellige partier i de 98 kommuner.

I nedenstående figur har jeg taget de estimater, hvor vi har data fra lokale meningsmålinger og data fra valgvindsprognosen. Jo tættere en observation er på den stiplede linje i figuren, desto tættere var estimatet på valgresultatet. Det vil sige at når eksempelvis en lokal måling ligger på den stiplede linje, ramte målingen et partis opbakning helt præcist.

Vi kan se at de lokale målinger generelt klarede sig bedre end valgvindsprognosen (de blå observationer ligger tættere på den stiplede linje end de røde observationer). Når en lokal måling og valgvindsprognosen var uenige om, hvor stor opbakningen ville være til et parti ved kommunalvalget, havde den lokale måling oftere ret. Der er således eksempler på ekstreme forskelle mellem valgvindsprognosen og valgresultatet, der ville være ekstra iøjnefaldende at se i en lokal meningsmåling.

Fordelen ved de lokale målinger er ikke blot, at de er mere præcise, men at vi også her har data for de lokale partier. Valgvindsprognosen kan selvsagt ikke sige noget om, hvordan det vil gå for Bornholmerlisten. Når det er sagt er det også på sin plads at nævne, at valgvindsprognosen har andre fordele. For det første forsøger valgvindsprognosen ikke at sige noget om ét parti lokalt (selvom vi har data herpå), men noget generelt om tendenserne i kommunerne. Det kan de lokale meningsmålinger ikke sige så meget om. For det andet er det – som anført ovenfor – kun udvalgte kommuner, der foretages meningsmålinger i. Hvis vi gerne vil sige noget fornuftigt om hvad vi kan forvente i landets 98 kommuner, giver valgvindsprognosen klart det bedste bud.

Formålet med ovenstående figur er således ikke at diskreditere valgvindsprognosen, men blot pointere, at i de få tilfælde hvor vi har data fra både en lokal måling og valgvindsprognosen, giver det mening – gennemsnitligt betragtet – at have større tiltro til den lokale måling.

Hvad med exitpolls?

Et andet alternativ til meningsmålingerne er exitpolls. Ved kommunalvalget foretog studerende og gymnasieelever exitpolls i specifikke kommuner, herunder Aarhus, Ringkøbing-Skjern, Hørsholm, Mariagerfjord og Skive. Jeg har ikke lavet en systematisk analyse af hvor præcise disse exitpolls var, men mit indtryk er, at de generelt klarede sig fint.

I den bedste af alle verdener foretog vi meningsmålinger og exitpolls i de samme kommuner, så vi kunne sammenligne de to. Mit gæt er, at exitpolls vil og bør være mere præcise, men jeg vil stadig argumentere for, at meningsmålinger er mere interessante. Jeg vil sågar gå så langt som til at sige, at exitpolls er overflødige i en kommunalvalgskontekst. Meningsmålinger foretages i perioden op til et kommunalvalg, hvor valgkampen stadig er aktuel. Når der kun er tale om få timer fra valgstederne lukker til vi har gode bud på, hvor stor opbakningen er til de respektive partier i de forskellige kommuner, er det begrænset, hvad vi kan bruge exitpolls til.

Når vi ligeledes ikke har gode indikatorer for, om de rammer præcist (gerne ved at have flere exitpolls foretaget af forskellige aktører/analyseinstitutter), kan de skabe mere støj og spekulation på valgaftenen end egentlige indsigter. Det er fint at der bliver foretaget exitpolls, men det ville i min optik ikke udgøre det store tab, hvis de slet ikke blev foretaget.

Hvad med regionsrådsvalget?

Vi taler primært om kommunalvalget, men der var tale om et kommunal- og regionsrådsvalg. Der blev mig bekendt kun foretaget én meningsmåling i forbindelse med regionsrådsvalget. Den blev foretaget af Gallup. Denne måling klarede sig overordnet godt, men overvurderede opbakningen til Nye Borgerlige og undervurderede især opbakningen til Venstre. Meningsmålingen gav Venstre 18% af stemmerne, men de endte som bekendt med at få 23,02% af stemmerne.

Hvad kan meningsmålingerne sige?

Meningsmålingerne kan sige noget om, hvilke partier vælgerne vil stemme på – men ikke hvorfor, vælgerne stemmer på de forskellige partier. Det samme kan man desuden sige om valgresultatet. Det er derfor interessant at se politiske kommentatorer og eksperter forsøge at give udtryk for, at de kan gøre sig kloge betragtninger herom. Jens Ringberg sagde eksempelvis til DR, at der blandt andet var tale om en Pape-effekt ved kommunalvalget: “Man taler om Pape-effekten og en særlig kommunal valgvind, der kommer fra de nationale målinger og skyller hen over kommunerne. Det er sådan set også det, der er sket her til aften.” Vi kan dog på ingen måde bruge de nationale meningsmålinger til at sige, at der er tale om en Pape-effekt. Vi kan end ikke sige, at de Konservatives nuværende opbakning i de nationale meningsmålinger kan tilskrives en Pape-effekt (se også mit indlæg fra 2017 med en lignende pointe).

Kommunalvalget er også blevet kaldt for det “første grønne kommunalvalg” med udgangspunkt i en meningsmåling foretaget af Electica. Jeg kunne finde meningsmålingen omtalt hos Klimabevægelsen i Danmark, men der står desværre intet om, hvorvidt de har finansieret den pågældende meningsmåling. Meningsmålingen bruges til at konkludere, at “Debatten om klimaet og den grønne dagsorden har haft en afgørende indflydelse på udfaldet af KV21”, men det kan den pågældende meningsmåling ikke bruges til at konkludere.

En stor udfordring med meningsmålingerne er således ikke hvad de viser, men hvad folk tror de viser. Dette er en pointe faste læsere for længst vil være bekendt med. Problemet med meningsmålingerne er ofte ikke meningsmålingerne selv, men hvordan journalister, politiske kommentatorer, politikere og ordinære borgere tolker og bruger meningsmålinger. Kommunalvalget er dermed ikke undtaget for, at meningsmålingerne også her skal stå på mål for udsagn, de ikke kan bakke op om.

Hvad kan vi vente os af KV25?

Der er nu fire år til næste kommunalvalg. Hvis dækningen af meningsmålingerne ved næste kommunalvalg vil være som i 2021, vil jeg være glad. Dækningen har været fin, og det var ikke et kommunalvalg, hvor meningsmålingerne var i centrum eller generelt klarede sig dårligt.

Det vil være fortrinligt at se mere arbejde i forhold til at belyse kommunalvalget fra et nationalt perspektiv. Et fornuftigt udgangspunkt er, at selvom der er tale om 98 lokale valg, så finder de sted i den samme nationale kontekst. Det giver derfor kun god mening at analysere og diskutere nationale tendenser med respekt for lokale forhold i de respektive kommuner. En analytisk udfordring vil være at udvikle redskaber, der bedre kan indfange variation på tværs af de forskellige kommuner i, hvad der er udslagsgivende for, hvilke partier vælgerne stemmer på lokalt. En mulighed kunne være en MRP model, der vha. én stor national måling, data fra tidligere valg (eksempelvis kommunalvalgsundersøgelserne), lokale data og maskinlæring kan indfange de kontekstuelle forhold, der bedst indfanger partiernes opbakning lokalt.

Som en afsluttende bemærkning kan det tilføjes, at det ville være at foretrække, hvis de respektive analyseinstitutter, der foretager lokale meningsmålinger, bliver bedre til at offentliggøre dem på deres hjemmesider. Jeg gjorde hvad jeg kunne for at indsamle de lokale målinger og gøre dem tilgængelige for alle, men det kan ikke udelukkes, at jeg har overset specifikke målinger. Mit håb er, at det vil være nemmere i 2025 at få data fra de forskellige analyseinstitutter.

Kommunalvalgsmålingerne rammer ikke lige så præcist som folketingsvalgsmålingerne, men kvaliteten af meningsmålingerne ved kommunalvalget var overordnet betragtet god. Jeg ser derfor ingen grund til at afskrive deres anvendelighed og relevans ved dette eller fremtidige kommunalvalg.

Meningsmålinger og kommunalvalg #2

I 2017 skrev jeg om meningsmålingerne og kommunalvalget med et fokus på, hvor svært det er at bruge meningsmålinger til at forudsige, hvordan et kommunalvalg kommer til at gå. Hvad viser meningsmålingerne forud for kommunalvalget på tirsdag?

Vi kan af gode grunde ikke udelukkende kigge på de nationale meningsmålinger og udtale os omkring kommunalvalgsresultatet. Hvad vi kan gøre er at kigge på de lokale meningsmålinger. Der er trods alt tale om 98 forskellige valg. I den forbindelse har jeg konstrueret et datasæt med opbakningen til de forskellige partier i de lokale meningsmålinger. Datasættet kan findes her. Det er ingenlunde en simpel opgave at lave et datasæt med meningsmålinger (se eksempelvis dette indlæg med nogle gode overvejelser herom), og der er især to udfordringer.

For det første er der lokale partier, der stiller op i de forskellige kommuner. Og det er ikke i alle kommuner, at de nationale partier stiller op. Derfor vil datasættet have et andet format end det jeg har med de nationale meningsmålinger. For det andet er det ikke alle tal, der formidles i dækningen af meningsmålingerne. Ofte bliver der i dækningen kun fokuseret på enkelte partier eller mandattal (se mine bemærkninger omkring dette i mit mit indlæg omkring kvaliteten af meningsmålingerne ved kommunalvalget). Jeg har i mange tilfælde kontaktet journalister og medier for at få adgang til procenttallene, men det er ikke lykkedes i alle tilfælde.

De fleste meningsmålinger vi har fra kommunalvalget er foretaget af Jysk Analyse. Dette er interessant, da de som bekendt ikke foretager nationale meningsmålinger. De fleste meningsmålinger har også en stikprøvestørrelse på den gode side af 1000, selvom der er undtagelser (eksempelvis i en meningsmåling Voxmeter foretog i Fredericia Kommune). En anden forskel er indsamlingsperioden, der i mange tilfælde er længere end ved nationale meningsmålinger. Der er noget ironisk men åbenlyst i, at jo mindre et geografisk område er, desto længere tid vil det tage at gennemføre en meningsmåling af høj kvalitet.

For de meningsmålinger, hvor de præcise estimater var tilgængelige (altså andelen af borgere i kommunen, der vil stemme på et parti), kodede jeg hvert estimat med de følgende informationer: 1) dato (hvornår blev dataindsamlingen afsluttet), 2) analyseinstitut (hvem foretog meningsmålingen), 3) estimat (%) og 4) stikprøvestørrelse. Dertil tilføjede jeg også en variabel med opbakningen ved kommunalvalget i 2017.

Nedenstående figurer viser forskellen i opbakningen fra kommunalvalget i 2017 til de nyeste meningsmålinger, der er foretaget i perioden fra 1. oktober til 11. november 2021. Positive værdier indikerer øget opbakning fra kommunalvalget 2017 til i dag.

Konservative står til fremgang i alle kommuner, hvor der er lavet meningsmålinger. Størst er fremgangen i Odense. Lavest er fremgangen i Vejle og Horsens.

Socialdemokratiet står generelt til tilbagegang. Størst er tilbagegangen på Bornholm, i Fredericia og i København. Ingen signifikant fremgang i de lokale målinger (hvis man tager den statistiske usikkerhed i betragtning).

Dansk Folkeparti står også til tilbagegang. I oktober stod de til en lille fremgang på Bornholm, men dette er ikke tilfældet i den seneste måling.

Venstre oplever tilbagegang i flere målinger, men også målinger uden de store ændringer – og sågar en måling med fremgang (i Vejle).

Enhedslisten står til meget stor fremgang i målinger fra Bornholm – og pæn fremgang i København. Bliver ekstra spændende at se, om målingerne rammer plet i disse kommuner.

SF står til fremgang i København (både hos Gallup og Epinion). Ellers står den blot på en lille fremgang eller samme opbakning som ved forrige valg.

Der er fremgang til Nye Borgerlige i alle kommuner, hvor der er foretaget lokale meningsmålinger på det seneste.

Der er blandede resultater til Liberal Alliance. Fremgang ser vi i Viborg. Tilbagegang i målingerne ser vi i målingerne fra Frederiksberg, København og Fredericia.

Der er ligeledes blandede resultater til Radikale Venstre. Der er en lille fremgang i flere kommuner (København, Odense, Fredericia, Hedensted m.fl.), og en lille tilbagegang i målingerne fra Frederiksberg og Bornholm.

Vi ser en stor tilbagegang til Alternativet. Især i kommuner hvor de fik et pænt valg i 2017 (København og Bornholm).

Sidst – og mindst – er der ikke det store at rapportere om hos Kristendemokraterne.

Det skal nævnes, at der er foretaget flere meningsmålinger end dem, der er inkluderet her. For det første kan jeg ikke udelukke, at der er lokaler målinger, der er gået min opmærksomhed forbi (jeg kontaktede Jysk Analyse tidligere på året, men de vendte aldrig tilbage). Det er dog min vurdering, at jeg har været grundig i forhold til at indsamle lokale målinger, hvorfor det forhåbentlig ikke er et stort problem.

For det andet er der målinger, der spurgte ind til borgmesterpræference i stedet for partivalg, eksempelvis disse Megafon-målinger for TV SYD og JydskeVestkysten i Tønder Kommune, Sønderborg Kommune og Kolding Kommune. For at illustrere begrænsningen ved at bruge disse målinger som alternativ til partivalg, kan vi kigge på en meningsmåling fra Jysk Analyse i Viborg Kommune. Her angav 25,5% af vælgerne, at de havde tænkt sig at sætte kryds ved Socialdemokratiet. Det var dog kun 14% af vælgerne, der svarede, at de foretrak Mads Panny fra Socialdemokratiet som borgmester. Derfor kan man ikke bruge borgmesterpræference som en erstatning for partipræference.

For det tredje er der landsdækkende meningsmålinger, der forsøger at spørge ind til kommunalvalget (se evt. denne Gallup-måling). På baggrund af erfaringer fra 2013 og 2017, finder jeg ikke disse meningsmålinger anvendelige, endsige interessante, hvorfor jeg ligeledes heller ikke vil sidestille disse meningsmålinger med meningsmålinger, der er foretaget lokalt.

For det fjerde er der meningsmålinger, hvor jeg ikke har stor tiltro til repræsentativiteten. Det være sig eksempelvis meningsmålinger foretaget af eleverne i 3.G på Sønderborg Statsskole. Med andre ord holder jeg mig udelukkende til meningsmålinger foretaget af etablerede analyseinstitutter.

Min plan er at følge op på dette indlæg efter valget med en analyse af, hvor godt de lokale målinger klarede sig. Der er dog et par vigtige forbehold, man skal holde sig for øje allerede nu. For det første er der mange tvivlere i de respektive målinger. De er derfor også hæftet med en stor grad af usikkerhed (større end den statistiske usikkerhed, der formidles). For det andet er de som altid et øjebliksbillede. De fleste målinger spørger ind til, hvem man ville stemme på, hvis der var valg i morgen, og det er ikke nødvendigvis de partier, vælgerne ender med at stemme på ved valget. For det tredje er det ikke tilfældigt, hvilke kommuner, der bliver foretaget meningsmålinger i. Man skal derfor være påpasselig med at kigge på ovenstående figurer og generalisere til samtlige 98 kommuner. For det fjerde – og vigtigst af alt – er der en større sandsynlighed for, at de lokale målinger kan tage fejl, end når vi kigger på meningsmålinger til folketingsvalget. Vær derfor åben for, at der kan komme op til flere overraskelser på tirsdag, der divergerer fra de resultater, vi kan se i meningsmålingerne.

Er Socialdemokratiet gået tilbage i meningsmålingerne? #2

For snart et år siden kunne Altinget rapportere, at opbakningen til Socialdemokratiet var begyndt at stilne af. I et indlæg pointerede jeg, at der ikke var meget der tydede på, at opbakningen til Socialdemokratiet havde ændret sig. Mere specifikt konkluderede jeg:

Det er sandsynligt at opbakningen ikke vil forblive så høj, som den er nu, men der er i min optik intet der taler for, at der er sket noget nyt i meningsmålingerne, når vi kigger på Socialdemokratiet. Min vurdering er, at der skal mere til, før at Socialdemokratiet falder i målingerne, end hvad vi har set nu, men dette udelukker selvfølgelig ikke, at partiets opbakning kan blive mindre (eller større) i fremtiden.

Hvis vi kigger på Socialdemokratiets opbakning i løbet af det seneste år, er der ikke meget der taler for, at partiet har rykket sig nævneværdigt i målingerne:

Nuvel, det går lidt op og lidt ned, men sjældent noget der kan siges at være statistisk signifikant. Forskellene mellem analyseinstitutterne er oftest større end forskellene inden for samme, og det er primært kun enkeltmålinger, der taler for en fremgang eller tilbagegang, hvor efterfølgende meningsmålinger blot bekræfter, at opbakningen til partiet er relativt stabil.

I løbet af de seneste par dage har vi fået to nye målinger. Den seneste meningsmåling fra Voxmeter, som også er den første meningsmåling fra Voxmeter siden sommerferien, viser, at Socialdemokratiet ligger på omkring samme niveau som før sommerferien. Det vil sige omkring de 30%. Målingen fra før sommerferien viste en opbakning på 28,4%, hvor den seneste måling fra Voxmeter viser 30,3%. Det er en forskel på 1,9 procentpoint.

Hvorfor er dette interessant? Fordi Ritzau tolker den seneste meningsmåling fra Voxmeter som en fremgang til partiet. Se eksempelvis dækningen hos Kristeligt Dagblad eller B.T., der indledes med ordene: “Socialdemokratiet ser ud til igen at have fået medvind hos vælgerne efter en række meningsmålinger hen over sommeren med faldende opbakning til regeringspartiet.”

Til Ritzaus forsvar skal det nævnes, at de erkender, at der er en statistisk usikkerhed, der er større end de ovennævnte 1,9 procentpoint for Socialdemokratiet: “Med til målingen hører, at der er en statistisk usikkerhed. Den maksimale statistiske usikkerhed ligger på 2,8 procentpoint, som gælder for Socialdemokratiet.” Det er en ren tilståelsessag.

Dette holder dog ikke Ritzau fra at lave endnu en historie om forandringer på baggrund af meningsmålingen. En måling – hvor hovedhistorien burde handle om stabilitet (hvilket giver god mening, da der trods alt har været politisk sommerferie), afføder en artikel om, at målingen viser, at “S går styrket ind til politisk sæson”. Det er i hvert fald hvad Altingets politiske kommentator angiveligt får ud af målingen. Også selvom målingen ikke viser nogen forandring.

Kigger vi på den seneste meningsmåling fra Gallup (fra 5. august), viser den heller ikke de store forandringer i løbet af sommeren, eller som Berlingske konkluderer: Sommeren har ikke rykket det store i meningsmålingerne. Her kommer de dog frem til en helt anden konklusion, nemlig at Gallup-målingen “varsler svær periode for Mette Frederiksen”.

Vi har altså at gøre med to meningsmålinger, der begge viser, at vælgerne ikke har rykket sig i løbet af sommeren, men hos et medie er det udtryk for, at Socialdemokratiet går styrket ind i den politiske sæson, hvor det hos et andet medie er udtryk for, at det bliver en svær periode for Socialdemokratiet. Så skulle der være noget til enhver politisk smag. Det er altid imponerende, hvordan journalister kan bedrive denne slags kaffegrumslæsningsjournalistik.

Gik Socialdemokratiet tilbage før sommerferien? Er de vendt stærkt tilbage over sommeren? Varsler målingerne en svær periode for partiet? Det er muligt at nogle enkeltmålinger kan bruges til at tegne forskellige billeder (især hvis man ignorerer den statistiske usikkerhed), men fra min læsning af tallene tyder det mest af alt på, at vælgerne ikke nødvendigvis har rykket sig over sommeren – og Socialdemokratiet står akkurat hvor de stod, før de gik på sommerferie.

Hvor mange vil stemme på Lars Løkke Rasmussens parti? #2

I et tidligere indlæg kiggede jeg nærmere på en meningsmåling, der påstod, at 20 procent af vælgerne vil overveje at stemme på Lars Løkke Rasmussen og/eller hans nye parti. I indlægget gentog jeg nogle af de kritikpunkter, jeg tidligere har fremført, når medierne og analyseinstitutterne forsøger at belyse, hvor stor opbakningen er til et nyt parti, der ikke er med i de traditionelle meningsmålinger.

Ét af mine kritikpunkter i mit indlæg var, at der ikke engang var tale om et egentligt parti endnu, men et potentielt parti. Siden da har Lars Løkke bekræftet, at der er tale om et politisk parti. Partinavnet er der dog stadig ingen, der kender til.

Vi ved stadig ikke, hvor mange der sandsynligvis vil stemme på Lars Løkke Rasmussens parti, før vi har en meningsmåling, hvor vælgerne bliver spurgt om, hvilket parti de ville stemme på, hvis der var valg i dag – og Lars Løkke Rasmussens parti er én blandt flere valgmuligheder. En sådan meningsmåling har vi stadig til gode (de fleste analyseinstitutter kræver, at et parti er opstillingsberettiget, før de inkluderer det i deres meningsmålinger). Mit gæt er at YouGov, for hvem kvaliteten af meningsmålingerne er sekundært og ofte underordnet, vil være de første til at inkludere Lars Løkkes parti i målingerne (og sandsynligvis før det er opstillingsberettiget).

Siden jeg skrev mit forrige indlæg, har Voxmeter foretaget to meningsmålinger, der begge spørger respondenterne om følgende: “Hvis Lars Løkke Rasmussen stifter et parti, som bliver opstillingsberettiget til næste Folketingsvalg, hvor sandsynligt er det så, at du ville stemme på et sådant parti?”

Den første måling blev foretaget i perioden fra 19. til 22. januar. Den anden måling blev foretaget fra 9. til 16. april. Lars Løkke offentliggjorde sit parti midt i dataindsamlingsperioden for den anden meningsmåling i en klumme hos BT den 10. april (det er altid godt at kommunikere til laveste fællesnævner, når man vil komme bredt ud med et budskab).

Jeg finder det ikke interessant at kigge alt for meget på tallene. De kunne have været halvt eller dobbelt så store, uden at jeg ville finde dem relevante at formidle. Der er ikke tale om en traditionel meningsmåling, og det er i bedste fald blot en useriøs måde at lave meningsmålinger på. Den overordnede pointe er dog, at 13,6% af vælgerne fandt det sandsynligt at ville stemme på Lars Løkkes parti i januar, men det tal var nede på 9,3% i april. Hvad kan vi bruge denne ændring på 4,3 procentpoint til? Jeg mener ikke, at vi kan bruge disse tal til meget, men det er ikke desto mindre, hvad de viser.

Et af de interessante forhold ved den slags meningsmålinger er, at de altid kan bruges til at lave vidt forskellige historier. Avisen.dk kaldte eksempelvis de 9,3% i målingen fra april for medvind til Lars Løkke på baggrund af et notat fra Ritzau. Igen, jeg vil helst undlade at tolke for meget på de tal, men jeg har svært ved at se, hvordan man kan tolke tallene som medvind.

Jeg har fuld forståelse for, at medierne hjertens gerne vil belyse et nyt partis elektorale potentiale, samt at analyseinstitutterne øjner sig en unik mulighed for at få ekstra omtale, men jeg har vitterligt vanskeligt ved at se anvendeligheden af den slags målinger. Der er langt mere støj i den politiske dækning med den slags målinger, hvor vælgerne fejlagtigt vil tro, at opbakningen til Lars Løkkes nye parti ligger på omkring 9,3% af stemmerne, selvom der absolut intet empirisk belæg er for sådan en opfattelse.

Mit råd vil være at medierne holder sig fra at dække den slags meningsmålinger og fokuserer på andre aspekter ved nye partier, eksempelvis deres politiske profil (og evt. hvad vælgerne synes om disse politiske udmeldinger), og når partiet så er opstillingsberettiget, kan vi belyse, hvor stor opbakning partiet vil få ved næste valg.

Hvor mange vil stemme på Nye Borgerlige? #10

Det er efterhånden længe siden, at jeg sidst kiggede nærmere på, hvor stor opbakningen er til Nye Borgerlige. Den korte forklaring på dette er, at der ikke har været meget nyt at rapportere om, når det handler om hvor enige (eller rettere sagt uenige) medierne og analyseinstitutterne er i forhold til at måle partiets opbakning.

Der er stadig ikke enighed om, hvor stor opbakningen er til Nye Borgerlige. Især YouGov og Voxmeter er fortsat uenige, hvor førstnævnte giver partiet en større opbakning (husk på at YouGov ramte partiet forkert ved valget i 2019). Dette er dog ikke det samme som, at der ikke er sket noget i meningsmålingerne hvad angår Nye Borgerlige. Meningsmålingerne har således i løbet af det seneste år været enige om én ting: Nye Borgerliges opbakning i befolkningen er gået opad.

For et år siden havde Voxmeter partiet omkring spærregrænsen. Nu ligger partiet i Voxmeters målinger stabilt på et sted mellem 5 og 10% af stemmerne. De seneste målinger fra Gallup og Epinion placerer også partiet et sted mellem 5 og 10%. Det interessante er, at jo større opbakningen bliver til partiet, desto mindre uenighed vil der være mellem de fleste analyseinstitutter. Det er derfor også vanskeligt at sige, i takt med at opbakningen til partiet stiger, hvad der kan tilskrives henholdsvis tilfældig støj og systematisk bias i meningsmålingerne. Vi ved at den statistiske usikkerhed er mindre for små partier (lille tilfældig støj), men vi ved også, at analyseinstitutterne har svært ved at ramme nye, små partier (større systematisk bias).

YouGov vil kunne forsvare sig med, at de “måler folkestemningen” og indfanger tendenser før andre institutter, hvorfor de har fat i den lange ende. Dette argument køber jeg dog ikke. De formåede som sagt ikke at ramme valgresultatet i 2019. Når det er sagt er YouGov ikke radikalt langt fra hvad andre analyseinstitutter viser nu. Den seneste YouGov-måling giver Nye Borgerlige 11,7% af stemmerne, hvilket ikke er radikalt langt fra 10%. Jeg finder det dog stadig usandsynligt, at YouGov rammer rigtigt.

Voxmeter lavede i 2016 en fejlagtig meningsmåling, der postulerede, at “hver tiende vil stemme på Nye Borgerlige” (Voxmeter har lavet lignende målinger med Lars Løkkes nye parti, men mere om dette i morgen), men forkerte målinger bliver ikke bedre af, at de rammer rigtigt på et senere tidspunkt. Som jeg pointerede sidste år i Altinget, kan denne slags meningsmålinger netop ende med at blive selvopfyldende profetier. Derfor er det vigtigt, at medierne tager deres dækning af meningsmålingerne seriøst og ikke konkluderer om et parti går op eller ned, før der er systematisk belæg herfor.

Med dette in mente kan vi se på den seneste historie om Nye Borgerlige, der går på, at de går tilbage i meningsmålingerne. Hos Altinget rapporterer de således, at opbakningen til Nye Borgerlige bevæger sig nedad. Konkret stod partiet til at få 10,2% af stemmerne i marts, hvor de i april står til at få 8,9% af stemmerne.

Disse estimater harmonerer fint med, hvad min egeng model viser, altså at partiet lå på omkring 10% i marts og nu ligger lidt lavere. Jeg er dog skeptisk i forhold til at konkludere, at Nye Borgerlige går tilbage i meningsmålingerne. Mit bedste bud er – i skrivende stund – at partiet ligger på omkring 10 procent af stemmerne. Min seneste prognose giver partiet 9,5% af stemmerne. I nedenstående figur viser jeg opbakningen til partiet i meningsmålingerne fra 2020 til i dag.

Jeg finder det usanynligt, at partiet har mistet vælgere på det seneste. Min læsning af tallene er, at opbakningen til partiet er stabiliseret. De har således hverken vundet eller tabt stemmer, men de ændringer vi ser er marginale og skal ikke tilskrives for stor betydning. Altinget kan selvfølgelig gøre, hvad de vil (der skal jo skrives nye historier og deres læsere skal have value for money), men jeg ville ikke selv stå på mål for sådan en tolkning af meningsmålingerne.

Bid desuden mærke i, at jeg her er kritisk i forhold til at konkludere, at Nye Borgerlige går tilbage. Sidst jeg kritiserede mediernes formidling af meningsmålingerne i forhold til Nye Borgerlige, var Uriasposten ude med riven, da nogen ikke evnede at forstå, at jeg kritiserede meningsmålingerne og ikke partiet. Dette tager jeg stille og roligt, da der ikke var nogen sammenhængende kritik, jeg kunne forholde mig til (det eneste denne slags meningsdannere ser er nogle kritiske kommentarer i en kontekst, hvor Nye Borgerlige nævnes, og så går de i emotionelt selvsving). Jeg kan blot fremhæve, at jeg vistnok efterhånden har kritiseret mediernes dækning af alle partier – også venstreorienterede partier (da medierne eksempelvis påstod at Alternativet var over spærregrænsen, kritiserede jeg dette og konkluderede, at der ikke var nogen evidens for denne påstand i meningsmålingerne).

Er det utænkeligt at Nye Borgerlige går tilbage? Nej, men det er et andet spørgsmål, der kun kan besvares, når vi ser på de kommende meningsmålinger. Hvis partiet får negativ dækning (såsom at de går tilbage i meningsmålingerne), er det sågar plausibelt, at de vil miste stemmer. Jeg ser blot ingen tendenser i målingerne, der tyder på, at Nye Borgerlige mister stemmer. Partiet ligger på omkring 9,5% af stemmerne og sådan har det været gennem 2021 indtil videre.

Kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed #3

I mit forrige indlæg om kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed, kom jeg ind på, at en af grundene til, at der er forskel på de vægtede gennemsnit er, at de ikke anvender samme tilgang:

Der findes ikke én måde at lave et vægtet gennemsnit. Der er en lang række af spørgsmål, man skal forholde sig til. Hvor mange meningsmålinger skal indgå i et vægtet snit? Skal alle analyseinstitutter have samme indflydelse – eller skal eksempelvis de institutter, der ramte sidste valg bedre, vægtes højere? Nyere meningsmålinger skal vægtes højere end ældre meningsmålinger, men hvor meget mere? Svarene på disse spørgsmål er ikke nødvendigvis oplagte, og det er en af grundene til, at forskellige vægtede gennemsnit ej heller giver de samme estimater.

På den baggrund tænkte jeg, at det ville være interessant at lave en sammenligning af de respektive vægtede gennemsnit. Der er fire vægtede gennemsnit i Danmark, der bliver opdateret regelmæssigt: Politologi Prognose, Risbjerg-snittet, Berlingske Barometer og Ritzau Index.

Der er flere ligheder og forskelle mellem de respektive snit, og i tabellen nedenfor har jeg sammenlignet de fire snit på de følgende syv parametre: 1) hvilke institutter, de inkluderer (om det er alle institutter eller ej); 2) antallet af meningsmålinger; 3) om der tages højde for huseffekter; 4) hvilke minimumskrav der er til, at et parti inkluderes; 5) om nyere målinger vægtes højere; 6) om resultaterne er offentligt tilgængelige; og 7) om den statistiske usikkerhed formidles.

Tabel 1: Sammenligning af vægtede gennemsnit

Politologi Prognose Risbjerg-snittet Berlingske Barometer Ritzau Index
Alle institutter Ja Nej Nej Nej
Antal målinger Alle fra valgperioden Målinger fra den seneste måned Målinger fra de seneste 31 dage Seneste 15 målinger
Estimering af huseffekter Ja Nej Nej Nej
Minimumskrav Ingen Ingen Ingen Minimum 15 målinger hvor et parti indgår
Vægter nye målinger højest Ja Uklart Ja Ja
Offentligt tilgængelige resultater Ja Nej Ja Ja
Rapportering af statistisk usikkerhed Ja Ja Nej Nej

Før jeg beskriver detaljerne i tabellen yderligere, skal jeg nævne, at jeg tager forbehold for, at jeg kan have misforstået noget ved de vægtede snit, og såfremt der er fejl eller mangler, skal jeg selvfølgelig nok korrigere disse. Ligeledes skal jeg for en god ordens skyld orientere, at jeg står bag Politologi Prognose, hvorfor jeg (u)bevidst kan få den til at fremstå som den bedste prognose blandt de fire. Jeg vil holde mig fra at lave en sådan vurdering i dette indlæg.

De fleste vægtede gennemsnit inkluderer ikke meningsmålinger fra Megafon. Sådan har det været i årevis, hvor Megafon eksplicit har frabedt sig dette. Jeg har ikke fået en henvendelse fra Megafon, hvorfor jeg antager, at det er acceptabelt, at de er inkluderet i Politologi Prognose. Politologi Prognose er dermed det eneste vægtede snit, der inkluderer meningsmålinger fra alle institutter.

De vægtede snit bruger ikke de samme meningsmålinger. Risbjerg-snittet og Berlingske Barometer anvender begge de nyeste meningsmålinger (meningsmålinger der er ældre end en måned, er ikke inkluderet). Ritzau Index tager ikke højde for, hvornår meningsmålingerne er lavet, men blot at de er blandt de seneste 15 meningsmålinger. Politologi Prognose anvender uden sammenligning flest meningsmålinger ved at kigge på alle meningsmålinger i perioden fra det seneste folketingsvalg frem til og med den seneste meningsmåling.

Dette fører til en af de primære forskelle mellem Politologi Prognose og de andre vægtede gennemsnit. Mere konkret at Politologi Prognose estimerer huseffekter, altså systematiske forskelle i, hvordan analyseinstitutterne generelt betragtet vurderer (eller ikke vurderer) partierne forskelligt (se dette indlæg for henvisninger til mere information omkring huseffekter). Ved at bruge et større datamateriale har Politologi Prognose nemmere ved at opfange nye tendenser i meningsmålingerne, uden blot at samle op på tilfældig støj. De vægtede snit der anvender de seneste meningsmålinger, men som ikke korrigerer for, hvor disse meningsmålinger kommer fra, vil i overvejende grad primært formidle et gennemsnit af Voxmeters resultater (da de kommer med flere meningsmålinger end de andre institutter).

De fleste vægtede gennemsnit har ingen eksplicitte minimumskrav til, hvornår et nyt parti skal inkluderes. Undtagelsen her er Ritzau Index, der først inkluderer et nyt parti, når de er at finde i mindst 15 meningsmålinger. Det vil sige at Ritzau Index skal have et parti med i alle de respektive meningsmålinger, de kigger på i deres vægtede snit, før de inkluderes.

De vægtede snit vægter som regel nye målinger højest, om end det er uklart i hvilket omfang dette finder sted i Risbjerg-snittet. Dette da det blot er den seneste måneds meningsmålinger, der inkluderes, hvorfor det nok ikke vil have den store betydning i sidste instans. Det er således også begrænset, hvor meget information vi har om, hvor meget mere nye målinger vægtes højere. I Politologi Prognose estimeres en model, hvor der gives estimater for hver dag for, hvor stor opbakningen er til de respektive partier. Det vægtede gennemsnit er således blot estimaterne for den dag, modellen er estimeret.

De fleste vægtede snit er offentligt tilgængelige, så det er muligt for alle at få information om, hvordan partierne klarer sig i meningsmålingerne. Undtagelsen her er Risbjerg-snittet, der af samme grund primært er af interesse for journalister og andre fagprofesionelle, der har adgang til indholdet bag Altingets betalingsmur.

Det sidste jeg har kigget på er, hvorvidt de vægtede snit formidler den statistiske usikkerhed. Hverken Berlingske Barometer eller Ritzau Index rapporterer den statistiske usikkerhed ved de vægtede snit. Den statistiske usikkerhed er som bekendt lavere end ved enkeltmålinger, men det er vigtigt at huske på, at vi trods alt stadig har en statistisk usikkerhed. Ved Politologi Prognose formidles den statistiske usikkerhed for hvert parti, og for Risbjerg-snittet formidles den som det højeste usikkerhedsestimat, eksempelvis: “Den statistiske usikkerhed på snittet for de enkelte partier er højst +/- 1,3 procentpoint.”

Dette er ikke en udtømmende gennemgang af alt, hvad man kan kigge på, når vi kigger på de vægtede genenmsnit. Som jeg nævnte i mit forrige indlæg, er det eksempelvis muligt at give nogle analyseinstitutter større indflydelse, hvis de har for vane at ramme valgresultatet mere præcist. Mig bekendt tager ingen af de nuværende danske vægtede gennemsnit dette i betragtning.

Ovenstående genenmgang er som sagt ikke en øvelse i at vurdere, hvilket vægtet snit, der er bedst. Der er forskelle og ligheder, og min plan er ikke at øge konkurrencen mellem disse snit (tværtimod tror jeg kun det er sundt, at der er forskellige snit med forskellige tilgange), men at øge transparensen og vores opmærksomhed på, hvordan disse vægtede gennemsnit er skruet sammen. Hvis nogen skulle have interesse heri, står det dem frit for at lave et kvalitetsvægtet gennemsnit af de vægtede gennemsnit.

Min tilgang til de vægtede gennemsnit og deres anvendelighed er blevet mere kritisk og pessimistisk med årenes gang (sammenlign eventuelt mit indlæg fra 2013 med mit indlæg fra 2020). Derfor ønsker jeg heller ikke, at ovenstående skal tage fokus fra enkeltmålingernes relevans. Min tilgang er nu, at det er vigtigt ikke blot at kigge på én meningsmåling, når vi skal vurdere, hvordan partierne står i målingerne, men at vi ej heller skal reducere et partis opbakning til et estimat i ét vægtet gennemsnit.

Hvor mange vil stemme på Lars Løkke Rasmussens parti?

B.T. kan rapportere, at fire procent af danskerne med sikkerhed vil stemme på Lars Løkke Rasmussen eller hans nye parti, skulle han gå hen og stifte et. B.T. kalder det for en “vild måling”, og det er jeg enig i, at det er en vild måling. Jeg kalder det blot en vild måling fordi den er metodisk mærkelig. Der er tale om endnu et eksempel til rækken af sager, der viser, at man bør være ekstra skeptisk for en måling, hvis den kommer fra YouGov.

Målingen kan ingenlunde sammenlignes med meningsmålinger, som vi kender dem. Her er det konkrete spørgsmål, man har stillet respondenterne: “Tidligere statsminister Lars Løkke Rasmussen har meldt sig ud af partiet Venstre og har nu startet et nyt politisk netværk. Lars Løkke Rasmussen afviser ikke, at det kan udvikle sig til et egentlig parti. Hvor tilbøjelig vil du være til at stemme på Lars Løkke Rasmussen og/eller hans nye parti, hvis han gør alvor af sine tanker om stifte et nyt parti?”

Ikke alene beder man respondenterne om at forholde sig til et hypotetisk parti (der ikke eksisterer), men også om man vil overveje at stemme på dette éne parti. Som Hans Redder fra TV 2 korrekt formulerer det: “Det her er altså en virkelig ringe måde at lave meningsmålinger på. I stemmeboksen skal vælgerne ikke tage stilling til ét, men blandt alle opstillede partier”.

Jeg har i tidligere sammenhænge beskrevet, hvordan denne slags målinger ikke kan bruges til at sige noget om partiernes opbakning i meningsmålingerne, eksempelvis med Nye Borgerlige, Danskernes Parti og Klaus Riskær Pedersen. Den slags målinger bruges udelukkende til at overestimere opbakningen til et parti i meningsmålingerne, så B.T. (og andre medier uden journalistiske standarder) kan skrive historier om vilde målinger. Du kommer derfor aldrig til at se en meningsmåling som denne, hvor historien lyder, at der ikke er potentielle vælgere til et parti.

Dertil skal det også tilføjes, at vi efterhånden ved, at YouGov har store udfordringer forbundet med at måle vælgernes opbakning. De klarede sig dårligst af alle ved det seneste folketingsvalg, og intet tyder på, at der er grund til at tage dem mere seriøst nu. Jeg antager desuden, at spørgsmålet om, hvor mange der kan overveje at stemme på Lars Løkke Rasmussens nye parti er stillet i samme meningsmåling, der giver Venstre en historisk lav opbakning (men hvor de fire ud af fem største partier er blå partier!). Det ville i så tilfælde også være interessant at vide om YouGov har stillet deres Lars Løkke-spørgsmål før eller efter spørgsmålet om, hvilket parti vælgerne ville stemme på, hvis der var valg i morgen.

Vi ved ikke, hvor mange der vil stemme på Lars Løkke Rasmussens nye parti. Det er rent gætværk, når Henrik Qvortrup forsøger at estimere, at partiet “ved næste folketingsvalg realistisk set vil kunne høste seks-syv procent af stemmerne og dermed storme ind i Folketinget med sit nye midterparti”. Mediernes dækning er ikke neutral, når det kommer til dækningen af nye (eller i dette tilfælde ikke-eksisterende) partier, men det ville klæde YouGov såvel som B.T. at forbedre deres måde at foretage såvel som at formidle meningsmålinger på.

Kvaliteten af meningsmålingerne ved kommunalvalget

Den 16. november står den på kommunalvalg. I den forbindelse kommer vi til at se op til flere meningsmålinger fra landets større kommuner, og det bliver især de lokale medier, der ikke har for vane at formidle meningsmålinger, der skal formidle selvsamme.

Dette kommer dog til at være en udfordring for mange journalister, der har tæt på ingen erfaring med at formidle meningsmålinger. Jeg har i løbet af de seneste måneder set flere eksempler på dårligt formidlede meningsmålinger (ingen nævnt, ingen hængt ud). I dette indlæg vil jeg derfor give et godt eksempel på, hvordan en meningsmåling kan formidles i den lokale journalistik. Mit ønske er, at alle andre lokaljournalister vil følge dette eksempel, når de i løbet af i år skal formidle deres kommunalvalgsmeningsmålinger.

For nogle måneder siden kunne TV 2 Fyn bringe en meningsmåling foretaget af Megafon, der viste, at Socialdemokratiet stod til at få 30,3% af stemmerne. Denne artikel formidler opbakningen til alle partierne (i procent), giver det eksakte spørgsmål respondenterne er blevet stillet (“Hvem ville du stemme på, hvis der valg til byrådet i dag?“), formidler den eksakte indsamlingsperiode, formidler den statistiske usikkerhed osv.

Sådan ser en god meningsmålingsartikel ud. Kort fortalt er det en meningsmåling, der lever op til standarderne god meningsmålingsjournalistik. Mit håb er som sagt at andre lokale medier vil følge TV 2 Fyns eksempel. Der er mange spørgsmål man kan stille til meningsmålinger (jeg præsenterede en liste med 20 af sådanne spørgsmål for fem år siden), men hvis de lokale medier følger ovennævnte eksempel, bør alt være fint.