Erik Gahner Larsen

Kvaliteten af meningsmålingerne ved kommunalvalget #2

Hvor præcise var meningsmålingerne ved kommunalvalget? For at besvare dette spørgsmål må vi først forholde os til, hvilke meningsmålinger vi ønsker at se på. Skal vi eksempelvis belyse, om nationale meningsmålinger indfanger de nationale partiers opbakning lokalt? Eller skal vi se på, om de lokale meningsmålinger hver især rammer de lokale valg præcist?

Et landsresultat for kommunalvalget er på mange måder en kunstig konstruktion, da der som bekendt er tale om 98 unikke valg, hvor alle partier ikke stiller op i alle 98 kommuner – og lokale partier og lister stiller op i forskellige kommuner. Dertil gør valgforbund og andre forhold ligeledes, at vælgerne lokalt ikke nødvendigvis støtter det parti, de støtter nationalt. Et landsresultat er dermed primært af interesse for de nationale medier, der ønsker at diskutere, hvem af partierne i Folketinget der var vindere og tabere af kommunalvalget.

Udfordring forbundet med at kigge på meningsmålingerne ved kommunalvalget er, at i de fleste kommuner har vi ingen meningsmålinger. I de kommuner, hvor der bliver foretaget meningsmålinger, har vi ofte kun én meningsmåling. Kun i meget få kommuner får vi mere end én måling (eksempelvis København og Bornholm). Udfordringen med meningsmålingerne ved kommunalvalget er dermed ikke de meningsmåliner, vi har, men de målinger vi ikke har.

I den bedste af alle verdener foretog vi et tocifret antal meningsmålinger i hver af de 98 kommuner (hvilket ville give os rundt regnet 1000 meningsmålinger). Dette er selvsagt urealistisk, men jeg fremhæver det alligevel her for at pointere, hvad et fornuftigt udgangspunkt ville være, hvis vi skulle give meningsmålingerne en fair chance for at sige noget om alle lokale valg. Vi er således ikke interesseret i at se på, hvordan de mange kommunalvalgsmålinger klarede sig, men hvordan de få kommunalvalgsmålinger, der trods alt blev foretaget, har klaret sig.

Hvordan klarede de lokale meningsmålinger sig?

Der har mig bekendt været et begrænset fokus på, hvordan de lokale målinger har klaret sig. Fagbladet Journalisten præsenterede en lang række tal dagen efter kommunalvalget, men der er ikke tale om et egentligt overblik (den seneste meningsmåling fra Bornholm er eksempelvis ikke at finde i deres “overblik”). Derfor er det fint at kigge mere systematisk på, hvordan de respektive målinger helt præcist klarede sig.

Til at gøre dette har jeg taget udgangspunkt i mit datasæt med kommunalvalgsmålinger, hvor jeg afgrænsede målingerne til kommunalvalgkampens sidste måned, dvs. målinger foretaget i perioden fra 16. oktober til 16. november 2021. Skæringsdatoen 16. oktober kan virke arbitrær, men der er tre forhold at tage i betragtning. For det første vil det være unfair at inkludere de meningsmålinger, der blev foretaget for et års tid siden. Meningsmålinger er et øjebliksbillede og ikke et forsøg på at forudsige et valgresultat langt ude i fremtiden. For det andet, og som jeg vil vise nedenfor, tyder intet på, at det er afgørende om en måling er foretaget i dagene op til eller ugerne op til valget. Det er således ikke tilfældet, at målinger foretaget tættere på 16. oktober er mindre pålidelige end dem foretaget tættere på 16. november. For det tredje er der relativt få meningsmålinger. Havde der været mange flere meningsmålinger kunne vi få mere ud af systematisk at belyse, hvordan de har klaret sig over tid.

For hver lokal meningsmåling der blev foretaget i kommunalvalgkampens sidste måned, har jeg udregnet den gennemsnitlige fejl i hver meningsmåling. Det vil sige at jeg for hvert estimat i en meningsmåling har udregnet forskellen mellem estimatet i meningsmålingen og valgresultatet – og så taget gennemsnittet af disse. Jo større forskelle der var mellem resultaterne i en meningsmåling og valgresultatet, desto større er den gennemsnitlige fejl. Hvis en meningsmåling ramte 100% præcist for alle partier i en måling, ville den gennemsnitlige fejl være 0.

Den mest præcise meningsmåling blev foretaget af Gallup i København den 8. november. Den gennemsnitlige fejl var her 0,78. Denne måling ramte især rigtigt ved partier som Venstre, Liberal Alliance, Socialdemokratiet og Konservative, men havde svært ved at ramme SF (målingen gav partiet 2,3 procentpoint flere stemmer, end de fik ved valget).

Den mindst præcise meningsmåling blev foretaget af Jysk Analyse på Bornholm en uge før kommunalvalget. Den gennemsnitlige fejl i denne meningsmåling var 1,74. Her ramte målingen forbi skiven ved flere partier, eksempelvis Venstre (5,8 procentpoint større opbakning i målingen), Konservative (4,8 procentpoint lavere opbakning i målingen) og Bornholmerlisten (3,9 lavere opbakning i målingen). Jeg har svært ved at forestille mig, at vælgerne har rykket sig så meget i ugen op til valget, hvorfor jeg gerne vil stå på mål for den påstand, at Jysk Analyse foretog en dårlig meningsmåling.

En anden måling der ikke klarede sig godt var Gallups måling på Frederiksberg. Denne måling undervurdere opbakningen til Enhedslisten, Radikale Venstre og Socialdemokratiet med henholdsvis 3,3, 2,6 og 2,6 procentpoint. Det tyder med andre ord på, at Gallup havde svært ved at ramme venstreorienterede vælgere på Frederiksberg. Disse vælgere er sandsynligvis yngre vælgere og mere tilbøjelige til at være tilflyttere.

Det er interessant at den mindst præcise meningsmåling og den mest præcise meningsmåling begge er foretaget af Gallup i hovedstadsområdet i samme periode. Dette kan tyde på, at der er specifikke udfordringer forbundet med hver kommune, man ønsker at foretage en meningsmåling i. Vi kan derfor ikke nødvendigvis konkludere, at et analyseinstitut, der har klaret sig rigtig godt i én kommune også vil klare sig godt i en helt anden kommune.

Nedenstående tabel viser den gennemsnitlige fejl, altså den gennemsnitlige forskel mellem valgresultatet og meningsmålingen, i målingerne foretaget senest en måned inden kommunalvalget.

Gennemsnitlige fejl i meningsmålingerne
Målinger foretaget senest en måned inden kommunalvalget
kommune institut n dato fejl
Bornholm Jysk Analyse 1031 11. nov 1,74
Frederiksberg Gallup 751 9. nov 1,73
Fredericia Jysk Analyse 1040 21. okt 1,55
Vejle Jysk Analyse 1009 4. nov 1,41
København Epinion 1024 19. okt 1,40
Hedensted Jysk Analyse 1005 26. okt 1,38
Horsens Jysk Analyse 1010 31. okt 1,23
Odense Jysk Analyse 1028 9. nov 1,11
Fredericia Voxmeter 500 31. okt 0,98
Viborg Jysk Analyse 1010 4. nov 0,95
København Gallup 1073 8. nov 0,78

Nogle meningsmålinger klarede sig bedre end andre, men vi kan konkludere, at meningsmålingerne – overordnet betragtet – klarede sig ganske fint. De var ikke perfekte (den bedste lokale måling kunne ikke slå den bedste måling fra folketingsvalget i 2019), men de var på ingen måde i nærheden af at være en katastrofe.

Desuden var den lokale dækning generelt af meningsmålingerne god. De fleste artikler formidlede metodiske informationer, herunder hvornår meningsmålingen blev foretaget samt den statistiske usikkerhed, og i de tilfælde hvor den slags information ikke blev formidlet, var journalisterne generelt gode til at udlevere den slags information, når jeg spurgte dem.

Kvaliteten af meningsmålingerne ved kommunalvalget var dermed ganske fin. Når det er sagt, er det relevant at forholde sig til, om de lokale meningsmålinger er bedre end eventuelle alternativer. Hvis de lokale målinger ikke er bedre end eventuelle alternativer, er der ingen grund til at foretage dem og bruge spalteplads på at formidle dem.

Den nationale valgvind

Hvis vi ønsker at sige noget om partierens opbakning lokalt, kan vi kigge på hvordan nationale meningsmålinger, kombineret med lokale forhold, kan give deres bud på opbakningen til partierne på kommunalt niveau. Ideen er således at vi kan se hvordan den nationale valgvind påvirker de forskellige partier.

Martin Vinæs Larsen og Kasper Møller Hansen har et kapitel i bogen om kommunalvalget 2017, der bærer titlen ‘Om den landspolitiske valgvind i 2017 – og hvorfor Dansk Folkeparti klarede sig dårligere end forventet’. Som titlen på kapitlet antyder var deres valgvindsprognose i 2017 ubrugelig til at sige noget om, hvordan Dansk Folkeparti ville klare sig. De viser flere interessante ting i kapitlet, herunder hvordan sammenhængen mellem national og lokal opbakning for de politiske partier er svagere i mindre kommuner.

Dette skaber et godt udgangspunkt for at sige noget om, hvordan de nationale partier ville klare sig ved kommunalvalget i 2021. De offentliggjorde således deres valgvindsprognose for 2021, altså estimater på hvor stor opbakning man burde forvente at se for de forskellige partier i de 98 kommuner.

I nedenstående figur har jeg taget de estimater, hvor vi har data fra lokale meningsmålinger og data fra valgvindsprognosen. Jo tættere en observation er på den stiplede linje i figuren, desto tættere var estimatet på valgresultatet. Det vil sige at når eksempelvis en lokal måling ligger på den stiplede linje, ramte målingen et partis opbakning helt præcist.

Vi kan se at de lokale målinger generelt klarede sig bedre end valgvindsprognosen (de blå observationer ligger tættere på den stiplede linje end de røde observationer). Når en lokal måling og valgvindsprognosen var uenige om, hvor stor opbakningen ville være til et parti ved kommunalvalget, havde den lokale måling oftere ret. Der er således eksempler på ekstreme forskelle mellem valgvindsprognosen og valgresultatet, der ville være ekstra iøjnefaldende at se i en lokal meningsmåling.

Fordelen ved de lokale målinger er ikke blot, at de er mere præcise, men at vi også her har data for de lokale partier. Valgvindsprognosen kan selvsagt ikke sige noget om, hvordan det vil gå for Bornholmerlisten. Når det er sagt er det også på sin plads at nævne, at valgvindsprognosen har andre fordele. For det første forsøger valgvindsprognosen ikke at sige noget om ét parti lokalt (selvom vi har data herpå), men noget generelt om tendenserne i kommunerne. Det kan de lokale meningsmålinger ikke sige så meget om. For det andet er det – som anført ovenfor – kun udvalgte kommuner, der foretages meningsmålinger i. Hvis vi gerne vil sige noget fornuftigt om hvad vi kan forvente i landets 98 kommuner, giver valgvindsprognosen klart det bedste bud.

Formålet med ovenstående figur er således ikke at diskreditere valgvindsprognosen, men blot pointere, at i de få tilfælde hvor vi har data fra både en lokal måling og valgvindsprognosen, giver det mening – gennemsnitligt betragtet – at have større tiltro til den lokale måling.

Hvad med exitpolls?

Et andet alternativ til meningsmålingerne er exitpolls. Ved kommunalvalget foretog studerende og gymnasieelever exitpolls i specifikke kommuner, herunder Aarhus, Ringkøbing-Skjern, Hørsholm, Mariagerfjord og Skive. Jeg har ikke lavet en systematisk analyse af hvor præcise disse exitpolls var, men mit indtryk er, at de generelt klarede sig fint.

I den bedste af alle verdener foretog vi meningsmålinger og exitpolls i de samme kommuner, så vi kunne sammenligne de to. Mit gæt er, at exitpolls vil og bør være mere præcise, men jeg vil stadig argumentere for, at meningsmålinger er mere interessante. Jeg vil sågar gå så langt som til at sige, at exitpolls er overflødige i en kommunalvalgskontekst. Meningsmålinger foretages i perioden op til et kommunalvalg, hvor valgkampen stadig er aktuel. Når der kun er tale om få timer fra valgstederne lukker til vi har gode bud på, hvor stor opbakningen er til de respektive partier i de forskellige kommuner, er det begrænset, hvad vi kan bruge exitpolls til.

Når vi ligeledes ikke har gode indikatorer for, om de rammer præcist (gerne ved at have flere exitpolls foretaget af forskellige aktører/analyseinstitutter), kan de skabe mere støj og spekulation på valgaftenen end egentlige indsigter. Det er fint at der bliver foretaget exitpolls, men det ville i min optik ikke udgøre det store tab, hvis de slet ikke blev foretaget.

Hvad med regionsrådsvalget?

Vi taler primært om kommunalvalget, men der var tale om et kommunal- og regionsrådsvalg. Der blev mig bekendt kun foretaget én meningsmåling i forbindelse med regionsrådsvalget. Den blev foretaget af Gallup. Denne måling klarede sig overordnet godt, men overvurderede opbakningen til Nye Borgerlige og undervurderede især opbakningen til Venstre. Meningsmålingen gav Venstre 18% af stemmerne, men de endte som bekendt med at få 23,02% af stemmerne.

Hvad kan meningsmålingerne sige?

Meningsmålingerne kan sige noget om, hvilke partier vælgerne vil stemme på – men ikke hvorfor, vælgerne stemmer på de forskellige partier. Det samme kan man desuden sige om valgresultatet. Det er derfor interessant at se politiske kommentatorer og eksperter forsøge at give udtryk for, at de kan gøre sig kloge betragtninger herom. Jens Ringberg sagde eksempelvis til DR, at der blandt andet var tale om en Pape-effekt ved kommunalvalget: “Man taler om Pape-effekten og en særlig kommunal valgvind, der kommer fra de nationale målinger og skyller hen over kommunerne. Det er sådan set også det, der er sket her til aften.” Vi kan dog på ingen måde bruge de nationale meningsmålinger til at sige, at der er tale om en Pape-effekt. Vi kan end ikke sige, at de Konservatives nuværende opbakning i de nationale meningsmålinger kan tilskrives en Pape-effekt (se også mit indlæg fra 2017 med en lignende pointe).

Kommunalvalget er også blevet kaldt for det “første grønne kommunalvalg” med udgangspunkt i en meningsmåling foretaget af Electica. Jeg kunne finde meningsmålingen omtalt hos Klimabevægelsen i Danmark, men der står desværre intet om, hvorvidt de har finansieret den pågældende meningsmåling. Meningsmålingen bruges til at konkludere, at “Debatten om klimaet og den grønne dagsorden har haft en afgørende indflydelse på udfaldet af KV21”, men det kan den pågældende meningsmåling ikke bruges til at konkludere.

En stor udfordring med meningsmålingerne er således ikke hvad de viser, men hvad folk tror de viser. Dette er en pointe faste læsere for længst vil være bekendt med. Problemet med meningsmålingerne er ofte ikke meningsmålingerne selv, men hvordan journalister, politiske kommentatorer, politikere og ordinære borgere tolker og bruger meningsmålinger. Kommunalvalget er dermed ikke undtaget for, at meningsmålingerne også her skal stå på mål for udsagn, de ikke kan bakke op om.

Hvad kan vi vente os af KV25?

Der er nu fire år til næste kommunalvalg. Hvis dækningen af meningsmålingerne ved næste kommunalvalg vil være som i 2021, vil jeg være glad. Dækningen har været fin, og det var ikke et kommunalvalg, hvor meningsmålingerne var i centrum eller generelt klarede sig dårligt.

Det vil være fortrinligt at se mere arbejde i forhold til at belyse kommunalvalget fra et nationalt perspektiv. Et fornuftigt udgangspunkt er, at selvom der er tale om 98 lokale valg, så finder de sted i den samme nationale kontekst. Det giver derfor kun god mening at analysere og diskutere nationale tendenser med respekt for lokale forhold i de respektive kommuner. En analytisk udfordring vil være at udvikle redskaber, der bedre kan indfange variation på tværs af de forskellige kommuner i, hvad der er udslagsgivende for, hvilke partier vælgerne stemmer på lokalt. En mulighed kunne være en MRP model, der vha. én stor national måling, data fra tidligere valg (eksempelvis kommunalvalgsundersøgelserne), lokale data og maskinlæring kan indfange de kontekstuelle forhold, der bedst indfanger partiernes opbakning lokalt.

Som en afsluttende bemærkning kan det tilføjes, at det ville være at foretrække, hvis de respektive analyseinstitutter, der foretager lokale meningsmålinger, bliver bedre til at offentliggøre dem på deres hjemmesider. Jeg gjorde hvad jeg kunne for at indsamle de lokale målinger og gøre dem tilgængelige for alle, men det kan ikke udelukkes, at jeg har overset specifikke målinger. Mit håb er, at det vil være nemmere i 2025 at få data fra de forskellige analyseinstitutter.

Kommunalvalgsmålingerne rammer ikke lige så præcist som folketingsvalgsmålingerne, men kvaliteten af meningsmålingerne ved kommunalvalget var overordnet betragtet god. Jeg ser derfor ingen grund til at afskrive deres anvendelighed og relevans ved dette eller fremtidige kommunalvalg.

Meningsmålinger og demokratisk indflydelse

Det er relativt begrænset hvor stor indflydelse din stemme har ved et folketingsvalg. Det er af samme grund teorier omkring rationel vælgeradfærd konkluderer, at det – i langt de fleste tilfælde – ikke er rationelt at stemme.

Heldigvis er der mange måder at øge sin politiske indflydelse i Danmark anno 2021. Foruden det at stemme ved forskellige valg kan man skrive læserbreve, deltage i vælgermøder, melde sig ind i et politisk parti, donere penge til partier og andre organisationer, kontakte politikere, deltage i underskriftsindsamlinger, like og kommentere på sociale medier og så videre.

Hvis man som ordinær borger – uden mange penge på lommen – vil øge sin indflydelse, vil jeg argumentere for, at den bedste strategi er at deltage i meningsmålinger. Grunden til dette er, at de politiske partier i dag får foretaget meningsmålinger for at finde ud af, hvilke politiske tiltag der er opbakning til i befolkningen. Især når det vedrører større politiske tiltag og reformer, der kan være kontroversielle.

Det er især regeringspartier, eller partier med ønsket om at få regeringsmagten på et tidspunkt, der laver denne slags meningsmålinger. Og det er især med henblik på at vide, hvad vælgere omkring midten synes. Det vil ikke være nogen overraskelse, at folk der stemmer på Enhedslisten er modstandere af en lavere dagpengesats, eller at folk der stemmer på Dansk Folkeparti er tilhængere af yderligere asylstramninger. Stemmer du omvendt på eksempelvis Socialdemokratiet eller Venstre, kan du have relativt stor indflydelse i en meningsmåling, der kan være med til at forme de politiske partiers politik. Især hvis du ikke er loyal partisoldat.

Ligeledes vil du have større indflydelse i en meningsmåling, hvis du repræsenterer en sociodemografisk gruppe, der normalt ikke deltager i meningsmålinger. Jo mere atypisk det er, at din sociodemografiske gruppe vil deltage i en meningsmålinger, desto større vægt vil der blive givet til dit svar (under forudsætning af, at den er repræsentativ for, hvad andre fra din sociodemografiske gruppe, vil mene).

Min pointe er således den simple, at din “stemme” i en meningsmåling vil betyde relativt meget, især hvis man sammenligner det med andre typer af demokratisk deltagelse. Så hvis du vil øge din politiske indflydelse, bør du deltage i meningsmålinger.

Meningsmålinger og kommunalvalg #2

I 2017 skrev jeg om meningsmålingerne og kommunalvalget med et fokus på, hvor svært det er at bruge meningsmålinger til at forudsige, hvordan et kommunalvalg kommer til at gå. Hvad viser meningsmålingerne forud for kommunalvalget på tirsdag?

Vi kan af gode grunde ikke udelukkende kigge på de nationale meningsmålinger og udtale os omkring kommunalvalgsresultatet. Hvad vi kan gøre er at kigge på de lokale meningsmålinger. Der er trods alt tale om 98 forskellige valg. I den forbindelse har jeg konstrueret et datasæt med opbakningen til de forskellige partier i de lokale meningsmålinger. Datasættet kan findes her. Det er ingenlunde en simpel opgave at lave et datasæt med meningsmålinger (se eksempelvis dette indlæg med nogle gode overvejelser herom), og der er især to udfordringer.

For det første er der lokale partier, der stiller op i de forskellige kommuner. Og det er ikke i alle kommuner, at de nationale partier stiller op. Derfor vil datasættet have et andet format end det jeg har med de nationale meningsmålinger. For det andet er det ikke alle tal, der formidles i dækningen af meningsmålingerne. Ofte bliver der i dækningen kun fokuseret på enkelte partier eller mandattal (se mine bemærkninger omkring dette i mit mit indlæg omkring kvaliteten af meningsmålingerne ved kommunalvalget). Jeg har i mange tilfælde kontaktet journalister og medier for at få adgang til procenttallene, men det er ikke lykkedes i alle tilfælde.

De fleste meningsmålinger vi har fra kommunalvalget er foretaget af Jysk Analyse. Dette er interessant, da de som bekendt ikke foretager nationale meningsmålinger. De fleste meningsmålinger har også en stikprøvestørrelse på den gode side af 1000, selvom der er undtagelser (eksempelvis i en meningsmåling Voxmeter foretog i Fredericia Kommune). En anden forskel er indsamlingsperioden, der i mange tilfælde er længere end ved nationale meningsmålinger. Der er noget ironisk men åbenlyst i, at jo mindre et geografisk område er, desto længere tid vil det tage at gennemføre en meningsmåling af høj kvalitet.

For de meningsmålinger, hvor de præcise estimater var tilgængelige (altså andelen af borgere i kommunen, der vil stemme på et parti), kodede jeg hvert estimat med de følgende informationer: 1) dato (hvornår blev dataindsamlingen afsluttet), 2) analyseinstitut (hvem foretog meningsmålingen), 3) estimat (%) og 4) stikprøvestørrelse. Dertil tilføjede jeg også en variabel med opbakningen ved kommunalvalget i 2017.

Nedenstående figurer viser forskellen i opbakningen fra kommunalvalget i 2017 til de nyeste meningsmålinger, der er foretaget i perioden fra 1. oktober til 11. november 2021. Positive værdier indikerer øget opbakning fra kommunalvalget 2017 til i dag.

Konservative står til fremgang i alle kommuner, hvor der er lavet meningsmålinger. Størst er fremgangen i Odense. Lavest er fremgangen i Vejle og Horsens.

Socialdemokratiet står generelt til tilbagegang. Størst er tilbagegangen på Bornholm, i Fredericia og i København. Ingen signifikant fremgang i de lokale målinger (hvis man tager den statistiske usikkerhed i betragtning).

Dansk Folkeparti står også til tilbagegang. I oktober stod de til en lille fremgang på Bornholm, men dette er ikke tilfældet i den seneste måling.

Venstre oplever tilbagegang i flere målinger, men også målinger uden de store ændringer – og sågar en måling med fremgang (i Vejle).

Enhedslisten står til meget stor fremgang i målinger fra Bornholm – og pæn fremgang i København. Bliver ekstra spændende at se, om målingerne rammer plet i disse kommuner.

SF står til fremgang i København (både hos Gallup og Epinion). Ellers står den blot på en lille fremgang eller samme opbakning som ved forrige valg.

Der er fremgang til Nye Borgerlige i alle kommuner, hvor der er foretaget lokale meningsmålinger på det seneste.

Der er blandede resultater til Liberal Alliance. Fremgang ser vi i Viborg. Tilbagegang i målingerne ser vi i målingerne fra Frederiksberg, København og Fredericia.

Der er ligeledes blandede resultater til Radikale Venstre. Der er en lille fremgang i flere kommuner (København, Odense, Fredericia, Hedensted m.fl.), og en lille tilbagegang i målingerne fra Frederiksberg og Bornholm.

Vi ser en stor tilbagegang til Alternativet. Især i kommuner hvor de fik et pænt valg i 2017 (København og Bornholm).

Sidst – og mindst – er der ikke det store at rapportere om hos Kristendemokraterne.

Det skal nævnes, at der er foretaget flere meningsmålinger end dem, der er inkluderet her. For det første kan jeg ikke udelukke, at der er lokaler målinger, der er gået min opmærksomhed forbi (jeg kontaktede Jysk Analyse tidligere på året, men de vendte aldrig tilbage). Det er dog min vurdering, at jeg har været grundig i forhold til at indsamle lokale målinger, hvorfor det forhåbentlig ikke er et stort problem.

For det andet er der målinger, der spurgte ind til borgmesterpræference i stedet for partivalg, eksempelvis disse Megafon-målinger for TV SYD og JydskeVestkysten i Tønder Kommune, Sønderborg Kommune og Kolding Kommune. For at illustrere begrænsningen ved at bruge disse målinger som alternativ til partivalg, kan vi kigge på en meningsmåling fra Jysk Analyse i Viborg Kommune. Her angav 25,5% af vælgerne, at de havde tænkt sig at sætte kryds ved Socialdemokratiet. Det var dog kun 14% af vælgerne, der svarede, at de foretrak Mads Panny fra Socialdemokratiet som borgmester. Derfor kan man ikke bruge borgmesterpræference som en erstatning for partipræference.

For det tredje er der landsdækkende meningsmålinger, der forsøger at spørge ind til kommunalvalget (se evt. denne Gallup-måling). På baggrund af erfaringer fra 2013 og 2017, finder jeg ikke disse meningsmålinger anvendelige, endsige interessante, hvorfor jeg ligeledes heller ikke vil sidestille disse meningsmålinger med meningsmålinger, der er foretaget lokalt.

For det fjerde er der meningsmålinger, hvor jeg ikke har stor tiltro til repræsentativiteten. Det være sig eksempelvis meningsmålinger foretaget af eleverne i 3.G på Sønderborg Statsskole. Med andre ord holder jeg mig udelukkende til meningsmålinger foretaget af etablerede analyseinstitutter.

Min plan er at følge op på dette indlæg efter valget med en analyse af, hvor godt de lokale målinger klarede sig. Der er dog et par vigtige forbehold, man skal holde sig for øje allerede nu. For det første er der mange tvivlere i de respektive målinger. De er derfor også hæftet med en stor grad af usikkerhed (større end den statistiske usikkerhed, der formidles). For det andet er de som altid et øjebliksbillede. De fleste målinger spørger ind til, hvem man ville stemme på, hvis der var valg i morgen, og det er ikke nødvendigvis de partier, vælgerne ender med at stemme på ved valget. For det tredje er det ikke tilfældigt, hvilke kommuner, der bliver foretaget meningsmålinger i. Man skal derfor være påpasselig med at kigge på ovenstående figurer og generalisere til samtlige 98 kommuner. For det fjerde – og vigtigst af alt – er der en større sandsynlighed for, at de lokale målinger kan tage fejl, end når vi kigger på meningsmålinger til folketingsvalget. Vær derfor åben for, at der kan komme op til flere overraskelser på tirsdag, der divergerer fra de resultater, vi kan se i meningsmålingerne.

Hvor mange vil stemme på Lars Løkke Rasmussens parti? #2

I et tidligere indlæg kiggede jeg nærmere på en meningsmåling, der påstod, at 20 procent af vælgerne vil overveje at stemme på Lars Løkke Rasmussen og/eller hans nye parti. I indlægget gentog jeg nogle af de kritikpunkter, jeg tidligere har fremført, når medierne og analyseinstitutterne forsøger at belyse, hvor stor opbakningen er til et nyt parti, der ikke er med i de traditionelle meningsmålinger.

Ét af mine kritikpunkter i mit indlæg var, at der ikke engang var tale om et egentligt parti endnu, men et potentielt parti. Siden da har Lars Løkke bekræftet, at der er tale om et politisk parti. Partinavnet er der dog stadig ingen, der kender til.

Vi ved stadig ikke, hvor mange der sandsynligvis vil stemme på Lars Løkke Rasmussens parti, før vi har en meningsmåling, hvor vælgerne bliver spurgt om, hvilket parti de ville stemme på, hvis der var valg i dag – og Lars Løkke Rasmussens parti er én blandt flere valgmuligheder. En sådan meningsmåling har vi stadig til gode (de fleste analyseinstitutter kræver, at et parti er opstillingsberettiget, før de inkluderer det i deres meningsmålinger). Mit gæt er at YouGov, for hvem kvaliteten af meningsmålingerne er sekundært og ofte underordnet, vil være de første til at inkludere Lars Løkkes parti i målingerne (og sandsynligvis før det er opstillingsberettiget).

Siden jeg skrev mit forrige indlæg, har Voxmeter foretaget to meningsmålinger, der begge spørger respondenterne om følgende: “Hvis Lars Løkke Rasmussen stifter et parti, som bliver opstillingsberettiget til næste Folketingsvalg, hvor sandsynligt er det så, at du ville stemme på et sådant parti?”

Den første måling blev foretaget i perioden fra 19. til 22. januar. Den anden måling blev foretaget fra 9. til 16. april. Lars Løkke offentliggjorde sit parti midt i dataindsamlingsperioden for den anden meningsmåling i en klumme hos BT den 10. april (det er altid godt at kommunikere til laveste fællesnævner, når man vil komme bredt ud med et budskab).

Jeg finder det ikke interessant at kigge alt for meget på tallene. De kunne have været halvt eller dobbelt så store, uden at jeg ville finde dem relevante at formidle. Der er ikke tale om en traditionel meningsmåling, og det er i bedste fald blot en useriøs måde at lave meningsmålinger på. Den overordnede pointe er dog, at 13,6% af vælgerne fandt det sandsynligt at ville stemme på Lars Løkkes parti i januar, men det tal var nede på 9,3% i april. Hvad kan vi bruge denne ændring på 4,3 procentpoint til? Jeg mener ikke, at vi kan bruge disse tal til meget, men det er ikke desto mindre, hvad de viser.

Et af de interessante forhold ved den slags meningsmålinger er, at de altid kan bruges til at lave vidt forskellige historier. Avisen.dk kaldte eksempelvis de 9,3% i målingen fra april for medvind til Lars Løkke på baggrund af et notat fra Ritzau. Igen, jeg vil helst undlade at tolke for meget på de tal, men jeg har svært ved at se, hvordan man kan tolke tallene som medvind.

Jeg har fuld forståelse for, at medierne hjertens gerne vil belyse et nyt partis elektorale potentiale, samt at analyseinstitutterne øjner sig en unik mulighed for at få ekstra omtale, men jeg har vitterligt vanskeligt ved at se anvendeligheden af den slags målinger. Der er langt mere støj i den politiske dækning med den slags målinger, hvor vælgerne fejlagtigt vil tro, at opbakningen til Lars Løkkes nye parti ligger på omkring 9,3% af stemmerne, selvom der absolut intet empirisk belæg er for sådan en opfattelse.

Mit råd vil være at medierne holder sig fra at dække den slags meningsmålinger og fokuserer på andre aspekter ved nye partier, eksempelvis deres politiske profil (og evt. hvad vælgerne synes om disse politiske udmeldinger), og når partiet så er opstillingsberettiget, kan vi belyse, hvor stor opbakning partiet vil få ved næste valg.

Kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed #3

I mit forrige indlæg om kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed, kom jeg ind på, at en af grundene til, at der er forskel på de vægtede gennemsnit er, at de ikke anvender samme tilgang:

Der findes ikke én måde at lave et vægtet gennemsnit. Der er en lang række af spørgsmål, man skal forholde sig til. Hvor mange meningsmålinger skal indgå i et vægtet snit? Skal alle analyseinstitutter have samme indflydelse – eller skal eksempelvis de institutter, der ramte sidste valg bedre, vægtes højere? Nyere meningsmålinger skal vægtes højere end ældre meningsmålinger, men hvor meget mere? Svarene på disse spørgsmål er ikke nødvendigvis oplagte, og det er en af grundene til, at forskellige vægtede gennemsnit ej heller giver de samme estimater.

På den baggrund tænkte jeg, at det ville være interessant at lave en sammenligning af de respektive vægtede gennemsnit. Der er fire vægtede gennemsnit i Danmark, der bliver opdateret regelmæssigt: Politologi Prognose, Risbjerg-snittet, Berlingske Barometer og Ritzau Index.

Der er flere ligheder og forskelle mellem de respektive snit, og i tabellen nedenfor har jeg sammenlignet de fire snit på de følgende syv parametre: 1) hvilke institutter, de inkluderer (om det er alle institutter eller ej); 2) antallet af meningsmålinger; 3) om der tages højde for huseffekter; 4) hvilke minimumskrav der er til, at et parti inkluderes; 5) om nyere målinger vægtes højere; 6) om resultaterne er offentligt tilgængelige; og 7) om den statistiske usikkerhed formidles.

Tabel 1: Sammenligning af vægtede gennemsnit

Politologi Prognose Risbjerg-snittet Berlingske Barometer Ritzau Index
Alle institutter Ja Nej Nej Nej
Antal målinger Alle fra valgperioden Målinger fra den seneste måned Målinger fra de seneste 31 dage Seneste 15 målinger
Estimering af huseffekter Ja Nej Nej Nej
Minimumskrav Ingen Ingen Ingen Minimum 15 målinger hvor et parti indgår
Vægter nye målinger højest Ja Uklart Ja Ja
Offentligt tilgængelige resultater Ja Nej Ja Ja
Rapportering af statistisk usikkerhed Ja Ja Nej Nej

Før jeg beskriver detaljerne i tabellen yderligere, skal jeg nævne, at jeg tager forbehold for, at jeg kan have misforstået noget ved de vægtede snit, og såfremt der er fejl eller mangler, skal jeg selvfølgelig nok korrigere disse. Ligeledes skal jeg for en god ordens skyld orientere, at jeg står bag Politologi Prognose, hvorfor jeg (u)bevidst kan få den til at fremstå som den bedste prognose blandt de fire. Jeg vil holde mig fra at lave en sådan vurdering i dette indlæg.

De fleste vægtede gennemsnit inkluderer ikke meningsmålinger fra Megafon. Sådan har det været i årevis, hvor Megafon eksplicit har frabedt sig dette. Jeg har ikke fået en henvendelse fra Megafon, hvorfor jeg antager, at det er acceptabelt, at de er inkluderet i Politologi Prognose. Politologi Prognose er dermed det eneste vægtede snit, der inkluderer meningsmålinger fra alle institutter.

De vægtede snit bruger ikke de samme meningsmålinger. Risbjerg-snittet og Berlingske Barometer anvender begge de nyeste meningsmålinger (meningsmålinger der er ældre end en måned, er ikke inkluderet). Ritzau Index tager ikke højde for, hvornår meningsmålingerne er lavet, men blot at de er blandt de seneste 15 meningsmålinger. Politologi Prognose anvender uden sammenligning flest meningsmålinger ved at kigge på alle meningsmålinger i perioden fra det seneste folketingsvalg frem til og med den seneste meningsmåling.

Dette fører til en af de primære forskelle mellem Politologi Prognose og de andre vægtede gennemsnit. Mere konkret at Politologi Prognose estimerer huseffekter, altså systematiske forskelle i, hvordan analyseinstitutterne generelt betragtet vurderer (eller ikke vurderer) partierne forskelligt (se dette indlæg for henvisninger til mere information omkring huseffekter). Ved at bruge et større datamateriale har Politologi Prognose nemmere ved at opfange nye tendenser i meningsmålingerne, uden blot at samle op på tilfældig støj. De vægtede snit der anvender de seneste meningsmålinger, men som ikke korrigerer for, hvor disse meningsmålinger kommer fra, vil i overvejende grad primært formidle et gennemsnit af Voxmeters resultater (da de kommer med flere meningsmålinger end de andre institutter).

De fleste vægtede gennemsnit har ingen eksplicitte minimumskrav til, hvornår et nyt parti skal inkluderes. Undtagelsen her er Ritzau Index, der først inkluderer et nyt parti, når de er at finde i mindst 15 meningsmålinger. Det vil sige at Ritzau Index skal have et parti med i alle de respektive meningsmålinger, de kigger på i deres vægtede snit, før de inkluderes.

De vægtede snit vægter som regel nye målinger højest, om end det er uklart i hvilket omfang dette finder sted i Risbjerg-snittet. Dette da det blot er den seneste måneds meningsmålinger, der inkluderes, hvorfor det nok ikke vil have den store betydning i sidste instans. Det er således også begrænset, hvor meget information vi har om, hvor meget mere nye målinger vægtes højere. I Politologi Prognose estimeres en model, hvor der gives estimater for hver dag for, hvor stor opbakningen er til de respektive partier. Det vægtede gennemsnit er således blot estimaterne for den dag, modellen er estimeret.

De fleste vægtede snit er offentligt tilgængelige, så det er muligt for alle at få information om, hvordan partierne klarer sig i meningsmålingerne. Undtagelsen her er Risbjerg-snittet, der af samme grund primært er af interesse for journalister og andre fagprofesionelle, der har adgang til indholdet bag Altingets betalingsmur.

Det sidste jeg har kigget på er, hvorvidt de vægtede snit formidler den statistiske usikkerhed. Hverken Berlingske Barometer eller Ritzau Index rapporterer den statistiske usikkerhed ved de vægtede snit. Den statistiske usikkerhed er som bekendt lavere end ved enkeltmålinger, men det er vigtigt at huske på, at vi trods alt stadig har en statistisk usikkerhed. Ved Politologi Prognose formidles den statistiske usikkerhed for hvert parti, og for Risbjerg-snittet formidles den som det højeste usikkerhedsestimat, eksempelvis: “Den statistiske usikkerhed på snittet for de enkelte partier er højst +/- 1,3 procentpoint.”

Dette er ikke en udtømmende gennemgang af alt, hvad man kan kigge på, når vi kigger på de vægtede genenmsnit. Som jeg nævnte i mit forrige indlæg, er det eksempelvis muligt at give nogle analyseinstitutter større indflydelse, hvis de har for vane at ramme valgresultatet mere præcist. Mig bekendt tager ingen af de nuværende danske vægtede gennemsnit dette i betragtning.

Ovenstående genenmgang er som sagt ikke en øvelse i at vurdere, hvilket vægtet snit, der er bedst. Der er forskelle og ligheder, og min plan er ikke at øge konkurrencen mellem disse snit (tværtimod tror jeg kun det er sundt, at der er forskellige snit med forskellige tilgange), men at øge transparensen og vores opmærksomhed på, hvordan disse vægtede gennemsnit er skruet sammen. Hvis nogen skulle have interesse heri, står det dem frit for at lave et kvalitetsvægtet gennemsnit af de vægtede gennemsnit.

Min tilgang til de vægtede gennemsnit og deres anvendelighed er blevet mere kritisk og pessimistisk med årenes gang (sammenlign eventuelt mit indlæg fra 2013 med mit indlæg fra 2020). Derfor ønsker jeg heller ikke, at ovenstående skal tage fokus fra enkeltmålingernes relevans. Min tilgang er nu, at det er vigtigt ikke blot at kigge på én meningsmåling, når vi skal vurdere, hvordan partierne står i målingerne, men at vi ej heller skal reducere et partis opbakning til et estimat i ét vægtet gennemsnit.

Hvor lav er opbakningen til Venstre? #2

Der er sket meget i meningsmålingerne i løbet af de seneste par måneder. I januar viste min prognose, at Venstre stod til at få omkring 17 procent af stemmerne. Siden da har partiet mistet endnu flere vælgere i meningsmålingerne. I min seneste prognose står partiet til at få omkring 10 procent af stemmerne. Til sammenligning ligger de Konservative på omkring 15 procent.

Der har været især to store begivenheder i 2021 for Venstre. Den ene er relateret til Lars Løkke Rasmussens afgang, den anden Inger Støjbergs ditto. Mit bud er, at kun den ene af disse er relateret til Venstres opbakning i meningsmålingerne, selvom man selvfølgelig kan diskutere, om de to begivenheder er relateret til hinanden og om der er tale om kausale effekter.

I nedenstående figur viser jeg alle meningsmålinger fra 2020 og 2021, vi har haft i skrivende stund. Ligeledes har jeg fremhævet tre væsentlige begivenheder. Den første er corona-nedlukningen den 11. marts 2020. Den anden er Lars Løkke Rasmussens udmeldelse af Venstre den 1. januar 2021. Den tredje er Inger Støjbergs udmeldelse af Venstre den 4. februar 2021.

Vi ser flere interessante ting i figuren. For det første ser vi at opbakningen til Venstre løbende falder i løbet af 2020, men ikke fra én måling til den næste. Det er med andre ord et gradvist fald der er sket i løbet af 2020, hvor Socialdemokratiet konsoliderede deres magt og position, herunder også i meningsmålingerne.

For det andet ser vi et direkte og stort fald i meningsmålingerne efter Lars Løkke Rasmussen meldte sig ud ved årsskiftet. Før dette lå Venstre på over 15% i langt de fleste meningsmålinger. Siden da har Venstre ligget på under 15% i samtlige meningsmålinger. Dette er en klar diskontinuitet i opbakningen til Venstre i meningsmålingerne.

For det tredje ser vi, at der ikke var et lignende fald i meningsmålingerne efter Inger Støjberg forlod Venstre. Meningsmåingerne giver med andre ord Venstre samme (lave) opbakning i meningsmålingerne før og efter hendes exit.

Formålet med dette indlæg er udelukkende at beskrive, hvordan Venstre har klaret sig, og dermed ikke hvordan partiet vil klare sig i de kommende målinger og måneder. Det vil tiden – og sandsynligvis et senere indlæg – belyse.

Hvorfor er flere respondenter ikke nødvendigvis bedre? #3

Avisen Danmark kan rapportere, at et nyt analyseinstitut ved navn Electica er begyndt at foretage politiske meningsmålinger:

Det er en ny spiller på markedet, instituttet Electica, der har målt Nye Borgerlige til 11 procent, Venstre til 9,8 og Konservative til 12,6. Electica måler for Alliancen, der består af fagforbundene NNF, Blik & Rør, Dansk El-forbund og Malerforbundet, og fordi de måler blandt 5000 repræsentativt udvalgte danskere og ikke de cirka 1000-2000, som andre institutter baserer deres målinger på, giver det en statistisk usikkerhed, der blot er halvt så stor som normalt.

Jeg er på ingen måde imponeret over denne beskrivelse. Vi bør ikke have større tiltro til, at denne meningsmåling er mere præcis end hvad de andre analyseinstitutter kan vise med omkring 1000 respondenter. Det er korrekt, at flere respondenter resulterer i en mindre statistisk usikkerhed, men dette er – som nævnt i tidligere indlæg – ikke ensbetydende med, at der er tale om en mere præcis meningsmåling.

Jeg udelukker ikke, at tallene i meningsmålingen kan være præcise, men jeg har valgt ikke at inkludere denne meningsmåling i min oversigt på Politologi.dk. For det første har det ikke være muligt for mig at finde nogen beskrivelse af Electica, herunder hvilke slags analyser de helt præcist foretager. For det andet er jeg skeptisk over for den information om målingen, der bliver præsenteret i dækningen:

Undersøgelsen er gennemført af Electica for Alliancen, der består af fagforbundene NNF, Blik & Rør, Malerforbundet og Dansk El-forbund.

Der er gennemført 5000 interview blandt et repræsentativt udsnit af den danske befolkning i alderen 16 år eller derover. Deltagere mellem 16 og 18 år er siet [sic] fra. 11 procent har ikke svaret på hvilket parti, de ville stemme på. Tilbage var 4138 deltagere over 18 år.

De 5000 er blevet spurgt i perioden 1.-14. februar.

De 5000 er valg [sic] ud med udgangspunkt i den kendte fordeling på kriterierne køn, alder og region, og resultaterne er efterfølgende vejet således, at de afspejler den i Danmark kendte fordeling på kriterierne køn, alder og region

Den maksimale statistiske usikkerhed er på +/- 1,5 procentpoint.

Hvilken interesse har de respektive fagforbund i at betale for meningsmålinger? Ville de også stå på mål for selvsamme meningsmåling, hvis de havde vist, at opbakningen til Socialdemokraterne ville være langt lavere end hvad andre analyseinstitutter viser? Dette mener jeg, at man retmæssigt kan have sin tvivl omkring, hvorfor jeg ikke vil sidestille disse meningsmålinger med de målinger, der foretages af de respekterede analyseinstitutter og YouGov for andre medier.

Til dette kan man indvende, som nogle eksperter udtaler til Avisen Danmark, at kvaliteten er på linje med andre analyseinstitutter. Jeg skal ikke kunne udelukke dette, men jeg er langt mere kritisk ift. at skulle kunne bekræfte, at kvaliteten er den samme. Jeg tror ganske enkelt ikke, uden at være forelagt anden information end den der er tilgængelig, at denne meningsmåling er lige så god – og blot har endnu mere præcision.

Der er åbenlyse spørgsmål, jeg gerne vil have besvaret: Hvordan er de 5000 respondenter blevet udvalgt? Der skrives, at det er en onlineundersøgelse, men hvordan har de helt præcist rekrutteret 5000 respondenter, der udgør en repræsentativ stikprøve, når man vejer efter køn, alder og region? (Og er svarene de samme hvis man også vejer efter stemmeafgivelse ved valget i 2019?)

Flere respondenter i en meningsmåling er ikke et kvalitetstegn i og for sig selv. Hvis man som (nyt) analyseinstitut forsøger at skille sig ud fra resten af branchen, vil mit råd være ikke at sælge sig selv på en større stikprøve, men større transparens omkring, hvad man helt præcist gør.

Huseffekter i meningsmålingerne

Når vi kigger på kvalitetsvægtede gennemsnit af meningsmålingerne forsøger vi at tage højde for såkaldte huseffekter, altså hvordan de forskellige analyseinstitutter systematisk giver partier en større eller mindre opbakning end de andre analyseinstitutter.

Jeg har over årene været med til at udregne huseffekter i meningsmålingerne (se eksempelvis Politiken i 2015 og TV 2 i 2017). Jeg har ligeledes fremhævet vigtigheden af at kigge på huseffekter, når jeg har talt med eksempelvis Altinget og DR ifm. 2019-valget.

Hvad jeg har savnet er dog ét sted, hvor huseffekterne bliver opdateret mere regelmæssigt, så jeg ikke behøves henvise til ældre artikler om emnet. Denne resource har jeg nu lavet og den kan findes her. De ser ud som følger:

Vi kan se, at der er uenighed om især opbakningen til Nye Borgerlige og Venstre hos YouGov og Voxmeter. Bemærk, som jeg også skriver på siden, at dette ikke er ensbetydende med, at disse institutter tager fejl.

Har du forslag til forbedringer eller tilføjelser, modtager jeg gerne feedback.

Hvorfor skal meningsmålinger være så præcise? #2

Forud for folketingsvalget i 2019 anbefalede jeg medierne, at fokusere mere på den statistiske usikkerhed i meningsmålingerne. Jeg fremhævede i den forbindelse at den statistiske usikkerhed er vigtig i mediedækningen: “Fordi den pointerer den væsentlige kendsgerning, at vi ikke arbejder med præcise tal. Vi arbejder med estimater. Personligt er jeg mindre opmærksom på, om den statistiske usikkerhed er 2,5 procentpoint eller 3 procentpoint for et parti. Det vigtigste er, at man erkender, at der er en statistisk usikkerhed, og dermed også en sandsynlighed for, at man tager fejl.”

Journalister, kommentatorer og eksperter er dog fortsat glade for præcision og undlader ofte at nævne den statistiske usikkerhed, når opbakningen til forskellige partier skal formidles. Tag dette eksempel, som jeg stødte på forleden. Her står der, at de Konservative har vundet ”95.433 nye vælgere”. Hvorfor ikke 95.432 eller 95.434 nye vælgere? Det giver absolut ingen mening at formidle tal med en sådan præcision. Tværtimod gør det blot usikkerheden mindre synlig. Det ville være betydeligt bedre hvis man havde sagt omkring 95 tusinde vælgere og givet den statistiske usikkerhed for dette estimat.

I mit forrige indlæg legede jeg med tanken om, at medierne kunne præsentere den statistiske usikkerhed mere dynamisk. Eksempelvis ved at fokusere mere på det interval inden for hvilket, opbakningen højst sandsynligt lå end et tal for, hvor stor opbakningen er. Med andre ord: at fokusere mere på usikkerheden end selve estimatet.

Den statistiske usikkerhed bliver som regel repræsenteret med ét tal (eller ét tal for hvert parti). Denne usikkerhed er som regel udregnet med et 95% konfidensinterval in mente. Det er dog ingen naturlov, at den statistiske usikkerhed skal være på 95%, og det kunne lige så godt være 90% eller 99%. Her er mit beskedne forslag: I stedet for blot at fokusere én statistisk usikkerhed, kunne man formidle to eller tre. Der er intet særligt ved dette og man ser det ofte gjort i videnskabelige artikler – eksempelvis når man vurderer om noget er signifikant på forskellige niveauer eller med både 90% og 95% konfidensintervaller.

Dette vil især egne sig godt til en visuel formidling, hvis man kan vise et estimat med den statistiske usikkerhed som en fleksibel størrelse. Et bud er således at give både 95% og 90% konfidensintervaller. Her er et visuelt eksempel med den seneste meningsmåling fra Voxmeter:

Opbakningen til Socialdemokratiet i den seneste Voxmeter-måling er 31,2%. Den statistiske usikkerhed er +/- 2,8% med et 95% konfidensinterval og +/- 2,4% med et 90% konfidensinterval. Denne forskel er ikke stor, men det er heller ikke det afgørende. Det vigtige er at få det vist, at den statistiske usikkerhed også kan variere (og dermed også blot er et estimat). Jo mindre vi går op i præcision (ofte for den statistiske usikkerhed), desto bedre kan vi forstå nogle af de begrænsninger, der altid vil være forbundet med meningsmålinger.

Som jeg skrev i et indlæg forrige uge, er meningsmålingerne overordnet betragtet meget præcise i en dansk kontekst, men når de tager fejl, har de det med at tage kollektivt fejl. Ved at fokusere på at den statistiske usikkerhed ikke er én størrelse, kan man forhåbentlig nuancere borgernes opfattelse af, at meningsmålingerne nogle gange kan tage fejl. Så slipper vi også for at skulle have diskussioner om, hvorvidt meningsmålingerne overhovedet kan bruges til noget, når de tager fejl.

Dertil er det også vigtigt at huske på, at vi antager at estimaterne i en meningsmåling er uafhængige af hinanden, men når vi tager fejl med ét parti, tager vi som regel også fejl med andre partier. Den statistiske usikkerhed for et parti burde derfor være uafhængig af den statistiske usikkerhed for et andet parti, men dette er noget der ikke holder i praksis. Der er med andre ord mange udfordringer forbundet med at udtale sig omkring usikkerheden i en meningsmåling. Og igen, jo mindre vi fokuserer på ét præcist estimat for hvert parti, desto nemmere vil det være at formidle sådanne begrænsninger, antagelser m.v.

Meningsmålinger er ikke præcise. Jeg ved godt at faste læsere vil være bekendt med denne pointe, men mit håb er at nogle journalister eller andre vil give sig i kast med at undersøge, hvordan man bedst kan formidle den statistiske usikkerhed i meningsmålingerne med udgangspunkt i ovenstående og tidligere nævnte pointer. Vil der være gode eksempler herpå i fremtiden, skal jeg nok skrive et indlæg herom.

Er meningsmålingerne i Danmark præcise?

Meningsmålingerne har (igen) fået en masse opmærksomhed i forbindelse med det amerikanske præsidentvalg. Ramte de forkert? Kan vi stole på dem? Hvad kan de egentlig bruges til? I de danske medier er meningsmålingerne ved det amerikanske præsidentvalg blevet diskuteret eksempelvis her og her. Jeg takkede pænt nej til de journalister, der gerne ville have et par kommentarer med på vejen, da jeg ikke har fulgt tilstrækkeligt med i dækningen (modsat de eksperter, der har udtalt sig kvalificeret og nøgternt) – og jeg planlægger at skrive et indlæg om meningsmålingerne og præsidentvalget ved en senere lejlighed, når støvet har lagt sig.

Én ting jeg dog finder relevant at pointere her, er, at der er enormt stor forskel på at foretage meningsmålinger i Danmark og USA. Med andre ord vil jeg argumentere for, at selvom der er mulighed for at drage paralleller mellem udfordringerne forbundet med at foretage og dække meningsmålinger i Danmark og USA, skal vi være påpasselige med ikke at fokusere for meget på det amerikanske præsidentvalg, når vi skal sige noget om, hvad meningsmålingerne kan i en dansk kontekst. Med andre ord savner jeg, at når de danske medier diskuterer meningsmålingerne i USA, at man fremhæver, at det er begrænset, hvad man kan bruge disse diskussioner til i en dansk kontekst.

Det er nemt at se store forskelle på tværs af Danmark og USA, der kan have implikationer for, hvor nemt (eller svært) det er at foretage meningsmålinger. Eksempelvis er valgsystemerne fundamentalt forskellige (hvilket gør det nemmere at foretage meningsmålinger i Danmark) og valgdeltagelsen er stabil på tværs af sociodemografiske grupper og generelt højere i Danmark (hvilket også gør det nemmere at foretage meningsmålinger i Danmark). Du kan ikke foretage én meningsmåling i USA, der vil give et bud på, hvem der bliver den næste præsident. En meningsmåling kan med andre ord ikke sige at sandsynligheden for at kandidat X bliver præsident er Y%. Når vi alligevel hører disse udsagn er det på baggrund af statistiske modeller, der estimerer hvilken kandidat der står til at vinde forskellige delstater (og de dertilhørende valgmænd).

Meningsmålinger foretages i USA derfor ikke kun nationalt men også på delstatsniveau, hvor kvaliteten mildest sagt er meget svingende (især i de stater, hvor incitamentet til at lave mange meningsmålinger, eksempelvis fordi udfaldet er sikkert, er begrænset). Det er en kæmpe fordel i en dansk sammenhæng at analyseinstitutterne kan foretage en national meningsmåling, der vil afspejle valgresultatet godt, og er fri for at skulle lave meningsmålinger, der er repræsentative for eksempelvis lige præcis Nordjylland og Bornholm.

Det er som sagt derfor begrænset, hvor meget vi kan bruge de amerikanske diskussioner til at sige noget om meningsmålingernes kvalitet i Danmark. Og jeg vil pointere, at meningsmålingerne er ret præcise i Danmark. Men hvor præcise er de?

I et arbejdspapir, der bærer titlen “Public Election Polls are 95% Confident but only 60% Accurate“, viser et par amerikanske forskere, at selvom den statistiske sandsylighed i meningsmålingerne i USA er 95%, rammer de kun rigtigt 60% af gangene. Det vil sige, at kun 60% af gangene er estimatet inden for de 95% af den statistiske sandsynlighed. Har du en interesse i meningsmålingsfejl i forbindelse med amerikanske præsidentvalg, kan jeg varmt anbefale den nye bog Lost in a Gallup: Polling Failure in U.S. Presidential Elections, der giver en detaljeret gennemgang af fejl i meningsmålingerne fra 1936 til 2016.

Til at belyse hvor præcise meningsmålingerne er i en dansk sammenhæng, kigger jeg på meningsmålingerne fra den sidste uge op til de tre seneste folketingsvalg (2011, 2015 og 2019). Det giver sammenlagt 811 estimater. Jeg finder det unfair for meningsmålingerne at forvente, at de skal være præcise, når vi går længere væk fra valget, da meningsmålingerne ganske enkelt ikke forsøger at forudsige hvem der vinder valget – men hvem der ville vinde, hvis der var valg den dag, meningsmålingen er foretaget. (Jeg bryder mig af samme grund ikke om den formulering, der lyder, at meningsmålingerne bliver mere præcise, jo tættere vi kommer på valgdagen.)

I 88% af tilfældene ramte meningsmålingerne ved de tre seneste folketingsvalg partierne korrekt. Det er mindre end 95% af gangene, men ikke desto mindre tyder det på, at meningsmålingerne rammer rigtigt 9 ud af 10 gange. Det må siges at være meget godt. Dette kan føre til en diskussion om, hvorvidt man skulle bruge 90% konfidensintervaller i stedet for 95% konfidensintervaller, hvilket dog blot ville føre til, at man tager fejl endnu oftere. Nedenstående figur viser hvor præcise de forskellige analyseinstittutter var ved de tre folketingsvalg.

Det mest præcise analyseinstitut, når man kigger på hvor mange partier de ramte rigtigt, var Greens i 2015 (94%). Det mindst præcise analyseinstitut var også Greens – i 2019 (70%). Kun YouGov i 2011 og Greens i 2019 er under 80%, hvilket tyder på at de fleste analyseintitutter som minimum rammer fire ud af fem partier rigtigt, når den statistiske usikkerhed er 95%.

Ovenstående figur skjuler dog det faktum, at analyseinstitutterne rammer de fleste partier meget præcist i de fleste tilfælde, men har problemer med enkelte partier ved enkelte valg, som eksempelvis Dansk Folkeparti i 2015 og Venstre i 2019, hvor under 25% af meningsmålingerne havde partiernes endelige valgresultat inden for den statistiske usikkerhed på 95% i løbet af valgkampens sidste uge.

I 15 ud af 27 tilfælde – når vi kigger på partiene (vist i ovenstående figur) – ramte alle meningsmålinger korrekt (altså 100%). 21 ud af 27 partier blev ramt rigtigt i omkring eller mere end 95% af gangene.

Hvad vi kan se er, at meningsmålingerne ikke rammer rigtigt i 95% af tilfældende, og når de ikke gør, har meningsmålingerne det med kollektivt at tage fejl. Dette så vi især i 2015, hvor der var talrige diskussioner om, hvorvidt vi overhovedet skulle og kunne stole på meningsmålingerne. Faktum er dog at meningsmålingerne i Danmark generelt rammer præcist, men at dette ikke er det samme som, at der ikke kan være udfordringer i forhold til at ramme alle partier præcist.

Meningsmålingerne er mere præcise i Danmark end i USA, og det er det vigtigt at huske på – især når diskussionen omkring meningsmålingernes anvendelighed i disse uger primært sker i forlængelse af og forbindelse med det amerikanske præsidentvalg.