Erik Gahner Larsen

Kvaliteten af meningsmålingerne ved kommunalvalget #2

Hvor præcise var meningsmålingerne ved kommunalvalget? For at besvare dette spørgsmål må vi først forholde os til, hvilke meningsmålinger vi ønsker at se på. Skal vi eksempelvis belyse, om nationale meningsmålinger indfanger de nationale partiers opbakning lokalt? Eller skal vi se på, om de lokale meningsmålinger hver især rammer de lokale valg præcist?

Et landsresultat for kommunalvalget er på mange måder en kunstig konstruktion, da der som bekendt er tale om 98 unikke valg, hvor alle partier ikke stiller op i alle 98 kommuner – og lokale partier og lister stiller op i forskellige kommuner. Dertil gør valgforbund og andre forhold ligeledes, at vælgerne lokalt ikke nødvendigvis støtter det parti, de støtter nationalt. Et landsresultat er dermed primært af interesse for de nationale medier, der ønsker at diskutere, hvem af partierne i Folketinget der var vindere og tabere af kommunalvalget.

Udfordring forbundet med at kigge på meningsmålingerne ved kommunalvalget er, at i de fleste kommuner har vi ingen meningsmålinger. I de kommuner, hvor der bliver foretaget meningsmålinger, har vi ofte kun én meningsmåling. Kun i meget få kommuner får vi mere end én måling (eksempelvis København og Bornholm). Udfordringen med meningsmålingerne ved kommunalvalget er dermed ikke de meningsmåliner, vi har, men de målinger vi ikke har.

I den bedste af alle verdener foretog vi et tocifret antal meningsmålinger i hver af de 98 kommuner (hvilket ville give os rundt regnet 1000 meningsmålinger). Dette er selvsagt urealistisk, men jeg fremhæver det alligevel her for at pointere, hvad et fornuftigt udgangspunkt ville være, hvis vi skulle give meningsmålingerne en fair chance for at sige noget om alle lokale valg. Vi er således ikke interesseret i at se på, hvordan de mange kommunalvalgsmålinger klarede sig, men hvordan de få kommunalvalgsmålinger, der trods alt blev foretaget, har klaret sig.

Hvordan klarede de lokale meningsmålinger sig?

Der har mig bekendt været et begrænset fokus på, hvordan de lokale målinger har klaret sig. Fagbladet Journalisten præsenterede en lang række tal dagen efter kommunalvalget, men der er ikke tale om et egentligt overblik (den seneste meningsmåling fra Bornholm er eksempelvis ikke at finde i deres “overblik”). Derfor er det fint at kigge mere systematisk på, hvordan de respektive målinger helt præcist klarede sig.

Til at gøre dette har jeg taget udgangspunkt i mit datasæt med kommunalvalgsmålinger, hvor jeg afgrænsede målingerne til kommunalvalgkampens sidste måned, dvs. målinger foretaget i perioden fra 16. oktober til 16. november 2021. Skæringsdatoen 16. oktober kan virke arbitrær, men der er tre forhold at tage i betragtning. For det første vil det være unfair at inkludere de meningsmålinger, der blev foretaget for et års tid siden. Meningsmålinger er et øjebliksbillede og ikke et forsøg på at forudsige et valgresultat langt ude i fremtiden. For det andet, og som jeg vil vise nedenfor, tyder intet på, at det er afgørende om en måling er foretaget i dagene op til eller ugerne op til valget. Det er således ikke tilfældet, at målinger foretaget tættere på 16. oktober er mindre pålidelige end dem foretaget tættere på 16. november. For det tredje er der relativt få meningsmålinger. Havde der været mange flere meningsmålinger kunne vi få mere ud af systematisk at belyse, hvordan de har klaret sig over tid.

For hver lokal meningsmåling der blev foretaget i kommunalvalgkampens sidste måned, har jeg udregnet den gennemsnitlige fejl i hver meningsmåling. Det vil sige at jeg for hvert estimat i en meningsmåling har udregnet forskellen mellem estimatet i meningsmålingen og valgresultatet – og så taget gennemsnittet af disse. Jo større forskelle der var mellem resultaterne i en meningsmåling og valgresultatet, desto større er den gennemsnitlige fejl. Hvis en meningsmåling ramte 100% præcist for alle partier i en måling, ville den gennemsnitlige fejl være 0.

Den mest præcise meningsmåling blev foretaget af Gallup i København den 8. november. Den gennemsnitlige fejl var her 0,78. Denne måling ramte især rigtigt ved partier som Venstre, Liberal Alliance, Socialdemokratiet og Konservative, men havde svært ved at ramme SF (målingen gav partiet 2,3 procentpoint flere stemmer, end de fik ved valget).

Den mindst præcise meningsmåling blev foretaget af Jysk Analyse på Bornholm en uge før kommunalvalget. Den gennemsnitlige fejl i denne meningsmåling var 1,74. Her ramte målingen forbi skiven ved flere partier, eksempelvis Venstre (5,8 procentpoint større opbakning i målingen), Konservative (4,8 procentpoint lavere opbakning i målingen) og Bornholmerlisten (3,9 lavere opbakning i målingen). Jeg har svært ved at forestille mig, at vælgerne har rykket sig så meget i ugen op til valget, hvorfor jeg gerne vil stå på mål for den påstand, at Jysk Analyse foretog en dårlig meningsmåling.

En anden måling der ikke klarede sig godt var Gallups måling på Frederiksberg. Denne måling undervurdere opbakningen til Enhedslisten, Radikale Venstre og Socialdemokratiet med henholdsvis 3,3, 2,6 og 2,6 procentpoint. Det tyder med andre ord på, at Gallup havde svært ved at ramme venstreorienterede vælgere på Frederiksberg. Disse vælgere er sandsynligvis yngre vælgere og mere tilbøjelige til at være tilflyttere.

Det er interessant at den mindst præcise meningsmåling og den mest præcise meningsmåling begge er foretaget af Gallup i hovedstadsområdet i samme periode. Dette kan tyde på, at der er specifikke udfordringer forbundet med hver kommune, man ønsker at foretage en meningsmåling i. Vi kan derfor ikke nødvendigvis konkludere, at et analyseinstitut, der har klaret sig rigtig godt i én kommune også vil klare sig godt i en helt anden kommune.

Nedenstående tabel viser den gennemsnitlige fejl, altså den gennemsnitlige forskel mellem valgresultatet og meningsmålingen, i målingerne foretaget senest en måned inden kommunalvalget.

Gennemsnitlige fejl i meningsmålingerne
Målinger foretaget senest en måned inden kommunalvalget
kommune institut n dato fejl
Bornholm Jysk Analyse 1031 11. nov 1,74
Frederiksberg Gallup 751 9. nov 1,73
Fredericia Jysk Analyse 1040 21. okt 1,55
Vejle Jysk Analyse 1009 4. nov 1,41
København Epinion 1024 19. okt 1,40
Hedensted Jysk Analyse 1005 26. okt 1,38
Horsens Jysk Analyse 1010 31. okt 1,23
Odense Jysk Analyse 1028 9. nov 1,11
Fredericia Voxmeter 500 31. okt 0,98
Viborg Jysk Analyse 1010 4. nov 0,95
København Gallup 1073 8. nov 0,78

Nogle meningsmålinger klarede sig bedre end andre, men vi kan konkludere, at meningsmålingerne – overordnet betragtet – klarede sig ganske fint. De var ikke perfekte (den bedste lokale måling kunne ikke slå den bedste måling fra folketingsvalget i 2019), men de var på ingen måde i nærheden af at være en katastrofe.

Desuden var den lokale dækning generelt af meningsmålingerne god. De fleste artikler formidlede metodiske informationer, herunder hvornår meningsmålingen blev foretaget samt den statistiske usikkerhed, og i de tilfælde hvor den slags information ikke blev formidlet, var journalisterne generelt gode til at udlevere den slags information, når jeg spurgte dem.

Kvaliteten af meningsmålingerne ved kommunalvalget var dermed ganske fin. Når det er sagt, er det relevant at forholde sig til, om de lokale meningsmålinger er bedre end eventuelle alternativer. Hvis de lokale målinger ikke er bedre end eventuelle alternativer, er der ingen grund til at foretage dem og bruge spalteplads på at formidle dem.

Den nationale valgvind

Hvis vi ønsker at sige noget om partierens opbakning lokalt, kan vi kigge på hvordan nationale meningsmålinger, kombineret med lokale forhold, kan give deres bud på opbakningen til partierne på kommunalt niveau. Ideen er således at vi kan se hvordan den nationale valgvind påvirker de forskellige partier.

Martin Vinæs Larsen og Kasper Møller Hansen har et kapitel i bogen om kommunalvalget 2017, der bærer titlen ‘Om den landspolitiske valgvind i 2017 – og hvorfor Dansk Folkeparti klarede sig dårligere end forventet’. Som titlen på kapitlet antyder var deres valgvindsprognose i 2017 ubrugelig til at sige noget om, hvordan Dansk Folkeparti ville klare sig. De viser flere interessante ting i kapitlet, herunder hvordan sammenhængen mellem national og lokal opbakning for de politiske partier er svagere i mindre kommuner.

Dette skaber et godt udgangspunkt for at sige noget om, hvordan de nationale partier ville klare sig ved kommunalvalget i 2021. De offentliggjorde således deres valgvindsprognose for 2021, altså estimater på hvor stor opbakning man burde forvente at se for de forskellige partier i de 98 kommuner.

I nedenstående figur har jeg taget de estimater, hvor vi har data fra lokale meningsmålinger og data fra valgvindsprognosen. Jo tættere en observation er på den stiplede linje i figuren, desto tættere var estimatet på valgresultatet. Det vil sige at når eksempelvis en lokal måling ligger på den stiplede linje, ramte målingen et partis opbakning helt præcist.

Vi kan se at de lokale målinger generelt klarede sig bedre end valgvindsprognosen (de blå observationer ligger tættere på den stiplede linje end de røde observationer). Når en lokal måling og valgvindsprognosen var uenige om, hvor stor opbakningen ville være til et parti ved kommunalvalget, havde den lokale måling oftere ret. Der er således eksempler på ekstreme forskelle mellem valgvindsprognosen og valgresultatet, der ville være ekstra iøjnefaldende at se i en lokal meningsmåling.

Fordelen ved de lokale målinger er ikke blot, at de er mere præcise, men at vi også her har data for de lokale partier. Valgvindsprognosen kan selvsagt ikke sige noget om, hvordan det vil gå for Bornholmerlisten. Når det er sagt er det også på sin plads at nævne, at valgvindsprognosen har andre fordele. For det første forsøger valgvindsprognosen ikke at sige noget om ét parti lokalt (selvom vi har data herpå), men noget generelt om tendenserne i kommunerne. Det kan de lokale meningsmålinger ikke sige så meget om. For det andet er det – som anført ovenfor – kun udvalgte kommuner, der foretages meningsmålinger i. Hvis vi gerne vil sige noget fornuftigt om hvad vi kan forvente i landets 98 kommuner, giver valgvindsprognosen klart det bedste bud.

Formålet med ovenstående figur er således ikke at diskreditere valgvindsprognosen, men blot pointere, at i de få tilfælde hvor vi har data fra både en lokal måling og valgvindsprognosen, giver det mening – gennemsnitligt betragtet – at have større tiltro til den lokale måling.

Hvad med exitpolls?

Et andet alternativ til meningsmålingerne er exitpolls. Ved kommunalvalget foretog studerende og gymnasieelever exitpolls i specifikke kommuner, herunder Aarhus, Ringkøbing-Skjern, Hørsholm, Mariagerfjord og Skive. Jeg har ikke lavet en systematisk analyse af hvor præcise disse exitpolls var, men mit indtryk er, at de generelt klarede sig fint.

I den bedste af alle verdener foretog vi meningsmålinger og exitpolls i de samme kommuner, så vi kunne sammenligne de to. Mit gæt er, at exitpolls vil og bør være mere præcise, men jeg vil stadig argumentere for, at meningsmålinger er mere interessante. Jeg vil sågar gå så langt som til at sige, at exitpolls er overflødige i en kommunalvalgskontekst. Meningsmålinger foretages i perioden op til et kommunalvalg, hvor valgkampen stadig er aktuel. Når der kun er tale om få timer fra valgstederne lukker til vi har gode bud på, hvor stor opbakningen er til de respektive partier i de forskellige kommuner, er det begrænset, hvad vi kan bruge exitpolls til.

Når vi ligeledes ikke har gode indikatorer for, om de rammer præcist (gerne ved at have flere exitpolls foretaget af forskellige aktører/analyseinstitutter), kan de skabe mere støj og spekulation på valgaftenen end egentlige indsigter. Det er fint at der bliver foretaget exitpolls, men det ville i min optik ikke udgøre det store tab, hvis de slet ikke blev foretaget.

Hvad med regionsrådsvalget?

Vi taler primært om kommunalvalget, men der var tale om et kommunal- og regionsrådsvalg. Der blev mig bekendt kun foretaget én meningsmåling i forbindelse med regionsrådsvalget. Den blev foretaget af Gallup. Denne måling klarede sig overordnet godt, men overvurderede opbakningen til Nye Borgerlige og undervurderede især opbakningen til Venstre. Meningsmålingen gav Venstre 18% af stemmerne, men de endte som bekendt med at få 23,02% af stemmerne.

Hvad kan meningsmålingerne sige?

Meningsmålingerne kan sige noget om, hvilke partier vælgerne vil stemme på – men ikke hvorfor, vælgerne stemmer på de forskellige partier. Det samme kan man desuden sige om valgresultatet. Det er derfor interessant at se politiske kommentatorer og eksperter forsøge at give udtryk for, at de kan gøre sig kloge betragtninger herom. Jens Ringberg sagde eksempelvis til DR, at der blandt andet var tale om en Pape-effekt ved kommunalvalget: “Man taler om Pape-effekten og en særlig kommunal valgvind, der kommer fra de nationale målinger og skyller hen over kommunerne. Det er sådan set også det, der er sket her til aften.” Vi kan dog på ingen måde bruge de nationale meningsmålinger til at sige, at der er tale om en Pape-effekt. Vi kan end ikke sige, at de Konservatives nuværende opbakning i de nationale meningsmålinger kan tilskrives en Pape-effekt (se også mit indlæg fra 2017 med en lignende pointe).

Kommunalvalget er også blevet kaldt for det “første grønne kommunalvalg” med udgangspunkt i en meningsmåling foretaget af Electica. Jeg kunne finde meningsmålingen omtalt hos Klimabevægelsen i Danmark, men der står desværre intet om, hvorvidt de har finansieret den pågældende meningsmåling. Meningsmålingen bruges til at konkludere, at “Debatten om klimaet og den grønne dagsorden har haft en afgørende indflydelse på udfaldet af KV21”, men det kan den pågældende meningsmåling ikke bruges til at konkludere.

En stor udfordring med meningsmålingerne er således ikke hvad de viser, men hvad folk tror de viser. Dette er en pointe faste læsere for længst vil være bekendt med. Problemet med meningsmålingerne er ofte ikke meningsmålingerne selv, men hvordan journalister, politiske kommentatorer, politikere og ordinære borgere tolker og bruger meningsmålinger. Kommunalvalget er dermed ikke undtaget for, at meningsmålingerne også her skal stå på mål for udsagn, de ikke kan bakke op om.

Hvad kan vi vente os af KV25?

Der er nu fire år til næste kommunalvalg. Hvis dækningen af meningsmålingerne ved næste kommunalvalg vil være som i 2021, vil jeg være glad. Dækningen har været fin, og det var ikke et kommunalvalg, hvor meningsmålingerne var i centrum eller generelt klarede sig dårligt.

Det vil være fortrinligt at se mere arbejde i forhold til at belyse kommunalvalget fra et nationalt perspektiv. Et fornuftigt udgangspunkt er, at selvom der er tale om 98 lokale valg, så finder de sted i den samme nationale kontekst. Det giver derfor kun god mening at analysere og diskutere nationale tendenser med respekt for lokale forhold i de respektive kommuner. En analytisk udfordring vil være at udvikle redskaber, der bedre kan indfange variation på tværs af de forskellige kommuner i, hvad der er udslagsgivende for, hvilke partier vælgerne stemmer på lokalt. En mulighed kunne være en MRP model, der vha. én stor national måling, data fra tidligere valg (eksempelvis kommunalvalgsundersøgelserne), lokale data og maskinlæring kan indfange de kontekstuelle forhold, der bedst indfanger partiernes opbakning lokalt.

Som en afsluttende bemærkning kan det tilføjes, at det ville være at foretrække, hvis de respektive analyseinstitutter, der foretager lokale meningsmålinger, bliver bedre til at offentliggøre dem på deres hjemmesider. Jeg gjorde hvad jeg kunne for at indsamle de lokale målinger og gøre dem tilgængelige for alle, men det kan ikke udelukkes, at jeg har overset specifikke målinger. Mit håb er, at det vil være nemmere i 2025 at få data fra de forskellige analyseinstitutter.

Kommunalvalgsmålingerne rammer ikke lige så præcist som folketingsvalgsmålingerne, men kvaliteten af meningsmålingerne ved kommunalvalget var overordnet betragtet god. Jeg ser derfor ingen grund til at afskrive deres anvendelighed og relevans ved dette eller fremtidige kommunalvalg.

Meningsmålinger og kommunalvalg #2

I 2017 skrev jeg om meningsmålingerne og kommunalvalget med et fokus på, hvor svært det er at bruge meningsmålinger til at forudsige, hvordan et kommunalvalg kommer til at gå. Hvad viser meningsmålingerne forud for kommunalvalget på tirsdag?

Vi kan af gode grunde ikke udelukkende kigge på de nationale meningsmålinger og udtale os omkring kommunalvalgsresultatet. Hvad vi kan gøre er at kigge på de lokale meningsmålinger. Der er trods alt tale om 98 forskellige valg. I den forbindelse har jeg konstrueret et datasæt med opbakningen til de forskellige partier i de lokale meningsmålinger. Datasættet kan findes her. Det er ingenlunde en simpel opgave at lave et datasæt med meningsmålinger (se eksempelvis dette indlæg med nogle gode overvejelser herom), og der er især to udfordringer.

For det første er der lokale partier, der stiller op i de forskellige kommuner. Og det er ikke i alle kommuner, at de nationale partier stiller op. Derfor vil datasættet have et andet format end det jeg har med de nationale meningsmålinger. For det andet er det ikke alle tal, der formidles i dækningen af meningsmålingerne. Ofte bliver der i dækningen kun fokuseret på enkelte partier eller mandattal (se mine bemærkninger omkring dette i mit mit indlæg omkring kvaliteten af meningsmålingerne ved kommunalvalget). Jeg har i mange tilfælde kontaktet journalister og medier for at få adgang til procenttallene, men det er ikke lykkedes i alle tilfælde.

De fleste meningsmålinger vi har fra kommunalvalget er foretaget af Jysk Analyse. Dette er interessant, da de som bekendt ikke foretager nationale meningsmålinger. De fleste meningsmålinger har også en stikprøvestørrelse på den gode side af 1000, selvom der er undtagelser (eksempelvis i en meningsmåling Voxmeter foretog i Fredericia Kommune). En anden forskel er indsamlingsperioden, der i mange tilfælde er længere end ved nationale meningsmålinger. Der er noget ironisk men åbenlyst i, at jo mindre et geografisk område er, desto længere tid vil det tage at gennemføre en meningsmåling af høj kvalitet.

For de meningsmålinger, hvor de præcise estimater var tilgængelige (altså andelen af borgere i kommunen, der vil stemme på et parti), kodede jeg hvert estimat med de følgende informationer: 1) dato (hvornår blev dataindsamlingen afsluttet), 2) analyseinstitut (hvem foretog meningsmålingen), 3) estimat (%) og 4) stikprøvestørrelse. Dertil tilføjede jeg også en variabel med opbakningen ved kommunalvalget i 2017.

Nedenstående figurer viser forskellen i opbakningen fra kommunalvalget i 2017 til de nyeste meningsmålinger, der er foretaget i perioden fra 1. oktober til 11. november 2021. Positive værdier indikerer øget opbakning fra kommunalvalget 2017 til i dag.

Konservative står til fremgang i alle kommuner, hvor der er lavet meningsmålinger. Størst er fremgangen i Odense. Lavest er fremgangen i Vejle og Horsens.

Socialdemokratiet står generelt til tilbagegang. Størst er tilbagegangen på Bornholm, i Fredericia og i København. Ingen signifikant fremgang i de lokale målinger (hvis man tager den statistiske usikkerhed i betragtning).

Dansk Folkeparti står også til tilbagegang. I oktober stod de til en lille fremgang på Bornholm, men dette er ikke tilfældet i den seneste måling.

Venstre oplever tilbagegang i flere målinger, men også målinger uden de store ændringer – og sågar en måling med fremgang (i Vejle).

Enhedslisten står til meget stor fremgang i målinger fra Bornholm – og pæn fremgang i København. Bliver ekstra spændende at se, om målingerne rammer plet i disse kommuner.

SF står til fremgang i København (både hos Gallup og Epinion). Ellers står den blot på en lille fremgang eller samme opbakning som ved forrige valg.

Der er fremgang til Nye Borgerlige i alle kommuner, hvor der er foretaget lokale meningsmålinger på det seneste.

Der er blandede resultater til Liberal Alliance. Fremgang ser vi i Viborg. Tilbagegang i målingerne ser vi i målingerne fra Frederiksberg, København og Fredericia.

Der er ligeledes blandede resultater til Radikale Venstre. Der er en lille fremgang i flere kommuner (København, Odense, Fredericia, Hedensted m.fl.), og en lille tilbagegang i målingerne fra Frederiksberg og Bornholm.

Vi ser en stor tilbagegang til Alternativet. Især i kommuner hvor de fik et pænt valg i 2017 (København og Bornholm).

Sidst – og mindst – er der ikke det store at rapportere om hos Kristendemokraterne.

Det skal nævnes, at der er foretaget flere meningsmålinger end dem, der er inkluderet her. For det første kan jeg ikke udelukke, at der er lokaler målinger, der er gået min opmærksomhed forbi (jeg kontaktede Jysk Analyse tidligere på året, men de vendte aldrig tilbage). Det er dog min vurdering, at jeg har været grundig i forhold til at indsamle lokale målinger, hvorfor det forhåbentlig ikke er et stort problem.

For det andet er der målinger, der spurgte ind til borgmesterpræference i stedet for partivalg, eksempelvis disse Megafon-målinger for TV SYD og JydskeVestkysten i Tønder Kommune, Sønderborg Kommune og Kolding Kommune. For at illustrere begrænsningen ved at bruge disse målinger som alternativ til partivalg, kan vi kigge på en meningsmåling fra Jysk Analyse i Viborg Kommune. Her angav 25,5% af vælgerne, at de havde tænkt sig at sætte kryds ved Socialdemokratiet. Det var dog kun 14% af vælgerne, der svarede, at de foretrak Mads Panny fra Socialdemokratiet som borgmester. Derfor kan man ikke bruge borgmesterpræference som en erstatning for partipræference.

For det tredje er der landsdækkende meningsmålinger, der forsøger at spørge ind til kommunalvalget (se evt. denne Gallup-måling). På baggrund af erfaringer fra 2013 og 2017, finder jeg ikke disse meningsmålinger anvendelige, endsige interessante, hvorfor jeg ligeledes heller ikke vil sidestille disse meningsmålinger med meningsmålinger, der er foretaget lokalt.

For det fjerde er der meningsmålinger, hvor jeg ikke har stor tiltro til repræsentativiteten. Det være sig eksempelvis meningsmålinger foretaget af eleverne i 3.G på Sønderborg Statsskole. Med andre ord holder jeg mig udelukkende til meningsmålinger foretaget af etablerede analyseinstitutter.

Min plan er at følge op på dette indlæg efter valget med en analyse af, hvor godt de lokale målinger klarede sig. Der er dog et par vigtige forbehold, man skal holde sig for øje allerede nu. For det første er der mange tvivlere i de respektive målinger. De er derfor også hæftet med en stor grad af usikkerhed (større end den statistiske usikkerhed, der formidles). For det andet er de som altid et øjebliksbillede. De fleste målinger spørger ind til, hvem man ville stemme på, hvis der var valg i morgen, og det er ikke nødvendigvis de partier, vælgerne ender med at stemme på ved valget. For det tredje er det ikke tilfældigt, hvilke kommuner, der bliver foretaget meningsmålinger i. Man skal derfor være påpasselig med at kigge på ovenstående figurer og generalisere til samtlige 98 kommuner. For det fjerde – og vigtigst af alt – er der en større sandsynlighed for, at de lokale målinger kan tage fejl, end når vi kigger på meningsmålinger til folketingsvalget. Vær derfor åben for, at der kan komme op til flere overraskelser på tirsdag, der divergerer fra de resultater, vi kan se i meningsmålingerne.

Hvornår kommer folketingsvalget? #2

I et tidligere indlæg argumenterede jeg for, at der var grund til at forvente, at folketingsvalget kunne finde sted samme dag som kommunalvalget. Mit kvalificerede gæt var således, at folketingsvalget ville finde sted 16. november 2021. Vi kan nu konstarere, at jeg tog fejl. Det er ikke første – og helt sikkert ikke sidste – gang, at jeg tager fejl.

Jeg skriver dette indlæg af de samme grunde som jeg aldrig vil kunne blive politisk kommentator, nemlig at jeg finder det lige så relevant at fremhæve, når jeg tager fejl – som når jeg rammer plet. Faktisk finder jeg det mere interessant at bruge tid på at dissekere, hvorfor og hvornår jeg tager fejl.

Man behøves ikke have læst flere bøger af Philip E. Tetlock for at vide, at selv politiske kommentatorer ofte tager fejl. I 2015 viste jeg, at mange politiske kommentatorer tog fejl i forhold til, hvornår folketingsvalget ville blive udskrevet. Det er derfor ikke den store overraskelse, at jeg heller ikke ramte plet i mit kvalificerede gæt denne gang. Det relevante spørgsmål der står tilbage, er, hvorfor vi ikke ser et folketingsvalg nu.

De fleste meningsmålinger er fine for Socialdemokratiet, men partiet ligger ikke trygt på den gode side af de 30% som de gjorde, da jeg skrev mit indlæg. Meget kan ske i en valgkamp og det er ingen selvfølge, at partiet vil stå stærkere på den anden side af et valg. Der har været artikler på det seneste om, at rød blok ikke længere har et stabilt flertal (se eksempelvis dækningen af meningsmålingerne fra Voxmeter og Megafon).

Dertil skal det tilføjes, at der også har været nogle meningsmålinger på kommunalt niveau, der nok heller ikke er gået Socialdemokratiets opmærksomhed forbi, herunder målinger i København, Fredericia, Silkeborg, Bornholm, Hedensted og Horsens, der alle viser en tilbagegang til Socialdemokratiet (omend i varierende størrelse).

Jeg burde i højere grad have taget højde for, at det ikke kræver de store vælgervandringer før et komfortabelt flertal til rød blok kan reduceres til et meget tæt valg. Min generelle opfattelse er, at meningsmålingerne ikke viser store ændringer over kort tid, men det er ikke usandsynligt at et parti kan rykke sig signifikant over en periode på et halvt år. Med det in mente er det intet chok, at målingerne nu viser noget andet end de gjorde, da jeg skrev mit indlæg.

Det kontrafaktiske spørgsmål er her, om Socialdemokratiet ville have udskrevet valg, hvis meningsmålingerne var bedre. Det kan vi i sagens natur ikke vide, men jeg vil stadig argumentere for, at sandsynligheden for at vi ville have set et folketingsvalg snart, alt andet lige, ville være større hvis meningsmålingerne havde givet Socialdemokratiet og især rød blok et solidt forspring.

En anden mulighed er, at det aldrig har været en seriøs overvejelse i regeringstoppen at udskrive valg i 2021, men at det blot har handlet om at signalere muligheden, især for at sikre, at oppositionspartierne har brugt energi på at være klar til et eventuelt efterårsvalg. Det kan vi forhåbentlig få nogle svar på i fremtiden, når den nuværende politiske situation ligger så langt tilbage i tid, at politiske biografier kan belyse, hvilke strategiske overvejelser, der har været på spil.

En tredje mulighed – som dog potentielt hænger sammen med partiets opbakning i meningsmålingerne – er usikkerheden omkring de politiske sager, der har været i løbet af de seneste måneder. Dette være sig eksempelvis sygeplejerskernes strejke og minksagen, der har stået højere på Socialdemokratiets dagsorden end tankerne om at udskrive valg. Ligehedes har flere ministre ikke nødvendigvis vist sig fra deres bedste side i år, herunder blandt andet Astrid Krag, Jeppe Kofod og Trine Bramsen, hvorfor det kan give god mening ikke at udskrive valg i kølvandet på dette.

Med andre ord burde jeg også have taget højde for, at den politiske dagsorden ikke nødvendigvis ville være domineret af corona (som den trods alt var i begyndelsen af i år), men tværtimod mere nuanceret.

Dette besvarer selvfølgelig ikke, om Socialdemokratiet burde udskrive valg nu. Der er ingen garanti for, at opbakningen til regeringen og dets støttepartier vil være større i efteråret ’22 eller foråret ’23. Det må eftertiden vise.

Hvornår vil vi så se et folketingsvalg? Det har jeg ikke længere et kvalificeret bud på. Mine overvejelser herom er trivielle (jo bedre målinger til rød blok, desto større sandsynlighed for et valg), og jeg vil herfra lade de politiske kommentatorer om at sætte en præcis dato på, hvornår vi ser et valg.

KV17: Analyser af kommunalvalget 2017

Bogen KV17: Analyser af kommunalvalget 2017 er på gaden nu. Du kan kaste dine cafépenge efter den her. Der er tale om det autoritative værk i forhold til at forstå kommunalvalget i 2017, for dem der godt vil være klædt bedre på til kommunalvalget i november.

Jeg bidrager selv med to kapitler til bogen. Det ene vedrører split-stemme adfærd (skrevet sammen med Ulrik Kjær). I det kapitel belyser vi, hvor mange vælgere der vil stemme på det samme parti ved folketingsvalget og kommunalvalget. Det bliver spændende at se, hvordan dette vil udspille sig ved det kommende kommunalvalg – især i kølvandet på COVID-19.

Det andet vedrører de elektorale konsekvenser af skolelukninger (skrevet sammen med Ulrik Kjær og Johan Ries Møller). I det kapitel undersøger vi, om borgmesterpartiet mister stemmer, når der lukkes skoler. Her bruger vi blandt andet data på, hvilke folkeskoler, der er lukket i de forskellige kommuner (omtalt i et tidligere indlæg her). Den gængse forestilling er, at borgmesterpartiet bliver straffet af vælgerne, når de lukker skoler, men vi viser, at virkeligheden ikke er helt så simpel.

Foruden ovennævnte er der kapitler om den kommunale valgdeltagelse, den landspolitiske valgvind, lokale valgprogrammer, lokale medier, tilliden til kommunalpolitikere og meget mere.

Hvis du slet ikke kan få nok af den danske kommunalvalgslitteratur, er der selvfølgelig også bogen om kommunalvalget 2013, hvor der også blev præsenteret en lang række interessante fund, der har betydning for kommunalvalg generelt betragtet.

God læselyst!

Hvornår kommer folketingsvalget?

Da de første meningsmålinger kom ovenpå nedlukningen af Danmark, stod det klart, at Socialdemokratiet stod til en stor fremgang i meningsmålingerne og dermed sad tungt på magten. Ikke alene stod Socialdemokratiet stærkt, men rød blok havde et komfortabelt flertal.

Det er dog først i løbet af de seneste måneder, vi kan konkludere, at Socialdemokratiet har konsolideret deres opbakning i meningsmålinger. Der er dermed ikke tale om en kortsigtet effekt. End ikke minksagen ser ud til at have rykket nogle vælgere væk fra Socialdemokratiet.

Derfor vil jeg også tillade mig at komme med et kvalificeret gæt på, hvornår vi vil se et folketingsvalg: 16. november 2021.

Der er flere grunde til dette. For det første, som kvikke hoveder allerede har bemærket, er det samme dag som der er kommunal- og regionsvalg. Der afholdes normalt kun kommunal- og regionsvalg den samme dag, men der er tilfælde på tripelvalg, hvor der også afholdes folketingsvalg (senest i 2001). Hvis coronatallene desuden ser fine ud til den tid, kan det sågar være at foretrække at slå to fluer med ét smæk.

For det andet, og vigtigst af alt, går det godt for Socialdemokratiet. Kigger man på min seneste prognose står partiet til at få 32,2% af stemmerne. Det er omkring 20 procentpoint mere end Venstre, der nu ligger på niveau med Konservative.

Kigger vi på nogle af de seneste lokale meningsmålinger, ser det også godt ud for Socialdemokratiet. I Hedensted Kommune står partiet til at gå fra 27,8 pct. til 33,7 pct. af stemmerne, og der er lignende historier om fremgang til partiet i Horsens Kommune, Odense Kommune og Bornholms Kommune. Dette bekræfter hvad vi ved fra tidligere kommunalvalg, altså at der er en national valgvind, hvor partiernes nationale opbakning smitter af på deres opbakning ved kommunalvalget. En sådan valgvind kan potentielt blæse endnu stærkere, hvis valget afholdes samme dag, hvilket kan give Socialdemokratiet endnu et incitament til at udskrive valg.

Forskningen har vist, at politikerne er opportunistiske og er mere tilbøjelige til at udskrive valg før tid, når det går godt i meningsmålingerne (effektstørrelserne i studiet er dog små). Det vil være oplagt for Socialdemokratiet at smede mens folkestemningen er rød. Hvem ved hvordan folkestemningen ser ud om et år? Og hvad hvis blå blok kan nå at mobilisere et egentligt regeringsalternativ til den siddende regering? Det vil alt andet lige være optimalt for en regering, at udskrive valg i 2021.

Jeg kan selvsagt ikke gøre mig overvejelser om, hvorvidt Socialdemokratiet allerede har gjort sig overvejelser herom. Der er dog intet i deres adfærd eller udsagn hidtil, der synes at signalere, at de har tænkt sig at vente længe med at udskrive valget. Jeg vil sågar mene, at den seneste regeringsrokade, med endnu et ressortområde til Kaare Dybvad, så han også bliver indenrigsminister, vil klæde partiet godt på til et tripelvalg.

Det skal nævnes, at jeg ikke er den første til at lufte disse tanker. Erik Holstein, politisk kommentar for Altinget, udtalte således forleden til selvsamme Altinget: “Et valg til foråret er meget usandsynligt, men det er derimod en realistisk mulighed, at der kan komme et folketingsvalg i november sammen med kommunalvalget. Her vil Mette Frederiksen have en legitim undskyldning for at bede om et nyt mandat efter coronakrisen, og det vil se praktisk ud at slå de to valg sammen”.

Dette er selvfølgelig blot et gæt. Der er stadig mere end to år til, at der skal udskrives valg. Og end ikke politiske kommentatorer, der går meget mere op i dette end jeg, er altid enige om, hvornår der udskrives valg (se eksempelvis dette indlæg fra 2015). Ligeledes er der stadig en masse ubekendte variable (hvordan vil det gå med coronavaccinerne? hvordan vil det gå med opbakningen i målingerne?), men hvis det fortsætter som hidtil, har jeg svært ved at se, hvorfor Mette Frederiksen ikke skulle udskrive valg med afholdelse 16. november 2021.

Kvaliteten af meningsmålingerne ved kommunalvalget

Den 16. november står den på kommunalvalg. I den forbindelse kommer vi til at se op til flere meningsmålinger fra landets større kommuner, og det bliver især de lokale medier, der ikke har for vane at formidle meningsmålinger, der skal formidle selvsamme.

Dette kommer dog til at være en udfordring for mange journalister, der har tæt på ingen erfaring med at formidle meningsmålinger. Jeg har i løbet af de seneste måneder set flere eksempler på dårligt formidlede meningsmålinger (ingen nævnt, ingen hængt ud). I dette indlæg vil jeg derfor give et godt eksempel på, hvordan en meningsmåling kan formidles i den lokale journalistik. Mit ønske er, at alle andre lokaljournalister vil følge dette eksempel, når de i løbet af i år skal formidle deres kommunalvalgsmeningsmålinger.

For nogle måneder siden kunne TV 2 Fyn bringe en meningsmåling foretaget af Megafon, der viste, at Socialdemokratiet stod til at få 30,3% af stemmerne. Denne artikel formidler opbakningen til alle partierne (i procent), giver det eksakte spørgsmål respondenterne er blevet stillet (“Hvem ville du stemme på, hvis der valg til byrådet i dag?“), formidler den eksakte indsamlingsperiode, formidler den statistiske usikkerhed osv.

Sådan ser en god meningsmålingsartikel ud. Kort fortalt er det en meningsmåling, der lever op til standarderne god meningsmålingsjournalistik. Mit håb er som sagt at andre lokale medier vil følge TV 2 Fyns eksempel. Der er mange spørgsmål man kan stille til meningsmålinger (jeg præsenterede en liste med 20 af sådanne spørgsmål for fem år siden), men hvis de lokale medier følger ovennævnte eksempel, bør alt være fint.

Smittede kommunalvalget af på partiernes opbakning?

I forlængelse af kommunalvalget har der været flere artikler om, at kommunalvalget har smittet af på partiernes nationale opbakning. Vi har således set historier som Kommunalvalgssejr smitter af på Mette Frederiksen, Dansk Folkepartis lokale lussing giver ekko på landsplan og Dansk Folkeparti taber terræn – S i medvind.

Fælles for disse artikler er, at de alle tager udgangspunkt i enkeltmålinger (de to førstnævnte bygger begge på tal fra Megafon). Derfor besluttede jeg mig for, at kigge nærmere på målingerne fra institutterne, hvor vi har en måling både før og efter kommunalvalget. Dette har vi fra fem institutter: Greens, Epinion, Gallup, Voxmeter og Megafon.

Figur 1 viser forskellen i opbakningen til de respektive partier hos de forskellige institutter før og efter kommunalvalget. På x-aksen vises forskellen mellem kommunalvalget i år (KV17) og sidste kommunalvalg (KV13). På y-aksen vises forskellen mellem målingen fra før kommunalvalget og efter kommunalvalget (hvor positive værdier indikerer fremgang).

Figur 1: Opbakning før og efter kommunalvalget

Hvad kan vi sige på baggrund af disse tal? Det mest iøjnefaldende er, at de fleste udsving er små og ikke statistisk signifikante fra den ene måling til den næste. Der er enkeltmålinger, der giver en stor fremgang til Socialdemokraterne, men her skal man bemærke følgende forbehold: Greens’ før-måling er fra begyndelsen af oktober (næsten to måneder før kommunalvalget), og den anden er fra Megafon.

I det store hele er der ikke de store tegn på, at kommunalvalget førte til store ændringer i partiernes nationale opbakning fra én måling til den næste. De fleste ændringer er små og fortjener blot, at man tager den statistiske usikkerhed in mente. Dette er selvfølgelig ikke det samme som, at kommunalvalget (og dækningen heraf) ikke kan have betydning på længere sigt, men man skal være meget varsom med at konkludere, at kommunalvalget har smittet af på partiernes landspolitiske opbakning.

Meningsmålinger og kommunalvalg

Én af de nationale tendenser, der er blevet fremhævet i kølvandet på kommunalvalget, er at Dansk Folkeparti ikke fik en national fremgang. Ikke nok med at den store fremgang udeblev: partiet gik tilbage. Dette kan der skrives mange politiske analyser om, men der har endnu ikke været nogen overbevisende af slagsen.

Det hele handler som altid om meningsmålinger, og det relevante spørgsmål er, hvad vi så kan konkludere om disse på baggrund af kommunalvalgkampen. Jeg vil argumentere for to ting i dette indlæg. For det første at journalisterne fortjener ros for en dækning, der formåede at balancere det lokale med det nationale uden at fokusere på meningsmålinger. For det andet at vi undgik en krise ved ikke at dække de analyser, der blev lavet med udgangspunkt i nationale meningsmålinger, mere end tilfældet var.

Udgangspunktet er, at det er pokkers besværligt at lave undersøgelser, der kan belyse tendenser som Dansk Folkeparti. Vi har ganske enkelt ikke de fornødne data. Derfor forfalder vi oftest til nationale meningsmålinger. Helt galt gik det som bekendt i 2013, da DR fejlagtigt kårede Socialdemokraterne til kommunalvalgets store taber på baggrund af den famøse exitprognose fra Epinion.

Der er ingen tvivl omkring, at mediernes dækning af kommunalvalget skal ses i skyggen af kommunalvalget i 2013. DR var eksempelvis ude i begyndelsen af oktober og proklamere, at de ikke ville skrive om meningsmålinger i forbindelse med kommunalvalgkampen. Denne beslutning blev rost af Kasper Møller Hansen: “Det lyder som en erkendelse af, at kommunalvalget består af 98 forskellige valg, og at man selvfølgelig ikke har mulighed for at lave meningsmålinger af tilstrækkelig høj kvalitet i hver eneste kommune”.

Det er så netop også, hvad vi har set i 2017. En ydmyghed og erkendelse af, at der er tale om 98 forskellige valg. Det er sjældent, at jeg roser journalister for deres arbejde, men i denne sammenhæng er det min klare vurdering, at det er på sin plads at rose journalisternes dækning af kommunalvalget. Det har overordnet været en sober og nuanceret valgdækning, hvor der har været plads til interviews med lokalpolitikere, nationale politikere, borgere, eksperter, kommentatorer osv. Selvfølgelig har der været artikler og indslag, der kan kritiseres, men det har i overvejende grad været en god valgkampsdækning.

Der har dog været nogle historier, der har været mindre attråværdige. I København, en kommune der har de fleste mediers bevågenhed, blev der foretaget nogle meningsmålinger af diskutabel karakter. Martin Justesen har skrevet om disse for Journalisten, og han kommer med fem gode grunde til, at man skal være ekstra varsom med meningsmålinger til kommunalvalg. Artiklen er hermed anbefalet.

Der blev også gjort forsøg på at anvende de nationale meningsmålinger til at forudsige, hvordan det ville gå partierne lokalt. Mest omtale fik de såkaldte valgvindsprognoser, der tager udgangspunkt i ændringen i de nationale partiers opbakning og bruger disse til at forudsige ændringen i partiernes opbakning på lokalt niveau. Altinget kunne derfor skrive: “Den største fremgang henter Dansk Folkeparti, der både er gået meget frem i de landspolitiske meningsmålinger og samtidig er et parti, hvor forskerne forventer, at effekten smitter direkte af.”

I modellen blev det forudset, at Dansk Folkeparti ville gå frem i alle 98 kommuner. I ikke så meget som én kommune ville partiet få et dårligere valg end i 2013. Figuren der bedst illustrerede dette kan ses her:

Som bekendt blev Danmark ikke urinfarvet ved kommunalvalget, og der har som nævnt ovenfor været nogle analyser omkring hvorfor (se her og her). Det interessante for mig at se er dog, hvor grueligt galt det kunne have gået, hvis et institut havde lavet en prognose à la Epinions i 2013 og kommet frem til en så stor fremgang til Dansk Folkeparti som nævnte model forudså.

Kommunalvalget 2017 er dermed ikke kendetegnet ved en god dækning på trods af fraværet af meningsmålinger, men på grund af dette fravær. Forsimplede analyser, der heldigvis ikke fik den store medieopmærksomhed, ville kunne have ændret fundamentalt på dette med fejlslagne konklusioner om, hvordan det ville gå især Dansk Folkeparti.

Meningsmålinger er et ubegribeligt fantastisk værktøj, men vi skal være ekstra påpasselige med at bruge nationale meningsmålinger til at sige noget om fænomener, de ikke er lavet med henblik på at kunne sige noget om – eksempelvis hvordan det vil gå partierne lokalt. Hvis vi ikke gør det, gør vi det blot endnu sværere at overbevise folk om, at de rent faktisk har en værdi (hvilket de har).

KV13: Analyser af kommunalvalget 2013

Hvis du har den mindste interesse i dansk politik, og i særdeleshed kommunalvalg, kan jeg anbefale dig at kaste dine lommepenge efter den nye bog, KV13: Analyser af kommunalvalget 2013, der kan bestilles her.

Bogen har et eksplicit fokus på kommunalvalget 2013, men de emner og spørgsmål bogens kapitler beskæftiger sig med, har relevans for kommunalvalg i almindelighed (herunder selvfølgelig kommunalvalget til november). Bogen kan bedst beskrives som en samling af kapitler, der giver en indføring i, hvad vi har lært om og fra studiet af kommunalvalg siden det seneste kommunalvalg.

Nogle af kapitlerne beskæftiger sig således med sager, der fik megen opmærksomhed før, under og efter kommunalvalget, eksempelvis GGGI-skandalen og DR’s prognoseskandale, hvor andre kapitler beskæftiger sig med mere generelle spørgsmål, eksempelvis hvilken rolle placeringen på stemmesedlen har for valgresultatet.

Selv har jeg sammen med Ulrik Kjær og Klaus Levinsen et kapitel med i bogen (Kapitel 5), hvor vi fokuserer på den kommunale valgretsalder, og især hvordan vælgerne så på dette spørgsmål i forbindelse med kommunalvalget 2013.

Hvilken effekt har meningsmålinger på vælgerne?

Forleden kom der et nyt arbejdspapir fra Center for Valg og Partier på Københavns Universitet, der undersøger, hvilken effekt politiske meningsmålinger har på opbakningen til de politiske partier. Undersøgelsen fik en del medieomtale (blandt andre hos Politiken, DR og Berlingske) og kommer i kølvandet på DR/Epinion-fadæsen ved det seneste kommunalvalg (sidstnævnte foranledigede at jeg skrev en kommentar i Berlingske).

Der er tale om et solidt stykke håndværk, som man kun kan ønske sig mere af – især i selve mediedækningen af politologisk forskning. Kort opsummeret er studiet et surveyeksperiment, der giver respondenter forskellige typer af information med henblik på at estimere, hvor stor en effekt bestemt information har på respondenternes holdninger. På godt (intern validitet) og ondt (ekstern validitet) reducerer vi en kompleks, støjfyldt virkelighed og ser, hvilken effekt en bestemt type af information har i en bestemt informationskontekst.

Den slags metodiske tilgange til at blive klogere på verden er ikke velkendte i alle kredse. Voxmeter var ude med en kritik af arbejdet, fordi “selvsamme undersøgelse begår præcis samme fejl som de meningsmålinger, der peger i øst og vest, på grund af et tvivlsomt datagrundlag”. Kritikken af undersøgelsen er forfejlet og et udtryk for Voxmeters egen agenda, hvor de gør en stor dyd ud af at tage afstand fra YouGov. Man kan ikke bebrejde Voxmeter at skrive en sådan kritik af undersøgelsen, men det er vanskeligt at se, hvad den har med resultaterne fra den pågældende undersøgelse at gøre. (En kritik ville kunne være, at respondenterne i den pågældende sample er mere (mindre) påvirkelige, hvorved man overestimerer (underestimerer) effekten af meningsmålingerne, men det er ikke sådan en potentiel problematik, Voxmeter adresserer.)

Meningsmålinger fortæller os, hvor stor opbakningen er til bestemte forslag, partier, personer m.v. Det interessante spørgsmål, og som et hav af studier har undersøgt, er, om der er såkaldte feedback effekter, altså hvorvidt informationen om den offentlige mening kan påvirke den offentlige mening. Grundlæggende kan man tale om to typer af effekter, som meningsmålinger kan have: 1) mobiliseringseffekter og 2) stemmeeffekter. Førstnævnte handler om, hvorvidt en meningsmåling kan få flere til at gå ned og stemme (eller sågar få folk til at blive hjemme), hvor sidstnævnte handler om, hvorvidt en meningsmåling kan påvirke, hvilket parti man stemmer på.

Sondringen er interessant i denne sammenhæng, da begge dele blev diskuteret i forlængelse af kommunalvalget 2013, som undersøgelsen som bekendt skulle belyse. Forskerne er eksplicitte omkring, at der ikke bliver fokuseret på effekten på valgdeltagelsen (side 11), men det er ikke desto mindre der, at nogle af de interessante spørgsmål ligger gemt. Fik den såkaldte exitprognose eksempelvis sofaglade socialdemokrater til at genoverveje, om de gad gå ned at stemme? Spørgsmålet om hvorvidt den i stemmeboksen fik færre til at sætte et kryds ved Socialdemokraterne, vil jeg vurdere er mindre aktuelt. Gør det undersøgelsen mindre relevant? Overhovedet ikke, men det er vigtigt at holde sig for øje, hvad den ikke belyser i forhold til den kontekst, den er blevet diskuteret inden for.

Kigger vi nærmere på det konkrete forskningsdesign, bliver respondeterne delt ind i fem grupper. En kontrolgruppe, som alle eksperimenter bør have, og så fire grupper der varierede på parti (Socialdemokraterne og de Konservative) og meningsmålingsresultat (fremgang og tilbagegang). Selve forskningsdesignet er vist på side 14 i rapporten:

Der er tale om et stærkt design, der alt andet lige giver gode muligheder for at undersøge, om informationen respondenterne får, skaber systematiske forskelle i de svar, der gives senere (altså et between subjects design). Den interne validitet er høj, og det er svært at forestille sig et bedre design til formålet her. Observeres skal det dog, at fremgangen (og tilbagegangen) på henholdsvis to og fem procentprocent ikke manipuleres på tværs af Socialdemokraterne og de Konservative. Med andre ord kan det ikke undersøges, om eventuelle forskelle hos partierne skyldes partiet eller størrelsen på forandringen. (Derfor vil jeg i det resterende heller ikke diskutere nærmere, hvorfor der i eksperimentet kan være forskellige resultater for Socialdemokraterne og de Konservative, men mestendels fokusere på resultaterne fra Socialdemokraterne, der også har fået mest omtale i medierne.)

Kigger vi nærmere på det materiale respondenterne har læst, har hver respondent (minus dem i kontrolgruppen), læst en artikel om et parti der er gået frem eller tilbage i en meningsmåling, hvortil en ekspert udtaler, at det er gode eller dårlige nyheder for partiet, alt efter retningen på forandringen for partiet i meningsmålingen. Et eksempel på en artikel respondenterne har læst, er vist på side 35 (eksemplet viser Socialdemokraterne, der går fem procentpoint tilbage):

Artiklerne, der anvendes i eksperimentet, er af gode grunde lavet med henblik på, at skulle virke realistisk i forhold til artikler, der ville kunne bringes i en “rigtig” avis. Her skal vi dog holde os mindst fire ting for øje, hvad angår det materiale respondenterne er blevet forevist, der blandt andet vedrører eksperimentets økologiske validet. For det første er alle respondenterne i treatmentgrupperne blevet tvunget til at se artiklen i mindst 30 sekunder. Dette er (heldigvis) ikke sådan mennesker bliver konfronteret med meningsmålinger i deres hverdag, hvor det ligeledes heller ikke er tilfældigt, hvem der overhovedet læser artikler med meningsmålinger. Jo længere tid man i et eksperiment tvinger respondenterne til at bearbejde og tænke over stimulimaterialet, desto mere kan det forventes, at det vil kunne afspejles i svarene derefter, men ikke nødvendigvis matche den måde meningsmålinger bearbejdes på i normalt medieforbrug.

For et andet er det meget sjældent at artikler, der formidler en meningsmåling, udelukkende nævner ét parti. Dette fordi procentpoint i en meningsmåling er et nulsumsspil, og hvis ét parti går frem eller tilbage, påvirker det andre partiers tilslutning i meningsmålingen, der som regel også får et ord eller to med på vejen. Her kan man forvente, at når først man begynder at øge kompleksiteten og præsentere tal for andre partier, forskelle til de andre partier m.v., vil det øge forskellene i hvad læserne fokuserer på i artiklen, hvordan de bearbejder informationen, og dermed effekten af informationerne på opbakningen til partierne.

For det tredje er der visuel information, der viser forandringen for det ene parti. Det er langt fra i alle artikler, at den slags informationer bliver visualiseret, og hvis forskelle bliver visualiseret, er det som regel de fleste partiers opbakning, der bliver vist i forhold til hinanden. I ovenstående eksempel med Socialdemokraternes tilbagegang behøves man knap nok aflæse tallene, da man uden de store vanskeligheder vil kunne se, at der er tale om en nedtur.

For det fjerde er der i alle artikler en ekspert, der fortolker meningsmålingen. I ovenstående eksempel udtales der, at meningsmålingen viser, at det er umuligt at se en vej ud fra krisen for Socialdemokraterne. De kilder der anvendes i artikler har væsentlig betydning for, hvordan læseren bearbejder information i forhold til de beslutninger der skal træffes efterfølgende (i dette tilfælde partivalg). Hvis der bruges en pålidelig kilde, hvilket alt andet lige er tilfældet i nærværende eksperiment, vil det kun kunne bidrage til at gøre effekten af meningsmålingen større. Det er selvfølgelig – igen – sjældent at meningsmålinger kun beskæftiger sig med ét parti, og ofte, når der inddrages kilder, får politikere også mulighed for at udtale sig. Jeg tror ikke der findes tilfælde, hvor en artikel kun har nævnt ét parti ifm. en meningsmåling uden at interviewe en politiker fra det pågældende parti.

Ovenstående indvendinger er interessante, da artiklen er skruet sådan sammen, at man med de valgte elementer opbygger de bedste betingelser for at finde effekter. Langt de fleste politologiske eksperimenter er skruet sådan sammen, at de sjældent er en direkte kritisk test af de teoretiske forventninger, og dette gælder også for dette studie. Med andre ord har vi at gøre med et setup, hvor et fravær af en effekt ikke kan tilskrives det faktum, at folk ikke er blevet præsenteret for klar og tydelig information.

Med dette in mente kan vi se nærmere på, hvilken effekt meningsmålingerne så har. Kresten Roland Johansen, projektleder og underviser på Danmarks Medie- og Journalisthøjskole, har rejst en kritik af undersøgelsens hovedresultater, der sammenfattes i følgende to kritikpunkter:

Pointe 1: Havde der været tale om virkelige meningsmålinger hver især baseret på ca. 600 svar og med samme fremgang i tilslutningen til Socialdemokraterne, ville fagpersoner rådgive journalister til ikke at vinkle på forskellen pga. den statistiske usikkerhed. Med henvisning til eksperimentets høje intervaliditet og evidens fra lignende eksperimenter mener forskerne, at det er forsvarligt her. Det fremgår dog ingen steder i rapporten eller i medieomtalen, at der er tale om marginal signifikans.

Pointe 2: Tilbagegangseffekterne er insignifikante, dvs. ikke sandsynliggjort i undersøgelsen. Men når det er tilfældet, hvordan kan rapporten så konkludere en tendens til, at dårlige målinger kan sende partierne tilbage? Det virker ikke stærkt underbygget i eksperimentets resultater.

Første pointe relaterer til, at der ikke er tale om p-værdier der når under de konventionelle signifikansværdier. Det er korrekt, at det er vigtigt at se på, hvor store forskellene er, men en p-værdi alene fortæller os ikke så meget, og slet ikke om effektstørrelsen. På side 16 i rapporten vises der grafisk, hvordan opbakningen til Socialdemokraterne varierer på tværs af tre grupper (kontrol, fremgang for Socialdemokraterne og tilbagegang for Socialdemokraterne):

Det interessante her er at se, om gennemsnitsforskellene i de to grupper er forskellige fra kontrolgruppen. Nævnes skal det, at det ikke er 95 pct. konfidensintervaller på ovenstående figur, men 90 procent. Her har Kresten en pointe i, at det ikke virker sandsynliggjort, at tilbagegangen er så stor for Socialdemokraterne, efter en dårlig meningsmåling. Dette fund er især aktuelt i kommunalvalg ’13-sammenhængen, da det netop var spørgsmålet om, hvorvidt en dårlig meningsmåling havde nogle implikationer, der blev diskuteret.

Hvad angår testen af fremgangseffekten, er der to pointer, der kan fremhæves; den ene i forhold til teorien, den anden i forhold til, hvornår man kan kalde noget for signifikant. I begyndelsen af rapporten beskrives det helt korrekt, at der er forskellige teoretiske bud på, hvilken effekt meningsmålinger kan have. Den ene er en underdog-effekt, altså hvor vælgerne vil bakke op om et parti i ren sympati, og den anden er en bandwagon-effekt. I tilfældet med Socialdemokraternes dårlige meningsmåling kan man altså teoretisk set forestille sig to forskellige effekter: 1) at vælgerne stemmer på Socialdemokratiet, når de går tilbage og 2) at vælgerne skrider fra Socialdemokratiet. Når vi har sådanne to forskellige teoretiske forventninger, der kan have effekter i samme retning, motiverer det, at vi laver to-sidede hypotesetests, og det uddybes ikke, hvorfor man afviger fra den praksis.

Når vi så vurderer, om effekten i fremgangsartiklen er signifikant, må vi forholde os til, hvornår vi kan tale om statistisk signifikans. Når forfatterne i rapporten skriver, at forskellen er signifikant med en p-værdi på 0,075 i en ensidet test (side 17), er det i min verden slang for insignifikant, men igen – der er ingen universelle regler, og det skal selvfølgelig tolkes i forhold til samplestørrelsen.

Eksperimentet er som sagt godt håndværk, og det er god politologisk forskning, der gør os klogere på, hvilken effekt bestemte meningsmålinger har. For journalisterne må det især være interessant at diskutere, hvor stor betydning det har på vælgernes holdninger, når de selv formidler meningsmålinger i en meget kompliceret virkelighed, hvor der ofte bliver offentliggjort meningsmålinger med få dages mellemrum, der viser forskellige tendenser. Netop af denne grund må det for mange være overraskende, hvor inkompetente journalister virker i forhold til at perspektivere sådanne resultater. Jeg har dog efterhånden mødt en pæn andel journalister, så jeg er selvfølgelig ikke overrasket.

Hvor længe holder sådanne effekter eksempelvis? I eksperimentet bliver deltagerne spurgt lige efter de har læst artiklen. Hvis man lod der går et kvarters tid, ville effekterne så være de samme? I virkeligheden er der ikke opklistret den seneste meningsmåling i stemmeboksen, men hvis der er en effekt, og den holder ved, kan det have store betydninger. Og hvad hvis man bliver præsenteret for forskellige meningsmålinger, der viser forskellige ting? Bliver man mere kritisk overfor meningsmålinger, og lader sig påvirke mindre, eller påvirkes man lige meget af hver meningsmåling? Reagerer alle ens på meningsmålinger? Nogle vælgere er mere sikre i deres partivalg, nogle er rent personlighedsmæssigt mere tilbøjelige til at blive påvirket af bestemte typer af information og så videre. Er det kun folk der i forvejen interesserer sig for politik og har en aktie i et parti, der følger meningsmålingerne og måske er de mindst påvirkelige?

Mindst lige så interessant er det at diskutere, hvilke implikationer det skal have, at vælgerne måske påvirkes af meningsmålinger. Foredragsholder Johannes Andersen har i forlængelse af rapporten advokeret for, at der skulle være en pause for meningsmålinger to uger op til et valg. Vi ved fra årtiers forskning at vælgerne påvirkes af alt mellem himmel og jord – især af medier (framing, priming – you name it), og det giver ingen mening at forsøge at forhindre eksempelvis bestemte typer af mediedækning, fordi det kan give vælgere bedre mulighed for at danne deres egen mening (hvad man så end mener med det).

Hvis sandheden er, at Socialdemokraterne går frem, er det så ikke journalisternes opgave at formidle dette? Er der noget forkert i, at vælgerne lader sig påvirke af den information, de får fra medierne? Nej. Hvis Socialdemokraterne går frem og nogle vælgere vælger at reagere på det, er det jo bare sådan, at politik fungerer. Problemet opstår, hvis det er løgn, at Socialdemokraterne går frem (altså at meningsmålingen giver et misvisende billede af virkeligheden), men det er en helt anden diskussion, og vedbliver at være et problem selvom meningsmålinger ikke skulle have nogen effekt.

Det korte af det lange er, at det er meget svært at konkludere noget endeligt i forhold til, om meningsmålinger har en effekt på vælgernes partivalg, men der er umiddelbart intet der har overbevist mig om, at der er tale om store effekter. Der er ligeledes intet der taler for, at der er brug for regulering af, hvornår der må formidles meningsmålinger. Det eneste der er brug for er, at journalisterne formidler meningsmålinger, der er sande (men det er som beskrevet et helt andet emne).