Er Socialdemokratiet gået tilbage i meningsmålingerne? #2

For snart et år siden kunne Altinget rapportere, at opbakningen til Socialdemokratiet var begyndt at stilne af. I et indlæg pointerede jeg, at der ikke var meget der tydede på, at opbakningen til Socialdemokratiet havde ændret sig. Mere specifikt konkluderede jeg:

Det er sandsynligt at opbakningen ikke vil forblive så høj, som den er nu, men der er i min optik intet der taler for, at der er sket noget nyt i meningsmålingerne, når vi kigger på Socialdemokratiet. Min vurdering er, at der skal mere til, før at Socialdemokratiet falder i målingerne, end hvad vi har set nu, men dette udelukker selvfølgelig ikke, at partiets opbakning kan blive mindre (eller større) i fremtiden.

Hvis vi kigger på Socialdemokratiets opbakning i løbet af det seneste år, er der ikke meget der taler for, at partiet har rykket sig nævneværdigt i målingerne:

Nuvel, det går lidt op og lidt ned, men sjældent noget der kan siges at være statistisk signifikant. Forskellene mellem analyseinstitutterne er oftest større end forskellene inden for samme, og det er primært kun enkeltmålinger, der taler for en fremgang eller tilbagegang, hvor efterfølgende meningsmålinger blot bekræfter, at opbakningen til partiet er relativt stabil.

I løbet af de seneste par dage har vi fået to nye målinger. Den seneste meningsmåling fra Voxmeter, som også er den første meningsmåling fra Voxmeter siden sommerferien, viser, at Socialdemokratiet ligger på omkring samme niveau som før sommerferien. Det vil sige omkring de 30%. Målingen fra før sommerferien viste en opbakning på 28,4%, hvor den seneste måling fra Voxmeter viser 30,3%. Det er en forskel på 1,9 procentpoint.

Hvorfor er dette interessant? Fordi Ritzau tolker den seneste meningsmåling fra Voxmeter som en fremgang til partiet. Se eksempelvis dækningen hos Kristeligt Dagblad eller B.T., der indledes med ordene: “Socialdemokratiet ser ud til igen at have fået medvind hos vælgerne efter en række meningsmålinger hen over sommeren med faldende opbakning til regeringspartiet.”

Til Ritzaus forsvar skal det nævnes, at de erkender, at der er en statistisk usikkerhed, der er større end de ovennævnte 1,9 procentpoint for Socialdemokratiet: “Med til målingen hører, at der er en statistisk usikkerhed. Den maksimale statistiske usikkerhed ligger på 2,8 procentpoint, som gælder for Socialdemokratiet.” Det er en ren tilståelsessag.

Dette holder dog ikke Ritzau fra at lave endnu en historie om forandringer på baggrund af meningsmålingen. En måling – hvor hovedhistorien burde handle om stabilitet (hvilket giver god mening, da der trods alt har været politisk sommerferie), afføder en artikel om, at målingen viser, at “S går styrket ind til politisk sæson”. Det er i hvert fald hvad Altingets politiske kommentator angiveligt får ud af målingen. Også selvom målingen ikke viser nogen forandring.

Kigger vi på den seneste meningsmåling fra Gallup (fra 5. august), viser den heller ikke de store forandringer i løbet af sommeren, eller som Berlingske konkluderer: Sommeren har ikke rykket det store i meningsmålingerne. Her kommer de dog frem til en helt anden konklusion, nemlig at Gallup-målingen “varsler svær periode for Mette Frederiksen”.

Vi har altså at gøre med to meningsmålinger, der begge viser, at vælgerne ikke har rykket sig i løbet af sommeren, men hos et medie er det udtryk for, at Socialdemokratiet går styrket ind i den politiske sæson, hvor det hos et andet medie er udtryk for, at det bliver en svær periode for Socialdemokratiet. Så skulle der være noget til enhver politisk smag. Det er altid imponerende, hvordan journalister kan bedrive denne slags kaffegrumslæsningsjournalistik.

Gik Socialdemokratiet tilbage før sommerferien? Er de vendt stærkt tilbage over sommeren? Varsler målingerne en svær periode for partiet? Det er muligt at nogle enkeltmålinger kan bruges til at tegne forskellige billeder (især hvis man ignorerer den statistiske usikkerhed), men fra min læsning af tallene tyder det mest af alt på, at vælgerne ikke nødvendigvis har rykket sig over sommeren – og Socialdemokratiet står akkurat hvor de stod, før de gik på sommerferie.

Kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed #3

I mit forrige indlæg om kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed, kom jeg ind på, at en af grundene til, at der er forskel på de vægtede gennemsnit er, at de ikke anvender samme tilgang:

Der findes ikke én måde at lave et vægtet gennemsnit. Der er en lang række af spørgsmål, man skal forholde sig til. Hvor mange meningsmålinger skal indgå i et vægtet snit? Skal alle analyseinstitutter have samme indflydelse – eller skal eksempelvis de institutter, der ramte sidste valg bedre, vægtes højere? Nyere meningsmålinger skal vægtes højere end ældre meningsmålinger, men hvor meget mere? Svarene på disse spørgsmål er ikke nødvendigvis oplagte, og det er en af grundene til, at forskellige vægtede gennemsnit ej heller giver de samme estimater.

På den baggrund tænkte jeg, at det ville være interessant at lave en sammenligning af de respektive vægtede gennemsnit. Der er fire vægtede gennemsnit i Danmark, der bliver opdateret regelmæssigt: Politologi Prognose, Risbjerg-snittet, Berlingske Barometer og Ritzau Index.

Der er flere ligheder og forskelle mellem de respektive snit, og i tabellen nedenfor har jeg sammenlignet de fire snit på de følgende syv parametre: 1) hvilke institutter, de inkluderer (om det er alle institutter eller ej); 2) antallet af meningsmålinger; 3) om der tages højde for huseffekter; 4) hvilke minimumskrav der er til, at et parti inkluderes; 5) om nyere målinger vægtes højere; 6) om resultaterne er offentligt tilgængelige; og 7) om den statistiske usikkerhed formidles.

Tabel 1: Sammenligning af vægtede gennemsnit

Politologi Prognose Risbjerg-snittet Berlingske Barometer Ritzau Index
Alle institutter Ja Nej Nej Nej
Antal målinger Alle fra valgperioden Målinger fra den seneste måned Målinger fra de seneste 31 dage Seneste 15 målinger
Estimering af huseffekter Ja Nej Nej Nej
Minimumskrav Ingen Ingen Ingen Minimum 15 målinger hvor et parti indgår
Vægter nye målinger højest Ja Uklart Ja Ja
Offentligt tilgængelige resultater Ja Nej Ja Ja
Rapportering af statistisk usikkerhed Ja Ja Nej Nej

Før jeg beskriver detaljerne i tabellen yderligere, skal jeg nævne, at jeg tager forbehold for, at jeg kan have misforstået noget ved de vægtede snit, og såfremt der er fejl eller mangler, skal jeg selvfølgelig nok korrigere disse. Ligeledes skal jeg for en god ordens skyld orientere, at jeg står bag Politologi Prognose, hvorfor jeg (u)bevidst kan få den til at fremstå som den bedste prognose blandt de fire. Jeg vil holde mig fra at lave en sådan vurdering i dette indlæg.

De fleste vægtede gennemsnit inkluderer ikke meningsmålinger fra Megafon. Sådan har det været i årevis, hvor Megafon eksplicit har frabedt sig dette. Jeg har ikke fået en henvendelse fra Megafon, hvorfor jeg antager, at det er acceptabelt, at de er inkluderet i Politologi Prognose. Politologi Prognose er dermed det eneste vægtede snit, der inkluderer meningsmålinger fra alle institutter.

De vægtede snit bruger ikke de samme meningsmålinger. Risbjerg-snittet og Berlingske Barometer anvender begge de nyeste meningsmålinger (meningsmålinger der er ældre end en måned, er ikke inkluderet). Ritzau Index tager ikke højde for, hvornår meningsmålingerne er lavet, men blot at de er blandt de seneste 15 meningsmålinger. Politologi Prognose anvender uden sammenligning flest meningsmålinger ved at kigge på alle meningsmålinger i perioden fra det seneste folketingsvalg frem til og med den seneste meningsmåling.

Dette fører til en af de primære forskelle mellem Politologi Prognose og de andre vægtede gennemsnit. Mere konkret at Politologi Prognose estimerer huseffekter, altså systematiske forskelle i, hvordan analyseinstitutterne generelt betragtet vurderer (eller ikke vurderer) partierne forskelligt (se dette indlæg for henvisninger til mere information omkring huseffekter). Ved at bruge et større datamateriale har Politologi Prognose nemmere ved at opfange nye tendenser i meningsmålingerne, uden blot at samle op på tilfældig støj. De vægtede snit der anvender de seneste meningsmålinger, men som ikke korrigerer for, hvor disse meningsmålinger kommer fra, vil i overvejende grad primært formidle et gennemsnit af Voxmeters resultater (da de kommer med flere meningsmålinger end de andre institutter).

De fleste vægtede gennemsnit har ingen eksplicitte minimumskrav til, hvornår et nyt parti skal inkluderes. Undtagelsen her er Ritzau Index, der først inkluderer et nyt parti, når de er at finde i mindst 15 meningsmålinger. Det vil sige at Ritzau Index skal have et parti med i alle de respektive meningsmålinger, de kigger på i deres vægtede snit, før de inkluderes.

De vægtede snit vægter som regel nye målinger højest, om end det er uklart i hvilket omfang dette finder sted i Risbjerg-snittet. Dette da det blot er den seneste måneds meningsmålinger, der inkluderes, hvorfor det nok ikke vil have den store betydning i sidste instans. Det er således også begrænset, hvor meget information vi har om, hvor meget mere nye målinger vægtes højere. I Politologi Prognose estimeres en model, hvor der gives estimater for hver dag for, hvor stor opbakningen er til de respektive partier. Det vægtede gennemsnit er således blot estimaterne for den dag, modellen er estimeret.

De fleste vægtede snit er offentligt tilgængelige, så det er muligt for alle at få information om, hvordan partierne klarer sig i meningsmålingerne. Undtagelsen her er Risbjerg-snittet, der af samme grund primært er af interesse for journalister og andre fagprofesionelle, der har adgang til indholdet bag Altingets betalingsmur.

Det sidste jeg har kigget på er, hvorvidt de vægtede snit formidler den statistiske usikkerhed. Hverken Berlingske Barometer eller Ritzau Index rapporterer den statistiske usikkerhed ved de vægtede snit. Den statistiske usikkerhed er som bekendt lavere end ved enkeltmålinger, men det er vigtigt at huske på, at vi trods alt stadig har en statistisk usikkerhed. Ved Politologi Prognose formidles den statistiske usikkerhed for hvert parti, og for Risbjerg-snittet formidles den som det højeste usikkerhedsestimat, eksempelvis: “Den statistiske usikkerhed på snittet for de enkelte partier er højst +/- 1,3 procentpoint.”

Dette er ikke en udtømmende gennemgang af alt, hvad man kan kigge på, når vi kigger på de vægtede genenmsnit. Som jeg nævnte i mit forrige indlæg, er det eksempelvis muligt at give nogle analyseinstitutter større indflydelse, hvis de har for vane at ramme valgresultatet mere præcist. Mig bekendt tager ingen af de nuværende danske vægtede gennemsnit dette i betragtning.

Ovenstående genenmgang er som sagt ikke en øvelse i at vurdere, hvilket vægtet snit, der er bedst. Der er forskelle og ligheder, og min plan er ikke at øge konkurrencen mellem disse snit (tværtimod tror jeg kun det er sundt, at der er forskellige snit med forskellige tilgange), men at øge transparensen og vores opmærksomhed på, hvordan disse vægtede gennemsnit er skruet sammen. Hvis nogen skulle have interesse heri, står det dem frit for at lave et kvalitetsvægtet gennemsnit af de vægtede gennemsnit.

Min tilgang til de vægtede gennemsnit og deres anvendelighed er blevet mere kritisk og pessimistisk med årenes gang (sammenlign eventuelt mit indlæg fra 2013 med mit indlæg fra 2020). Derfor ønsker jeg heller ikke, at ovenstående skal tage fokus fra enkeltmålingernes relevans. Min tilgang er nu, at det er vigtigt ikke blot at kigge på én meningsmåling, når vi skal vurdere, hvordan partierne står i målingerne, men at vi ej heller skal reducere et partis opbakning til et estimat i ét vægtet gennemsnit.