Erik Gahner Larsen

Er Socialdemokratiet gået tilbage i meningsmålingerne? #2

For snart et år siden kunne Altinget rapportere, at opbakningen til Socialdemokratiet var begyndt at stilne af. I et indlæg pointerede jeg, at der ikke var meget der tydede på, at opbakningen til Socialdemokratiet havde ændret sig. Mere specifikt konkluderede jeg:

Det er sandsynligt at opbakningen ikke vil forblive så høj, som den er nu, men der er i min optik intet der taler for, at der er sket noget nyt i meningsmålingerne, når vi kigger på Socialdemokratiet. Min vurdering er, at der skal mere til, før at Socialdemokratiet falder i målingerne, end hvad vi har set nu, men dette udelukker selvfølgelig ikke, at partiets opbakning kan blive mindre (eller større) i fremtiden.

Hvis vi kigger på Socialdemokratiets opbakning i løbet af det seneste år, er der ikke meget der taler for, at partiet har rykket sig nævneværdigt i målingerne:

Nuvel, det går lidt op og lidt ned, men sjældent noget der kan siges at være statistisk signifikant. Forskellene mellem analyseinstitutterne er oftest større end forskellene inden for samme, og det er primært kun enkeltmålinger, der taler for en fremgang eller tilbagegang, hvor efterfølgende meningsmålinger blot bekræfter, at opbakningen til partiet er relativt stabil.

I løbet af de seneste par dage har vi fået to nye målinger. Den seneste meningsmåling fra Voxmeter, som også er den første meningsmåling fra Voxmeter siden sommerferien, viser, at Socialdemokratiet ligger på omkring samme niveau som før sommerferien. Det vil sige omkring de 30%. Målingen fra før sommerferien viste en opbakning på 28,4%, hvor den seneste måling fra Voxmeter viser 30,3%. Det er en forskel på 1,9 procentpoint.

Hvorfor er dette interessant? Fordi Ritzau tolker den seneste meningsmåling fra Voxmeter som en fremgang til partiet. Se eksempelvis dækningen hos Kristeligt Dagblad eller B.T., der indledes med ordene: “Socialdemokratiet ser ud til igen at have fået medvind hos vælgerne efter en række meningsmålinger hen over sommeren med faldende opbakning til regeringspartiet.”

Til Ritzaus forsvar skal det nævnes, at de erkender, at der er en statistisk usikkerhed, der er større end de ovennævnte 1,9 procentpoint for Socialdemokratiet: “Med til målingen hører, at der er en statistisk usikkerhed. Den maksimale statistiske usikkerhed ligger på 2,8 procentpoint, som gælder for Socialdemokratiet.” Det er en ren tilståelsessag.

Dette holder dog ikke Ritzau fra at lave endnu en historie om forandringer på baggrund af meningsmålingen. En måling – hvor hovedhistorien burde handle om stabilitet (hvilket giver god mening, da der trods alt har været politisk sommerferie), afføder en artikel om, at målingen viser, at “S går styrket ind til politisk sæson”. Det er i hvert fald hvad Altingets politiske kommentator angiveligt får ud af målingen. Også selvom målingen ikke viser nogen forandring.

Kigger vi på den seneste meningsmåling fra Gallup (fra 5. august), viser den heller ikke de store forandringer i løbet af sommeren, eller som Berlingske konkluderer: Sommeren har ikke rykket det store i meningsmålingerne. Her kommer de dog frem til en helt anden konklusion, nemlig at Gallup-målingen “varsler svær periode for Mette Frederiksen”.

Vi har altså at gøre med to meningsmålinger, der begge viser, at vælgerne ikke har rykket sig i løbet af sommeren, men hos et medie er det udtryk for, at Socialdemokratiet går styrket ind i den politiske sæson, hvor det hos et andet medie er udtryk for, at det bliver en svær periode for Socialdemokratiet. Så skulle der være noget til enhver politisk smag. Det er altid imponerende, hvordan journalister kan bedrive denne slags kaffegrumslæsningsjournalistik.

Gik Socialdemokratiet tilbage før sommerferien? Er de vendt stærkt tilbage over sommeren? Varsler målingerne en svær periode for partiet? Det er muligt at nogle enkeltmålinger kan bruges til at tegne forskellige billeder (især hvis man ignorerer den statistiske usikkerhed), men fra min læsning af tallene tyder det mest af alt på, at vælgerne ikke nødvendigvis har rykket sig over sommeren – og Socialdemokratiet står akkurat hvor de stod, før de gik på sommerferie.

Hvor mange vil stemme på Lars Løkke Rasmussens parti? #2

I et tidligere indlæg kiggede jeg nærmere på en meningsmåling, der påstod, at 20 procent af vælgerne vil overveje at stemme på Lars Løkke Rasmussen og/eller hans nye parti. I indlægget gentog jeg nogle af de kritikpunkter, jeg tidligere har fremført, når medierne og analyseinstitutterne forsøger at belyse, hvor stor opbakningen er til et nyt parti, der ikke er med i de traditionelle meningsmålinger.

Ét af mine kritikpunkter i mit indlæg var, at der ikke engang var tale om et egentligt parti endnu, men et potentielt parti. Siden da har Lars Løkke bekræftet, at der er tale om et politisk parti. Partinavnet er der dog stadig ingen, der kender til.

Vi ved stadig ikke, hvor mange der sandsynligvis vil stemme på Lars Løkke Rasmussens parti, før vi har en meningsmåling, hvor vælgerne bliver spurgt om, hvilket parti de ville stemme på, hvis der var valg i dag – og Lars Løkke Rasmussens parti er én blandt flere valgmuligheder. En sådan meningsmåling har vi stadig til gode (de fleste analyseinstitutter kræver, at et parti er opstillingsberettiget, før de inkluderer det i deres meningsmålinger). Mit gæt er at YouGov, for hvem kvaliteten af meningsmålingerne er sekundært og ofte underordnet, vil være de første til at inkludere Lars Løkkes parti i målingerne (og sandsynligvis før det er opstillingsberettiget).

Siden jeg skrev mit forrige indlæg, har Voxmeter foretaget to meningsmålinger, der begge spørger respondenterne om følgende: “Hvis Lars Løkke Rasmussen stifter et parti, som bliver opstillingsberettiget til næste Folketingsvalg, hvor sandsynligt er det så, at du ville stemme på et sådant parti?”

Den første måling blev foretaget i perioden fra 19. til 22. januar. Den anden måling blev foretaget fra 9. til 16. april. Lars Løkke offentliggjorde sit parti midt i dataindsamlingsperioden for den anden meningsmåling i en klumme hos BT den 10. april (det er altid godt at kommunikere til laveste fællesnævner, når man vil komme bredt ud med et budskab).

Jeg finder det ikke interessant at kigge alt for meget på tallene. De kunne have været halvt eller dobbelt så store, uden at jeg ville finde dem relevante at formidle. Der er ikke tale om en traditionel meningsmåling, og det er i bedste fald blot en useriøs måde at lave meningsmålinger på. Den overordnede pointe er dog, at 13,6% af vælgerne fandt det sandsynligt at ville stemme på Lars Løkkes parti i januar, men det tal var nede på 9,3% i april. Hvad kan vi bruge denne ændring på 4,3 procentpoint til? Jeg mener ikke, at vi kan bruge disse tal til meget, men det er ikke desto mindre, hvad de viser.

Et af de interessante forhold ved den slags meningsmålinger er, at de altid kan bruges til at lave vidt forskellige historier. Avisen.dk kaldte eksempelvis de 9,3% i målingen fra april for medvind til Lars Løkke på baggrund af et notat fra Ritzau. Igen, jeg vil helst undlade at tolke for meget på de tal, men jeg har svært ved at se, hvordan man kan tolke tallene som medvind.

Jeg har fuld forståelse for, at medierne hjertens gerne vil belyse et nyt partis elektorale potentiale, samt at analyseinstitutterne øjner sig en unik mulighed for at få ekstra omtale, men jeg har vitterligt vanskeligt ved at se anvendeligheden af den slags målinger. Der er langt mere støj i den politiske dækning med den slags målinger, hvor vælgerne fejlagtigt vil tro, at opbakningen til Lars Løkkes nye parti ligger på omkring 9,3% af stemmerne, selvom der absolut intet empirisk belæg er for sådan en opfattelse.

Mit råd vil være at medierne holder sig fra at dække den slags meningsmålinger og fokuserer på andre aspekter ved nye partier, eksempelvis deres politiske profil (og evt. hvad vælgerne synes om disse politiske udmeldinger), og når partiet så er opstillingsberettiget, kan vi belyse, hvor stor opbakning partiet vil få ved næste valg.

Hvor mange vil stemme på Nye Borgerlige? #10

Det er efterhånden længe siden, at jeg sidst kiggede nærmere på, hvor stor opbakningen er til Nye Borgerlige. Den korte forklaring på dette er, at der ikke har været meget nyt at rapportere om, når det handler om hvor enige (eller rettere sagt uenige) medierne og analyseinstitutterne er i forhold til at måle partiets opbakning.

Der er stadig ikke enighed om, hvor stor opbakningen er til Nye Borgerlige. Især YouGov og Voxmeter er fortsat uenige, hvor førstnævnte giver partiet en større opbakning (husk på at YouGov ramte partiet forkert ved valget i 2019). Dette er dog ikke det samme som, at der ikke er sket noget i meningsmålingerne hvad angår Nye Borgerlige. Meningsmålingerne har således i løbet af det seneste år været enige om én ting: Nye Borgerliges opbakning i befolkningen er gået opad.

For et år siden havde Voxmeter partiet omkring spærregrænsen. Nu ligger partiet i Voxmeters målinger stabilt på et sted mellem 5 og 10% af stemmerne. De seneste målinger fra Gallup og Epinion placerer også partiet et sted mellem 5 og 10%. Det interessante er, at jo større opbakningen bliver til partiet, desto mindre uenighed vil der være mellem de fleste analyseinstitutter. Det er derfor også vanskeligt at sige, i takt med at opbakningen til partiet stiger, hvad der kan tilskrives henholdsvis tilfældig støj og systematisk bias i meningsmålingerne. Vi ved at den statistiske usikkerhed er mindre for små partier (lille tilfældig støj), men vi ved også, at analyseinstitutterne har svært ved at ramme nye, små partier (større systematisk bias).

YouGov vil kunne forsvare sig med, at de “måler folkestemningen” og indfanger tendenser før andre institutter, hvorfor de har fat i den lange ende. Dette argument køber jeg dog ikke. De formåede som sagt ikke at ramme valgresultatet i 2019. Når det er sagt er YouGov ikke radikalt langt fra hvad andre analyseinstitutter viser nu. Den seneste YouGov-måling giver Nye Borgerlige 11,7% af stemmerne, hvilket ikke er radikalt langt fra 10%. Jeg finder det dog stadig usandsynligt, at YouGov rammer rigtigt.

Voxmeter lavede i 2016 en fejlagtig meningsmåling, der postulerede, at “hver tiende vil stemme på Nye Borgerlige” (Voxmeter har lavet lignende målinger med Lars Løkkes nye parti, men mere om dette i morgen), men forkerte målinger bliver ikke bedre af, at de rammer rigtigt på et senere tidspunkt. Som jeg pointerede sidste år i Altinget, kan denne slags meningsmålinger netop ende med at blive selvopfyldende profetier. Derfor er det vigtigt, at medierne tager deres dækning af meningsmålingerne seriøst og ikke konkluderer om et parti går op eller ned, før der er systematisk belæg herfor.

Med dette in mente kan vi se på den seneste historie om Nye Borgerlige, der går på, at de går tilbage i meningsmålingerne. Hos Altinget rapporterer de således, at opbakningen til Nye Borgerlige bevæger sig nedad. Konkret stod partiet til at få 10,2% af stemmerne i marts, hvor de i april står til at få 8,9% af stemmerne.

Disse estimater harmonerer fint med, hvad min egeng model viser, altså at partiet lå på omkring 10% i marts og nu ligger lidt lavere. Jeg er dog skeptisk i forhold til at konkludere, at Nye Borgerlige går tilbage i meningsmålingerne. Mit bedste bud er – i skrivende stund – at partiet ligger på omkring 10 procent af stemmerne. Min seneste prognose giver partiet 9,5% af stemmerne. I nedenstående figur viser jeg opbakningen til partiet i meningsmålingerne fra 2020 til i dag.

Jeg finder det usanynligt, at partiet har mistet vælgere på det seneste. Min læsning af tallene er, at opbakningen til partiet er stabiliseret. De har således hverken vundet eller tabt stemmer, men de ændringer vi ser er marginale og skal ikke tilskrives for stor betydning. Altinget kan selvfølgelig gøre, hvad de vil (der skal jo skrives nye historier og deres læsere skal have value for money), men jeg ville ikke selv stå på mål for sådan en tolkning af meningsmålingerne.

Bid desuden mærke i, at jeg her er kritisk i forhold til at konkludere, at Nye Borgerlige går tilbage. Sidst jeg kritiserede mediernes formidling af meningsmålingerne i forhold til Nye Borgerlige, var Uriasposten ude med riven, da nogen ikke evnede at forstå, at jeg kritiserede meningsmålingerne og ikke partiet. Dette tager jeg stille og roligt, da der ikke var nogen sammenhængende kritik, jeg kunne forholde mig til (det eneste denne slags meningsdannere ser er nogle kritiske kommentarer i en kontekst, hvor Nye Borgerlige nævnes, og så går de i emotionelt selvsving). Jeg kan blot fremhæve, at jeg vistnok efterhånden har kritiseret mediernes dækning af alle partier – også venstreorienterede partier (da medierne eksempelvis påstod at Alternativet var over spærregrænsen, kritiserede jeg dette og konkluderede, at der ikke var nogen evidens for denne påstand i meningsmålingerne).

Er det utænkeligt at Nye Borgerlige går tilbage? Nej, men det er et andet spørgsmål, der kun kan besvares, når vi ser på de kommende meningsmålinger. Hvis partiet får negativ dækning (såsom at de går tilbage i meningsmålingerne), er det sågar plausibelt, at de vil miste stemmer. Jeg ser blot ingen tendenser i målingerne, der tyder på, at Nye Borgerlige mister stemmer. Partiet ligger på omkring 9,5% af stemmerne og sådan har det været gennem 2021 indtil videre.

Kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed #3

I mit forrige indlæg om kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed, kom jeg ind på, at en af grundene til, at der er forskel på de vægtede gennemsnit er, at de ikke anvender samme tilgang:

Der findes ikke én måde at lave et vægtet gennemsnit. Der er en lang række af spørgsmål, man skal forholde sig til. Hvor mange meningsmålinger skal indgå i et vægtet snit? Skal alle analyseinstitutter have samme indflydelse – eller skal eksempelvis de institutter, der ramte sidste valg bedre, vægtes højere? Nyere meningsmålinger skal vægtes højere end ældre meningsmålinger, men hvor meget mere? Svarene på disse spørgsmål er ikke nødvendigvis oplagte, og det er en af grundene til, at forskellige vægtede gennemsnit ej heller giver de samme estimater.

På den baggrund tænkte jeg, at det ville være interessant at lave en sammenligning af de respektive vægtede gennemsnit. Der er fire vægtede gennemsnit i Danmark, der bliver opdateret regelmæssigt: Politologi Prognose, Risbjerg-snittet, Berlingske Barometer og Ritzau Index.

Der er flere ligheder og forskelle mellem de respektive snit, og i tabellen nedenfor har jeg sammenlignet de fire snit på de følgende syv parametre: 1) hvilke institutter, de inkluderer (om det er alle institutter eller ej); 2) antallet af meningsmålinger; 3) om der tages højde for huseffekter; 4) hvilke minimumskrav der er til, at et parti inkluderes; 5) om nyere målinger vægtes højere; 6) om resultaterne er offentligt tilgængelige; og 7) om den statistiske usikkerhed formidles.

Tabel 1: Sammenligning af vægtede gennemsnit

Politologi Prognose Risbjerg-snittet Berlingske Barometer Ritzau Index
Alle institutter Ja Nej Nej Nej
Antal målinger Alle fra valgperioden Målinger fra den seneste måned Målinger fra de seneste 31 dage Seneste 15 målinger
Estimering af huseffekter Ja Nej Nej Nej
Minimumskrav Ingen Ingen Ingen Minimum 15 målinger hvor et parti indgår
Vægter nye målinger højest Ja Uklart Ja Ja
Offentligt tilgængelige resultater Ja Nej Ja Ja
Rapportering af statistisk usikkerhed Ja Ja Nej Nej

Før jeg beskriver detaljerne i tabellen yderligere, skal jeg nævne, at jeg tager forbehold for, at jeg kan have misforstået noget ved de vægtede snit, og såfremt der er fejl eller mangler, skal jeg selvfølgelig nok korrigere disse. Ligeledes skal jeg for en god ordens skyld orientere, at jeg står bag Politologi Prognose, hvorfor jeg (u)bevidst kan få den til at fremstå som den bedste prognose blandt de fire. Jeg vil holde mig fra at lave en sådan vurdering i dette indlæg.

De fleste vægtede gennemsnit inkluderer ikke meningsmålinger fra Megafon. Sådan har det været i årevis, hvor Megafon eksplicit har frabedt sig dette. Jeg har ikke fået en henvendelse fra Megafon, hvorfor jeg antager, at det er acceptabelt, at de er inkluderet i Politologi Prognose. Politologi Prognose er dermed det eneste vægtede snit, der inkluderer meningsmålinger fra alle institutter.

De vægtede snit bruger ikke de samme meningsmålinger. Risbjerg-snittet og Berlingske Barometer anvender begge de nyeste meningsmålinger (meningsmålinger der er ældre end en måned, er ikke inkluderet). Ritzau Index tager ikke højde for, hvornår meningsmålingerne er lavet, men blot at de er blandt de seneste 15 meningsmålinger. Politologi Prognose anvender uden sammenligning flest meningsmålinger ved at kigge på alle meningsmålinger i perioden fra det seneste folketingsvalg frem til og med den seneste meningsmåling.

Dette fører til en af de primære forskelle mellem Politologi Prognose og de andre vægtede gennemsnit. Mere konkret at Politologi Prognose estimerer huseffekter, altså systematiske forskelle i, hvordan analyseinstitutterne generelt betragtet vurderer (eller ikke vurderer) partierne forskelligt (se dette indlæg for henvisninger til mere information omkring huseffekter). Ved at bruge et større datamateriale har Politologi Prognose nemmere ved at opfange nye tendenser i meningsmålingerne, uden blot at samle op på tilfældig støj. De vægtede snit der anvender de seneste meningsmålinger, men som ikke korrigerer for, hvor disse meningsmålinger kommer fra, vil i overvejende grad primært formidle et gennemsnit af Voxmeters resultater (da de kommer med flere meningsmålinger end de andre institutter).

De fleste vægtede gennemsnit har ingen eksplicitte minimumskrav til, hvornår et nyt parti skal inkluderes. Undtagelsen her er Ritzau Index, der først inkluderer et nyt parti, når de er at finde i mindst 15 meningsmålinger. Det vil sige at Ritzau Index skal have et parti med i alle de respektive meningsmålinger, de kigger på i deres vægtede snit, før de inkluderes.

De vægtede snit vægter som regel nye målinger højest, om end det er uklart i hvilket omfang dette finder sted i Risbjerg-snittet. Dette da det blot er den seneste måneds meningsmålinger, der inkluderes, hvorfor det nok ikke vil have den store betydning i sidste instans. Det er således også begrænset, hvor meget information vi har om, hvor meget mere nye målinger vægtes højere. I Politologi Prognose estimeres en model, hvor der gives estimater for hver dag for, hvor stor opbakningen er til de respektive partier. Det vægtede gennemsnit er således blot estimaterne for den dag, modellen er estimeret.

De fleste vægtede snit er offentligt tilgængelige, så det er muligt for alle at få information om, hvordan partierne klarer sig i meningsmålingerne. Undtagelsen her er Risbjerg-snittet, der af samme grund primært er af interesse for journalister og andre fagprofesionelle, der har adgang til indholdet bag Altingets betalingsmur.

Det sidste jeg har kigget på er, hvorvidt de vægtede snit formidler den statistiske usikkerhed. Hverken Berlingske Barometer eller Ritzau Index rapporterer den statistiske usikkerhed ved de vægtede snit. Den statistiske usikkerhed er som bekendt lavere end ved enkeltmålinger, men det er vigtigt at huske på, at vi trods alt stadig har en statistisk usikkerhed. Ved Politologi Prognose formidles den statistiske usikkerhed for hvert parti, og for Risbjerg-snittet formidles den som det højeste usikkerhedsestimat, eksempelvis: “Den statistiske usikkerhed på snittet for de enkelte partier er højst +/- 1,3 procentpoint.”

Dette er ikke en udtømmende gennemgang af alt, hvad man kan kigge på, når vi kigger på de vægtede genenmsnit. Som jeg nævnte i mit forrige indlæg, er det eksempelvis muligt at give nogle analyseinstitutter større indflydelse, hvis de har for vane at ramme valgresultatet mere præcist. Mig bekendt tager ingen af de nuværende danske vægtede gennemsnit dette i betragtning.

Ovenstående genenmgang er som sagt ikke en øvelse i at vurdere, hvilket vægtet snit, der er bedst. Der er forskelle og ligheder, og min plan er ikke at øge konkurrencen mellem disse snit (tværtimod tror jeg kun det er sundt, at der er forskellige snit med forskellige tilgange), men at øge transparensen og vores opmærksomhed på, hvordan disse vægtede gennemsnit er skruet sammen. Hvis nogen skulle have interesse heri, står det dem frit for at lave et kvalitetsvægtet gennemsnit af de vægtede gennemsnit.

Min tilgang til de vægtede gennemsnit og deres anvendelighed er blevet mere kritisk og pessimistisk med årenes gang (sammenlign eventuelt mit indlæg fra 2013 med mit indlæg fra 2020). Derfor ønsker jeg heller ikke, at ovenstående skal tage fokus fra enkeltmålingernes relevans. Min tilgang er nu, at det er vigtigt ikke blot at kigge på én meningsmåling, når vi skal vurdere, hvordan partierne står i målingerne, men at vi ej heller skal reducere et partis opbakning til et estimat i ét vægtet gennemsnit.

Hvor mange vil stemme på Lars Løkke Rasmussens parti?

B.T. kan rapportere, at fire procent af danskerne med sikkerhed vil stemme på Lars Løkke Rasmussen eller hans nye parti, skulle han gå hen og stifte et. B.T. kalder det for en “vild måling”, og det er jeg enig i, at det er en vild måling. Jeg kalder det blot en vild måling fordi den er metodisk mærkelig. Der er tale om endnu et eksempel til rækken af sager, der viser, at man bør være ekstra skeptisk for en måling, hvis den kommer fra YouGov.

Målingen kan ingenlunde sammenlignes med meningsmålinger, som vi kender dem. Her er det konkrete spørgsmål, man har stillet respondenterne: “Tidligere statsminister Lars Løkke Rasmussen har meldt sig ud af partiet Venstre og har nu startet et nyt politisk netværk. Lars Løkke Rasmussen afviser ikke, at det kan udvikle sig til et egentlig parti. Hvor tilbøjelig vil du være til at stemme på Lars Løkke Rasmussen og/eller hans nye parti, hvis han gør alvor af sine tanker om stifte et nyt parti?”

Ikke alene beder man respondenterne om at forholde sig til et hypotetisk parti (der ikke eksisterer), men også om man vil overveje at stemme på dette éne parti. Som Hans Redder fra TV 2 korrekt formulerer det: “Det her er altså en virkelig ringe måde at lave meningsmålinger på. I stemmeboksen skal vælgerne ikke tage stilling til ét, men blandt alle opstillede partier”.

Jeg har i tidligere sammenhænge beskrevet, hvordan denne slags målinger ikke kan bruges til at sige noget om partiernes opbakning i meningsmålingerne, eksempelvis med Nye Borgerlige, Danskernes Parti og Klaus Riskær Pedersen. Den slags målinger bruges udelukkende til at overestimere opbakningen til et parti i meningsmålingerne, så B.T. (og andre medier uden journalistiske standarder) kan skrive historier om vilde målinger. Du kommer derfor aldrig til at se en meningsmåling som denne, hvor historien lyder, at der ikke er potentielle vælgere til et parti.

Dertil skal det også tilføjes, at vi efterhånden ved, at YouGov har store udfordringer forbundet med at måle vælgernes opbakning. De klarede sig dårligst af alle ved det seneste folketingsvalg, og intet tyder på, at der er grund til at tage dem mere seriøst nu. Jeg antager desuden, at spørgsmålet om, hvor mange der kan overveje at stemme på Lars Løkke Rasmussens nye parti er stillet i samme meningsmåling, der giver Venstre en historisk lav opbakning (men hvor de fire ud af fem største partier er blå partier!). Det ville i så tilfælde også være interessant at vide om YouGov har stillet deres Lars Løkke-spørgsmål før eller efter spørgsmålet om, hvilket parti vælgerne ville stemme på, hvis der var valg i morgen.

Vi ved ikke, hvor mange der vil stemme på Lars Løkke Rasmussens nye parti. Det er rent gætværk, når Henrik Qvortrup forsøger at estimere, at partiet “ved næste folketingsvalg realistisk set vil kunne høste seks-syv procent af stemmerne og dermed storme ind i Folketinget med sit nye midterparti”. Mediernes dækning er ikke neutral, når det kommer til dækningen af nye (eller i dette tilfælde ikke-eksisterende) partier, men det ville klæde YouGov såvel som B.T. at forbedre deres måde at foretage såvel som at formidle meningsmålinger på.

Kvaliteten af meningsmålingerne ved kommunalvalget

Den 16. november står den på kommunalvalg. I den forbindelse kommer vi til at se op til flere meningsmålinger fra landets større kommuner, og det bliver især de lokale medier, der ikke har for vane at formidle meningsmålinger, der skal formidle selvsamme.

Dette kommer dog til at være en udfordring for mange journalister, der har tæt på ingen erfaring med at formidle meningsmålinger. Jeg har i løbet af de seneste måneder set flere eksempler på dårligt formidlede meningsmålinger (ingen nævnt, ingen hængt ud). I dette indlæg vil jeg derfor give et godt eksempel på, hvordan en meningsmåling kan formidles i den lokale journalistik. Mit ønske er, at alle andre lokaljournalister vil følge dette eksempel, når de i løbet af i år skal formidle deres kommunalvalgsmeningsmålinger.

For nogle måneder siden kunne TV 2 Fyn bringe en meningsmåling foretaget af Megafon, der viste, at Socialdemokratiet stod til at få 30,3% af stemmerne. Denne artikel formidler opbakningen til alle partierne (i procent), giver det eksakte spørgsmål respondenterne er blevet stillet (“Hvem ville du stemme på, hvis der valg til byrådet i dag?“), formidler den eksakte indsamlingsperiode, formidler den statistiske usikkerhed osv.

Sådan ser en god meningsmålingsartikel ud. Kort fortalt er det en meningsmåling, der lever op til standarderne god meningsmålingsjournalistik. Mit håb er som sagt at andre lokale medier vil følge TV 2 Fyns eksempel. Der er mange spørgsmål man kan stille til meningsmålinger (jeg præsenterede en liste med 20 af sådanne spørgsmål for fem år siden), men hvis de lokale medier følger ovennævnte eksempel, bør alt være fint.

Hvorfor skal meningsmålinger være så præcise? #2

Forud for folketingsvalget i 2019 anbefalede jeg medierne, at fokusere mere på den statistiske usikkerhed i meningsmålingerne. Jeg fremhævede i den forbindelse at den statistiske usikkerhed er vigtig i mediedækningen: “Fordi den pointerer den væsentlige kendsgerning, at vi ikke arbejder med præcise tal. Vi arbejder med estimater. Personligt er jeg mindre opmærksom på, om den statistiske usikkerhed er 2,5 procentpoint eller 3 procentpoint for et parti. Det vigtigste er, at man erkender, at der er en statistisk usikkerhed, og dermed også en sandsynlighed for, at man tager fejl.”

Journalister, kommentatorer og eksperter er dog fortsat glade for præcision og undlader ofte at nævne den statistiske usikkerhed, når opbakningen til forskellige partier skal formidles. Tag dette eksempel, som jeg stødte på forleden. Her står der, at de Konservative har vundet ”95.433 nye vælgere”. Hvorfor ikke 95.432 eller 95.434 nye vælgere? Det giver absolut ingen mening at formidle tal med en sådan præcision. Tværtimod gør det blot usikkerheden mindre synlig. Det ville være betydeligt bedre hvis man havde sagt omkring 95 tusinde vælgere og givet den statistiske usikkerhed for dette estimat.

I mit forrige indlæg legede jeg med tanken om, at medierne kunne præsentere den statistiske usikkerhed mere dynamisk. Eksempelvis ved at fokusere mere på det interval inden for hvilket, opbakningen højst sandsynligt lå end et tal for, hvor stor opbakningen er. Med andre ord: at fokusere mere på usikkerheden end selve estimatet.

Den statistiske usikkerhed bliver som regel repræsenteret med ét tal (eller ét tal for hvert parti). Denne usikkerhed er som regel udregnet med et 95% konfidensinterval in mente. Det er dog ingen naturlov, at den statistiske usikkerhed skal være på 95%, og det kunne lige så godt være 90% eller 99%. Her er mit beskedne forslag: I stedet for blot at fokusere én statistisk usikkerhed, kunne man formidle to eller tre. Der er intet særligt ved dette og man ser det ofte gjort i videnskabelige artikler – eksempelvis når man vurderer om noget er signifikant på forskellige niveauer eller med både 90% og 95% konfidensintervaller.

Dette vil især egne sig godt til en visuel formidling, hvis man kan vise et estimat med den statistiske usikkerhed som en fleksibel størrelse. Et bud er således at give både 95% og 90% konfidensintervaller. Her er et visuelt eksempel med den seneste meningsmåling fra Voxmeter:

Opbakningen til Socialdemokratiet i den seneste Voxmeter-måling er 31,2%. Den statistiske usikkerhed er +/- 2,8% med et 95% konfidensinterval og +/- 2,4% med et 90% konfidensinterval. Denne forskel er ikke stor, men det er heller ikke det afgørende. Det vigtige er at få det vist, at den statistiske usikkerhed også kan variere (og dermed også blot er et estimat). Jo mindre vi går op i præcision (ofte for den statistiske usikkerhed), desto bedre kan vi forstå nogle af de begrænsninger, der altid vil være forbundet med meningsmålinger.

Som jeg skrev i et indlæg forrige uge, er meningsmålingerne overordnet betragtet meget præcise i en dansk kontekst, men når de tager fejl, har de det med at tage kollektivt fejl. Ved at fokusere på at den statistiske usikkerhed ikke er én størrelse, kan man forhåbentlig nuancere borgernes opfattelse af, at meningsmålingerne nogle gange kan tage fejl. Så slipper vi også for at skulle have diskussioner om, hvorvidt meningsmålingerne overhovedet kan bruges til noget, når de tager fejl.

Dertil er det også vigtigt at huske på, at vi antager at estimaterne i en meningsmåling er uafhængige af hinanden, men når vi tager fejl med ét parti, tager vi som regel også fejl med andre partier. Den statistiske usikkerhed for et parti burde derfor være uafhængig af den statistiske usikkerhed for et andet parti, men dette er noget der ikke holder i praksis. Der er med andre ord mange udfordringer forbundet med at udtale sig omkring usikkerheden i en meningsmåling. Og igen, jo mindre vi fokuserer på ét præcist estimat for hvert parti, desto nemmere vil det være at formidle sådanne begrænsninger, antagelser m.v.

Meningsmålinger er ikke præcise. Jeg ved godt at faste læsere vil være bekendt med denne pointe, men mit håb er at nogle journalister eller andre vil give sig i kast med at undersøge, hvordan man bedst kan formidle den statistiske usikkerhed i meningsmålingerne med udgangspunkt i ovenstående og tidligere nævnte pointer. Vil der være gode eksempler herpå i fremtiden, skal jeg nok skrive et indlæg herom.

Hvorfor er flere respondenter ikke nødvendigvis bedre? #2

I 2011 skrev jeg et trivielt indlæg om, at flere respondenter ikke nødvendigvis er bedre i en meningsmåling, og ofte er værre, da det kan være et tegn på, at meningsmålingen ikke er repræsentativ. Hvis du ser en meningsmåling med 100.000 respondenter, kan du være ganske sikker på, at der er problemer.

I løbet af de seneste par dage har jeg tænkt på en anden grund til, at flere respondenter i og for sig selv ikke gør meningsmålingen bedre – selv hvis meningsmålingen i udgangspunktet er repræsentativ. Forklaringen herpå skal findes i, at der kan være mange respondenter i en meningsmåling, der angiver, at de ikke ved, hvad de vil stemme, at de nægter at stemme m.v., som ikke bruges til at udregne andelene i en meningsmåling.

Lad os eksempelvis antage, at vi har to meningsmålinger. Den ene meningsmåling har 1.000 respondenter, hvoraf 10% af disse ikke vil stemme på et parti. Den anden meningsmåling har 1.200 respondenter, hvoraf 30% af disse ikke vil stemme på et parti. Den anden meningsmåling har i udgangspunktet en mere imponerende stikprøve, men når man kigger på, hvor mange respondenter vi har, der har stemt på de forskellige partier, har vi en mindre stikprøve. Dette handler ikke om at vurdere, hvilken af meningsmålingerne der er bedst, blot at den stikprøvestørrelse du ser i en meningsmåling, og dermed den statistiske usikkerhed, ikke altid er retvisende.

Den statistiske usikkerhed i en meningsmåling påvirkes som bekendt af stikprøvestørrelsen. Jo flere respondenter, desto mindre usikkerhed. Du kan selv beregne den statistiske usikkerhed for et parti her.

Den seneste Voxmeter-måling kan fungere som et fint eksempel. Her er beskrivelsen af meningsmålingen:

Voxmeters politiske meningsmåling, offentliggjort den 8. november 2020, baserer sig på telefoninterview med 1.028 repræsentativt udvalgte personer 18 år+ og er gennemført i perioden fra d. 2. november 2020 til d. 7. november 2020.
Voxmeter afdækker i tabellen kun de personer, der ved, hvad de vil stemme, hvis der var folketingsvalg i morgen.
Ca 25,6% af de adspurgte var på det pågældende tidspunkt “i tvivl om partivalg”, “vil ikke stemme”, “vil stemme blankt” eller “er ikke stemmeberettiget”.
Tallene i parentes angiver forskellen i procentpoint fra folketingsvalget d. 5. juni 2019. Den maksimale usikkerhed på de enkelte partier i denne måling er på +/-2,8 % point.

Målingen har interviewet 1.028 danskere omkring deres partivalg og giver Socialdemokratiet 32,5% af stemmerne. Her er det interessante: De 32,5% er ikke et tal udregnet på baggrund af 1.028 repræsentativt udvalgte respondenter. De 32,5% er kalkuleret med udgangspunkt i et tal der er betydeligt lavere. Vi kan se i målingen, at ca. 25,6% af de adspurgte var i tvivl om deres partivalg, ikke ville stemme, vil stemme blankt eller ikke er stemmeberettiget. 25,6% af 1.028 er ~263, hvilket betyder at 263 respondenter ikke er medregnet i den stikprøve, som er brugt til at udregne de 32,5% til Socialdemokratiet. Stikprøven der er brugt til at udregne denne andel er ~765.

Dette er vigtigt når vi skal forholde os til den statistiske usikkerhed. Den statistiske usikkerhed for et parti med 32,5% af stemmerne med en stikprøve på 1.028 er som rapporteret omkring 2,8%. Men den statistiske usikkerhed for et parti med 32,5% af stemmerne, når tallet er udregnet med udgangspunkt i 765 respondenter, er 3,3%.

Jeg bruger ikke Voxmeter som eksempel fordi de har problemer. Tværtimod. Sammen med Megafon, der angiver andelen af respondeter, der er “i tvivl om partivalg eller ikke ønsker at stemme”, er de blandt de få institutter, hvor det er muligt at finde informationer som ovenstående i deres seneste meningsmålinger. Det er problematisk, at det er undtagelsen snarere end normen, at sådanne informationer formidles.

Kigger vi på meningsmålingerne fra Voxmeter og Megafon i 2020, kan vi se substantiel variation mellem institutterne i, hvor stor en andel af deres respondenter, der ikke angiver et partivalg.

Der kan være forskellige grunde til disse forskelle. For det første er det muligt, at Megafon gør mere for at presse et partivalg ud af deres respondenter (og eksempelvis gør mere for at respondenterne ikke kan vælge, at de vil stemme blankt). For det andet kan det skyldes metodiske forskelle i, hvordan respondenter udvælges og interviewes (via telefon eller over nettet). Det mest interessante er dog hvor begrænset variation der er hos Megafon, hvor andelen af respondenter uden et partivalg er noget nær konstant. Dette forekommer meget mystisk, da der også burde være usikkerhed omkring disse estimater. Variationen vi finder hos Voxmeter ser betydeligt bedre ud.

På baggrund af ovenstående kan vi se, at der vil være forskelle i, hvor stor den statistiske usikkerhed er for de forskellige partier, alt efter hvor stor en andel af respondenterne, der ikke har et partivalg. Jo større denne gruppe er, desto større en diskrepans vil der være mellem de rapporterede statistiske usikkerheder og den reelle statistiske usikkerhed for den rapporterede opbakning til et parti.

Dette minder mig om et indlæg jeg skrev i forbindelse med folketingsvalgkampen i 2015, hvor medierne rapporterede opbakningen til hhv. rød og blå blok, men brugte den maksimale usikkerhed for partierne til at sige noget om, hvorvidt der var forskel på rød og blå blok. Her kan man også sige, at dette vil være et større problem 1) jo tættere rød og blå blok er på 50% og 2) jo mindre det største parti i en måling er (når vi taler om den maksimale statistiske usikkerhed).

Heldigvis er det en norm, at medierne rapporterer noget så basalt som antallet af respondenter i en meningsmåling (i vores studie af folketingsvalg fra 2005 til 2011 fandt vi, at ~94% af meningsmålingsartiklerne formidlede denne information). Det er dog et problem, at det ikke er muligt at finde information om, hvor stor den reelle stikprøve i en meningsmåling er. Derfor skal der lyde en kæmpe ros til Voxmeter og Megafon for at dele sådanne tal. Man kan kun håbe, at de andre analyseinstitutter med tiden vil begynde også at offentliggøre disse tal, hvis de vil have, at man skal tage deres målinger seriøst.

Meningsmålinger på Politologi.dk #2

I 2017 introducerede jeg en meningsmålingsoversigt på Politologi.dk. Det er i al beskedenhed blevet en populær resource for mange, herunder journalister og politikere, og under folketingsvalgkampen i 2019 blev oversigten brugt af tusindvis af danskere på daglig basis. Den blev ligeledes også formidlet i medierne (eksempelvis hos DR).

Jeg har siden 2017 kun lavet mindre justeringer hist og her på figurerne i oversigten. Her er et eksempel på, hvordan de har set ud for Socialdemokratiet:

På baggrund af nogle af de udfordringer og begrænsninger folk har fremhævet i forbindelse med figurerne, har jeg nu lavet en ny version. Her er et eksempel på, hvordan det ser ud for Socialdemokratiet:

Som det kan ses, er der foretaget flere synlige ændringer. I dette indlæg gennemgår jeg de mest væsentlige samt mine argumenter herfor.

Punkter

Figuren begyndte i 2017 at vise meningsmålinger fra de seneste 10 måneder. Dette havde dog det primære problem, at når vi ville komme ind i en valgkamp, ville det blive meget svært at se udviklingen i løbet af en valgkamp. Derfor ændrede jeg antallet af punkter til at vise de 100 seneste meningsmålinger.

Dette har overordnet fungeret fint, men i den nyeste version har jeg reduceret mængden af data til de seneste 75 meningsmålinger. Grunden til dette er, at der vises mere information i de opdaterede figurer, og jeg har forsøgt at kompensere for dette ved at fjerne nogle af de ældre meningsmålinger.

Figurerne har forsøgt at vise forskellige farver og punkttyper for de respektive analyseinstitutter. Dette har overordnet fungeret fint, men der har været et par begrænsninger. Eksempelvis havde Norstat og Voxmeter næsten identiske farver og punkttyper, hvorfor det kunne være besværligt at sondre mellem de to.

I de nye figurer forsøger jeg at tage højde for, at nogle analyseinstittuter foretager mange meningsmålinger (eksempelvis Voxmeter) og andre foretager få meningsmålinger (eksempelvis Norstat), og give farver og punkttyper herefter (altså en mørkerød udfyldt cirkel til Voxmeter, der adskiller sig signifikant fra de andre farver og typer).

Kurve

Hele formålet med figurerne er at give et hurtigt overblik over, hvordan det går de forskellige partier i meningsmålingerne. Trendlinjen, altså kurven, er et godt redskab til dette. Problemet har dog været, at den godt kunne give et misvisende billede af, hvilken retning meningsmålingerne bevæger sig (eksempelvis Socialdemokratiet i ovenstående figur, der giver et indtryk af, at partier et er på en opadgående kurve).

Konkret har jeg gjort kurven mere lokal, så trendlinjen vil skyde mindre i vejret men ‘binde sig’ mere til punkterne, som alt andet lige skal være i fokus. Dette gør det forhåbentligt nemmere at få et indtryk af, hvilken trend vi observerer i meningsmålingerne. Dertil har jeg også ændret farven på trendlinjen, så den ikke tager for meget opmærksomhed.

Statistisk usikkerhed

Den største ændring i figurerne er, at der nu også rapporteres den statistiske usikkerhed (med et 95% konfidensinterval). Jeg har skrevet talrige indlæg om den statistiske usikkerhed, så der er ingen nævneværdige grunde til at gå mere i dybden med dette her. Jeg kan blot nævne, at jeg har forsøgt diskret at fremhæve den statistiske usikkerhed, uden at det fremstod uoverskueligt.

Y-akse

Et af de primære kritikpunkter af figurerne har været, at y-aksen ikke inkluderer 0 (eller 100 for den sags skyld). Jeg har tidligere skrevet om, hvorfor det ikke er misvisende, at en figur ikke inkluderer 0 på y-aksen. Det vil eksempelvis ikke være informativt at vise, hvor langt Socialdemokratiet ligger fra spærregrænsen, og at vise dette ville blot gøre det sværere at se, hvordan deres opbakning har ændret sig (eller ikke ændret sig).

Når det er sagt har jeg forsøgt at øge variationen i y-aksen på en systematisk måde, der ikke gør det svært at identificere forskelle over tid. Konkret har jeg anvendt disse principper fra Francis Gagnon, altså at der kan tilføjes et tomt område under den laveste værdi, der er udregnet vha.:

(minimum værdi – minimum y-akse værdi) / (maksimum y-akse værdi – minimum y-akse værdi)

Dette (samt den statistiske usikkerhed) gør at de laveste observationer ikke ligger tæt på y-aksens begyndelse, og vil forhåbentlig give et mere rammende billede af, hvordan partierne ligger i meningsmålingerne (uden altid at inkludere 0).

Foruden dette har jeg også fjernet titlen på y-aksen samt flyttet al anden information, så der gives mere plads horisontalt til at vise meningsmålingerne over tid. Der er ligeledes tilføjet mere information til selve figuren (eksempelvis navnet på partiet og information om statistisk usikkerhed). Dette er gjort da figurene ofte deles på sociale medier, hvorfor det er fint, at den slags information kommer med.

Overordnet ser jeg dette som en væsentlig forbedring af figurerne. Ikke desto mindre er jeg sikker på, at der nok skal være forslag derude til, hvordan de kan blive endnu bedre. Koden til at producere figurerne kan findes her, og såfremt du har forslag til forbedringer, hører jeg gerne fra dig.

Du kan finde de seneste meningsmålinger på Politologi.dk.