Erik Gahner Larsen

Hvorfor skal meningsmålinger være så præcise? #2

Forud for folketingsvalget i 2019 anbefalede jeg medierne, at fokusere mere på den statistiske usikkerhed i meningsmålingerne. Jeg fremhævede i den forbindelse at den statistiske usikkerhed er vigtig i mediedækningen: “Fordi den pointerer den væsentlige kendsgerning, at vi ikke arbejder med præcise tal. Vi arbejder med estimater. Personligt er jeg mindre opmærksom på, om den statistiske usikkerhed er 2,5 procentpoint eller 3 procentpoint for et parti. Det vigtigste er, at man erkender, at der er en statistisk usikkerhed, og dermed også en sandsynlighed for, at man tager fejl.”

Journalister, kommentatorer og eksperter er dog fortsat glade for præcision og undlader ofte at nævne den statistiske usikkerhed, når opbakningen til forskellige partier skal formidles. Tag dette eksempel, som jeg stødte på forleden. Her står der, at de Konservative har vundet ”95.433 nye vælgere”. Hvorfor ikke 95.432 eller 95.434 nye vælgere? Det giver absolut ingen mening at formidle tal med en sådan præcision. Tværtimod gør det blot usikkerheden mindre synlig. Det ville være betydeligt bedre hvis man havde sagt omkring 95 tusinde vælgere og givet den statistiske usikkerhed for dette estimat.

I mit forrige indlæg legede jeg med tanken om, at medierne kunne præsentere den statistiske usikkerhed mere dynamisk. Eksempelvis ved at fokusere mere på det interval inden for hvilket, opbakningen højst sandsynligt lå end et tal for, hvor stor opbakningen er. Med andre ord: at fokusere mere på usikkerheden end selve estimatet.

Den statistiske usikkerhed bliver som regel repræsenteret med ét tal (eller ét tal for hvert parti). Denne usikkerhed er som regel udregnet med et 95% konfidensinterval in mente. Det er dog ingen naturlov, at den statistiske usikkerhed skal være på 95%, og det kunne lige så godt være 90% eller 99%. Her er mit beskedne forslag: I stedet for blot at fokusere én statistisk usikkerhed, kunne man formidle to eller tre. Der er intet særligt ved dette og man ser det ofte gjort i videnskabelige artikler – eksempelvis når man vurderer om noget er signifikant på forskellige niveauer eller med både 90% og 95% konfidensintervaller.

Dette vil især egne sig godt til en visuel formidling, hvis man kan vise et estimat med den statistiske usikkerhed som en fleksibel størrelse. Et bud er således at give både 95% og 90% konfidensintervaller. Her er et visuelt eksempel med den seneste meningsmåling fra Voxmeter:

Opbakningen til Socialdemokratiet i den seneste Voxmeter-måling er 31,2%. Den statistiske usikkerhed er +/- 2,8% med et 95% konfidensinterval og +/- 2,4% med et 90% konfidensinterval. Denne forskel er ikke stor, men det er heller ikke det afgørende. Det vigtige er at få det vist, at den statistiske usikkerhed også kan variere (og dermed også blot er et estimat). Jo mindre vi går op i præcision (ofte for den statistiske usikkerhed), desto bedre kan vi forstå nogle af de begrænsninger, der altid vil være forbundet med meningsmålinger.

Som jeg skrev i et indlæg forrige uge, er meningsmålingerne overordnet betragtet meget præcise i en dansk kontekst, men når de tager fejl, har de det med at tage kollektivt fejl. Ved at fokusere på at den statistiske usikkerhed ikke er én størrelse, kan man forhåbentlig nuancere borgernes opfattelse af, at meningsmålingerne nogle gange kan tage fejl. Så slipper vi også for at skulle have diskussioner om, hvorvidt meningsmålingerne overhovedet kan bruges til noget, når de tager fejl.

Dertil er det også vigtigt at huske på, at vi antager at estimaterne i en meningsmåling er uafhængige af hinanden, men når vi tager fejl med ét parti, tager vi som regel også fejl med andre partier. Den statistiske usikkerhed for et parti burde derfor være uafhængig af den statistiske usikkerhed for et andet parti, men dette er noget der ikke holder i praksis. Der er med andre ord mange udfordringer forbundet med at udtale sig omkring usikkerheden i en meningsmåling. Og igen, jo mindre vi fokuserer på ét præcist estimat for hvert parti, desto nemmere vil det være at formidle sådanne begrænsninger, antagelser m.v.

Meningsmålinger er ikke præcise. Jeg ved godt at faste læsere vil være bekendt med denne pointe, men mit håb er at nogle journalister eller andre vil give sig i kast med at undersøge, hvordan man bedst kan formidle den statistiske usikkerhed i meningsmålingerne med udgangspunkt i ovenstående og tidligere nævnte pointer. Vil der være gode eksempler herpå i fremtiden, skal jeg nok skrive et indlæg herom.

Er meningsmålingerne i Danmark præcise?

Meningsmålingerne har (igen) fået en masse opmærksomhed i forbindelse med det amerikanske præsidentvalg. Ramte de forkert? Kan vi stole på dem? Hvad kan de egentlig bruges til? I de danske medier er meningsmålingerne ved det amerikanske præsidentvalg blevet diskuteret eksempelvis her og her. Jeg takkede pænt nej til de journalister, der gerne ville have et par kommentarer med på vejen, da jeg ikke har fulgt tilstrækkeligt med i dækningen (modsat de eksperter, der har udtalt sig kvalificeret og nøgternt) – og jeg planlægger at skrive et indlæg om meningsmålingerne og præsidentvalget ved en senere lejlighed, når støvet har lagt sig.

Én ting jeg dog finder relevant at pointere her, er, at der er enormt stor forskel på at foretage meningsmålinger i Danmark og USA. Med andre ord vil jeg argumentere for, at selvom der er mulighed for at drage paralleller mellem udfordringerne forbundet med at foretage og dække meningsmålinger i Danmark og USA, skal vi være påpasselige med ikke at fokusere for meget på det amerikanske præsidentvalg, når vi skal sige noget om, hvad meningsmålingerne kan i en dansk kontekst. Med andre ord savner jeg, at når de danske medier diskuterer meningsmålingerne i USA, at man fremhæver, at det er begrænset, hvad man kan bruge disse diskussioner til i en dansk kontekst.

Det er nemt at se store forskelle på tværs af Danmark og USA, der kan have implikationer for, hvor nemt (eller svært) det er at foretage meningsmålinger. Eksempelvis er valgsystemerne fundamentalt forskellige (hvilket gør det nemmere at foretage meningsmålinger i Danmark) og valgdeltagelsen er stabil på tværs af sociodemografiske grupper og generelt højere i Danmark (hvilket også gør det nemmere at foretage meningsmålinger i Danmark). Du kan ikke foretage én meningsmåling i USA, der vil give et bud på, hvem der bliver den næste præsident. En meningsmåling kan med andre ord ikke sige at sandsynligheden for at kandidat X bliver præsident er Y%. Når vi alligevel hører disse udsagn er det på baggrund af statistiske modeller, der estimerer hvilken kandidat der står til at vinde forskellige delstater (og de dertilhørende valgmænd).

Meningsmålinger foretages i USA derfor ikke kun nationalt men også på delstatsniveau, hvor kvaliteten mildest sagt er meget svingende (især i de stater, hvor incitamentet til at lave mange meningsmålinger, eksempelvis fordi udfaldet er sikkert, er begrænset). Det er en kæmpe fordel i en dansk sammenhæng at analyseinstitutterne kan foretage en national meningsmåling, der vil afspejle valgresultatet godt, og er fri for at skulle lave meningsmålinger, der er repræsentative for eksempelvis lige præcis Nordjylland og Bornholm.

Det er som sagt derfor begrænset, hvor meget vi kan bruge de amerikanske diskussioner til at sige noget om meningsmålingernes kvalitet i Danmark. Og jeg vil pointere, at meningsmålingerne er ret præcise i Danmark. Men hvor præcise er de?

I et arbejdspapir, der bærer titlen “Public Election Polls are 95% Confident but only 60% Accurate“, viser et par amerikanske forskere, at selvom den statistiske sandsylighed i meningsmålingerne i USA er 95%, rammer de kun rigtigt 60% af gangene. Det vil sige, at kun 60% af gangene er estimatet inden for de 95% af den statistiske sandsynlighed. Har du en interesse i meningsmålingsfejl i forbindelse med amerikanske præsidentvalg, kan jeg varmt anbefale den nye bog Lost in a Gallup: Polling Failure in U.S. Presidential Elections, der giver en detaljeret gennemgang af fejl i meningsmålingerne fra 1936 til 2016.

Til at belyse hvor præcise meningsmålingerne er i en dansk sammenhæng, kigger jeg på meningsmålingerne fra den sidste uge op til de tre seneste folketingsvalg (2011, 2015 og 2019). Det giver sammenlagt 811 estimater. Jeg finder det unfair for meningsmålingerne at forvente, at de skal være præcise, når vi går længere væk fra valget, da meningsmålingerne ganske enkelt ikke forsøger at forudsige hvem der vinder valget – men hvem der ville vinde, hvis der var valg den dag, meningsmålingen er foretaget. (Jeg bryder mig af samme grund ikke om den formulering, der lyder, at meningsmålingerne bliver mere præcise, jo tættere vi kommer på valgdagen.)

I 88% af tilfældene ramte meningsmålingerne ved de tre seneste folketingsvalg partierne korrekt. Det er mindre end 95% af gangene, men ikke desto mindre tyder det på, at meningsmålingerne rammer rigtigt 9 ud af 10 gange. Det må siges at være meget godt. Dette kan føre til en diskussion om, hvorvidt man skulle bruge 90% konfidensintervaller i stedet for 95% konfidensintervaller, hvilket dog blot ville føre til, at man tager fejl endnu oftere. Nedenstående figur viser hvor præcise de forskellige analyseinstittutter var ved de tre folketingsvalg.

Det mest præcise analyseinstitut, når man kigger på hvor mange partier de ramte rigtigt, var Greens i 2015 (94%). Det mindst præcise analyseinstitut var også Greens – i 2019 (70%). Kun YouGov i 2011 og Greens i 2019 er under 80%, hvilket tyder på at de fleste analyseintitutter som minimum rammer fire ud af fem partier rigtigt, når den statistiske usikkerhed er 95%.

Ovenstående figur skjuler dog det faktum, at analyseinstitutterne rammer de fleste partier meget præcist i de fleste tilfælde, men har problemer med enkelte partier ved enkelte valg, som eksempelvis Dansk Folkeparti i 2015 og Venstre i 2019, hvor under 25% af meningsmålingerne havde partiernes endelige valgresultat inden for den statistiske usikkerhed på 95% i løbet af valgkampens sidste uge.

I 15 ud af 27 tilfælde – når vi kigger på partiene (vist i ovenstående figur) – ramte alle meningsmålinger korrekt (altså 100%). 21 ud af 27 partier blev ramt rigtigt i omkring eller mere end 95% af gangene.

Hvad vi kan se er, at meningsmålingerne ikke rammer rigtigt i 95% af tilfældende, og når de ikke gør, har meningsmålingerne det med kollektivt at tage fejl. Dette så vi især i 2015, hvor der var talrige diskussioner om, hvorvidt vi overhovedet skulle og kunne stole på meningsmålingerne. Faktum er dog at meningsmålingerne i Danmark generelt rammer præcist, men at dette ikke er det samme som, at der ikke kan være udfordringer i forhold til at ramme alle partier præcist.

Meningsmålingerne er mere præcise i Danmark end i USA, og det er det vigtigt at huske på – især når diskussionen omkring meningsmålingernes anvendelighed i disse uger primært sker i forlængelse af og forbindelse med det amerikanske præsidentvalg.

Er Socialdemokratiet gået tilbage i meningsmålingerne?

Da coronavirussen brød ud, oplevede Socialdemokratiet en voldsom fremgang i meningsmålingerne. Forleden kunne en Megafon-måling vise, at Socialdemokratiet “fastholder [en] kæmpe vælgeropbakning”. Det tyder altså på, at der stadig er stor opbakning til Socialdemokratiet i meningsmålingerne.

I et nyt vægtet snit hos Altinget formidles det dog, at de “seneste måneders medvind for Socialdemokratiet [er] begyndt at stilne af”. Konkret rapporteres det, at partiets opbakning nu er på 31,5 pct.

Er opbakningen så begyndt at stilne af? 31,5 pct. lyder meget plausibelt – og min seneste prognose giver Socialdemokratiet 32 pct. af stemmerne. Jeg vil dog argumentere for, at vi stadig skal se et større fald, før vi kan konkludere, at der er evidens for en ændring i opbakningen til Socialdemokratiet.

For at forstå dette kan vi kigge på de seneste målinger for Socialdemokratiet:

Her kan vi se, at der var en stor stigning i opbakningen til Socialdemokratiet i løbet af marts. Siden da har opbakningen ligget stabilt på omkring 33 pct., med nogle meningsmålinger højere og andre målinger lavere. Vi har fået to meningsmålinger i denne uge, hvor Socialdemokratiet ligger på hhv. 33,4 pct. (Voxmeter) og 33,2 pct. (Epinion). Tager vi den statistiske usikkerhed i betragtning, er det svært at se et mønster, der viser nogen forandring, siden Socialdemokratiets opbakning steg.

Det er sandsynligt at opbakningen ikke vil forblive så høj, som den er nu, men der er i min optik intet der taler for, at der er sket noget nyt i meningsmålingerne, når vi kigger på Socialdemokratiet. Min vurdering er, at der skal mere til, før at Socialdemokratiet falder i målingerne, end hvad vi har set nu, men dette udelukker selvfølgelig ikke, at partiets opbakning kan blive mindre (eller større) i fremtiden.

De fire gamle partier i meningsmålingerne

Socialdemokratiet oplevede i forbindelse med COVID-19 en stor fremgang i meningsmålingerne. Men hvor stor er denne fremgang i et historisk perspektiv?

Jeg har kigget nærmere på 773 meningsmålinger fra Gallup fra 1957 til 2020 for de fire gamle partier. De fire gamle partier omfatter som bekendt Socialdemokraterne, Venstre, Det Konservative Folkeparti og Radikale Venstre. Den første meningsmåling er fra 28. juni 1957 og den seneste meningsmåling er fra 11. juni 2020.

Til at gøre dette har jeg anvendt et R-script lavet af Simon Straubinger til at visualisere læsbarheden af statsministertaler over tid.

Her er alle meningsmålingerne:

Der er i min optik mindst fire interessante observationer.

For det første er det nemt at se, at Socialdemokraterne har oplevet en stor fremgang i meningsmålingerne over kort tid ifm. COVID-19. Socialdemokratiet står historisk stabilt selvom de stadig ligger pænt fra de 40% af stemmerne, de engang lå stabilt til at få. Kenneth Thue Nielsen har desuden lavet en god analyse for Altinget, hvor han sammenligner Socialdemokratiets opbakning med hvordan andre partier har klaret tidligere kriser.

For det andet bekræfter figuren, at meningsmålingerne generelt er stabile på kort sigt. Vi skal normalt ikke forvente de store forandringer i meningsmålingerne over kort tid, så du kan uden de store vanskeligheder undlade at følge med i hvad meningsmålingerne viser fra uge til uge. Det går dog op og ned i politik, og det er især interessant at se hvordan Socialdemokratiet i løbet af de seneste ti år er gået fra at have over 30% af stemmerne til at ligge på under 20% – til at være tilbage på over 30%.

For det tredje ser vi historisk mere variation hos Venstre, hvor det går betydeligt mere op og ned over tid, alt efter hvilken periode vi er i. Venstre ligger givetvis lavt sammenlignet med Socialdemokratiet og deres opbakning over de seneste år, men der er intet der tyder på en historisk krise for partiet.

For det fjerde har Konservative og Radikale Venstre oplevet stor opbakning på vidt forskellige tidspunkter (især relateret til, hvornår de var statsministerparti), men de har over de seneste fem år fulgt hinanden godt. Det er desuden altid en fornøjelse at se de Konservatives meningsmålinger og huske på, at da Bendt Bendtsen blev kaldt ‘Mr. 10 procent’, var det ment som en kritik.

Vi har for vane blot at kigge på de seneste meningsmålinger, når vi ønsker at se hvordan partierne klarer sig, men det kan være sundt at tage de historiske briller på i ny og næ. Jeg planlægger således at skrive et opfølgningsindlæg om 63 år.

BT’s dækning af YouGovs misvisende målinger kan blive en selvopfyldende profeti for Vermund

Ved folketingsvalget i 2019 vurderede YouGov, at Nye Borgerlige ville få hele 4,7% af stemmerne. Dette skete som bekendt ikke, da partiet endte med at få 2,4%. YouGov overvurderede systematisk, hvor stor opbakningen var til Nye Borgerlige. Der var intet andet analyseinstitut, der ramte lige så meget forbi som YouGov.

Der kan være flere forklaringer herpå, herunder især YouGovs metode, hvor de anvender data fra danskere, der selv har tilmeldt sig deres internetpanel. Det er meget plausibelt, at YouGov har væsentlige udfordringer forbundet med at få såkaldt repræsentative data, der kan sige noget generelt om, hvor stor opbakningen er til et parti som Nye Borgerlige.

Der er intet nyt i dette, og som jeg udtalte til Altinget forud for folketingsvalget i 2019, var der en konkret udfordring for YouGov: ”Hvis man eksempelvis kun kigger på meningsmålinger fra YouGov, vil man få et indtryk af, at Nye Borgerliges opbakning er større, end hvis man også kigger på andre meningsmålinger.”

Det sørgelige er, at intet tyder på, at vi har lært noget af folketingsvalget. YouGov giver stadig en systematisk højere opbakning til Nye Borgerlige, og der er ingen grund til at antage, at analyseinstitutterne, der havde ret i 2019, ud af det blå tager fejl i 2020.

Alt dette har implikationer for især BTs dækning, da de bringer YouGovs meningsmålinger. Problemet er, at BT lader som om, at YouGovs meningsmålinger pludselig giver et retvisende billede af, hvor mange danskere, der vil stemme på Nye Borgerlige. Dette er yderst misvisende og har absolut intet med god journalistik at gøre. De to seneste meningsmålinger fra YouGov er gode eksempler herpå.

Den 12. maj rapporterede BT ’breaking news’ med overskriften Vanvittig ny måling for dansk parti. I artiklen kunne man læse, at “Nye Borgerlige står til mere end en fordobling af antallet af mandater, hvis der var valg i dag”. Dette fremkalder en følelse af deja-vu, da denne meningsmåling blot er på niveau med hvad YouGov vurderede partiet ville få i 2019. Kort fortalt er det misvisende at tale om en fordobling, da der ikke var tale om nogen signifikant ændring sammenlignet med tidligere målinger fra YouGov. Der var med andre ord ikke tale om en vanvittig ny måling. Det eneste vanvittige var BTs dækning heraf.

Den 15. juni kunne BT igen formidle ’breaking news’. Denne gang er der tale om en såkaldt historisk måling, hvor Nye Borgerlige angiveligt er større end Dansk Folkeparti. Denne meningsmåling giver Nye Borgerlige 7,7% af stemmerne, hvilket er langt mere end alle andre analyseinstitutter. Der er tale om de akkurat samme begrænsninger i dækningen som ved tidligere meningsmålinger, og der er intet der taler for, at Nye Borgerlige ville få 7,7% af stemmerne, hvis der var valg i morgen. Det kan udelukkende forklares med udgangspunkt i middelmådige meningsmålinger fra YouGov og en elendig politisk dækning fra BT.

Nye Borgerliges opbakning i YouGov-målingerne er problematisk af flere grunde. Vi er allerede bekendt med, at YouGov har udfordringer med at måle opbakningen til dette parti, men det langt mere interessante er spørgsmålet om, hvilken rolle medierne spiller.

BTs dækning af YouGovs meningsmålinger er et paradeeksempel på, at medierne ikke altid har en interesse i at give et retvisende billede af, hvor stor opbakningen er til de politiske partier i meningsmålingerne. Hvis dette var intentionen, ville dækningen have vist, at meningsmålingerne er uenige og i de langt fleste tilfælde vil give Nye Borgerlige en opbakning der er langt lavere end 7,7%.

Formålet med dækningen virker omvendt til at tage én ekstrem meningsmåling og bruge den til at indikere, at der er sket noget ’historisk’. En sådan nyhed vil alt andet lige få større opmærksomhed blandt tilhængere og modstandere af Nye Borgerlige, og dermed tiltrække mere engagement, læsere og annoncekroner.

Det værste er, at det virker. Den seneste meningsmåling er blevet delt tusindvis af gange på de sociale medier af personer med direkte og indirekte tilknytning til Nye Borgerlige. En misvisende meningsmåling når halvvejs rundt om jorden, før sandheden når at få sine bukser på.

De eneste gode nyheder for BT og YouGov er, at deres dækning kan ende med at blive en selvopfyldende profeti. Jo mere BT bidrager til et narrativ om, at Nye Borgerlige er blandt landets største partier, desto mere medvind vil partiet få, der vil appellere til flere vælgere. Med andre ord: BT laver misvisende artikler om opbakningen til Nye Borgerlige, men de medvirker til, at opbakningen til Nye Borgerlige vil være større fremadrettet.

Forskningen viser således, at vælgere bruger meningsmålinger delt i deres sociale netværk til at danne sig indtryk om, hvor stor opbakningen er til politiske partier, med implikationer for, hvilke partier vælgerne vil stemme på. Dette udgør et demokratisk problem når BT og YouGov – ubevidst såvel som bevidst – bidrager til at give et misvisende billede af opbakningen til partierne.

BT og YouGov har i over et år været fælles om at lave dårlig meningsmålingsjournalistik, men det kan undre én at især YouGov sætter sit renommé på højkant ved at skulle stå som afsender på meningsmålinger med konklusioner, der ikke er tilstrækkeligt empirisk belæg for.

Min opfordring har tidligere været, at BT skulle være deres ansvar bevidst og dække meningsmålingerne på en ansvarlig måde. Der er dog intet der tyder på, at BT eller YouGov har intentioner om at ændre procedure. Dette giver igen fin mening, når man ser på, hvor meget trafik og omtale, det skaber. Min opfordring vil derfor nu blot være, at man – i det omfang det er muligt – ignorerer BTs dækning af de politiske partier og i videst muligt omfang afholder sig fra at bruge YouGov, når det gælder om at belyse danskernes holdninger til politiske spørgsmål.

Bragt i Altinget, 17. juni 2020

Hvor mange vil stemme på Nye Borgerlige? #8

Meningsmålingerne har givet vidt forskellige bud på, hvor mange der vil stemme på Nye Borgerlige. Jeg skrev det første af flere indlæg omhandlende netop dette spørgsmål for små fire år siden. Man kunne håbe at folketingsvalget i 2019 havde afgjort det én gang for alle, hvor mange der så rent faktisk vil stemme på Nye Borgerlige, men meningsmålingerne er stadigvæk uenige.

På den ene side har vi meningsmålingerne fra især Voxmeter, der har placeret partiet omkring spærregrænsen. På den anden side har vi meningsmålinger, primært fra YouGov, der har placeret partiet tættere på 5% end 2%. Folketingsvalget i 2019 viste, at YouGov tog fejl – og de fleste andre analyseinstitutter var mere præcise.

En af konklusionerne på baggrund af seneste folketingsvalg var, at YouGov ikke havde et godt valg. Min analyse viste således, at YouGov havde klaret sig dårligst blandt alle analyseinstitutter. Konkret kunne man se, at YouGov havde den største gennemsnitlige afvigelse, altså hvor langt partierne lå fra seneste meningsmåling før valget til selve valgresultatet:

Med dette in mente kan vi nu se nærmere på den seneste meningsmåling fra YouGov, der blev formidlet af BT med følgende titel: Bedste måling for Vermund siden valget: ‘Bemærkelsesværdigt’

Er der tale om en bemærkelsesværdig måling? Hvis man kigger på andre målinger fra YouGov, er svaret nej. BT gik ikke desto mindre – som de har for vane – i breaking mode. Tirsdag aften var selvsamme artikel at finde på forsiden i gult:

Der er ikke tale om en vanvittig måling, men det er svært at formidle relativt neutrale meningsmålinger som breaking news. Dette er ikke en kritik af meningsmålingen i og for sig selv, men formidlingen af samme. Her er det værd at huske på, at BT ej heller havde et godt folketingsvalg, når det kommer til formidlingen af meningsmålinger.

I artiklen kan man læse, at “Nye Borgerlige står til mere end en fordobling af antallet af mandater, hvis der var valg i dag”. Det er meget lig hvad YouGov viste under folketingsvalgkampen, altså at Nye Borgerlige stod til at få dobbelt så mange mandater, som de rent faktisk endte med at få.

Dette har flere andre også bemærket (eksempelvis Hans Redder og Jonas Holm). Hvis vi kigger på meningsmålingerne fra i år kan vi da også se, at intet tyder på, at opbakningen til Nye Borgerlige har ændret sig voldsomt (eller på en måde, der kan betegnes som værende ‘vanvittig’). Her er meningsmålingerne fra januar og frem:

Med andre ord: Intet tyder på, at Nye Borgerlige har fået flere vælgere eller mistet vælgere i løbet af de seneste måneder. BT synes med andre ord at fortsætte hvor de slap under dækningen af meningsmålingerne i løbet af valgkampen.

Problemet med BTs dækning stopper dog ikke her. For det første informeres der ikke om, hvad opbakningen er til alle partierne. Dette gør det umuligt at få et overblik over, hvad meningsmålingen rent faktisk viser. Det var kun da folk begyndte at spørge ind til disse tal, at YouGov lagde dem på deres hjemmeside. Man kan håbe (og kraftigt opfordre til), at YouGov også vil gøre dette i fremtiden.

For det andet har vi endnu et eksempel på, at journalister ikke nødvendigvis forstår sig på den statistiske usikkerhed. Tag denne information fra artiklen: “Målingen, der er foretaget blandt 1.251 repræsentativt udvalgte personer mellem 7. og 11. maj 2020, er den bedste for Nye Borgerlige siden folketingsvalget grundlovsdag 2019. Det hører med til historien, at den statistiske usikkerhed i målingen er på 2,8 procent.”

Der nævnes dog intet tal i artiklen, hvor den statistiske usikkerhed er 2,8 procent. Den statistiske usikkerhed for Nye Borgerlige er mindre end 2,8 procent, og dette tal er den maksimale statistiske usikkerhed. Her kan jeg anbefale, at journalisten (og andre interesserede) (gen)læser mit indlæg fra 2015.

Hvor stor er opbakningen så til Nye Borgerlige, hvis man tager den samlede mængde data i betragtning? Mit bedste bud er at partiet ligger solidt over spærregrænsen, men på ingen måde over 5 procent. Partier som Dansk Folkeparti og Stram Kurs har ikke klaret sig godt, ej heller siden valget, og Nye Borgerlige har sandsynligvis samlet nogle af disse vælgere op, hvorfor der er tale om en fremgang siden valget.

Mit bedste kvantitative bud, jvf. den seneste Politologi Prognose, er, at Nye Borgerlige ville få omkring 3,7% af stemmerne, hvis der var valg i morgen:

Dette estimat er dog sandsynligvis optimistisk (givet specifikke antagelser omkring huseffekterne), og det ville ikke overraske mig, hvis partiet nok ligger tættere på 3% end 4%. Dette er selvfølgelig også et meget hypotetisk spørgsmål, da intet i dansk politik er som det plejer at være (hvordan ville en coronavalgkamp se ud?), og sandsynligheden for et snarligt folketingsvalg er meget lille.

Hvordan klarer Alternativet sig i meningsmålingerne? #2

For fem år siden blev Alternativet opstillingsberettiget. I den forbindelse begyndte diverse analyseinstitutter også at give bud på, hvor mange vælgere, der ville stemme på partiet. Partiet blev annonceret allerede i 2013, men det var først i 2015, da partiet blev opstillingsberettiget, at meningsmålingerne begyndte at inkludere dem.

Som jeg viste da de første meningsmålinger havde set dagens lys, lå partiet omkring spærregrænsen. Mange meningsmålinger viste således, at partiet lå til at få omkring 2% af stemmerne, når man tog den statistiske usikkerhed i betragtning. Der var dog også meningsmålinger, der viste, at de lå under spærregrænsen.

Ganske overraskende blev partiet en succes. Ved valget i 2015 fik partiet 4,8% af stemmerne og i løbet af den pågældende valgperiode kom partiet op på omkring 7,5% af stemmerne. Det var med andre ord et af de største partier blandt nichepartierne.

Siden da er det dog gået én vej. Faktisk er historien om Alternativet i meningsmålingerne siden 2015 en historie om nedgang. Ovenstående figur viser samtlige meningsmålinger med Alternativet, hvor dets storhed og fald let kan ses. Partiet er således så småt tilbage til udgangspunktet, hvor de ligger omkring spærregrænsen.

Opgaven for Alternativet nu bliver at vende denne tendens. Det er let at se på partiets nye problemer – både som organisation og som politisk projekt – men sandheden er, at partiet har haft svært ved at holde opbakningen ved lige i meningsmålingerne i løbet af de seneste år.

Forurener meningsmålingerne den politiske debat?

Michael Kristiansen, der flittigt kommenterer på meningsmålinger i medierne, har skrevet et indlæg i Berlingske, hvor han kritiserer meningsmålinger. Der er dog desværre ingen sammenhængende kritik af meningsmålinger i indlægget.

Det er trættende, at meningsmålinger igen skal stå på mål for kritiske bemærkninger uden skyggen af belæg for, at der er væsentlige problemer. Som altid er jeg stor tilhænger af, at vi forholder os kritisk til meningsmålinger, men hvornår blev det tilstrækkeligt, at gøre det uden skyggen af empirisk belæg for, at der er problemer?

Heldigvis er jeg ikke den eneste, der er træt af denne slags påstande, og jeg vil således opfordre alle til at frekventere denne tråd af Hans Redder. Kort fortalt har meningsmålingerne ikke så store problemer, som kritikerne fremhæver, og det er ingenlunde klart, hvad der skulle være et fornuftigt alternativ.

Når dette er sagt forstår jeg godt Michael Kristiansens frustration, der indleder indlægget. Han fremhæver et opslag fra Nye Borgerliges partileder, Pernille Vermund, der deler den seneste Gallup-måling, som giver partiet 4,8% af stemmerne. Som det kan ses i nedenstående figur, er den seneste Gallup-måling én meningsmåling, og denne måling ligger betydeligt over hvad især Voxmeter viser.

Der er dog intet nyt i, at politikerne gerne deler de meningsmålinger, der giver dem en større opbakning – og ignorerer de mindre gode. I 2015 viste jeg, at daværende partileder for Liberal Alliance, Anders Samuelsen, i højere grad delte meningsmålinger, der gav Liberal Alliance en stor opbakning.

Udfordringen her er dog ikke meningsmålingerne, men den måde meningsmålinger bliver brugt på. Når journalister og politikere har det med at fokusere på bestemte målinger – på bekostning af andre målinger – kan det give et skævt billede af virkeligheden.

Michael Kristiansen nævner ligeledes, at det er et problem, at meningsmålingerne i perioden fra oktober 2018 til valget i juni 2019 viste en stor udvikling i opbakningen til Dansk Folkeparti. Dette er der dog absolut intet mærkeligt ved. Tværtimod giver det god mening, når man, som Hans Redder også pointerer, tager de mange negative episoder, der ramte Dansk Folkeparti, i betragtning.

Her er opbakningen til Dansk Folkeparti i den pågældende periode (med 95% konfidensintervaller):

Der er som sagt intet mærkeligt ved dette, og det giver ingen mening at bruge denne udvikling i og for sig selv til at rette en kritik mod meningsmålingerne. Det er helt fint at være kritisk i forhold til meningsmålingerne, men det ville være at foretrække, hvis denne kritik var saglig og konstruktiv.

Vi kan i dette tilfælde konkludere, at Michael Kristiansens debatindlæg forurener den politiske debat langt mere end meningsmålingerne gør.

Kommentar i Berlingske: Meningsmålinger i medierne fordrejer virkeligheden

Har d.d. en kommentar i Berlingske sammen med Zoltán Fazekas. Den kan ligeledes læses online her.

I kommentaren fokuserer vi på det faktum, at ikke alle meningsmålinger har samme sandsynlighed for, at blive dækket af medierne. Der er med andre ord systematiske forskelle i, hvor meget medieomtale forskellige meningsmålinger får.

Som vi skriver:

Det er kun de færreste meningsmålinger, der viser en reel forandring fra én meningsmåling til den næste. Ikke desto mindre fandt vi, at den statistiske støj var udslagsgivende, og selv marginale ændringer har betydning for, om en meningsmåling bliver formidlet eller ej.

Kommentaren bygger på vores seneste forskningsartikel, publiceret i The International Journal of Press/Politics, der kan findes her.

Blev vi oversvømmet med meningsmålinger i valgkampen? #2

I forlængelse af mit seneste indlæg om antallet af meningsmålinger i valgkampen, har jeg talt med Fagbladet Journalisten omkring kvaliteten af dækningen af meningsmålinger.

Jeg kommer blandt andet med følgende pointe omkring meningsmålinger: “Meningsmålinger er ikke i sig selv ubrugelige. De har et formål. Men der er en naturlig grænse for, hvor meget information man faktisk kan få ud af dem”.

Artiklen kan findes her.