Erik Gahner Larsen

Er Socialdemokratiet gået tilbage i meningsmålingerne? #4

Hos TV 2 kan man læse, at en opsigtsvækkende meningsmåling fra Megafon antyder nye styrkeforhold i dansk politik. Konkret fremhæves det, at Socialdemokratiet og Venstre begge står til en mærkbar tilbagegang.

På baggrund af dækningen af Megafon-målingen hos TV 2 er det således nemt at tro, at den konkrete måling viser store forandringer. Dette er, som jeg vil vise i dette indlæg, slet ikke tilfældet. I artiklen står der først: “I en ny måling, som Megafon har foretaget for TV 2 og Politiken, går regeringspartiet 2,7 procentpoint tilbage sammenlignet med forrige måling.” Dette tal stemmer ikke overens med, hvad de rapporterer i figuren, hvor det er klart, at det blot er 2,1 procentpoint.

Det er relevant at sammenligne den nye Megafon-måling (fra august) med den forrige måling fra Megafon (fra maj). Når vi sammenligner en meningsmåling med et valgresultat, har vi kun en statistisk usikkerhed for meningsmålingen, men ikke for valgresultatet. Når vi sammenligner en meningsmåling med en tidligere meningsmåling, er det vigtigt at tage den statistiske usikkerhed for begge i betragtning.

Vi kan beregne den statistiske usikkerhed for forskellen mellem to andele ved hjælp af følgende formel, der giver os standardfejlen for forskellen mellem opbakningen til et parti i to forskellige meningsmålinger:

$$ \sqrt{p_{a}\frac{(1-p_{a})}{n_{a}} + p_{b}\frac{(1-p_{b})}{n_{b}}} $$

Hvor $ p_{a} $ og $ n_{a} $ er henholdsvis opbakningen til et parti (evt. 0,3 hvis partiet står til 30% af stemmerne) og stikprøvestørrelsen, begge i meningsmåling $ a $, og $ p_{b} $ og $ n_{b} $ er henholdsvis opbakningen til et parti og stikprøvestørrelsen i meningsmåling $ b $.

Denne usikkerhed kan vi så bruge til at se, om der er forskelle mellem to andele. Konkret kan vi multiplicere standardfejlen med 1,96, der giver os et 95% konfidensinterval, når vi lægger det til og fra forskellen mellem $ p_{a} $ og $ p_{b} $. Hvis du hurtigt vil sammenligne tallene fra to målinger men ikke gider at lave disse beregninger selv, kan du altid bruge denne service.

I nedenstående figur ser vi nærmere på, hvor store forskelle der er i partiernes opbakning i de to Megafon-målinger. Er der tale om en opsigtsvækkende meningsmåling, der antyder nye styrkeforhold i dansk politik? Nej.

I figuren kan vi se, at Socialdemokratiet er det parti, der går mest tilbage, men det er også det største parti, hvorfor den statistiske usikkerhed er større. Det står dog klart, at der ikke er tale om de store forandringer. Bemærk også, at TV 2 skriver, at tilbagegangen særligt gavner SF og Enhedslisten, der “begge går nævneværdigt frem”. Jeg har ingen anelse om, hvad det vil sige, at partierne går nævneværdigt frem.

Hvad jeg finder nævneværdigt her er det modsatte. Siden den seneste Megafon-måling, der fandt sted før sommerferien, har intet parti rykket sig nævneværdigt i meningsmålingerne. Dette er i tråd med min pointe i de forrige indlæg omkring opbakningen til Socialdemokratiet i de seneste meningsmålinger. Dette bekræftes også, når vi ser på meningsmålingerne fra Epinion. Hvis vi sammenligner den seneste meningsmåling fra Epinion med deres meningsmåling fra før sommerferien, ser vi en forskel i Socialdemokratiets opbakning på 0,0%.

Mit gæt er, at hvis alle andre meningsmålinger havde vist akkurat det samme som Megafons seneste måling, ville der ikke have været en historie. Derfor nævnes Berlingskes vægtede snit da også et par gange i artiklen, hvor det fremhæves, at målingen står i kontrast med hvad Berlingske Barometer viser. Det er interessant at TV 2 flere gange refererer til Berlingske Barometer, da Megafon har gjort hvad de kunne for ikke at være inkluderet i dette vægtede gennemsnit. Megafon (eller TV 2 eller Politiken?) ønsker ikke at bidrage til, at vi har den bedst tilgængelige viden om, hvad målingerne viser (ved at være inkluderet i Berlingske Barometer), men de har det fint med, at de bruges til at opsummere andre målinger. Det er helt til grin.

Som med tidligere indlæg jeg har skrevet om Socialdemokratiets opbakning i meningsmålingerne, savner jeg at se flere meningsmålinger, der systematisk viser en tilbagegang på tværs af institutterne, før jeg vil konkludere, at partiet ligger tættere på 25% end 30% af stemmerne. Flere medier synes dog at have det fint med at konkludere på baggrund af enkeltmålinger.

Hvorfor er flere respondenter ikke nødvendigvis bedre? #2

I 2011 skrev jeg et trivielt indlæg om, at flere respondenter ikke nødvendigvis er bedre i en meningsmåling, og ofte er værre, da det kan være et tegn på, at meningsmålingen ikke er repræsentativ. Hvis du ser en meningsmåling med 100.000 respondenter, kan du være ganske sikker på, at der er problemer.

I løbet af de seneste par dage har jeg tænkt på en anden grund til, at flere respondenter i og for sig selv ikke gør meningsmålingen bedre – selv hvis meningsmålingen i udgangspunktet er repræsentativ. Forklaringen herpå skal findes i, at der kan være mange respondenter i en meningsmåling, der angiver, at de ikke ved, hvad de vil stemme, at de nægter at stemme m.v., som ikke bruges til at udregne andelene i en meningsmåling.

Lad os eksempelvis antage, at vi har to meningsmålinger. Den ene meningsmåling har 1.000 respondenter, hvoraf 10% af disse ikke vil stemme på et parti. Den anden meningsmåling har 1.200 respondenter, hvoraf 30% af disse ikke vil stemme på et parti. Den anden meningsmåling har i udgangspunktet en mere imponerende stikprøve, men når man kigger på, hvor mange respondenter vi har, der har stemt på de forskellige partier, har vi en mindre stikprøve. Dette handler ikke om at vurdere, hvilken af meningsmålingerne der er bedst, blot at den stikprøvestørrelse du ser i en meningsmåling, og dermed den statistiske usikkerhed, ikke altid er retvisende.

Den statistiske usikkerhed i en meningsmåling påvirkes som bekendt af stikprøvestørrelsen. Jo flere respondenter, desto mindre usikkerhed. Du kan selv beregne den statistiske usikkerhed for et parti her.

Den seneste Voxmeter-måling kan fungere som et fint eksempel. Her er beskrivelsen af meningsmålingen:

Voxmeters politiske meningsmåling, offentliggjort den 8. november 2020, baserer sig på telefoninterview med 1.028 repræsentativt udvalgte personer 18 år+ og er gennemført i perioden fra d. 2. november 2020 til d. 7. november 2020.
Voxmeter afdækker i tabellen kun de personer, der ved, hvad de vil stemme, hvis der var folketingsvalg i morgen.
Ca 25,6% af de adspurgte var på det pågældende tidspunkt “i tvivl om partivalg”, “vil ikke stemme”, “vil stemme blankt” eller “er ikke stemmeberettiget”.
Tallene i parentes angiver forskellen i procentpoint fra folketingsvalget d. 5. juni 2019. Den maksimale usikkerhed på de enkelte partier i denne måling er på +/-2,8 % point.

Målingen har interviewet 1.028 danskere omkring deres partivalg og giver Socialdemokratiet 32,5% af stemmerne. Her er det interessante: De 32,5% er ikke et tal udregnet på baggrund af 1.028 repræsentativt udvalgte respondenter. De 32,5% er kalkuleret med udgangspunkt i et tal der er betydeligt lavere. Vi kan se i målingen, at ca. 25,6% af de adspurgte var i tvivl om deres partivalg, ikke ville stemme, vil stemme blankt eller ikke er stemmeberettiget. 25,6% af 1.028 er ~263, hvilket betyder at 263 respondenter ikke er medregnet i den stikprøve, som er brugt til at udregne de 32,5% til Socialdemokratiet. Stikprøven der er brugt til at udregne denne andel er ~765.

Dette er vigtigt når vi skal forholde os til den statistiske usikkerhed. Den statistiske usikkerhed for et parti med 32,5% af stemmerne med en stikprøve på 1.028 er som rapporteret omkring 2,8%. Men den statistiske usikkerhed for et parti med 32,5% af stemmerne, når tallet er udregnet med udgangspunkt i 765 respondenter, er 3,3%.

Jeg bruger ikke Voxmeter som eksempel fordi de har problemer. Tværtimod. Sammen med Megafon, der angiver andelen af respondeter, der er “i tvivl om partivalg eller ikke ønsker at stemme”, er de blandt de få institutter, hvor det er muligt at finde informationer som ovenstående i deres seneste meningsmålinger. Det er problematisk, at det er undtagelsen snarere end normen, at sådanne informationer formidles.

Kigger vi på meningsmålingerne fra Voxmeter og Megafon i 2020, kan vi se substantiel variation mellem institutterne i, hvor stor en andel af deres respondenter, der ikke angiver et partivalg.

Der kan være forskellige grunde til disse forskelle. For det første er det muligt, at Megafon gør mere for at presse et partivalg ud af deres respondenter (og eksempelvis gør mere for at respondenterne ikke kan vælge, at de vil stemme blankt). For det andet kan det skyldes metodiske forskelle i, hvordan respondenter udvælges og interviewes (via telefon eller over nettet). Det mest interessante er dog hvor begrænset variation der er hos Megafon, hvor andelen af respondenter uden et partivalg er noget nær konstant. Dette forekommer meget mystisk, da der også burde være usikkerhed omkring disse estimater. Variationen vi finder hos Voxmeter ser betydeligt bedre ud.

På baggrund af ovenstående kan vi se, at der vil være forskelle i, hvor stor den statistiske usikkerhed er for de forskellige partier, alt efter hvor stor en andel af respondenterne, der ikke har et partivalg. Jo større denne gruppe er, desto større en diskrepans vil der være mellem de rapporterede statistiske usikkerheder og den reelle statistiske usikkerhed for den rapporterede opbakning til et parti.

Dette minder mig om et indlæg jeg skrev i forbindelse med folketingsvalgkampen i 2015, hvor medierne rapporterede opbakningen til hhv. rød og blå blok, men brugte den maksimale usikkerhed for partierne til at sige noget om, hvorvidt der var forskel på rød og blå blok. Her kan man også sige, at dette vil være et større problem 1) jo tættere rød og blå blok er på 50% og 2) jo mindre det største parti i en måling er (når vi taler om den maksimale statistiske usikkerhed).

Heldigvis er det en norm, at medierne rapporterer noget så basalt som antallet af respondenter i en meningsmåling (i vores studie af folketingsvalg fra 2005 til 2011 fandt vi, at ~94% af meningsmålingsartiklerne formidlede denne information). Det er dog et problem, at det ikke er muligt at finde information om, hvor stor den reelle stikprøve i en meningsmåling er. Derfor skal der lyde en kæmpe ros til Voxmeter og Megafon for at dele sådanne tal. Man kan kun håbe, at de andre analyseinstitutter med tiden vil begynde også at offentliggøre disse tal, hvis de vil have, at man skal tage deres målinger seriøst.

Hvor mange vil stemme på Veganerpartiet?

Forleden kunne medierne rapportere, at Veganerpartiet har fået underskrifter nok til at stille op til folketingsvalget. Denne nyhed blev slået stort op. Ekstra Bladet gik eksempelvis – som andre medier og vanen tro – direkte til breaking news:

Efterfølgende har det dog været begrænset, hvor meget vi har hørt til partiet. Ikke desto mindre er et af de oplagte spørgsmål, hvor stor opbakning Veganerpartiet vil have blandt vælgerne. Når et nyt parti melder sin ankomst på den politiske arena, vil de første meningsmålinger være afgørende for, om et parti kan få momentum eller ej i den videre dækning af partiet.

Der kom dog ingen meningsmåling(er) i kølvandet på, at Veganerpartiet havde fået underskrifter nok til at stille op. Dette skyldes at ingen analyseinstitutter havde Veganerpartiet som en svarmulighed i deres målinger, før Indenrigsministeriet offentliggjorde, at de er opstillingsberettigede. Dette giver god mening, men der er flere eksempler på, at analyseinstitutterne har været interesseret i nye partiers vælgeropbakning før Indenrigsministeriet har bekræftet, at partiet kan stille op.

Vi har nu fået ni meningsmålinger fra fem forskellige analyseinstitutter, der giver bud på, hvor stor opbakningen er til Veganerpartiet. De fleste meningsmålinger er fra Voxmeter, der som bekendt kommer med en ny meningsmåling hver uge i den politiske sæson.

De fleste analyseinstitutter (Voxmeter, Epinion, Gallup og Megafon) vurderer, at Veganerpartiet står til at få omkring 0,5% af stemmerne. YouGov er vanen tro vores outlier her, der giver partiet 1,5% af stemmerne og udelukker dermed ikke, at partiets reelle opbakning kan være omkring 2% (og dermed over spærregrænsen).

Kigger vi på min seneste prognose vil jeg estimere, at partiets opbakning er på omkring 0,5%. Dette er langt fra spærregrænsen og viser, at det vil blive noget af en kamp for Veganerpartiet, hvis de skal blive repræsenteret i Folketinget efter næste valg.

Der er især tre grunde til, at jeg tror, at det vil blive svært for Veganerpartiet at blive valgt ind ved næste folketingsvalg. Og ingen af dem er afgrænset til deres politik eller deres kandidater, selvom dette selvfølgelig også vil være afgørende før, om vælgerne vil stemme på partiet.

For det første er små partier på den yderste venstrefløj ikke en mangelvare. Foruden Veganerpartiet har vi blandt andet Alternativet, Lykkepartiet og Nye Grønne. Det er ganske enkelt svært at se, at Veganerpartiet vil kunne mobilisere 2% af stemmerne med så mange andre partier på venstrefløjen. Selv Alternativet ligger nu stabilt under spærregrænsen, så der er ikke mange stemmer at høste der, og vælgerne på venstrefløjen skal være bekymret for potentielt stemmespild ved op til flere partier ved næste valg.

For det andet ligger partiet lavere end hvad meningsmålingerne har vist ved andre nye partier, der er stillet op til valg i løbet af de senere år. Her kan vi kigge på Alternativet, Nye Borgerlige, Klaus Riskær Pedersen, og Stram Kurs. Konkret ser vi her på hvad de første meningsmålinger viste for disse partier:

Som det kan ses var meningsmålingerne langt mere optimistiske, omend i mindre grad for Klaus Riskær Pedersen, der som bekendt heller ikke blev valgt ind ved valget i 2019. Overordnet var udgangspunktet i meningsmålingerne ganske enkelt bedre for de andre partier end tilfældet er for Veganerpartiet.

For det tredje er der lang tid til næste folketingsvalg. Den optimistiske læsning er, at det giver Veganerpartiet tid nok til at komme over de 2%, men min læsning er mere pessimistisk. Jeg udelukker selvfølgelig ikke, at partiet kan blive valgt ind ved næste valg, men hvis de ikke allerede kan præstere bedre i meningsmålingerne i en periode, hvor der trods alt har været fokus på, at de nu kan stille op, bliver det en hård proces at komme i nærheden af de 2%. De skal som minimum satse på at BT giver dem en platform (som de har gjort for partier på højrefløjen), hvor deres YouGov-målinger kan vise, at opbakningen til dem er stor. En indvending til mine overvejelser her er, at Nye Borgerlige stillede op lang tid før folketingsvalget, men dette er i min optik en anden situation. Nye Borgerlige var opstillingsberettiget i en periode, hvor den politiske dagsorden (e.g. flygtningekrise) gav dem bedre betingelser, hvorfor de kunne forblive relevante og aktuelle på den politiske scene. Dette ser jeg ikke som værende tilfældet for Veganerpartiet.

Der er vælgere, der vil stemme på Veganerpartiet, men de første meningsmålinger viser, at der er lang vej til de 2%.

Er Liberal Alliance gået tilbage på grund af Fremad?

På baggrund af et vægtet gennemsnit af meningsmålingerne rapporterer Altinget, at ”Liberal Alliance er faldet ned under spærregrænsen efter fremkomsten af partiet Fremad”. Der er tre basale problemer med denne påstand. Tre problemer indfanget i én sætning. Det må være en ny rekord.

For det første estimerer det vægtede snit, at Liberal Alliance ligger til 1,9 procent af stemmerne. Til trods for at den statistiske usikkerhed er mindre i vægtede snit (sammenlignet med enkeltmålinger), er vi ingenlunde nær et estimat med en usikkerhed, der ikke inkluderer spærregrænsen på 2 procent. Det vægtede snit tager eksempelvis ikke Megafon med i betragtning, og hvis den seneste måling herfra var med, ville partiet ligge på over 2 procent (og dagens Voxmeter estimerer Liberal Alliance til at ligge på 2,4 procent).

Det er således muligt, at partiet ligger over spærregrænsen, hvis man tager den statistiske usikkerhed i betragtning. Jeg kan i den forbindelse henvise Altinget til denne artikel hos Altinget.

For det andet er Liberal Alliance ikke faldet ned under spærregrænsen for nyligt. Partiet har ligget relativt stabilt omkring spærregrænsen siden valget uden tydelige indikationer på en udvikling. Nedenstående figur fra Politologi.dk viser faldet i opbakning efter valget, der ikke er en ny udvikling.

Figur 1: Opbakningen til Liberal Alliance

For det tredje er der intet der taler for, hvis Liberal Alliance ligger under spærregrænsen, at det er på grund af fremkomsten af partiet Fremad. Partiet Fremad er i meningsmålingerne, som i befolkningen som helhed, gået ubemærket hen. Voxmeter estimerer at supporten til Fremad blandt vælgerne ligger på omkring 0,1 procent. Derfor tyder intet på, at Fremad går fremad med direkte konsekvenser for opbakningen til Liberal Alliance.

Det er på den baggrund ikke muligt at konkludere, at ”Liberal Alliance er faldet ned under spærregrænsen efter fremkomsten af partiet Fremad”.

Er Venstre gået frem efter EP-valget?

Venstre endte med at få flest stemmer ved Europa-Parlamentsvalget. Det var således blot et spørgsmål om tid, før vi ville se en meningsmåling, der skulle fortælle om implikationerne af dette for det kommende folketingsvalg.

Denne meningsmåling har vi nu fået hos TV 2, der bringer nyheden om en ‘stor fremgang til Venstre‘. Konkret kobles dette sammen med EP-valget: “Bedst er det gået for Venstre i den første Megafon-måling efter søndagens valg til Europa-Parlamentet, hvor partiet overraskende sikrede sig fire mandater og blev Danmarks største parti i parlamentet.”

Her er problemet med denne tolkning: Der er ingen evidens for, at Venstre er gået frem (eller tilbage) i meningsmålingerne siden EP-valget. Faktisk er der intet der tyder på, at Venstre har bevæget sig i løbet af valgkampen. Figur 1 viser opbakningen til Venstre i de seneste syv meningsmålinger fra Megafon, hvor den stiplede linje viser datoen for EP-valget (26. maj).

Figur 1: Opbakningen til Venstre hos Megafon

Der er ganske enkelt intet i Megafons meningsmålinger, der tyder på, at Venstre har fået flere eller færre stemmer, når man tager den statistiske usikkerhed i betragtning. Figur 2 viser alle meningsmålinger foretaget i dagene op til og efter EP-valget, hvor der ligeledes ikke er noget der tyder på, at Venstre er gået hverken frem eller tilbage.

Figur 2: Opbakningen til Venstre før og efter EP-valget, alle institutter

Med andre ord er det forkert at konkludere, at Venstre har oplevet en stor fremgang på grund af EP-valget. En lidt bedre – men stadig forkert – tolkning af selvsamme meningsmåling så man hos Politiken, der kunne berette om, at Venstre “går lidt frem”.

Der var dog blot tale om en redigeringsfejl, hvorfor dette heldigvis blev ændret, så det nu hedder: “I den første måling fra Megafon efter valget til EU-Parlamentet fører oppositionen fortsat”.

Det er selvfølgelig muligt, at Venstres opbakning vil stige i de kommende meningsmålinger, men der er intet der taler for, at EP-valget har flyttet stemmer fra de andre partier til Venstre.

Er de Radikale stormet frem?

I Politiken kan man læse, at de Radikale er stormet frem siden valget. Konkret formidles det: “Siden valget har Radikale Venstre hentet en hel del opbakning blandt vælgerne. Det viser en ny Megafon-måling, hvor de står til 9,6 procent af stemmerne og dermed 17 mandater.”

9,6%! Er det virkelig der, de Radikale ligger i meningsmålingerne? Lad os straks se nærmere på, hvad meningsmålingerne rent faktisk viser.

Figur 1: Radikale i meningsmålingerne, 2015-

Nej, der er intet der tyder på, at de Radikale stormer frem. Figuren viser de Radikales opbakning fra seneste folketingsvalg frem til i dag, og der er intet der taler for, at der har været en stor fremgang til partiet. Der er blot tale om en journalist, der tager én meningsmåling fra Megafon og skriver en historie op på et tyndt – i værste tilfælde lodret forkert – grundlag.

Den radikale udenrigsordfører, Martin Lidegaard, udtaler på baggrund af meningsmålingen, at den er et tegn på, at det er ved at lykkedes for partiet, at komme ud med de positive politiske budskaber. Jeg ser dog nu snarere målingen som et tegn på, at Megafon igen er ude med en måling, man skal forholde sig ekstra kritisk til.

Målingen og dækningen heraf er blot endnu et eksempel til samlingen, hvor én outlier, altså en ekstrem meningsmåling, skrives op som en nyhed på bekostning af al anden evidens (i dette tilfælde alle andre meningsmålinger). Faste læsere af bloggen vil huske lignende tilfælde for andre partier. Eksempelvis da det i 2017 kunne rapporteres, at de Konservative stod til fremgang.

Figur 2: Konservative i meningsmålingerne, 2017

Eller hvad med historien om Dansk Folkeparti i 2017, der styrtdykkede i meningsmålingerne, hvis man skulle tro på TV 2. Her kunne man også se, at dette blot var et fænomen hos Megafon.

Figur 3: Dansk Folkepartis opbakning over 5 måneder i 2017

Eller hvad med historien fra 2016 om, at Socialdemokraterne mistede en fjerdedel af deres vælgere? Den meningsmåling diskuterede jeg med direktøren for Megafon på TV 2 News, hvor han gjorde det klart, at jeg selvfølgelig ikke havde adgang til de samme data, som de havde, hvorfor jeg ikke kunne udtale mig med samme sikkerhed om kvaliteten heraf. Det stod dog klart over de efterfølgende måneder, at Megafon havde ramt helt forbi. Det havde været pinligt for dem, hvis de rummede blot den mindste evne til selvkritisk reflektion, endsige hukommelse.

Og som et sidste eksempel havde vi tidligere på året nyheden om, at Socialdemokraterne var gået tilbage siden folketingsvalget. Denne historie blev ligeledes skrevet udelukkende på baggrund af én måling fra Megafon og var ligeledes ikke et kønt syn i en forvejen miserabel dækning.

Figur 4: Socialdemokratiets opbakning i meningsmålingerne, januar-juli 2018

På baggrund af disse historier er jeg sikker på, at det kun er et spørgsmål om tid, før Megafon og enten TV 2 eller Politiken vil bringe en nyhed om et parti, der går ekstremt frem eller tilbage i målingerne én måling. Denne historie vil bære præg af 1) ikke at kunne spores i andre målinger og 2) ikke at holde vand i efterfølgende målinger.

Hvad skal man så gøre? For det første skal man holde øje med de vægtede snit i stedet for enkeltmålinger (evt. Berlingske Barometer). For det andet skal man undersøge hvordan en enkeltmåling ligger i forhold til andre målinger (evt. via mit overblik her).

Er Socialdemokratiet gået tilbage siden folketingsvalget?

Hos Politiken kan man læse, at “Socialdemokratiet går tilbage i ny meningsmåling”. Artiklen bærer titlen “Efter enegang: Socialdemokratiet er gået tilbage siden folketingsvalget, viser ny måling”. Lad os kigge nærmere på den nye måling.

Som altid – når der er en ny måling – er det vigtigt at placere den i den rette kontekst. Ingen måling står sig godt ud alene, hvorfor Figur 1 viser Socialdemokratiets opbakning i målingerne fra 2018, hvor jeg ligeledes har angivet, hvilken der er den nyeste fra Megafon.

Figur 1: Socialdemokratiets opbakning i meningsmålingerne, 2018

Socialdemokratiet fik som bekendt 26,3% af stemmerne ved folketingsvalget i 2015. I omtrent alle målinger foretaget i år ligger Socialdemokratiet på niveauet omkring folketingsvalget eller højere. Der er ingen systematisk evidens for, at Socialdemokratiet er gået tilbage siden valget.

Det eneste sted vi finder denne historie er i en artikel om én måling fra Megafon. For et par år siden var jeg ude og kritisere Megafons målinger (og dækningen af samme) i forhold til Socialdemokraternes opbakning, og intet tyder på, at det er blevet meget bedre. Det kan undre mig, at journalister og politiske kommentatorer hopper i med begge ben.

Endnu mere interessant er det da også, at artiklen forsøger at koble denne tilbagegang på Mette Frederiksens udmelding om ikke at danne regering med Det Radikale Venstre: “Målingen kommer, efter at partiformand Mette Frederiksen annoncerede, at hun vil gå til valg på at danne en regering kun bestående af Socialdemokratiet. Dermed ønsker hun at droppe 25 års parløb med Det Radikale Venstre.”

Hvorfor er dette interessant? Fordi der ikke er nogen evidens for et statistisk signifikant fald i meningsmålingerne fra den forrige Megafon til den seneste fra samme institut. I den forrige måling fra Megafon (fra 31. maj) fik Socialdemokratiet 25,1% af stemmerne. Som altid kan jeg anbefale denne side, hvor du kan indtaste tal fra to målinger og få svar på, om der er en signifikant forskel mellem to målinger. Det er der ikke i nærværende tilfælde.

Artiklen hos Politiken afsluttes blandt andet med ordene: “Politiken har forsøgt at få en kommentar fra Nicolai Wammen, politisk ordfører for Socialdemokratiet. Han er ikke vendt tilbage”. Dette er der absolut intet at sige til, når det vedrører den slags jammerlige målinger fra Megafon.

Hvorfor styrtdykkede Dansk Folkeparti i meningsmålingerne?

Hos TV 2 er man i fuld sving med at perfektionere kunsten at skabe noget ud af intet. Dette er smukt at studere, som et andet kunstværk, eksempelvis Guernica, men det har intet med god journalistik at gøre. På det seneste har man således set TV 2 finde store politiske historier i tilfældig støj, eksempelvis i forbindelse med opbakningen til de Konservative og Socialdemokraterne. Nu er det så Dansk Folkepartis tur.

I løbet af sommerferien kunne TV2 rapportere, at Dansk Folkeparti stod til at få 13,3% af stemmerne. Samme måling dannede udgangspunkt for en artikel hos Politiken om Dansk Folkepartis nedtur i målingerne. Hvorfor tabte Dansk Folkeparti så mange stemmer? Anders Langballe udtalte til TV 2: “Det er svært at sige, hvad der giver den mekanisme, men noget kan tyde på, at DF taber på de meldinger, de kommer med sammen med S”. Forkert. Der er tale om enkeltstående målinger.

Da målingen kom forudsagde jeg, at den næste måling ville vise, at Dansk Folkeparti ville have en større opbakning (regression toward the mean). Nu har vi så fået den næste måling fra Megafon, og her går Dansk Folkeparti selvfølgelig frem. Dette får lige så selvfølgeligt ikke ét ords omtale hos TV 2. Figur 1 viser Dansk Folkepartis opbakning i meningsmålingerne over de seneste 5 måneder. Bemærk at Megafon skyder langt under hvad andre respekterede institutter giver Dansk Folkeparti af opbakning.

Figur 1: Dansk Folkepartis opbakning over 5 måneder

I et interview til TV 2 i forbindelse med den første Megafon-måling sagde Peter Skaarup: “Den her måling virker godt nok skæv, for hvis vi kigger på det gennemsnit der er af de her målinger, der løbende kommer, så ligger Dansk Folkeparti på et bedre niveau. På en 18-19 procent. Og det viser de andre målinger, der også er lavet over de seneste uger. Så jeg kan ikke rigtigt finde nogen forklaring på, hvorfor den her ligger så forholdsvist anderledes.”

Til dette burde en kompetent journalist kunne svare, at det nok skyldes den statistiske usikkerhed. På TV 2 spørger journalisten i stedet: “Er det ikke bare fordi du ikke kan lide budskabet, måske, Peter Skaarup?”. Hvortil han korrekt svarer: “Nej, det er det faktisk ikke. Og jeg tror også man skal passe på med at lægge for meget i én måling eller to for så vidt. Og det gælder både pressen og os politikere.” Spot on.

Der er statistisk støj og systematiske forskelle mellem institutterne, der gør, at man skal være varsom med at konkludere for meget på baggrund af én meningsmåling. Denne pointe har jeg formuleret i et tocifret antal indlæg (de fleste her på siden), hvorfor man som tilskuer til mediernes formidling af meningsmålingerne nemt kan føle sig som deltager i en nyfortolkning af Groundhog Day.

Derfor kan det også være interessant at dvæle lidt ved, hvad der gør det svært at ramme især Dansk Folkeparti korrekt i disse måneder. En del af udfordringen er her, at det generelt er svært at sige, hvor stor opbakningen er til de respektive partier på den yderste højrefløj. Jeg har flere gange fremhævet dette i forbindelse med opbakningen til Nye Borgerlige (se her, her, her, her og her).

Her kan vi kigge nærmere på meningsmålingerne fra 2017. I denne periode har Nye Borgerlige været en del af mediernes dækning længe nok til at vi kan konstatere, at der ikke længere er tale om et helt nyt parti, men hvor institutterne stadig har svært ved at ramme Nye Borgerliges opbakning blandt vælgerne. Her ser vi da også, at denne opbakning relaterer til sig opbakningen til Dansk Folkeparti. Figur 2 viser opbakningen til Dansk Folkeparti på x-aksen og opbakningen til Nye Borgerlige på y-aksen.

Figur 2: Relationen mellem Dansk Folkepartis og Nye Borgerliges opbakning

Korrelationen mellem opbakningen til henholdsvis Dansk Folkeparti og Nye Borgerlige er -0,7. Dette vil sige, gennemsnitligt betragtet, at når Nye Borgerlige står godt i en meningsmåling, står Dansk Folkeparti dårligt. Når vi ved hvor svært institutterne har ved at komme med et reelt bud på, hvor stor opbakningen er til Nye Borgerlige (den seneste Voxmeter giver partiet 0,6% af stemmerne, den seneste Megafon 3,5%), vil dette også give nogle udsving i Dansk Folkepartis opbakning, der ikke kan tilskrives reelle vælgervandringer.

Dette er selvfølgelig ikke det samme som at sige, at vi ikke skal kunne komme med kvalificerede bud på, hvor stor opbakningen er til Dansk Folkeparti, ej heller Nye Borgerlige, men at vi – når der er bestemte udfordringer forbundet hermed – skal være endnu mere påpasselige med blindt at tro på enkeltmålinger.

Hvorfor styrtdykkede Dansk Folkeparti så i meningsmålingerne? Det korte svar: fordi TV 2 siger det. Det gør det dog ikke til en korrekt påstand. Der er ingen evidens for, at Dansk Folkeparti har ligget på omkring 13% af stemmerne, og det bør være journalisternes opgave at korrigere den opfattelse, snarere end at underbygge den med Megafon-målinger, politiske kommentatorer, halvstuderede analyser m.v.

Hvor stor er Pape-effekten?

Da Søren Pape Poulsen i 2014 afløste Lars Barfoed som politisk leder for de Konservative, kunne BT rapportere, at “10 pct. af vælgerne overvejer at stemme på De Konservative”. Artiklen kaldte det for Pape-effekten, altså en fremgang til partiet, der kunne tilskrives den nye partileder.

Hvor stor var denne Pape-effekt? Figur 1 viser hvordan det gik de Konservative i meningsmålingerne, efter Søren Pape tiltrådte som ny formand for partiet. Den stiplede linje i figuren angiver tiltrædelsesdatoen. Overordnet betragtet er det ikke til at se, at der har været en klar og synlig positiv effekt af, at Søren Pape tiltrådte som partileder.

Figur 1: Konservative i meningsmålingerne, juli 2014-maj 2015

Dengang lå partiets opbakning på mellem 5 og 6 procent i meningsmålingerne. Over de seneste par år er partiet blot faldet mere i målingerne, og vi har været et pænt stykke fra at nå det niveau, partiet lå på, da Søren Pape Poulsen blev formand.

Ganske interessant er dette ikke den eneste gang, der er blevet talt om en Pape-effekt. I den seneste Megafon-måling ligger Konservative til at få hele 5,8 procent af stemmerne. Figur 2 viser de Konservative i meningsmålingerne her i 2017, med en angivelse af, hvor den seneste Megafon-måling befinder sig i forhold til de andre målinger.

Figur 2: Konservative i meningsmålingerne, 2017

Dette bliver i artiklen hos TV 2 kaldt for en klar Pape-effekt: “Konservative står til fremgang. Og det er i høj grad, Søren Pape Poulsens fortjeneste”. Journalist Peter Lautrup-Larsen konkluderer således, at: “Det er afgjort en Pape-effekt. Han er blevet minister på et område, der passer ham og de konservative værdier.”

Der er tre interessante aspekter ved påstanden om en ny Pape-effekt. For det første er det svært at se en stigning i de målinger, der har været i de første måneder i 2017. Dette rejser det interessante spørgsmål, hvad der helt præcist gør, at der er tale om en effekt af noget som helst. For det andet er partiets opbakning i bedste fald på niveau med, hvordan partiet lå, da Søren Pape Trådte til som formand. Der er med andre ord tale om en meningsmåling, hvor de Konservative måske er ved at være på det niveau, de lå på, da Søren Pape blev formand. For det tredje er der ingen evidens for, at hvis der er tale om en fremgang til partiet, kan den tilskrives Søren Pape. Det kan skyldes et hav af andre begivenheder, herunder blandt andet utilfredshed med Liberal Alliance.

Til dette skal det selvfølgelig tilføjes, som det også kan læses af Figur 2, at Megafon-målingen er den mest ekstreme, der har været i 2017. Der er potentielt set rigtig meget støj og meget lidt signal i målingen, og det er i bedste fald fyldt med betydelige forbehold at konkludere, at der afgjort er tale om en Pape-effekt.

Mistede Socialdemokraterne en fjerdedel af deres vælgere?

I slutningen af januar fik én bestemt meningsmåling opmærksomhed på alle sendeflader. Målingen viste, at Socialdemokraterne gik tilbage med syv procentpoint. Mere specifikt fra 26,3 procent til 19,3 procent. Meningsmåling blev foretaget af Megafon for TV2 og Politiken.

Syv procentpoint er meget. Mere end en fjerdedel af, hvad Socialdemokraterne stod til at få tilbage i november hos Megafon. Nyheden om at Socialdemokraterne gik tilbage med syv procentpoint fik af samme grund omtale hos blandt andre MetroXpress, Information, Ekstra Bladet, Berlingske, TV2 (igen), Fyens Stiftstidende, BT og sågar i udlandet. Hos Politiken valgte man at bruge anledningen til også at følge op med et par artikler omkring tallene bag vælgertabet og de sidste 20 års største vælgerskred.

Asger H. Nielsen, direktør for Megafon, udtalte til TV2, at han var 100% sikker på, at meningsmålingen var korrekt. De havde sågar lavet en såkaldt kontrolmåling, for at være sikker på, at målingen var valid. Med andre ord var selv Megafon overraskede over resultatet. Tallene fra målingen er som illustreret:

Det interessante ved målingen, og grunden til at journalister elsker målinger som den fra Megafon, er, at historierne står i kø for at blive fortalt. Politisk kommentator Søs Marie Serup får eksempelvis hele syv historier ud af målingen, herunder at “Dansk Folkeparti er Danmarks største parti. Succesen er ikke forbigående!”

Når der er så mange historier i én måling, altså så mange store forandringer, er der grund til at være ekstra skeptisk. Vi ved, at når én måling viser noget ekstremt, er sandsynligheden for, at det er korrekt, minimal. I forhold til den journalistiske dækning er det paradoksale, som jeg pointerede for nogle år siden i Berlingske, at de forkerte målinger netop er kendetegnet ved, at de får ekstra meget omtale.

Fredag, dagen efter Megafons måling var blevet præsenteret i 22 Nyhederne på TV 2, kom der en meningsmåling fra Greens for Børsen, der viste, at Socialdemokraterne ikke gik tilbage. Denne måling fik ikke lige så meget omtale som Megafons, men formåede dog heldigvis at blive dækket af blandt andre Jyllands-Posten, Information, Metroxpress og Berlingske.

Dette førte til nogen forvirring, og på den baggrund var jeg med i TV2 News fredag aften. Her havde jeg to pointer. For det første, at Megafons kontrolmåling ikke var nogen garanti for validiteten. Kontrolmålingen viste blot, at Megafon havde været i stand til at ramme det samme estimat to gange i træk, altså opbakningen til Socialdemokraterne, men ikke at man havde ramt bullseye. For det andet at man – som altid – bør være varsom med at tolke for meget ud af enkeltmålinger. Det er med andre ord vigtigt i situationer hvor én måling viser noget ekstremt, at være åben for det mulige scenarie, at kommende målinger ikke ville bekræfte de ekstreme tendenser, og i de fleste tilfælde decideret afkræfte dem.

Samme dag blev det meldt ud fra Megafon, at man var fagligt inkompetent, hvis man ikke kunne se forskellene på Greens og Megafons målinger. Mandag den 1. februar gav Martin Vinæs Larsen fra Københavns Universitet fem grunde til, at man skulle tvivle på Megafons måling, og Megafons direktør, Asger H. Nielsen, gav fire grunde til at tro på Megafons måling.

Den ugentlige Voxmeter-måling, også fra om mandagen, viste, at der ikke var noget, der tydede på, at Socialdemokraterne gik tilbage. Voxmeter-målingen, der bliver foretaget for Ritzau, fik omtale hos BT, Fyens Stiftstidende og Politiken. Det interessante er, at til trods for at nogle medier dækkede både Greens og Voxmeters målinger, kom de ikke i nærheden af at få lige så meget omtale som Megafons måling, og slet ikke på print og i TV. Dette skyldes blandt andet, at det er nemmere at skrive opfølgende historier, der bygger på forandring. Det er nemmere at få en kommentar fra et utilfreds S-bagland, når Socialdemokraterne går tilbage, end det er at få en kommentar, når der ikke er sket noget som helst.

Megafon plejer at gennemføre en meningsmåling i slutningen af hver måned, men i februar, mere specifikt torsdag den 11. februar, kom der en ny måling, hvor Socialdemokraterne af uransaglige årsager går frem. Dette på trods af diskussioner omkring intern uro i partiet, blandt andet affødt af den ekstreme måling fra Megafon.

Siden da har vi set endnu en måling fra Megafon, der viser, at Socialdemokraterne ligger på omkring de 24 procent, som de har gjort i flere måneder. Det samme mønster, bare uden en ekstrem måling, finder man i hos de andre analyseinstitutter. I lørdags (den 5. marts) havde jeg derfor en analyse i Politiken, der inkluderede nedenstående figur:

I analysen, der ikke er online, skriver jeg således om de efterfølgende målinger og formidlingen af dem:

Når det gælder Megafon, er det især instituttets efterfølgende målinger, der er interessante. Her får Socialdemokraterne, af uransagelige årsager, et opsving i begge målinger. Det bedste gæt er, at det blot er en langsom tilbagevenden til den reelle opbakning, som partiet har, og som alle andre meningsmålinger viser.

Det triste er så, at landets journalister ikke har dedikeret lige så megen tid til at formidle lige netop disse aspekter. Der er med andre ord en klar asymmetri, der gør det svært at dræbe myter om store partivandringer. Når én meningsmåling viser noget ekstremt, får den masser af opmærksomhed, men når forudgående og efterfølgende meningsmålinger afkræfter den pågældende måling, er journalisterne med få undtagelser tavse.

Her står vi så: Det har ingen konsekvenser, når journalisterne går i selvsving i forbindelse med en ekstrem måling. Medierne, såvel som analyseinstitutterne, har endda klare incitamenter til at skabe så meget omtale som muligt, uafhængigt af, om en meningsmålingen så ellers er korrekt.

Megafon fik masser af omtale, og alle – med undtagelse af et par politologer, der går op i meningsmålinger – har glemt alt om målingen. Tilbage er der blot at vente på den næste ekstreme måling, der kan rydde sendefladen. Vi har set det før, vi har set det igen med Megafons måling, og vi kommer til at se det igen. Desværre.