I forlængelse af mit seneste indlæg om antallet af meningsmålinger i valgkampen, har jeg talt med Fagbladet Journalisten omkring kvaliteten af dækningen af meningsmålinger.
Jeg kommer blandt andet med følgende pointe omkring meningsmålinger: “Meningsmålinger er ikke i sig selv ubrugelige. De har et formål. Men der er en naturlig grænse for, hvor meget information man faktisk kan få ud af dem”.
Artiklen kan findes her.
Lisbeth Knudsen kom før valget med følgende profeti: “Når valget udskrives, vil vi igen blive oversvømmet af meningsmålinger.”
Blev vi igen oversvømmet med meningsmålinger? Det er et svært spørgsmål at besvare. Dette da nogen helst ser et komplet fravær af meningsmålinger, hvorfor mere end nul meningsmålinger er for mange meningsmålinger.
Vi kan dog se nærmere på, hvor mange meningsmålinger vi fik under denne valgkamp og sammenligne dette med tidligere valgkampe. For fire år siden hjalp jeg Politiken med at kigge på antallet af meningsmålinger i en historisk kontekst, hvor det kunne ses, at vi har fået flere meningsmålinger over tid.
Derfor ville en simpel lineær ekstrapolation fortælle os, at vi skulle forvente et hav af meningsmålinger under denne valgkamp, hvis vi skulle toppe tidligere valgkampe – og blive oversvømmet med meningsmålinger.
Her kigger jeg på de tre seneste folketingsvalg, hvor jeg har fyldestgørende data: 2011, 2015 og 2019. I Figur 1 vises de dage, der dækker de respektive valgkampe i 2011, 2015 og 2019, samt antallet af meningsmålinger for hver dag.
Figur 1: Antallet af meningsmålinger i valgkampene
Figuren viser at vi i 2011 og 2015 havde dage i valgkampen med omkring 7-8 daglige meningsmålinger. Dette så vi ikke i 2019. Generelt var der langt flere målinger i 2011 og 2015 end i 2019. Der er derfor – relativt betragtet – ingen evidens for, at vi blev oversvømmet med meningsmålinger i 2019.
En del af forklaringen på dette kan være, at vi i 2019 havde en lang valgkamp. Det ville være voldsomt at have over fem daglige meningsmålinger i løbet af en måned. Dette kan dog ikke være den eneste forklaring, da flere medier meldte ud forud for valgkampen, at de ikke ville foretage mange meningsmålinger.
I 2011 så vi i løbet af valgkampen 114 meningsmålinger (5,7 meningsmålinger om dagen), i 2015 så vi 129 meningsmålinger (5,9 meningsmålinger om dagen) og i 2019 fik vi (relativt) beskedne 74 meningsmålinger (2,5 meningsmålinger om dagen).
Det var især YouGov og Voxmeter, der med tæt på daglige meningsmålinger, bidrog til størstedelen af de meningsmålinger, vi havde til rådighed i løbet af valgkampen. De andre analyseinstitutter foretog meningsmålinger få gange i løbet af valgkampen, der alt bidrager til et gennemsnit på 2,5 daglige meningsmålinger.
Det kan som sagt altid diskuteres, hvad der konstituerer mange og få meningsmålinger, men der er intet der taler for, at vi blev oversvømmet med meningsmålinger i denne valgkamp.
Folketingsvalget er overstået. Vi kan nu langt om længe vurdere, hvordan meningsmålingerne har klaret sig. I dette indlæg kigger jeg nærmere på det netop overståede folketingsvalg. For en historisk gennemgang af hvordan meningsmålingerne har klaret sig i en dansk sammenhæng, se dette arbejdspapir af Martin Vinæs Larsen.
Kigger vi på meningsmålingerne ved dette valg er det ikke udelukkende et spørgsmål om, hvorvidt meningsmålingerne som kategori ramte rigtigt, men i lige så høj grad et spørgsmål om, hvilke meningsmålinger, der ramte rigtigt.
Meningsmålingerne har været uenige om især opbakningen til Nye Borgerlige, da analyseinstitutterne har placeret dem fra under spærregrænsen til omkring 5-6% af stemmerne. Disse forskelle har været systematiske over tid og kan ikke tilskrives tilfældigheder.
For at se nærmere på, hvordan de respektive institutter præsterede ift. de forskellige partier, viser Figur 1 meningsmålingerne foretaget i valgkampens sidste dage og valgresultatet for de forskellige analyseinstitutter.
Figur 1: Meningsmålinger og valgresultatet
Overordnet betragtet klarede meningsmålingerne sig ganske fint (jo tættere partierne er på den stiplede linje, desto mere præcist ramte de). Denne pointe bringer jeg også til bordet i denne artikel hos Altinget. Der var dog enkelte partier, meningsmålingerne havde svært ved at ramme præcist. Dette var blandt andet Venstre og Dansk Folkeparti, hvor meningsmålingerne undervurderede førstnævnte og overvurderede sidstnævnte.
Det er ligeledes interessant at kigge på, hvor langt de forskellige meningsmålinger var fra at ramme valgresultatet. Til at undersøge dette kan vi se på den gennemsnitlige numeriske forskel mellem hver meningsmåling og valgresultatet (alternativt kan man kigge på kvadratroden af den gennemsnitlige kvadratafvigelse, der normalt giver lignende resultater).
Dette mål viser hvor meget en meningsmåling i gennemsnit, for hvert parti, ramte forbi. Foruden meningsmålingerne indsamlede jeg de vægtede snit og exit polls, der var tilgængelige på valgaftenen. Figur 2 viser afvigelsen mellem diverse målinger og det endelige valgresultat.
Figur 2: Afvigelse mellem målinger og resultat
Som det kan ses, havde Epinion og Gallup de mest korrekte meningsmålinger. De største afvigelser finder vi hos YouGov, der eksempelvis gav 4,7% til Nye Borgerlige, 11,3% til Dansk Folkeparti, 3% til Stram Kurs og 18,6% til Venstre. Alle estimater der lå et pænt stykke fra det endelige valgresultat. Dette fører til, at YouGov var valgets store taber.
Et af de store spørgsmål i løbet af de seneste år har været, om YouGov eller andre analyseinstitutter har haft ret, når YouGov systematisk har givet Nye Borgerlige en større andel af stemmerne end de andre institutter. De seneste Voxmeter-måling gav 2,7% til Nye Borgerlige og 9,2% til Dansk Folkeparti. Disse tal giver mig umiddelbar anledning til at vurdere, at YouGov systematisk har overvurderet Nye Borgerlige.
Vi ser ligeledes at meningsmålingerne klarede sig lige så godt som TV 2s og DRs exit polls (og bedre end BTs exit polls – foretaget af YouGov). De vægtede snit klarede sig også relativt godt, men her er der flere interessante aspekter at forholde sig til.
For det første er det vigtigt at huske på, at intet vægtet snit er bedre, end de meningsmålinger, vi fodrer de vægtede snit med. Når YouGov er inkluderet, vil det selvsagt påvirke det vægtede snit. Udfordringen er, at vi ikke kan sige med sikkerhed før valget, om nogle meningsmålinger rammer helt skævt (vi kan kun korrigere for dette).
For det andet siger ovenstående tal intet om usikkerheden. Nogle af disse vægtede snit kommer ikke med statistisk usikkerhed, hvorfor det kan være svært at sammenligne kvaliteten af disse estimater. Styrken ved de vægtede snit ligger især i formidlingen af meningsmålinger, hvor der er fokus på, at vi kigger på flere meningsmålinger – og den statistiske usikkerhed.
For det trejde – og som ikke er at se i ovenstående figurer – lå Norstat et pænt stykke fra valgresultatet. Det har fået Jyllands-Posten til at droppe meningsmålingerne, eller som Jacob Nybroe, ansvarshavende chefredaktør for avisen, udtaler: “Derfor kommer vi, foreløbigt og med øjeblikkelig virkning til at indstille brugen af meningsmålinger, der måler på Folketingets sammensætning”.
Jeg forstår dog ikke denne beslutning eller kritikken af Norstat. Norstat foretog ikke nogen meningsmåling i dagene op til valget (deres seneste meningsmåling blev indsamlet 31. maj). Jeg inkluderede derfor heller ikke Norstat i ovenstående figurer (og heller ikke Greens, der foretog en meningsmåling nogle dage før valget), da det ville være at sammenligne forskellige målinger, der siger noget om partiernes opbakning på forskellige tidspunkter.
Da jeg talte med en journalist fra Ritzau, tog jeg da derfor også Norstat i forsvar og pointerede blandt andet, at vælgerne kan “ændre deres planer om, hvem de vil stemme på i løbet af de sidste dage op til valget” (kan blandt andet læses hos BT, Jyllands-Posten og Kristeligt Dagblad).
Hos P1 Orientering pointerede jeg ligeledes det væsentlige problem i, at sammenligne en meningsmåling foretaget i slutningen af maj med de seneste målinger fra andre institutter. Det der overraskede mig her er, at Jacob Nybroe kunne informere mig om, at de udelukkende havde bedt Norstat om at komme med et korrekt bud på et valgresultat. Derfor undrer det mig betydeligt, at man har foretaget en meningsmåling i slutningen af maj i stedet for i dagene op til 5. juni.
Hvorfor fokuserer jeg så meget på disse dage op til valget? Dette fordi der er flere forhold, der får mig til at tro, at valgkampens sidste dage har givet analyseinstitutterne bedre betingelser for at ramme valgresultatet. Dette kan skyldes, at vi opfanger bevægelser i dagene op til valget, at vælgerne er mere sikre på, om de vil stemme og hvem de vil stemme på osv.
Kigger man således på de vægtede snit, tror jeg at de mere konservative vægtede snit har haft sværere ved at opfange disse ændringer i de sidste dage (især når man ikke inkluderer al tilgængelig data, i.e. Megafons meningsmålinger).
Kasper Møller Hansen har desuden regnet på, hvordan snittet ville se ud med de ekstra meningsmålinger i Risbjerg-snittet (altså meningsmålingerne foretaget lige op til valget). Denne opdaterede prognose giver en gennemsnitlig afvigelse, der er at sammenligne med Politologi Prognose. Dette indikerer at de meningsmålinger, der lå tættest på valget, var brugbare til at forudsige valgresultatet.
En interessant undtagelse her er YouGov, der var tættere på at ramme valgresultatet en uge før valget end dagen før valget. Givet de fluktuationer, der har været i deres meningsmålinger (herunder også i BTs dækning heraf), er jeg dog tilbøjelig til at konkludere, at det er mere held end forstand.
Det er ligeledes værd at bemærke, at meningsmålingerne havde problemer med at forudsige EP-valget kort tid forinden folketingsvalget, hvor det også var en udfordring at estimere opbakningen til blandt andet Venstre. Dermed ikke sagt, at det har været de samme problemer for analyseinstitutterne ved de to valg, men der er klart tale om noget, de skal kigge nærmere på.
Meningsmålingerne klarede sig ganske fint ved dette valg. De kunne have gjort det bedre, men de gjorde et fint stykke arbejde. Den store forbedring ift. seneste valg har været i formidlingen – ikke deres kvalitet. Med andre ord er medierne blevet betydeligt bedre til at formidle meningsmålinger (som jeg også gjorde det klart i Presselogen før valget).
Der går som regel ikke en uge uden en meningsmåling, man skal forholde sig til. Personligt sidder jeg i mit eget lille hjørne af internettet og observerer meningsmålingerne, efterhånden som de bliver offentliggjort. Disse gemmer jeg i mit datasæt med meningsmålinger og lader derefter som om, at verden er den samme. Dette er nemt, da verden som regel er den samme. Men hvordan kan vi få det hele til at gå op i en højere enhed, når journalister skal formidle én ny meningsmåling, der helst skal vise, at verden ikke er den samme?
Nogle gange ringer en journalist og vil sludre lidt om meningsmålingerne og vind og vejr og vægtede snit. Over årene er det hændt, at visse journalister vil vide noget om én bestemt meningsmåling, hvor jeg bliver bedt om en kommentar til, hvorfor et parti er gået frem eller tilbage eller står i stampe. Her afviser jeg altid at kommentere og henviser i stedet til klogere fagfæller.
En af de væsentlige udfordringer for journalister er, at der er flere meningsmålinger, end der er nyheder. Når der bliver gennemført en meningsmåling, er der ganske enkelt sket for lidt siden sidste meningsmåling til, at der er nogen nyhed at rapportere.
Kort fortalt konsumerer nogle medier meningsmålinger som var de flødekager. Vi ved, at de ikke skal nydes alt for ofte, men de smager bare så fandens godt. Senere vil jeg vise, at hvis meningsmålinger i denne valgkamp var flødekager, og de danske medier en folkeskoleklasse, ville BT være klassens tykke dreng.
Faste læsere vil vide, at jeg forsøger at holde indlæg af typen “her er en meningsmåling, hvor den statistiske usikkerhed ikke tages i betragtning” på et minimum. Der går dog ikke en valgkamp, uden at jeg får publiceret et indlæg eller to med eksempler på dette (se eksempelvis her for valgkampene i 2019, 2015 og 2011).
Der er forskellige måder hvorpå man kan forholde sig til den statistiske usikkerhed. Én metode er at se på flere meningsmålinger på en og samme tid. Det er grundtanken bag Politologi.dk, der viser de 100 seneste meningsmålinger.
En anden metode er de vægtede gennemsnit. Her har vi eksempelvis Berlingske Barometer, Djøfs Barometer og Politologi Prognose (se denne artikel hos DMJX for en introduktion til sidstnævnte).
Ingen af disse vægtede snit er perfekte, og jeg er overbevist om, at vi i morgen nok skal se nogle fejl i meningsmålingerne, som de vægtede snit ikke fanger. Der er med andre ord svagheder ved disse metoder, som vi først kan gøre os klogere på torsdag.
Desuagtet eventuelle svagheder ved at se på flere målinger og vægtede snit, er der den værste af alle metoder i en valgkamp: Daglige meningsmålinger fra ét institut, der alle skal gøres til nyheder. Disse så vi flere af i 2015-valgkampen, men det er min opfattelse, at vi heldigvis i overvejende grad har været fri for disse i løbet af den igangværende valgkamp.
Der er dog en undtagelse. Denne undtagelse hedder BT og har i løbet af valgkampen rapporteret et tocifret antal YouGov-målinger, hvor der er en ny vinkel på næsten daglig basis.
Jeg kunne have skrevet et dagligt indlæg om dagens BT-bommert, men det ville hurtigt blive et repetitivt fuldtidsjob, hvorfor jeg har valgt blot at samle nogle eksempler i dette indlæg, der med al tydelighed vil vise, at der i BTs dækning ikke har været tale om en enlig svale, når de har formidlet meningsmålinger på den værst tænkelige måde.
Det skal tilføjes, at jeg i dette indlæg lader som om, at der kun findes meningsmålinger fra YouGov. Tager vi andre meningsmålinger i betragtning, bliver min argumentation kun stærkere, men det er ingenlunde nødvendigt her.
Lad os begynde med SF. De har ligget på 7-9% hos YouGov i en stor del af valgkampen. I begyndelsen af valgkampen fik vi følgende nyhed: Ny måling: SF i massiv fremgang – fordobler antallet af mandater. Hvor stor en opbakning er der mon tale om? 9,2%! Ikke den store nyhed.
Kigger man på de andre målinger er det nemt at se, at der ikke var tale om en massiv fremgang. Et par dage senere kunne man så læse følgende nyhed: Ny måling: Ét rødt parti går tilbage. Partiet der går tilbage, er SF. Figur 1 viser opbakningen til SF hos YouGov, hvor jeg har angivet de to målinger, der er skrevet historier på baggrund af.
Figur 1: SFs opbakning i meningsmålingerne fra YouGov
Der er ingen nyheder her. I alle tilfælde ligger partiet omkring de otte procent. Der er intet massivt (eller fremgang) over den første måling. Og SF er højst sandsynligt ikke gået tilbage i den anden måling (især ikke når man kigger på de efterfølgende målinger). Disse små udsving, der skaber store historier, er ren statistisk støj. Der er ikke-signifikante udsving fra dag til dag. Nogle dage går de i den ene retning, andre dage i den anden retning.
De seneste dage har der så været nogle meningsmålinger, der har givet SF lidt lavere opbakning, og det har selvfølgelig også fået en historie med på vejen om en Hønge-effekt.
Kigger vi på Dansk Folkeparti, ser vi endnu en ligegyldig nyhed fra BT, der har historien om den laveste opbakning i 10 år til partiet (som markeret i Figur 2). Det er tydeligt i figuren at der ikke er sket nogen væsentlig forandring før, men at en enkeltmåling bliver brugt til at lave en stor historie på baggrund af decimaler.
Figur 2: Dansk Folkepartis opbakning i meningsmålingerne fra YouGov
Bare rolig – der er mange flere eksempler. Her er den ene historie fra BT i valgkampen om Nye Borgerlige: Meningsmåling forværrer Nye Borgerliges nedtur. Det er underfundigt nok den ene meningsmåling, hvor de ligger lavest (dog selvfølgelig ikke lavere end i andre målinger, hvis man husker den statistiske usikkerhed). Figur 3 viser meningsmålingen og historien.
Figur 3: Nye Borgerliges opbakning i meningsmålingerne fra YouGov
Og når vi er ved den yderste højrefløj, kan vi også godt kigge nærmere på Stram Kurs, cf. Figur 4. Her så vi lidt genbrug, da vi fik historien om, at Stram Kurs nærmer sig spærregrænsen både 21. maj og 29. maj.
Figur 4: Stram Kurs opbakning i meningsmålingerne fra YouGov
Kigger vi på de Konservative finder vi den ene nyhed om, at partiet går frem. Figur 5 viser med al tydelighed igen, at der her ikke er tale om, at et parti går frem. Det er udelukkende journalister, der har et stort behov for at skrive om forandringer, selv når disse ikke er til stede (nogen burde helt seriøst undersøge dette i et forskningsprojekt).
Figur 5: Konservatives opbakning i meningsmålingerne fra YouGov
Helt slemt står det til i tre nyheder om Venstre: 1) Venstre står til katastrofevalg i ny måling: ‘Det er tid til at gå en smule i panik’, 2) Venstre på katastrofekurs: Ny måling tyder på dårligste valg i 29 år og 3) Lille Venstre-spring efter omstridt bog: ‘Løkke er i gang med at sminke liget’. Figur 6 viser meningsmålingerne og historierne.
Figur 6: Venstres opbakning i meningsmålingerne fra YouGov
De kommer alle med få dages mellemrum og viser praktisk talt det samme. Derfor har jeg også fundet det nødvendigt at tilføje et par pædagogiske streger til figuren, da det ellers kan være vanskeligt at se, hvilke nyheder der er skrevet på baggrund af hvilke målinger.
Der er selvfølgelig flere nævneværdige eksempler. Her er eksempelvis nyheden om, at Klaus Riskær Pedersen ikke har den store opbakning længere. Det interessante er her, at der ikke er noget der tyder på, at der nogensinde har været den store opbakning, hvorfor dette også er et BT-skabt fænomen.
Andre nyheder, der er blevet bragt i løbet af valgkampen, beskæftiger sig med flere partier eller historien om at regeringen går frem – og tilbage. Heller ikke her er der i nogle tilfælde tale om nyheder, der lever op til basale journalistiske principper.
Når alt dette er sagt, har der også været et par eksempler på, at BT-journalister rent faktisk kan forstå meningsmålingerne (eller med andre ord – blind høne finder også korn). Her har det været historier om, at Venstre er bagud, Socialdemokratiet står stille og en føring til rød blok over blå blok. Der er problemer med alle disse artikler, men disse ligger i den mindre slemme ende.
Medierne er glade for at skrive nyheder om forandringer – og helst forandringer af den historiske slags. De fleste medier har dog i forhåndenværende valgkamp været så heldige, at de ikke har fået foretaget så mange meningsmålinger, hvorfor der ikke har været anledning til at lave lige så mange fejl.
En nævneværdig undtagelse er Voxmeter, der også har været storleverandør af meningsmålinger, der har ført nogle knap så heldige artikler med sig. Dagens eksempel er Rizau-artiklen om, at fire partier ligger under spærregrænsen (flere medier formidlede denne – selvfølgelig også BT). Tager man den statistiske usikkerhed i betragtning her, ligger flere af disse partier ikke nødvendigvis under spærregrænsen. Og heller ikke når man kigger på de vægtede snit.
Hvad kan vi lære af dette? Dækningen af meningsmålinger har været bedre under denne valgkamp (som jeg forudsagde før valget), men der er stadig medier, der lever i et journalistisk parallelunivers, hvor faglig integritet og stolthed er fraværende.
Der sker ikke meget i meningsmålingerne fra dag til dag. Midt i en valgkamp er det svært at få øje på, om der overhovedet er nogle vælgere, der skifter parti, eller om det hele blot er statistisk støj.
Ikke desto mindre kan vi se, når vi ser på meningsmålingerne i et større perspektiv, at partierne rykker sig. Hvem husker eksempelvis, som nedenstående figur viser, at Venstre i 2012 lå på omkring 30 og 35% i meningsmålingerne?
Jeg har for TV 2 lavet en række figurer, der viser partierne i meningsmålingerne fra 2010 til i dag. De inkluderes i en analyse af Hans Redder, der kan findes her.
Har man desuden interesse i at tage a trip down memory lane, kan jeg anbefale denne artikel fra Altinget, der gennemgår denne valgperiodes væsentligste begivenheder.
Venstre endte med at få flest stemmer ved Europa-Parlamentsvalget. Det var således blot et spørgsmål om tid, før vi ville se en meningsmåling, der skulle fortælle om implikationerne af dette for det kommende folketingsvalg.
Denne meningsmåling har vi nu fået hos TV 2, der bringer nyheden om en ‘stor fremgang til Venstre‘. Konkret kobles dette sammen med EP-valget: “Bedst er det gået for Venstre i den første Megafon-måling efter søndagens valg til Europa-Parlamentet, hvor partiet overraskende sikrede sig fire mandater og blev Danmarks største parti i parlamentet.”
Her er problemet med denne tolkning: Der er ingen evidens for, at Venstre er gået frem (eller tilbage) i meningsmålingerne siden EP-valget. Faktisk er der intet der tyder på, at Venstre har bevæget sig i løbet af valgkampen. Figur 1 viser opbakningen til Venstre i de seneste syv meningsmålinger fra Megafon, hvor den stiplede linje viser datoen for EP-valget (26. maj).
Figur 1: Opbakningen til Venstre hos Megafon
Der er ganske enkelt intet i Megafons meningsmålinger, der tyder på, at Venstre har fået flere eller færre stemmer, når man tager den statistiske usikkerhed i betragtning. Figur 2 viser alle meningsmålinger foretaget i dagene op til og efter EP-valget, hvor der ligeledes ikke er noget der tyder på, at Venstre er gået hverken frem eller tilbage.
Figur 2: Opbakningen til Venstre før og efter EP-valget, alle institutter
Med andre ord er det forkert at konkludere, at Venstre har oplevet en stor fremgang på grund af EP-valget. En lidt bedre – men stadig forkert – tolkning af selvsamme meningsmåling så man hos Politiken, der kunne berette om, at Venstre “går lidt frem”.
Der var dog blot tale om en redigeringsfejl, hvorfor dette heldigvis blev ændret, så det nu hedder: “I den første måling fra Megafon efter valget til EU-Parlamentet fører oppositionen fortsat”.
Det er selvfølgelig muligt, at Venstres opbakning vil stige i de kommende meningsmålinger, men der er intet der taler for, at EP-valget har flyttet stemmer fra de andre partier til Venstre.