Der går som regel ikke en uge uden en meningsmåling, man skal forholde sig til. Personligt sidder jeg i mit eget lille hjørne af internettet og observerer meningsmålingerne, efterhånden som de bliver offentliggjort. Disse gemmer jeg i mit datasæt med meningsmålinger og lader derefter som om, at verden er den samme. Dette er nemt, da verden som regel er den samme. Men hvordan kan vi få det hele til at gå op i en højere enhed, når journalister skal formidle én ny meningsmåling, der helst skal vise, at verden ikke er den samme?
Nogle gange ringer en journalist og vil sludre lidt om meningsmålingerne og vind og vejr og vægtede snit. Over årene er det hændt, at visse journalister vil vide noget om én bestemt meningsmåling, hvor jeg bliver bedt om en kommentar til, hvorfor et parti er gået frem eller tilbage eller står i stampe. Her afviser jeg altid at kommentere og henviser i stedet til klogere fagfæller.
En af de væsentlige udfordringer for journalister er, at der er flere meningsmålinger, end der er nyheder. Når der bliver gennemført en meningsmåling, er der ganske enkelt sket for lidt siden sidste meningsmåling til, at der er nogen nyhed at rapportere.
Kort fortalt konsumerer nogle medier meningsmålinger som var de flødekager. Vi ved, at de ikke skal nydes alt for ofte, men de smager bare så fandens godt. Senere vil jeg vise, at hvis meningsmålinger i denne valgkamp var flødekager, og de danske medier en folkeskoleklasse, ville BT være klassens tykke dreng.
Faste læsere vil vide, at jeg forsøger at holde indlæg af typen “her er en meningsmåling, hvor den statistiske usikkerhed ikke tages i betragtning” på et minimum. Der går dog ikke en valgkamp, uden at jeg får publiceret et indlæg eller to med eksempler på dette (se eksempelvis her for valgkampene i 2019, 2015 og 2011).
Der er forskellige måder hvorpå man kan forholde sig til den statistiske usikkerhed. Én metode er at se på flere meningsmålinger på en og samme tid. Det er grundtanken bag Politologi.dk, der viser de 100 seneste meningsmålinger.
En anden metode er de vægtede gennemsnit. Her har vi eksempelvis Berlingske Barometer, Djøfs Barometer og Politologi Prognose (se denne artikel hos DMJX for en introduktion til sidstnævnte).
Ingen af disse vægtede snit er perfekte, og jeg er overbevist om, at vi i morgen nok skal se nogle fejl i meningsmålingerne, som de vægtede snit ikke fanger. Der er med andre ord svagheder ved disse metoder, som vi først kan gøre os klogere på torsdag.
Desuagtet eventuelle svagheder ved at se på flere målinger og vægtede snit, er der den værste af alle metoder i en valgkamp: Daglige meningsmålinger fra ét institut, der alle skal gøres til nyheder. Disse så vi flere af i 2015-valgkampen, men det er min opfattelse, at vi heldigvis i overvejende grad har været fri for disse i løbet af den igangværende valgkamp.
Der er dog en undtagelse. Denne undtagelse hedder BT og har i løbet af valgkampen rapporteret et tocifret antal YouGov-målinger, hvor der er en ny vinkel på næsten daglig basis.
Jeg kunne have skrevet et dagligt indlæg om dagens BT-bommert, men det ville hurtigt blive et repetitivt fuldtidsjob, hvorfor jeg har valgt blot at samle nogle eksempler i dette indlæg, der med al tydelighed vil vise, at der i BTs dækning ikke har været tale om en enlig svale, når de har formidlet meningsmålinger på den værst tænkelige måde.
Det skal tilføjes, at jeg i dette indlæg lader som om, at der kun findes meningsmålinger fra YouGov. Tager vi andre meningsmålinger i betragtning, bliver min argumentation kun stærkere, men det er ingenlunde nødvendigt her.
Lad os begynde med SF. De har ligget på 7-9% hos YouGov i en stor del af valgkampen. I begyndelsen af valgkampen fik vi følgende nyhed: Ny måling: SF i massiv fremgang – fordobler antallet af mandater. Hvor stor en opbakning er der mon tale om? 9,2%! Ikke den store nyhed.
Kigger man på de andre målinger er det nemt at se, at der ikke var tale om en massiv fremgang. Et par dage senere kunne man så læse følgende nyhed: Ny måling: Ét rødt parti går tilbage. Partiet der går tilbage, er SF. Figur 1 viser opbakningen til SF hos YouGov, hvor jeg har angivet de to målinger, der er skrevet historier på baggrund af.
Figur 1: SFs opbakning i meningsmålingerne fra YouGov
Der er ingen nyheder her. I alle tilfælde ligger partiet omkring de otte procent. Der er intet massivt (eller fremgang) over den første måling. Og SF er højst sandsynligt ikke gået tilbage i den anden måling (især ikke når man kigger på de efterfølgende målinger). Disse små udsving, der skaber store historier, er ren statistisk støj. Der er ikke-signifikante udsving fra dag til dag. Nogle dage går de i den ene retning, andre dage i den anden retning.
De seneste dage har der så været nogle meningsmålinger, der har givet SF lidt lavere opbakning, og det har selvfølgelig også fået en historie med på vejen om en Hønge-effekt.
Kigger vi på Dansk Folkeparti, ser vi endnu en ligegyldig nyhed fra BT, der har historien om den laveste opbakning i 10 år til partiet (som markeret i Figur 2). Det er tydeligt i figuren at der ikke er sket nogen væsentlig forandring før, men at en enkeltmåling bliver brugt til at lave en stor historie på baggrund af decimaler.
Figur 2: Dansk Folkepartis opbakning i meningsmålingerne fra YouGov
Bare rolig – der er mange flere eksempler. Her er den ene historie fra BT i valgkampen om Nye Borgerlige: Meningsmåling forværrer Nye Borgerliges nedtur. Det er underfundigt nok den ene meningsmåling, hvor de ligger lavest (dog selvfølgelig ikke lavere end i andre målinger, hvis man husker den statistiske usikkerhed). Figur 3 viser meningsmålingen og historien.
Figur 3: Nye Borgerliges opbakning i meningsmålingerne fra YouGov
Og når vi er ved den yderste højrefløj, kan vi også godt kigge nærmere på Stram Kurs, cf. Figur 4. Her så vi lidt genbrug, da vi fik historien om, at Stram Kurs nærmer sig spærregrænsen både 21. maj og 29. maj.
Figur 4: Stram Kurs opbakning i meningsmålingerne fra YouGov
Kigger vi på de Konservative finder vi den ene nyhed om, at partiet går frem. Figur 5 viser med al tydelighed igen, at der her ikke er tale om, at et parti går frem. Det er udelukkende journalister, der har et stort behov for at skrive om forandringer, selv når disse ikke er til stede (nogen burde helt seriøst undersøge dette i et forskningsprojekt).
Figur 5: Konservatives opbakning i meningsmålingerne fra YouGov
Helt slemt står det til i tre nyheder om Venstre: 1) Venstre står til katastrofevalg i ny måling: ‘Det er tid til at gå en smule i panik’, 2) Venstre på katastrofekurs: Ny måling tyder på dårligste valg i 29 år og 3) Lille Venstre-spring efter omstridt bog: ‘Løkke er i gang med at sminke liget’. Figur 6 viser meningsmålingerne og historierne.
Figur 6: Venstres opbakning i meningsmålingerne fra YouGov
De kommer alle med få dages mellemrum og viser praktisk talt det samme. Derfor har jeg også fundet det nødvendigt at tilføje et par pædagogiske streger til figuren, da det ellers kan være vanskeligt at se, hvilke nyheder der er skrevet på baggrund af hvilke målinger.
Der er selvfølgelig flere nævneværdige eksempler. Her er eksempelvis nyheden om, at Klaus Riskær Pedersen ikke har den store opbakning længere. Det interessante er her, at der ikke er noget der tyder på, at der nogensinde har været den store opbakning, hvorfor dette også er et BT-skabt fænomen.
Andre nyheder, der er blevet bragt i løbet af valgkampen, beskæftiger sig med flere partier eller historien om at regeringen går frem – og tilbage. Heller ikke her er der i nogle tilfælde tale om nyheder, der lever op til basale journalistiske principper.
Når alt dette er sagt, har der også været et par eksempler på, at BT-journalister rent faktisk kan forstå meningsmålingerne (eller med andre ord – blind høne finder også korn). Her har det været historier om, at Venstre er bagud, Socialdemokratiet står stille og en føring til rød blok over blå blok. Der er problemer med alle disse artikler, men disse ligger i den mindre slemme ende.
Medierne er glade for at skrive nyheder om forandringer – og helst forandringer af den historiske slags. De fleste medier har dog i forhåndenværende valgkamp været så heldige, at de ikke har fået foretaget så mange meningsmålinger, hvorfor der ikke har været anledning til at lave lige så mange fejl.
En nævneværdig undtagelse er Voxmeter, der også har været storleverandør af meningsmålinger, der har ført nogle knap så heldige artikler med sig. Dagens eksempel er Rizau-artiklen om, at fire partier ligger under spærregrænsen (flere medier formidlede denne – selvfølgelig også BT). Tager man den statistiske usikkerhed i betragtning her, ligger flere af disse partier ikke nødvendigvis under spærregrænsen. Og heller ikke når man kigger på de vægtede snit.
Hvad kan vi lære af dette? Dækningen af meningsmålinger har været bedre under denne valgkamp (som jeg forudsagde før valget), men der er stadig medier, der lever i et journalistisk parallelunivers, hvor faglig integritet og stolthed er fraværende.