Er meningsmålinger om terrorfrygt væsentlige?

I en klumme i Information skriver klummeskribent Lasse Jensen, at meningsmålinger ofte er igangsat på baggrund af et fravær af journalistiske ideer. Han indleder således sin klumme med ordene: “Hvad skulle mange såkaldt toneangivende medier gøre uden meningsmålinger? Svaret er meget enkelt: De ville være tvunget til at lave rigtig journalistik!” Underforstået, at meningsmålinger ikke handler om rigtig journalistik.

Til at illustrere dette tager klummeskribenten udgangspunkt i en meningsmåling Megafon lavede for TV2 og Politiken i forbindelse med etårsdagen for terrorangrebet i København (i Krudttønden og synagogen i Krystalgade). Her formuleres kritikken af Megafons måling som følger:

Den ene måling fastslog i Politiken, at »knap seks ud af 10 danskere forventer et nyt terrorangreb«. Altså 60 procent. Det er mange, og målingen afstedkom da også et langt indslag i DR’s 21 Søndag, hvor der heldigvis var en forsker, der mente, at »risikoen for at blive ramt af et terrorangreb er lige så stor som risikoen for at blive ramt af en meteorit«. Da et andet analysebureau, YouGov, lavede den samme undersøgelse for MetroXpress lige efter tragedien i Krudttønden og synagogen, var frygttallet 53 procent. Det faldt dog til 38 procent på to måneder ifølge en ny måling i maj 2015. Der er gået 10 måneder uden terror i Danmark, men frygten er altså voldsomt forøget ifølge Megafon. Det har ingen sat spørgsmålstegn ved.

Der er flere ting galt her. Jeg elsker at kritisere meningsmålinger lige så meget som alle andre, men den kritik klummeskribenten retter er meningsløs og udstiller blot en manglende evne til at forholde sig kritisk til forskellige meningsmålinger og journalisternes brug af meningsmålinger.

For det første var det ganske enkelt ikke Megafons måling, der afstedkom et indslag i DRs 21 Søndag. Det var derimod en meningsmåling, som DR selv fik lavet af Epinion. De to meningsmålinger vedrører to forskellige spørgsmål. Epinions handler om, hvorvidt frygten for terror er steget i løbet af det seneste år, og Megafons handler om frygten for, at et nyt terrorangreb vil finde sted inden for det næste år.

For det andet påstår ingen, at frygten er voldsomt forøget. Tværtimod nævner journalisten fra Politiken blot, at terrorfrygten ikke er faldet væsentligt. Det giver i denne sammenhæng ingen mening at begynde at sammenligne en meningsmåling fra YouGov med en fra Megafon, uden også at kigge nærmere på, hvem der er spurgt, hvilke spørgsmål der er stillet, hvilke svarmuligheder der er givet og så videre. Det er med andre ord ingen selvfølge, at Megafon og YouGov har lavet den samme undersøgelse.

Megafon har på forskellige tidspunkter over de seneste 15 år stillet spørgsmålet “Anser du det for sandsynligt, at Danmark bliver udsat for et terrorangreb inden for det næste år?”. YouGov har spurgt “Tror du, at der kommer terrorangreb i Danmark i år?”. Spørgsmålene er forskellige, og det er svarmulighederne også. Hos Politiken er de 58 procent (altså næsten 6 ud af 10), den andel der har svaret ‘meget sandsynligt’ eller ‘sandsynligt’, hvor det hos YouGov er andelen, der har svaret ja til et simpelt ja/nej-spørgsmål. Det ville være en journalistisk katastrofe at antage, at de to tal er direkte sammenlignelige, så intet under, at ingen har gjort det.

Hvis man virkelig gerne ville undersøge tendenserne over tid, giver det bedre mening at sammenligne Megafon over tid og YouGov over tid. Dette er da også muligt for sidstnævnte, da YouGov, også i forbindelse med etårsdagen for terrorangrebet, lavede endnu en måling. Fortællingen her er konsistent med fortællingen hos Politiken og DR, netop at mange danskere frygter terror.

Vi er så tilbage til udgangspunktet for klummen, eller som Lasse Jensen afslutter sin klumme: “Det er altid fascinerende at høre, hvad ’danskerne’ mener. Spørgsmålet er, om det er væsentligt?” Det er selvfølgelig ikke noget spørgsmål, der er et klart svar på, men jeg vil mene, at det er et legitimt synspunkt, at det selvfølgelig giver mening for medierne, at belyse danskernes terrorfrygt. Det er netop – som forskerne pointerer og medierne formidler – på mange måder en dybt irrationel frygt, som da om noget er relevant at belyse. Tilføj endvidere det forhold, at en eventuel frygt for terror har væsentlige implikationer for den politik der føres – fra asylpolitik til sessionslogning.

Meningsmålinger er et vigtigt redskab for journalister (og for at sætte det lidt på spidsen: for demokratiet), men de taler aldrig for sig selv, hvorfor de også fordrer, at journalisterne kan placere dem i deres retmæssige kontekst. Det er – som de fleste ved – vigtigt at forholde sig kritisk til meningsmålingerne og journalisternes formidling af dem, men det er for letkøbt blot at affeje meningsmålingernes værdi med, at de ikke er ‘rigtig’ journalistik, hvad pokker det så end er.

Den gode, den onde og den grusomme: Mediernes formidling af statistisk usikkerhed i meningsmålingerne

Den kyndige læser af meningsmålinger ved efterhånden alt om den statistiske usikkerhed i meningsmålingerne og ikke mindst vigtigheden af, at journalisterne formidler helt essentielle metodiske informationer. Dette er dog ikke ensbetydende med, at de respektive danske medier gør det. I dette indlæg kigger jeg nærmere på, hvordan de danske medier formår at formidle et af de vigtigste aspekter af meningsmålingerne: den statistiske usikkerhed.

Der er især to forhold, der er vigtige i denne sammenhæng. For det første at undersøge, om medierne formår at formidle den statistiske usikkerhed. For det andet at undersøge, om de formidler den korrekte statistiske usikkerhed. I forhold til sidstnævnte er det vigtigt at huske på, at usikkerheden for partierne i den samme meningsmåling varierer, alt efter partiets størrelse. De fleste artikler omhandlende meningsmålinger rapporterer dog oftest kun én usikkerhed, mere specifikt for det estimat med den største usikkerhed (altså usikkerheden for det estimat, der kommer tættest på 50%).

Det relevante ved meningsmålingerne i denne valgkamp er, at de alle omhandler styrkeforholdet mellem rød og blå blok. Jeg har ikke været i stand til at finde så meget som én artikel, der ikke kommenterer på opbakningen til henholdsvis rød og blå blok. Dette gør især det andet forhold ved den statistiske usikkerhed interessant. Det er ikke tilstrækkeligt, at disse artikler kun formidler usikkerheden for partierne, da den største usikkerhed er tilknyttet de to blokke. Nedenstående figur illustrerer dette ved at vise hvordan usikkerheden med et 95% konfidensinterval ændres som en funktion af partiets/blokkens størrelse (ved en stikprøvestørrelse på 1000, se her for matematikken bag):

På figuren har jeg angivet et parti, der har 25% af stemmerne (det kunne i disse dage være Socialdemokraterne), samt en blok, der får 50% af stemmerne. Hvis en artikel kun formidler den statistiske usikkerhed for partiet, men er interesseret i opbakningen på blokniveau, vil den rapporterede statistiske usikkerhed være misvisende svarende til afstanden mellem de to stiplede linjer.

For at kigge nærmere på, om medierne tager højde for dette i dækningen, gennemgik jeg en del af de artikler, der er tilgængelige online. Jeg kiggede især på de meningsmålinger fra medierne, der har et bestemt analyseinstitut tilknyttet deres dækning (da de med sikkerhed får den statistiske usikkerhed fra institutterne). Da Voxmeter leverer meningsmålinger til Ritzau, fandt jeg et par tilfældige artikler herfra, der var formidlet i medierne.

I min læsning af hver artikel undersøgte jeg 1) om den maksimale statistiske usikkerhed blev rapporteret, 2) hvad den maksimale statistiske usikkerhed var (altså egen udregning) og 3) vurderede om de to usikkerheder var identiske. Til min store overraskelse var det desværre ikke alle artikler, der formåede at levere noget så basalt som den statistiske usikkerhed.

Overordnet er der tre typer af dækning af den statistiske usikkerhed: Den gode, den onde og den grusomme. Den gode dækning formår at rapportere den statistiske usikkerhed og dette på en sådan måde, at alle rapporterede estimater har en maksimal usikkerhed, der stemmer overens med den rapporterede. Den onde dækning formår også at rapportere den statistiske usikkerhed, men nævner eksempelvis, at det blot er den maksimale usikkerhed for partierne, hvorefter forskellene mellem blokkene rapporteres. Den grusomme dækning nævner ikke usikkerheden med ét ord.

Det gode eksempel først: DR og Epinion. Lige så elendige DR og Epinion var på valgdagen under kommunalvalget i 2013 med deres exit prognose, lige så dygtige er de i deres formidling af den statistiske usikkerhed under denne valgkamp. I samtlige artikler på DR.dk, hvor Epinions målinger formidles, rapporteres den maksimale statistiske usikkerhed på blokniveau. Og for at dette ikke skulle være nok, er der i de fleste tilfælde også en henvisning til rapporten fra Epinion, hvor man kan læse meget mere om meningsmålingen. Det er fantastisk god formidling. Epinion har desuden flere respondenter med end normalt, hvilket gør, at selvom usikkerheden formidles for blokkene, er den stadig lav i forhold til, hvad man normalt ser for partierne.

Det onde eksempel: Jyllands-Posten og Wilke. Jyllands-Posten formår at formidle den statistiske usikkerhed og er eksplicit omkring, at det er for de største partier, men tolker også på forskellene mellem blokkene – og angiver den statistiske usikkerhed for partierne i figurerne hvor de viser forskellene mellem blokkene. Der er dog et tilfælde hvor de rent faktisk formidler usikkerheden på blokniveau, så jeg tror på, at de har kompetente journalister ansat, der har styr på den slags. Et par lignende tilfælde finder vi hos Politiken, der dog også har gode eksempler.

Det grusomme eksempel: TV2 og Megafon. Her formidles ingenting. Læserne af meningsmålingerne hos TV2 har kun mulighed for at vide, hvor stor den statistiske usikkerhed er, hvis de selv finder lommeregneren frem. Til gengæld får man Anders Langballe på autoplay, der fortæller om, hvor spændende alle målingerne er. Mette Østergaard, der nu er hos TV2 News, er desuden uvidende om kvaliteten af dækningen på TV2s hjemmeside, når hun siger, at TV2 gør meget ud af at beskrive den statistiske usikkerhed “udførligt på vores hjemmeside”.

Nedenfor har jeg samlet min læsning af artiklerne i tabelform. Første kolonne angiver mediet, der har formidlet målingen, samt en henvisning til selve artiklen. Anden kolonne angiver analyseinstituttet samt datoen for hvornår dataindsamlingen stoppede. Tredje kolonne den statistiske usikkerhed som rapporteret (hvis den er rapporteret). Fjerde kolonne den statistiske usikkerhed som kalkuleret (hvis der var tilstrækkelige informationer i artiklen til at kalkulere den). Femte kolonne om der er tale om en god ( ), ond ( ) eller grusom ( ) formidling af usikkerheden.

Medie Institut (dato) Maks. usikkerhed: Nævnt Maks. usikkerhed: Kalkuleret Vurdering
TV2 Megafon (27.5) 3,02
TV2 Megafon (30.5) 3,10
TV2 Megafon (31.5) 3,10
TV2 Megafon (1.6)
TV2 Megafon (2.6) 3,05
TV2 Megafon (3.6) 3,05
TV2 Voxmeter (29.5) 2,70 3,03
Politiken Megafon (29.5) 3,00 3,10
Politiken Megafon (30.5) 3,00 3,38
Politiken Megafon (1.6) 3,00 3,00
Politiken Megafon (2.6) 3,00 3,00
Politiko Gallup (27.5) 2,72
Politiko Gallup (27.5) 3,00 2,23
DR Epinion (27.5) 2,60 2,59
DR Epinion (28.5) 2,30 2,28
DR Epinion (30.5) 1,90 1,87
DR Epinion (1.6) 2,40 2,39
DR Epinion (2.6) 2,30 2,31
DR Epinion (3.6) 2,20 2,22
JP Wilke (29.5) 2,63 3,02
JP Wilke (30.5) 3,09 3,09
JP Wilke (31.5) 2,65 3,09
JP Wilke (1.6) 2,68 3,09
MX Voxmeter (27.5)
JP Voxmeter (27.5) 2,70 3,03

Som det kan ses er der både gode og dårlige eksempler. DR klarer sig uden tvivl bedst. Jyllands-Posten klarer sig godt, med plads til forbedringer. TV2 har Anders Langballe. Der er indikationer på, at nogle medier har en praksis der fungerer på den måde, at man først udregner den statistiske usikkerhed for partierne, hvorefter man tolker på opbakningen til blokkene, hvor den statistiske usikkerhed er større end for partierne. Opfordringen til journalisterne er simpel: Husk at formidle den statistiske usikkerhed – og rapporter den statistiske usikkerhed for blokkene, hvis opbakningen til disse er af interesse.

Her er tre figurer, der alle viser Liberal Alliances opbakning i meningsmålingerne

Den første figur er fra Deadline på DR2, tirsdag den 2. juni, 2015, der viser opbakningen til Liberal Alliance i meningsmålingerne:

Den anden figur er Liberal Alliances opbakning i Epinion-målingerne i samme periode som i ovenstående figur (du kan kalde det en dokumentation for, at … ja, DR bruger Epinion):

Den tredje figur er Liberal Alliances opbakning i alle meningsmålinger i samme periode som i ovenstående:

Det var så lidt.

Formidlingen af meningsmålinger i valgkampen

Meningsmålinger fylder med rette meget under en valgkamp. Et folketingsvalg er som bekendt blot en meningsmåling med en statistisk usikkerhed på 0. Derfor fungerer meningsmålinger som en pointtavle vi orienterer os mod, når vi vil blive klogere på, hvordan partierne klarer sig – og hvad vi kan forvente på selve valgdagen.

Under folketingsvalgkampen i 2011 skrev jeg, at medierne ikke altid formåede at tage højde for den statistiske usikkerhed i meningsmålingerne. Jeg forventer ikke, at denne valgkamp bliver en af den slags, hvor medierne i alle tilfælde vil tage højde for den statistiske usikkerhed i formidlingen af meningsmålingerne, men jeg har været optimistisk. Det er for det første min opfattelse, at medierne i højere grad er bevidste omkring den statistiske usikkerhed i meningsmålingerne (mere end i 2011 i hvert fald). Det er for det andet også værd at bemærke, at der har været talrige kritiske artikler omkring meningsmålingerne på det seneste, som med al tydelighed viser, at journalisterne er bevidste omkring de åbenlyse faldegruber, når det kommer til formidlingen af meningsmålinger.

På valgkampens første dag er vi blevet præsenteret for tre forskellige meningsmålinger. En meningsmåling foretaget af Gallup for Berlingske, der taler om et gyservalg (altså at rød blok kommer tættere på de 50 procent). En anden meningsmåling foretaget af Megafon for TV2 og Politiken, der viser, at der ikke er sket det store i løbet af det seneste døgn. En tredje meningsmåling foretaget af Epinion for DR viser, at rød blok går tilbage.

Med andre ord: Fremgang, tilbagegang og status quo for rød blok. Så er vi vist også dækket ind i forhold til journalistiske vinkler på meningsmålingerne. Det der nu bør være åbenlyst er, at de tre meningsmålinger må vise noget forskelligt. Dette er dog på ingen måde tilfældet. Nedenstående figur viser opbakningen til de 10 opstillingsberettigede partier, som analyseinstitutterne inkluderer.

Figuren viser, at de tre meningsmålinger ligger meget tæt op ad hinanden. Faktisk ligger de så tæt, at der ikke er nogle partier, der står signifikant dårligere eller bedre i én måling i forhold til en anden måling. Når vi kigger på blokkene, hvor rød blok består af Socialdemokraterne, Radikale, SF, Enhedslisten og Alternativet, og blå blok af Venstre, Konservative, Dansk Folkeparti, Liberal Alliance og Kristendemokraterne, ser vi da heller ikke, at der er forskelle på tværs af målingerne.

Derfor er det også interessant, at man kan skrive tre så forskellige artikler omkring hvordan partierne står i meningsmålingerne. Dette er første men helt sikkert ikke sidste gang, vi kommer til at se dette i valgkampen. Dette af to grunde. For det første bruger medierne primært deres egne målinger. DR har Epinion, Berlingske har Gallup og TV2 har Megafon. Det er en dyr fornøjelse at få lavet meningsmålinger, og derfor gør de respektive medier også hvad de kan for at sælge deres egen meningsmåling til læserne snarere end konkurrentens.

For det andet, og som konsekvens heraf, vil journalisterne have forskellige referencepunkter i løbet af valgkampen, når de skal referere til den seneste måling. Berlinske vil kigge på hvad Gallup viste dagen forinden (kig eksempelvis på Politiko, hvor man ud fra Dagens Gallup angiver forskelle på helt ned 0,2 procentpoint som en tendens), og TV2 hvad Megafon viste dagen forinden. Når der så tolkes på mindre, ubetydelige forskelle fra dag til dag, gør det også, at der vil komme vidt forskellige journalistiske narrativer, der i bund og grund ikke gør nogen klogere.

Til trods for min umiddelbare optimisme må jeg konkludere, at alt tyder på, at når der er valgkamp, har vi at gøre med business as usual. Derfor er det også blot endnu vigtigere at slå fast: Hvis du gerne vil blive klogere på, hvordan partierne (og blokkene) står i meningsmålingerne, så kig på de vægtede gennemsnit. Den journalistiske dækning er der i hvert fald, hvad angår meningsmålingerne, ingen grund til at sætte sin lid til.