Er meningsmålinger om terrorfrygt væsentlige?

I en klumme i Information skriver klummeskribent Lasse Jensen, at meningsmålinger ofte er igangsat på baggrund af et fravær af journalistiske ideer. Han indleder således sin klumme med ordene: “Hvad skulle mange såkaldt toneangivende medier gøre uden meningsmålinger? Svaret er meget enkelt: De ville være tvunget til at lave rigtig journalistik!” Underforstået, at meningsmålinger ikke handler om rigtig journalistik.

Til at illustrere dette tager klummeskribenten udgangspunkt i en meningsmåling Megafon lavede for TV2 og Politiken i forbindelse med etårsdagen for terrorangrebet i København (i Krudttønden og synagogen i Krystalgade). Her formuleres kritikken af Megafons måling som følger:

Den ene måling fastslog i Politiken, at »knap seks ud af 10 danskere forventer et nyt terrorangreb«. Altså 60 procent. Det er mange, og målingen afstedkom da også et langt indslag i DR’s 21 Søndag, hvor der heldigvis var en forsker, der mente, at »risikoen for at blive ramt af et terrorangreb er lige så stor som risikoen for at blive ramt af en meteorit«. Da et andet analysebureau, YouGov, lavede den samme undersøgelse for MetroXpress lige efter tragedien i Krudttønden og synagogen, var frygttallet 53 procent. Det faldt dog til 38 procent på to måneder ifølge en ny måling i maj 2015. Der er gået 10 måneder uden terror i Danmark, men frygten er altså voldsomt forøget ifølge Megafon. Det har ingen sat spørgsmålstegn ved.

Der er flere ting galt her. Jeg elsker at kritisere meningsmålinger lige så meget som alle andre, men den kritik klummeskribenten retter er meningsløs og udstiller blot en manglende evne til at forholde sig kritisk til forskellige meningsmålinger og journalisternes brug af meningsmålinger.

For det første var det ganske enkelt ikke Megafons måling, der afstedkom et indslag i DRs 21 Søndag. Det var derimod en meningsmåling, som DR selv fik lavet af Epinion. De to meningsmålinger vedrører to forskellige spørgsmål. Epinions handler om, hvorvidt frygten for terror er steget i løbet af det seneste år, og Megafons handler om frygten for, at et nyt terrorangreb vil finde sted inden for det næste år.

For det andet påstår ingen, at frygten er voldsomt forøget. Tværtimod nævner journalisten fra Politiken blot, at terrorfrygten ikke er faldet væsentligt. Det giver i denne sammenhæng ingen mening at begynde at sammenligne en meningsmåling fra YouGov med en fra Megafon, uden også at kigge nærmere på, hvem der er spurgt, hvilke spørgsmål der er stillet, hvilke svarmuligheder der er givet og så videre. Det er med andre ord ingen selvfølge, at Megafon og YouGov har lavet den samme undersøgelse.

Megafon har på forskellige tidspunkter over de seneste 15 år stillet spørgsmålet “Anser du det for sandsynligt, at Danmark bliver udsat for et terrorangreb inden for det næste år?”. YouGov har spurgt “Tror du, at der kommer terrorangreb i Danmark i år?”. Spørgsmålene er forskellige, og det er svarmulighederne også. Hos Politiken er de 58 procent (altså næsten 6 ud af 10), den andel der har svaret ‘meget sandsynligt’ eller ‘sandsynligt’, hvor det hos YouGov er andelen, der har svaret ja til et simpelt ja/nej-spørgsmål. Det ville være en journalistisk katastrofe at antage, at de to tal er direkte sammenlignelige, så intet under, at ingen har gjort det.

Hvis man virkelig gerne ville undersøge tendenserne over tid, giver det bedre mening at sammenligne Megafon over tid og YouGov over tid. Dette er da også muligt for sidstnævnte, da YouGov, også i forbindelse med etårsdagen for terrorangrebet, lavede endnu en måling. Fortællingen her er konsistent med fortællingen hos Politiken og DR, netop at mange danskere frygter terror.

Vi er så tilbage til udgangspunktet for klummen, eller som Lasse Jensen afslutter sin klumme: “Det er altid fascinerende at høre, hvad ’danskerne’ mener. Spørgsmålet er, om det er væsentligt?” Det er selvfølgelig ikke noget spørgsmål, der er et klart svar på, men jeg vil mene, at det er et legitimt synspunkt, at det selvfølgelig giver mening for medierne, at belyse danskernes terrorfrygt. Det er netop – som forskerne pointerer og medierne formidler – på mange måder en dybt irrationel frygt, som da om noget er relevant at belyse. Tilføj endvidere det forhold, at en eventuel frygt for terror har væsentlige implikationer for den politik der føres – fra asylpolitik til sessionslogning.

Meningsmålinger er et vigtigt redskab for journalister (og for at sætte det lidt på spidsen: for demokratiet), men de taler aldrig for sig selv, hvorfor de også fordrer, at journalisterne kan placere dem i deres retmæssige kontekst. Det er – som de fleste ved – vigtigt at forholde sig kritisk til meningsmålingerne og journalisternes formidling af dem, men det er for letkøbt blot at affeje meningsmålingernes værdi med, at de ikke er ‘rigtig’ journalistik, hvad pokker det så end er.

Får Carl Holst laveste karakter nogensinde?

Megafon har for Politiken og TV2 lavet en meningsmåling, der viser, at forsvarsminister Carl Holst ikke er blandt de mest populære ministre i disse dage. Hos Ekstra Bladet kan man således læse, at Carl Holst scorer ufattelige 0,0 pct. i en chokmåling. Dette er angiveligt den laveste karakter nogensinde.

Tallet overraskede mig, da popularitetsmålinger over politikere i almindelighed og ministre i særdeleshed normalt ikke skaber overskrifter med popularitetsmål omkring 0 procent. Ligeledes irriterede det mig, at man skrev ”nogensinde”, da jeg ved, at det er vanskeligt at sammenligne sådanne meningsmålinger over tid. Dette især på grund af spørgsmålsformuleringen, der ikke altid er den samme. YouGov stillede eksempelvis forrige år spørgsmålet ”Uanset dine poliske præferencer, hvad synes du så om følgende personer”, for at finde den mest og mindst populære minister, hvor Annette Vilhelmsen indtog sidstepladsen med 2,11 point. I en meningsmåling foretaget af Epinion for DR i 2013 var Lars Barfoed den mindst populære politiker med en PDI-score på -45 (positive vurderinger minus negative vurderinger).

Hvordan kan vi så vurdere Carl Holsts opbakning i forhold til andre målinger? Det kan vi ikke. Spørgsmålet der er stillet, er slet ikke stillet med henblik på at sige noget om, hvor dårligt ministrene har klaret sig, men udelukkende at finde ud af, hvilke ministre, der klarer sig bedst. Således lyder spørgsmålet ”Hvilke af regeringens ministre, mener du, klarer sig bedst?”, hvor hver respondent maksimalt måtte vælge tre ministre. 1125 respondenter afgav i alt 1838 svar.

Hvorfor er dette problematisk? Fordi de nul procent ikke er det samme som, at 0 procent af vælgerne bakker op om Carl Holst. Kigger man således på tallene, får Eva Kjer Hansen, Esben Lunde Larsen, Ellen Trane Nørby, Hans Christian Schmidt, Jørn Neergaard Larsen, Troels Lund Poulsen og Lars Christian Lilleholt alle hver især mindre end fem procent (og de tre sidstnævnte får én procent). Det at ingen nævner de nævnte ministre som værende de mest populære, er ikke det samme som, at de er upopulære.

Ikke nok med, at meningsmålingen ikke er lavet til at undersøge om en minister er upopulær, var en af svarmulighederne ”Jeg mener ikke, at nogen af ministrene har klaret sig godt”. Med andre ord kan vi ikke sige ret meget om, hvor upopulære de enkelte ministre er med udgangspunkt i det pågældende spørgsmål. Dette er selvfølgelig blot endnu et eksempel på en misvisende meningsmåling. Normalt når Megafon plejer at stille dette spørgsmål med henblik på at finde ud af, hvilke ministre der er upopulære, spørger de eksplicit respondenterne om, hvilke ministre, der har klaret sig dårligst.

Det bliver dog værre endnu. Anders Langballe konkluderer på baggrund af målingen, at: ”Det er helt entydigt, at ingen peger på Carl Holst. Det viser hvor stort et problem han er for Venstre. Han er en klods om benet på regeringen.”. Det giver ingen mening. Betyder det også, at dem der kun nævnes én procent af gangene også er en klods om benet på regeringen? Spørgsmålet er retorisk.

Carl Holst er ikke en populær minister i disse dage, men det er ingen undskyldning for at journalister og politiske kommentatorer kan tage tal ud af en kontekst og misbruge dem efter forgodtbefindende.

Den gode, den onde og den grusomme: Mediernes formidling af statistisk usikkerhed i meningsmålingerne

Den kyndige læser af meningsmålinger ved efterhånden alt om den statistiske usikkerhed i meningsmålingerne og ikke mindst vigtigheden af, at journalisterne formidler helt essentielle metodiske informationer. Dette er dog ikke ensbetydende med, at de respektive danske medier gør det. I dette indlæg kigger jeg nærmere på, hvordan de danske medier formår at formidle et af de vigtigste aspekter af meningsmålingerne: den statistiske usikkerhed.

Der er især to forhold, der er vigtige i denne sammenhæng. For det første at undersøge, om medierne formår at formidle den statistiske usikkerhed. For det andet at undersøge, om de formidler den korrekte statistiske usikkerhed. I forhold til sidstnævnte er det vigtigt at huske på, at usikkerheden for partierne i den samme meningsmåling varierer, alt efter partiets størrelse. De fleste artikler omhandlende meningsmålinger rapporterer dog oftest kun én usikkerhed, mere specifikt for det estimat med den største usikkerhed (altså usikkerheden for det estimat, der kommer tættest på 50%).

Det relevante ved meningsmålingerne i denne valgkamp er, at de alle omhandler styrkeforholdet mellem rød og blå blok. Jeg har ikke været i stand til at finde så meget som én artikel, der ikke kommenterer på opbakningen til henholdsvis rød og blå blok. Dette gør især det andet forhold ved den statistiske usikkerhed interessant. Det er ikke tilstrækkeligt, at disse artikler kun formidler usikkerheden for partierne, da den største usikkerhed er tilknyttet de to blokke. Nedenstående figur illustrerer dette ved at vise hvordan usikkerheden med et 95% konfidensinterval ændres som en funktion af partiets/blokkens størrelse (ved en stikprøvestørrelse på 1000, se her for matematikken bag):

På figuren har jeg angivet et parti, der har 25% af stemmerne (det kunne i disse dage være Socialdemokraterne), samt en blok, der får 50% af stemmerne. Hvis en artikel kun formidler den statistiske usikkerhed for partiet, men er interesseret i opbakningen på blokniveau, vil den rapporterede statistiske usikkerhed være misvisende svarende til afstanden mellem de to stiplede linjer.

For at kigge nærmere på, om medierne tager højde for dette i dækningen, gennemgik jeg en del af de artikler, der er tilgængelige online. Jeg kiggede især på de meningsmålinger fra medierne, der har et bestemt analyseinstitut tilknyttet deres dækning (da de med sikkerhed får den statistiske usikkerhed fra institutterne). Da Voxmeter leverer meningsmålinger til Ritzau, fandt jeg et par tilfældige artikler herfra, der var formidlet i medierne.

I min læsning af hver artikel undersøgte jeg 1) om den maksimale statistiske usikkerhed blev rapporteret, 2) hvad den maksimale statistiske usikkerhed var (altså egen udregning) og 3) vurderede om de to usikkerheder var identiske. Til min store overraskelse var det desværre ikke alle artikler, der formåede at levere noget så basalt som den statistiske usikkerhed.

Overordnet er der tre typer af dækning af den statistiske usikkerhed: Den gode, den onde og den grusomme. Den gode dækning formår at rapportere den statistiske usikkerhed og dette på en sådan måde, at alle rapporterede estimater har en maksimal usikkerhed, der stemmer overens med den rapporterede. Den onde dækning formår også at rapportere den statistiske usikkerhed, men nævner eksempelvis, at det blot er den maksimale usikkerhed for partierne, hvorefter forskellene mellem blokkene rapporteres. Den grusomme dækning nævner ikke usikkerheden med ét ord.

Det gode eksempel først: DR og Epinion. Lige så elendige DR og Epinion var på valgdagen under kommunalvalget i 2013 med deres exit prognose, lige så dygtige er de i deres formidling af den statistiske usikkerhed under denne valgkamp. I samtlige artikler på DR.dk, hvor Epinions målinger formidles, rapporteres den maksimale statistiske usikkerhed på blokniveau. Og for at dette ikke skulle være nok, er der i de fleste tilfælde også en henvisning til rapporten fra Epinion, hvor man kan læse meget mere om meningsmålingen. Det er fantastisk god formidling. Epinion har desuden flere respondenter med end normalt, hvilket gør, at selvom usikkerheden formidles for blokkene, er den stadig lav i forhold til, hvad man normalt ser for partierne.

Det onde eksempel: Jyllands-Posten og Wilke. Jyllands-Posten formår at formidle den statistiske usikkerhed og er eksplicit omkring, at det er for de største partier, men tolker også på forskellene mellem blokkene – og angiver den statistiske usikkerhed for partierne i figurerne hvor de viser forskellene mellem blokkene. Der er dog et tilfælde hvor de rent faktisk formidler usikkerheden på blokniveau, så jeg tror på, at de har kompetente journalister ansat, der har styr på den slags. Et par lignende tilfælde finder vi hos Politiken, der dog også har gode eksempler.

Det grusomme eksempel: TV2 og Megafon. Her formidles ingenting. Læserne af meningsmålingerne hos TV2 har kun mulighed for at vide, hvor stor den statistiske usikkerhed er, hvis de selv finder lommeregneren frem. Til gengæld får man Anders Langballe på autoplay, der fortæller om, hvor spændende alle målingerne er. Mette Østergaard, der nu er hos TV2 News, er desuden uvidende om kvaliteten af dækningen på TV2s hjemmeside, når hun siger, at TV2 gør meget ud af at beskrive den statistiske usikkerhed “udførligt på vores hjemmeside”.

Nedenfor har jeg samlet min læsning af artiklerne i tabelform. Første kolonne angiver mediet, der har formidlet målingen, samt en henvisning til selve artiklen. Anden kolonne angiver analyseinstituttet samt datoen for hvornår dataindsamlingen stoppede. Tredje kolonne den statistiske usikkerhed som rapporteret (hvis den er rapporteret). Fjerde kolonne den statistiske usikkerhed som kalkuleret (hvis der var tilstrækkelige informationer i artiklen til at kalkulere den). Femte kolonne om der er tale om en god ( ), ond ( ) eller grusom ( ) formidling af usikkerheden.

Medie Institut (dato) Maks. usikkerhed: Nævnt Maks. usikkerhed: Kalkuleret Vurdering
TV2 Megafon (27.5) 3,02
TV2 Megafon (30.5) 3,10
TV2 Megafon (31.5) 3,10
TV2 Megafon (1.6)
TV2 Megafon (2.6) 3,05
TV2 Megafon (3.6) 3,05
TV2 Voxmeter (29.5) 2,70 3,03
Politiken Megafon (29.5) 3,00 3,10
Politiken Megafon (30.5) 3,00 3,38
Politiken Megafon (1.6) 3,00 3,00
Politiken Megafon (2.6) 3,00 3,00
Politiko Gallup (27.5) 2,72
Politiko Gallup (27.5) 3,00 2,23
DR Epinion (27.5) 2,60 2,59
DR Epinion (28.5) 2,30 2,28
DR Epinion (30.5) 1,90 1,87
DR Epinion (1.6) 2,40 2,39
DR Epinion (2.6) 2,30 2,31
DR Epinion (3.6) 2,20 2,22
JP Wilke (29.5) 2,63 3,02
JP Wilke (30.5) 3,09 3,09
JP Wilke (31.5) 2,65 3,09
JP Wilke (1.6) 2,68 3,09
MX Voxmeter (27.5)
JP Voxmeter (27.5) 2,70 3,03

Som det kan ses er der både gode og dårlige eksempler. DR klarer sig uden tvivl bedst. Jyllands-Posten klarer sig godt, med plads til forbedringer. TV2 har Anders Langballe. Der er indikationer på, at nogle medier har en praksis der fungerer på den måde, at man først udregner den statistiske usikkerhed for partierne, hvorefter man tolker på opbakningen til blokkene, hvor den statistiske usikkerhed er større end for partierne. Opfordringen til journalisterne er simpel: Husk at formidle den statistiske usikkerhed – og rapporter den statistiske usikkerhed for blokkene, hvis opbakningen til disse er af interesse.

Tre simple step til at gøre din kedelige meningsmåling unik

Hvad gør man som journalist når de fleste af de meningsmålinger der kommer ud med timers mellemrum i disse dage, ligner hinanden, men skal formidles og gerne blive set af så mange som muligt? Der er heldigvis flere ting man skal/kan gøre, for at få sin enkelte og kedelige meningsmåling til at se ud af mere, end den er. Her følger tre simple step.

1. Lev i en osteklokke
Det første og måske vigtigste step som journalist er selvfølgelig at undlade at formidle andre meningsmålinger, på samme måde som Coca Cola ikke reklamerer for Pepsi. I løbet af valgkampen er eksempelvis Epinion, der laver målinger for DR, kun nævnt én gang på TV2s politiske site. Megafon, der foretager målingerne for TV2, er ikke, jf. hvad jeg kan se, nævnt på DRs hjemmeside i løbet af den seneste uge. Dette er perfekt. For hver gang et medie nævner en måling fra et institut, de ikke selv har smidt penge efter, falder værdien af deres egen investering i egne målinger – og den enkelte måling bliver mindre unik.

2. Find på en historie
Det andet step handler om at finde en journalistisk vinkel, der har en god historie. Ingen gider læse om en meningsmåling, hvis der kun er rå tal og den faktuelle kendsgerning, at sammenlignet med andre målinger, er der intet sket. Hvis dækningen var sådan, kunne læserne nøjes med én artikel om meningsmålingerne om dagen, og det kan vi ikke have. Det er dog ikke noget nemt job at finde en unik vinkel, for de fleste meningsmålinger viser ikke noget specielt i forhold til, hvad andre målinger viser. Det er derfor, at langt de fleste journalister glemmer alt om den statistiske usikkerhed i målingerne og tolker på decimalers ikke-signifikante forskelle.

Et godt eksempel på en god historie er TV2s dækning af den seneste Megafon-måling. I denne måling får de blå partier sammenlagt 50,6% af stemmerne, men hvis man fjerner de 1,3 procent Kristendemokraterne får og regner på tallene hos de partier, der er over spærregrænsen, giver det 50% til blå blok. 50/50. Ikke en anden måling, men en meget sjovere historie – og en journalistisk vinkel, hvor man kan sige, at det er et enormt spændende valg. Og så kan man selvfølgelig få Megafons direktør, Asger H. Nielsen, til at kommentere på den: “Det er første gang jeg ser 50/ 50. Jeg har aldrig set noget så tæt i hele mit liv.” Med andre ord: Vi har en meningsmåling, der ikke adskiller sig fra de andre, men pludselig er en god historie.

3. Spred nyheden… før, under og efter

Når du har en god historie, er det bare om at få den delt. Forsøg gerne at overdøve vægtede gennemsnit og andre målinger (jf. pkt. 1) og brug alt fra de sociale medier til nyhedsudsendelser, for at få budskabet ud til selv de personer, der er af den naive opfattelse, at de kunne nøjes med en håndfuld målinger om dagen. Hvis man er rigtig dygtig skal man også bygge en stemning op omkring målingen, så folk ved, at der er noget specielt i vente. For at blive ved Megafon-målingen kan det gøres ved at fortælle om, at der er noget opsigtsvækkende og spændende i vente (før målingen offentliggøres):

Dette er tre simple step, der let lader sig applicere. Selvom du ligger inde med en meningsmåling, der ikke er unik og ikke viser noget nyt, kan du godt få det til at se sådan ud. God fornøjelse.

Formidlingen af meningsmålinger i valgkampen

Meningsmålinger fylder med rette meget under en valgkamp. Et folketingsvalg er som bekendt blot en meningsmåling med en statistisk usikkerhed på 0. Derfor fungerer meningsmålinger som en pointtavle vi orienterer os mod, når vi vil blive klogere på, hvordan partierne klarer sig – og hvad vi kan forvente på selve valgdagen.

Under folketingsvalgkampen i 2011 skrev jeg, at medierne ikke altid formåede at tage højde for den statistiske usikkerhed i meningsmålingerne. Jeg forventer ikke, at denne valgkamp bliver en af den slags, hvor medierne i alle tilfælde vil tage højde for den statistiske usikkerhed i formidlingen af meningsmålingerne, men jeg har været optimistisk. Det er for det første min opfattelse, at medierne i højere grad er bevidste omkring den statistiske usikkerhed i meningsmålingerne (mere end i 2011 i hvert fald). Det er for det andet også værd at bemærke, at der har været talrige kritiske artikler omkring meningsmålingerne på det seneste, som med al tydelighed viser, at journalisterne er bevidste omkring de åbenlyse faldegruber, når det kommer til formidlingen af meningsmålinger.

På valgkampens første dag er vi blevet præsenteret for tre forskellige meningsmålinger. En meningsmåling foretaget af Gallup for Berlingske, der taler om et gyservalg (altså at rød blok kommer tættere på de 50 procent). En anden meningsmåling foretaget af Megafon for TV2 og Politiken, der viser, at der ikke er sket det store i løbet af det seneste døgn. En tredje meningsmåling foretaget af Epinion for DR viser, at rød blok går tilbage.

Med andre ord: Fremgang, tilbagegang og status quo for rød blok. Så er vi vist også dækket ind i forhold til journalistiske vinkler på meningsmålingerne. Det der nu bør være åbenlyst er, at de tre meningsmålinger må vise noget forskelligt. Dette er dog på ingen måde tilfældet. Nedenstående figur viser opbakningen til de 10 opstillingsberettigede partier, som analyseinstitutterne inkluderer.

Figuren viser, at de tre meningsmålinger ligger meget tæt op ad hinanden. Faktisk ligger de så tæt, at der ikke er nogle partier, der står signifikant dårligere eller bedre i én måling i forhold til en anden måling. Når vi kigger på blokkene, hvor rød blok består af Socialdemokraterne, Radikale, SF, Enhedslisten og Alternativet, og blå blok af Venstre, Konservative, Dansk Folkeparti, Liberal Alliance og Kristendemokraterne, ser vi da heller ikke, at der er forskelle på tværs af målingerne.

Derfor er det også interessant, at man kan skrive tre så forskellige artikler omkring hvordan partierne står i meningsmålingerne. Dette er første men helt sikkert ikke sidste gang, vi kommer til at se dette i valgkampen. Dette af to grunde. For det første bruger medierne primært deres egne målinger. DR har Epinion, Berlingske har Gallup og TV2 har Megafon. Det er en dyr fornøjelse at få lavet meningsmålinger, og derfor gør de respektive medier også hvad de kan for at sælge deres egen meningsmåling til læserne snarere end konkurrentens.

For det andet, og som konsekvens heraf, vil journalisterne have forskellige referencepunkter i løbet af valgkampen, når de skal referere til den seneste måling. Berlinske vil kigge på hvad Gallup viste dagen forinden (kig eksempelvis på Politiko, hvor man ud fra Dagens Gallup angiver forskelle på helt ned 0,2 procentpoint som en tendens), og TV2 hvad Megafon viste dagen forinden. Når der så tolkes på mindre, ubetydelige forskelle fra dag til dag, gør det også, at der vil komme vidt forskellige journalistiske narrativer, der i bund og grund ikke gør nogen klogere.

Til trods for min umiddelbare optimisme må jeg konkludere, at alt tyder på, at når der er valgkamp, har vi at gøre med business as usual. Derfor er det også blot endnu vigtigere at slå fast: Hvis du gerne vil blive klogere på, hvordan partierne (og blokkene) står i meningsmålingerne, så kig på de vægtede gennemsnit. Den journalistiske dækning er der i hvert fald, hvad angår meningsmålingerne, ingen grund til at sætte sin lid til.

Hvorfor er stikprøvestørrelsen mindre i den seneste Megafon-måling?

Samtlige danske medier beretter om, at der bliver udskrevet valg i dag. Et af de afgørende aspekter for, om Helle Thorning-Schmidt udskriver valg er selvfølgelig partiernes position i meningsmålingerne. Jo tættere Socialdemokraterne og de nærmeste venner er på at kunne mønstre et parlamentarisk flertal, desto større er sandsynligheden for, at statsministeren trykker på valgknappen.

Kommentatorerne taler eksempelvis om, at Socialdemokraterne regner med at man kan flytte et par procentpoint over midten i løbet af en valgkamp, hvorfor 48 procent i meningsmålingerne vil være tilstrækkeligt for at udskrive valg. Derfor var den seneste meningsmåling fra Megafon ekstra interessant, da den viste lige præcis 48 procent til rød blok:

Der er dog ét aspekt, der undrer mig ved denne måling. Hvorfor er der kun spurgt ca. 870 personer? I disse dage hvor meningsmålingerne er af ekstra stor interesse, giver det ingen mening at spørge færre respondenter end normalt. Det giver desuden endnu mindre mening når man tager højde for det aspekt, at det ikke er de forskellige partiers opbakning man er interesseret i, men mere forholdet mellem blokkene. Dette fordi usikkerheden, der påvirkes direkte af antallet af respondenter, er større for blokkene end for de enkelte partier. Den statistiske usikkerhed for de to blokke, som er og bliver det store fokus i disse dage, er ikke op til 3 procentpoint som figuren angiver, men over 3 procentpoint (3,32 for at være lidt mere nøjagtig).

Kigger vi nærmere på samtlige meningsmålinger foretaget af Megafon i denne valgperiode, finder vi blot ét fortilfælde, hvor der har været spurgt lige så få respondenter i en måling, som tilfældet er med den seneste måling fra Megafon. Den anden måling spurgte 840 respondenter og dataindsamlingen for denne måling sluttede den 26. oktober 2011, altså lige efter folketingsvalget i 2011, hvor meningsmålingerne ikke havde samme vigtighed og interesse. Nedenstående figur viser antallet af respondenter i hver af de 50 meningsmålinger foretaget af Megafon for TV2 og Politiken i denne valgperiode:

Det gennemsnitlige antal respondenter i Megafon-målingerne i denne valgperiode er 1068. Det forekommer mig meget mærkværdigt, at man i en periode hvor meningsmålinger får så stor opmærksomhed og hvor man er endnu mere interesseret i estimater, der er forbundet med en i forvejen stor usikkerhed, vælger at gennemføre meningsmålinger med større usikkerhed end man normalt har for vane. Det giver kort fortalt ingen mening.

Det hænder ofte at jeg stiller et spørgsmål i titlen på mine indlæg og forsøger at besvare spørgsmålet efter bedste evne. I dette tilfælde har jeg dog ingen jordisk idé om, hvorfor Megafon ikke har gjort mere ud af at opnå det antal respondenter, de normalt har.

Opdatering (27. maj, 2015):
Det har vist sig, at min undren har været velbegrundet. Med hjælp fra journalisterne Hans Redder fra Jyllands-Posten og Karen Clement fra TV2 viser det sig, at Politiken lavede en fejl i deres formidling af meningsmålingen (en lignende fejl lavede TV2 i dag). De rapporterede tal var ikke det samlede antal respondenter, men blot de vælgere, der havde angivet et partivalg. Det korrekte antal respondenter i meningsmålingen er 1048.

Den interessante sondring mellem det journalistiske og det statistiske

En meningsmåling fra Megafon for TV2 og Politiken viste, at Dansk Folkeparti ville få 21,2 procent af stemmerne, Venstre 20,9 procent og Socialdemokraterne 19,8 procent. Det kræver ikke den store lommeregner eller statistiske tæft at konkludere, at ingen af de tal er signifikant forskellige fra hinanden. Alligevel konkluderede TV2, at meningsmålingen var historisk, da Dansk Folkeparti nu var landets største parti. Meningsmålingen og den samme tolkning af den var efterfølgende at finde hos B.T., Børsen, Berlingske, Ekstra Bladet og Metroxpress.

Som det er blevet pointeret flere steder, er der intet belæg for at sige, at Dansk Folkeparti er størst (se eksempelvis her, her og her). Der er dog intet nyt i, at journalister er tilbøjelige til at vælge en god nyhed på bekostning af den rigtige nyhed (som i dette tilfælde nok vil være, at de tre partier nærmer sig hinanden rent størrelsesmæssigt). Hvad der er interessant er til gengæld det faktum, at ikke alene står TV2 på mål for sådan en tolkning, men også Megafon! Hos Berlingske valgte man, efter man havde skrevet historien om, at Dansk Folkeparti nu var størst, at sætte spørgsmålstegn ved en sådan tolkning. Kanalchefen for TV 2 News, Mikkel Hertz, er i den forbindelse blevet interviewet og udtaler: “De målinger er altid forbundet med en vis usikkerhed. Men det ændrer ikke på, at målingen er udtryk for en klar tendens. I forhold til sidste måling har Venstre taget et mærkbart dyk, og DF gået frem.” Hvis han med “en klar tendens” mener “tilfældig støj”, er jeg helt enig.

Forelagt information omkring den statistiske usikkerhed i meningsmålingen, svarer Mikkel Hertz: “Hvis vi er inde i sådan noget talgymnastik, så synes jeg, at du skal ringe til Megafon. Det kan de meget bedre svare på. Jeg vil ikke gøre mig til dommer over, om vi ligger inden for grænsen af det acceptable. Jeg udtaler mig kun om det journalistiske.” TALGYMNASTIK!? Hvis man ikke kan forholde sig til meningsmålinger på anden måde end var de et eksakt valgresultat, bør man ikke arbejde med meningsmålinger eller stå på mål for samme. Usikkerhed er så afgørende et element i formidlingen af meningsmålinger, at det ikke bare kan reduceres til teknisk talgymnastik hinsides det journalistiske. Og her kommer så det væsentlige: Siden hvornår er man begyndt at sondre mellem det journalistiske og det statistiske? Jeg finder denne sondring djævelsk interessant.

Hvorfor? Fordi det er umuligt. Man kan ikke bare betegne bestemte statistiske kendsgerninger som værende ikke-journalistik, for derefter at udvælge specifikke tal, der så er journalistik. Det er i bedste fald misvisende (og i værste fald manipulation). Det er i hvert fald alt andet end god journalistik. Hvis man vælger at skrive nyheder hvori statistik spiller en væsentlig rolle, er det sørgeligt at se, at man ikke engang gider tage det seriøst, men bare selektivt bygger narrativer op omkring de dele af virkeligheden, der udgør en spændende historie. Det er ikke journalistik, men skønlitteratur.

Bedre bliver det ikke i artiklen hos Berlingske, da de spørger Casper Jensen, chef for Megafons kvantitative afdeling, om Megafons holdning til tolkningen af meningsmålingen: “Vi står inde for, at vi har målt DF som det største parti, og vi står inde for, vi mener, at DF nu er det største parti med 0,3 procentpoint, men der er noget usikkerhed forbundet med det”. Det gør det selvfølgelig ikke rigtigt, bare fordi man står inde for det. Det viser bare, at man ikke har forstået noget helt grundlæggende om, hvornår man kan sige – med udgangspunkt i en meningsmåling – at et bestemt parti er størst.

Konklusion: Det er ikke muligt at foretage en sondring mellem journalistik og talgymnastik (“statistik”). Det er muligt at det øger kompleksiteten, at man skal formidle statistisk usikkerhed og lignende tal, men det øger også sandhedsværdien. Den journalistiske kerneopgave er i den forbindelse at reducere kompleksiteten gennem god formidling snarere end gennem selektiv formidling, hvor det sidste desværre var tilfældet med den seneste Megafon-måling, der førte til en decideret forkert tolkning og formidling i noget nær den samlede danske presse.

Hvad siger vælgerne til soldater i Afrika?

Tal taler ikke for sig selv. De skal som altid tolkes og sættes ind i en kontekst. Lene Espersen har snakket om at sende danske soldater til Afrika på et tidspunkt. I en meningsmåling fra Megafon, som er gennemført for Politiken og TV 2, bliver vælgerne så spurgt om deres holdning til dette.

Berlingske.dk skriver på baggrund af meningsmålingen under overskriften Fire ud af ti vil sende militær til Afrika: ”Udenrigsministerens tanke om at sende danske soldater til Afrika bakkes op af et stort mindretal af vælgerne.”

Politiken.dk skriver på baggrund af meningsmålingen under overskriften Vælgerne siger nej til at sende soldater til Afrika: ”Ekspert: Den usædvanligt lave opbakning er en bombe under dansk udenrigspolitik.”

Ja, som altid handler journalistik om at vinkle en historie. Lidt komisk er det i hvert fald, at der gøres så vidt forskellige konklusioner på baggrund af den samme meningsmåling.