Erik Gahner Larsen

Har Jyllands-Posten indført en bedre metode?

Hos Jyllands-Posten kan man læse, at “Jyllands-Posten og Wilke indfører en ny metode for opinionsmålinger. Målet er at opnå større præcision.” Kort opsummeret vil Jyllands-Posten og Wilke introducere ”en ny standard” for politiske meningsmålinger i Danmark. Dette vil ske med følgende tiltag: 1) en fordobling af antallet af respondenter, 2) en fortsættelse af hidtidige praksis, 3) en ændring i udvælgelsen af respondenter, 4) en ændring i vægtningsproceduren og 5) en højere svarprocent.

Det er svært at se, hvor de nye standarder er – og hvilke problemer, de vil løse. Husk på, at der stadig ikke har været nogle udmeldinger om, hvad der gik galt under det seneste folketingsvalg. Og når vi ikke kender årsagen til problemet, er det som bekendt vanskeligt at komme med en løsning. Vi ved, at institutterne ikke var gode til at ramme Dansk Folkepartis vælgeropbakning, men vi ved ikke om det var på grund af udvælgelsen af respondenter, svarprocenten, vægtningen af svarene eller noget helt fjerde (eller en kombination af nævnte, som Jyllands-Posten står på mål for her).

Det er også rimeligt at antage, at andre analyseinstitutter arbejder på at opnå en højere svarprocent, have den bedste vægtningsprocedure og udvælge respondenterne på den bedste måde. Så længe vi ikke adresserer hvordan Wilkes metode afviger fra andre analyseinstitutters metoder, er det svært at konkludere, at der er nogle nye standarder/metoder her. Det er med andre ord svært at se, hvad der er nyt i disse standarder, som de fleste andre analyseinstitutter ikke allerede (også) arbejder ud fra. Dette beskriver Jyllands-Posten ikke med ét ord, og det er nok fordi, at der ikke er så meget nyt under solen her. Gammel vin på nye flasker.

Der er dog ét punkt, hvor Jyllands-Posten er eksplicit omkring, hvordan deres praksis afviger fra andres: ”Hidtil har Wilkes meningsmålinger bestået af ca. 1.000 interview, fordelt på internet og telefon. Dette antal er normen i Danmark. Fremover øger vi dog antallet af interview til ca. 2.000”. Hvis man ser bort fra, at der er undtagelser på dette (Epinion, der laver meningsmålinger for DR, har som regel over 1.700 respondenter i hver måling), er det svært at se, hvorfor dette er en kvalitet i sig selv. Det er ikke kun i et lille land som Danmark, at 1.000 respondenter er normen, men i alle lande.

Dette af gode statistiske grunde: Vi får mere ud af at interviewe respondent nummer 980 end respondent nummer 1.980. Uafhængigt af populationens størrelse, forstås. Kritiske tunger kan derfor indvende, at i stedet for at bruge penge på at interviewe 2.000 i stedet for 1.000, ville pengene være givet bedre ud på at forbedre andre forhold ved meningsmålingen. Eller med andre ord: Bruge pengene på at opnå større validitet end reliabilitet.

Generelt er der et alt for stort fokus på – og tiltro til – stikprøvestørrelsen og den statistiske usikkerhed, der følger med. Den statistiske usikkerhed er kun meningsfuld, hvis vi har et validt estimat. Præcision er dermed ikke en kvalitet i sig selv, hvis vi blot rammer forkert med stor præcision. Med andre ord kan det sågar blot medføre, at man tager fejl med større præcision og dermed – lettere komisk – ligger endnu længere væk fra det sande estimat, taget den statistiske usikkerhed i betragtning (som det eksempelvis var tilfældet under folketingsvalget, når man arbejdede med aggregerede meningsmålinger).

Den statistiske usikkerhed kan da også være svær at tolke. I den første meningsmåling fra Wilke for Jyllands-Posten, skrives der: “Usikkerheden er det interval, målingen med 95 pct. sandsynlighed rammer inden for.” Dette er lidt kludret formuleret og ikke helt korrekt. Som bekendt er den rigtige tolkning, at hvis vi fik gennemført meningsmålingen igen og igen, ville den statistiske usikkerhed 19 ud af 20 gange indeholde den rigtige opbakning. For en let og god illustration af dette, se denne guide. Igen: Det vigtige er, at en præcis meningsmåling ikke nødvendigvis er en sand meningsmåling. Det virker derfor mest af alt som en gratis (=dyr) reklame for Wilkes målinger, når man sælger 2.000 respondenter som en kvalitet.

Det er formidabelt, at Jyllands-Posten arbejder på at gøre det bedre i deres dækning af meningsmålinger, især i forhold til frekvensen af dem. Ligeledes har Jyllands-Posten og Wilke måske lavet forandringer til det bedre, men umiddelbart er der intet der tyder på, at vi skal stole mere på meningsmålinger fra Wilke end fra Epinion, Gallup og de andre analyseinstitutter – også efter indførelsen af den “ny metode”.

Den gode, den onde og den grusomme: Mediernes formidling af statistisk usikkerhed i meningsmålingerne

Den kyndige læser af meningsmålinger ved efterhånden alt om den statistiske usikkerhed i meningsmålingerne og ikke mindst vigtigheden af, at journalisterne formidler helt essentielle metodiske informationer. Dette er dog ikke ensbetydende med, at de respektive danske medier gør det. I dette indlæg kigger jeg nærmere på, hvordan de danske medier formår at formidle et af de vigtigste aspekter af meningsmålingerne: den statistiske usikkerhed.

Der er især to forhold, der er vigtige i denne sammenhæng. For det første at undersøge, om medierne formår at formidle den statistiske usikkerhed. For det andet at undersøge, om de formidler den korrekte statistiske usikkerhed. I forhold til sidstnævnte er det vigtigt at huske på, at usikkerheden for partierne i den samme meningsmåling varierer, alt efter partiets størrelse. De fleste artikler omhandlende meningsmålinger rapporterer dog oftest kun én usikkerhed, mere specifikt for det estimat med den største usikkerhed (altså usikkerheden for det estimat, der kommer tættest på 50%).

Det relevante ved meningsmålingerne i denne valgkamp er, at de alle omhandler styrkeforholdet mellem rød og blå blok. Jeg har ikke været i stand til at finde så meget som én artikel, der ikke kommenterer på opbakningen til henholdsvis rød og blå blok. Dette gør især det andet forhold ved den statistiske usikkerhed interessant. Det er ikke tilstrækkeligt, at disse artikler kun formidler usikkerheden for partierne, da den største usikkerhed er tilknyttet de to blokke. Nedenstående figur illustrerer dette ved at vise hvordan usikkerheden med et 95% konfidensinterval ændres som en funktion af partiets/blokkens størrelse (ved en stikprøvestørrelse på 1000, se her for matematikken bag):

På figuren har jeg angivet et parti, der har 25% af stemmerne (det kunne i disse dage være Socialdemokraterne), samt en blok, der får 50% af stemmerne. Hvis en artikel kun formidler den statistiske usikkerhed for partiet, men er interesseret i opbakningen på blokniveau, vil den rapporterede statistiske usikkerhed være misvisende svarende til afstanden mellem de to stiplede linjer.

For at kigge nærmere på, om medierne tager højde for dette i dækningen, gennemgik jeg en del af de artikler, der er tilgængelige online. Jeg kiggede især på de meningsmålinger fra medierne, der har et bestemt analyseinstitut tilknyttet deres dækning (da de med sikkerhed får den statistiske usikkerhed fra institutterne). Da Voxmeter leverer meningsmålinger til Ritzau, fandt jeg et par tilfældige artikler herfra, der var formidlet i medierne.

I min læsning af hver artikel undersøgte jeg 1) om den maksimale statistiske usikkerhed blev rapporteret, 2) hvad den maksimale statistiske usikkerhed var (altså egen udregning) og 3) vurderede om de to usikkerheder var identiske. Til min store overraskelse var det desværre ikke alle artikler, der formåede at levere noget så basalt som den statistiske usikkerhed.

Overordnet er der tre typer af dækning af den statistiske usikkerhed: Den gode, den onde og den grusomme. Den gode dækning formår at rapportere den statistiske usikkerhed og dette på en sådan måde, at alle rapporterede estimater har en maksimal usikkerhed, der stemmer overens med den rapporterede. Den onde dækning formår også at rapportere den statistiske usikkerhed, men nævner eksempelvis, at det blot er den maksimale usikkerhed for partierne, hvorefter forskellene mellem blokkene rapporteres. Den grusomme dækning nævner ikke usikkerheden med ét ord.

Det gode eksempel først: DR og Epinion. Lige så elendige DR og Epinion var på valgdagen under kommunalvalget i 2013 med deres exit prognose, lige så dygtige er de i deres formidling af den statistiske usikkerhed under denne valgkamp. I samtlige artikler på DR.dk, hvor Epinions målinger formidles, rapporteres den maksimale statistiske usikkerhed på blokniveau. Og for at dette ikke skulle være nok, er der i de fleste tilfælde også en henvisning til rapporten fra Epinion, hvor man kan læse meget mere om meningsmålingen. Det er fantastisk god formidling. Epinion har desuden flere respondenter med end normalt, hvilket gør, at selvom usikkerheden formidles for blokkene, er den stadig lav i forhold til, hvad man normalt ser for partierne.

Det onde eksempel: Jyllands-Posten og Wilke. Jyllands-Posten formår at formidle den statistiske usikkerhed og er eksplicit omkring, at det er for de største partier, men tolker også på forskellene mellem blokkene – og angiver den statistiske usikkerhed for partierne i figurerne hvor de viser forskellene mellem blokkene. Der er dog et tilfælde hvor de rent faktisk formidler usikkerheden på blokniveau, så jeg tror på, at de har kompetente journalister ansat, der har styr på den slags. Et par lignende tilfælde finder vi hos Politiken, der dog også har gode eksempler.

Det grusomme eksempel: TV2 og Megafon. Her formidles ingenting. Læserne af meningsmålingerne hos TV2 har kun mulighed for at vide, hvor stor den statistiske usikkerhed er, hvis de selv finder lommeregneren frem. Til gengæld får man Anders Langballe på autoplay, der fortæller om, hvor spændende alle målingerne er. Mette Østergaard, der nu er hos TV2 News, er desuden uvidende om kvaliteten af dækningen på TV2s hjemmeside, når hun siger, at TV2 gør meget ud af at beskrive den statistiske usikkerhed “udførligt på vores hjemmeside”.

Nedenfor har jeg samlet min læsning af artiklerne i tabelform. Første kolonne angiver mediet, der har formidlet målingen, samt en henvisning til selve artiklen. Anden kolonne angiver analyseinstituttet samt datoen for hvornår dataindsamlingen stoppede. Tredje kolonne den statistiske usikkerhed som rapporteret (hvis den er rapporteret). Fjerde kolonne den statistiske usikkerhed som kalkuleret (hvis der var tilstrækkelige informationer i artiklen til at kalkulere den). Femte kolonne om der er tale om en god ( ), ond ( ) eller grusom ( ) formidling af usikkerheden.

Medie Institut (dato) Maks. usikkerhed: Nævnt Maks. usikkerhed: Kalkuleret Vurdering
TV2 Megafon (27.5) – 3,02
TV2 Megafon (30.5) – 3,10
TV2 Megafon (31.5) – 3,10
TV2 Megafon (1.6) – –
TV2 Megafon (2.6) – 3,05
TV2 Megafon (3.6) – 3,05
TV2 Voxmeter (29.5) 2,70 3,03
Politiken Megafon (29.5) 3,00 3,10
Politiken Megafon (30.5) 3,00 3,38
Politiken Megafon (1.6) 3,00 3,00
Politiken Megafon (2.6) 3,00 3,00
Politiko Gallup (27.5) – 2,72
Politiko Gallup (27.5) 3,00 2,23
DR Epinion (27.5) 2,60 2,59
DR Epinion (28.5) 2,30 2,28
DR Epinion (30.5) 1,90 1,87
DR Epinion (1.6) 2,40 2,39
DR Epinion (2.6) 2,30 2,31
DR Epinion (3.6) 2,20 2,22
JP Wilke (29.5) 2,63 3,02
JP Wilke (30.5) 3,09 3,09
JP Wilke (31.5) 2,65 3,09
JP Wilke (1.6) 2,68 3,09
MX Voxmeter (27.5) – –
JP Voxmeter (27.5) 2,70 3,03

Som det kan ses er der både gode og dårlige eksempler. DR klarer sig uden tvivl bedst. Jyllands-Posten klarer sig godt, med plads til forbedringer. TV2 har Anders Langballe. Der er indikationer på, at nogle medier har en praksis der fungerer på den måde, at man først udregner den statistiske usikkerhed for partierne, hvorefter man tolker på opbakningen til blokkene, hvor den statistiske usikkerhed er større end for partierne. Opfordringen til journalisterne er simpel: Husk at formidle den statistiske usikkerhed – og rapporter den statistiske usikkerhed for blokkene, hvis opbakningen til disse er af interesse.

Om mediernes faktatjek

Efter folketingsvalget i november sidste år blev faktatjek vurderet som værende det nye sort i medierne. Det har dog ikke været uden kritik. Redaktøren på Ugebrevet A4, Jan Birkemose, har blandt andet pointeret, at et faktatjek kan være »overfladisk og i værste fald [en] skadelig begivenhed, når nogle generalister, det vil sige journalister, får magten til at udlægge sager, som selv videnskaben er uenige om«.

For måneder tilbage kom Clement Kjersgaard i Debatten på DR2 med en kritisk indvending, da professor Christian Kock roste medierne for deres faktatjek-initiativ. Clements pointe var, at hvis der er noget der er faktatjek, er der også noget der er ikke-faktatjek. Der kan derfor argumenteres for, at faktatjek blot er symptomatisk for, at alt for mange politiske udmeldinger går ukritisk gennem medierne.

Ligeledes har SF’s pressechef, Claus Perregaard, kaldt et faktatjek af Villy Søvndal under valgkampen ’11 for »noget semantisk flueknepperi«. Konsekvensen af mediernes faktatjek kan dermed være, at man får en mere klinisk og kedelig debat, når politikerne skal frygte, at selv helt banale og ligegyldige fejl bliver taget op af mediernes faktatjek-enheder.

Det øgede fokus der er kommet på mediernes faktatjek samt ovenstående udmeldinger, får forhåbentlig én til at tænke over hvad faktatjek grundlæggende er for en størrelse. Selv har jeg et noget ambivalent forhold til mediernes faktatjek-format. Først og fremmest fordi jeg ikke finder det særligt nyskabende.

Der skal ingen tvivl herske omkring, at når folk siger noget der ikke passer, skal det korrigeres. Det er umuligt at føre en rationel politisk diskussion på et grundlag, hvor der ingen forskel er på sandhed og løgn. Det betyder dog ikke, at alle politiske udmeldinger bør eller kan tages op. Journalisterne skal være selektive og vælge de udmeldinger der 1) har en væsentlig grad af relevans at blive korrigeret samt 2) kan nuanceres ved hjælp af et faktatjek.

Det er, som Jan Birkemose pointerer, ikke alle udmeldinger der er godt tjent med et faktatjek. Det afgørende må derfor være, at et faktatjek, bedre end en længere, nuanceret baggrundsartikel eller lignende, bidrager til at kvalificere den politiske debat. Jeg har i den forbindelse undret mig en del over, hvorfor faktatjek-formatet har vundet så meget indpas, i stedet for blot at lade journalisterne interviewe fagfolk og researche, og skrive ganske almindelige artikler.

Det er værd at huske på, at faktatjek er ikke en ny opfindelse. Ved tidligere folketingsvalg har der ligeledes været fokus på, at gå politikernes udmeldinger efter i sømmene, og skrive kritiske artikler om politikerenes påstande. Som eksempel kan der nævnes Jyllands-Posten, der under valgkampen i 2007 gjorde en del ud af systematisk at faktatjekke1:

Det kan med andre ord betvivles hvor revolutionerende det nye faktatjek-format er. Det er nok næppe blevet hverken mere eller mindre populært, at sige noget der er lodret forkert under en valgkamp.

Man kan så godt argumentere for, at når der er noget der er faktatjek, er der også noget der ikke er faktatjek. Dette er dog ikke ensbetydende med, at medierne er for ukritiske. For det første havde nogle medier (BT, Berlingske, Politiken), kun faktatjek-konceptet under valgkampen, hvor der sker en intensivering i antallet af politiske debatter og udmeldinger, der ikke alle kan kontrolleres, som var det uden for en valgkampsperiode. For det andet går ikke alle politiske udmeldinger gennem mediernes kritiske filtre. Eksempler herpå er sociale medier og politiske debatter, hvor faktatjek alt andet lige må ske som en reaktion på de udmeldinger der er sendt ud til borgerne.

Vi ser primært faktatjek to steder i det danske medielandskab nu. Hos Jyllands-Posten og i Detektor på P1 og DR2. Ved sidstnævnte er der ikke kun tale om faktatjek (i det seneste afsnit blev en stor del af programmet brugt på en ligegyldig introduktion til politikernes kropssprog), og ved førstnævnte er kvaliteten meget varierende.

Jyllands-Posten har ved flere lejligheder lavet hvad man med rette kan kalde faktatjek af en ret ringe kvalitet. Eksempler herpå kan ses her, her og her, hvor man i førstnævnte stempler Alex Ahrendtsen udmelding om, at lærernes politiske overbevisning afspejler sig i deres valg af undervisningsmateriale, som sand, uden at have noget belæg for det, og i sidstnævnte ikke har styr på den statistiske usikkerhed forbundet med den relevante undersøgelse!

Jeg er principiel tilhænger af, at medierne bedriver faktatjek (i såvel som udenfor valgkampe), men så skal der også være styr på det. Det skal ikke blive en undskyldning for at tage ligegyldige udmeldinger op eller bedrive decideret tendentiøse faktatjek, hvilket risikoen alt andet lige bliver større for, når man laver et selvstændigt faktatjek-format, der skal kunne levere usandheder på ugentlig basis.

Faktatjek blev ganske vel kaldt det nye sort i valgkampen 2011, men der er ikke så meget nyt i at tjekke fakta under valgkampe.

  1. Udklippet er fra Duellens påstande i Jyllands-Posten s. 4, tirsdag d. 6. november 2007 [↩]

Hvem vandt aftenens debat

Her til aften var der politisk debat på TV2. Debatten stod mellem statsministerkandidaterne Helle Thorning-Schmidt (S) og Lars Løkke Rasmussen (V). Efter debatten er det så retorikere, politikere, analytikere, vælgere etc. der tager over, og vurderer og vejer de enkelte kandidater, og alle kårer en vinder. Hvordan kan man så komme frem til, hvem der vandt debatten?

Der er mange kriterier, de fleste ikke-målbare, at vurdere debatten på, og hånden på hjertet, så har jeg ingen idé om, hvem der klarede det bedst eller hvordan vi overhovedet skal finde ud af det. Lasse Rimmer ekspliciterede i den forbindelse en meget interessant tanke på hans twitter: Og vinderen er – den partileder du bedst kunne lide før debatten.

Jeg tror der er noget om snakken, om end det selvfølgelig er lidt tragisk. En vælgervolatilitet på 0%, eller i hvert fald en idé om, at det ikke er sådanne debatter der flytter vælgerkorpset, hvis bare begge kandidater holder sig rene og ikke begår fatale brølere.

Nuvel, selvfølgelig har debatten noget at skulle have sagt, men hvem der ”vinder” debatten, vil formodentlig være afhængigt af hvem man ”holder med”. Eller sagt med andre ord vil ens politiske orientering også farve ens holdning til, hvem der klarede debatten bedst.

På hhv. Politikens hjemmeside og Jyllands-Postens hjemmeside kan man stemme på, hvem der klarede sig bedst. Hvem tror du umiddelbart der klarede sig bedst hvis man spørger på de to respektive hjemmesider?

På Politiken.dk vinder Helle Thorning-Schmidt med næsten 2/3 af alle stemmerne, hvor at knap 1/4 mener at Lars Løkke Rasmussen klarede sig bedst. Hvis det står til Politikens netlæsere, er der altså ingen tvivl om, at det var Helle der klarede sig bedst. 4041 havde afgivet deres stemme da jeg tjekkede.

På JP.dk vinder Lars Løkke Rasmussen med omkring halvdelen af stemmerne, hvor at Helle Thorning-Schmidt har lige godt 1/3 af stemmerne. Her er der altså en opfattelse af, at Lars klarede debatten bedst. 3078 havde afgivet deres stemme da jeg tjekkede.

Hvem vandt så aftenens debat? Spørger man en venstreorienteret, vil jeg gætte på, at sandsynligheden for at det var Helle T. der vandt, er størst, og hvis man spørger en højreorienteret, så Lars Løkke. Der kan og er helt sikkert nogle eksperter et sted derude med djævelsk meget forstand på retorik og politisk argumentation etc., men det betyder ikke, at jeg vil høre på hvem menigmand synes vandt debatten. Eller m.a.o.: Kan vi ikke venligst slippe for diverse voxpops hvor at almindelige og ligegyldige mennesker bliver gjort til eksperter og skal vurdere, hvem der klarede sig bedst? Tak.