Journalister, kommentatorer og andre, der skal formidle og fortolke meningsmålinger, har det desværre med at ignorere eller fejlfortolke den statistiske usikkerhed.
Man kan som bekendt ikke tale om meningsmålinger uden også at tale om usikkerhed. Når vi ikke måler alle meninger, vi ønsker at udtale os om, er der selvsagt brug for at kvantificere den grad af sikkerhed, vi ønsker at udtale os med. Her er standardpraksis, at medierne – der formidler disse meningsmålinger – udregner den statistiske usikkerhed med 95% konfidensintervaller og rapporterer den maksimale statistiske usikkerhed i målingen for de respektive partier.
Hvorfor er den statistiske usikkerhed så vigtig? Fordi den pointerer den væsentlige kendsgerning, at vi ikke arbejder med præcise tal. Vi arbejder med estimater. Personligt er jeg mindre opmærksom på, om den statistiske usikkerhed er 2,5 procentpoint eller 3 procentpoint for et parti. Det vigtigste er, at man erkender, at der er en statistisk usikkerhed, og dermed også en sandsynlighed for, at man tager fejl.
Det betyder også, at i det sekund, at der er en forskel mellem to partier, der ligger uden for den statistiske usikkerhed, kan vi stadig ikke være 100% sikker på, at der er en forskel, blot at sandsynligheden for, at der er en forskel, er blevet større.
Udfordringen er, at usikkerheden er kalkuleret ud fra den antagelse, at meningsmålingen bygger på en repræsentativ stikprøve fra en population, eller om ikke andet kan antages at være repræsentativ. Vi tager dermed ikke hensyn til systematiske skævheder og andet, der kan give forkerte estimater.
Dette blev der især sat fokus på efter præsidentvalget i 2016, hvor de fleste modeller, der tog udgangspunkt i forskellige meningsmålinger, forudsagde, at Hillary Clinton ville blive USAs næste præsident. Kigger man på dækningen dengang, var der dog også allerede før valget fokus på, at meningsmålingerne ikke er præcise estimater.
Pew Research Center gjorde meget ud af at formidle den statistiske usikkerhed (se eksempelvis her). New York Times kunne vise, at det samme datamateriale kunne føre til forskellige estimater for, hvor stor opbakningen var til henholdsvis Hillary Clinton og Donald Trump. Josh Katz viste på bloggen TheUpshot, at der var stor forskel på modellerne (hvor der var en meget høj grad af usikkerhed).
Ligeledes blev det vist, hvordan få respondenter, alt efter hvordan der vægtes i meningsmålingerne, kan have en afgørende betydning for, hvad målinger viser. Det blev ligeledes argumenteret for, at den statistiske usikkerhed ofte skulle ses som ±7% i stedet for ±3% (altså en langt større usikkerhed end vi normalt arbejder med).
Det korte af det lange er, at der er ved at komme ne større erkendelse af, at vi skal tage meningsmålingernes styrker og udfordringer i betragtning, når vi formidler disse.
I årtier har nyhedsartikler med meningsmålinger fulgt den samme skabelon. Der informeres i de fleste tilfælde om meningsmålingen, herunder hvad den kommer frem til. Hvad der ellers bliver nævnt varierer betydeligt. I nogle artikler informeres der om, hvem der har betalt meningsmålingen, hvilke spørgsmål der er stillet, hvor stor den statistiske usikkerhed er og så videre.
Nu er der som sagt en øget erkendelse af, at meningsmålingerne har en større værdi end blot isolerede nyhedsartikler, der formidler de respektive målinger. Én enkelt meningsmåling bør mødes med en vis skepsis og ønsket om, at se om lignende tendenser opstå i andre og flere meningsmålinger. Dette har ført til et par journalistiske initiativer, blandt andet meningsmålingeraggregater som de nævneværdige Risbjerg-snittet hos Altinget og Berlingske Barometer.
Udfordringen med meningsmålingeraggregater er, at de kan reducere relevante forskelle mellem analyseinstitutter og kan give en lavere statistisk usikkerhed, der kun er berettiget hvis bestemte antagelser overholdes.
Det er af denne grund at jeg på Politologi.dk sætter fokus på at vise alle meningsmålinger, så det står klart, at meningsmålingerne ikke altid viser det samme. Hvis man eksempelvis kigger på Nye Borgerlige, kan man se, hvordan uenigheden mellem analyseinstitutterne ikke blot skyldes tilfældig støj.
Hvad jeg håber at se mere af i fremtiden er et øget fokus på manglende præcision i mediernes dækning. Der har været et alt for stort fokus på at formidle partiernes opbakning ned til mindste decimal, som udelukkende bidrager til at give en opfattelse af, at meningsmålingerne kan sige noget med større sikkerhed, end de reelt kan.
Et af de eksempler man kunne applicere i dækningen af meningsmålinger, finder man hos Der Spiegel, der i en artikel formidlede antallet af influenzalignende lægebesøg. Dette eksempel er interessant, da der er en statistisk usikkerhed, der også skal visualiseres.
Som det kan ses i ovenstående figur fluktuerer estimatet inden for den statistiske usikkerhed, så det er klart for læseren, at der ikke er tale om et præcist estimat.
Det er relativt nemt at lave lignende visualiseringer, når det kommer til meningsmålinger. I nedenstående eksempel tog jeg en meningsmåling fra Voxmeter, og lod den statistiske usikkerhed være dynamisk med henholdsvis 90%, 95% og 99% konfidensintervaller.
I figuren forsøger jeg ligeledes at tage fokus fra det specifikke punktestimat. Det er selvfølgelig muligt at aflæse dette, men det er gemt væk i den statistiske usikkerhed, hvorfor man forhåbentlig fokuserer mere på den dynamiske usikkerhed end ét statisk tal.
Meningsmålinger er i sagens natur ikke præcise. De er kvalificerede estimater, der skal formidles med omtanke og med fokus på den usikkerhed, de kommer med. Der er heldigvis forskellige måder denne usikkerhed kan formidles på, og det kunne være interessant at se de danske medier prøve kræfter med at sætte mere fokus på denne usikkerhed. Især i relation til det snart kommende folketingsvalg.