Forud for folketingsvalget i 2019 anbefalede jeg medierne, at fokusere mere på den statistiske usikkerhed i meningsmålingerne. Jeg fremhævede i den forbindelse at den statistiske usikkerhed er vigtig i mediedækningen: “Fordi den pointerer den væsentlige kendsgerning, at vi ikke arbejder med præcise tal. Vi arbejder med estimater. Personligt er jeg mindre opmærksom på, om den statistiske usikkerhed er 2,5 procentpoint eller 3 procentpoint for et parti. Det vigtigste er, at man erkender, at der er en statistisk usikkerhed, og dermed også en sandsynlighed for, at man tager fejl.”
Journalister, kommentatorer og eksperter er dog fortsat glade for præcision og undlader ofte at nævne den statistiske usikkerhed, når opbakningen til forskellige partier skal formidles. Tag dette eksempel, som jeg stødte på forleden. Her står der, at de Konservative har vundet ”95.433 nye vælgere”. Hvorfor ikke 95.432 eller 95.434 nye vælgere? Det giver absolut ingen mening at formidle tal med en sådan præcision. Tværtimod gør det blot usikkerheden mindre synlig. Det ville være betydeligt bedre hvis man havde sagt omkring 95 tusinde vælgere og givet den statistiske usikkerhed for dette estimat.
I mit forrige indlæg legede jeg med tanken om, at medierne kunne præsentere den statistiske usikkerhed mere dynamisk. Eksempelvis ved at fokusere mere på det interval inden for hvilket, opbakningen højst sandsynligt lå end et tal for, hvor stor opbakningen er. Med andre ord: at fokusere mere på usikkerheden end selve estimatet.
Den statistiske usikkerhed bliver som regel repræsenteret med ét tal (eller ét tal for hvert parti). Denne usikkerhed er som regel udregnet med et 95% konfidensinterval in mente. Det er dog ingen naturlov, at den statistiske usikkerhed skal være på 95%, og det kunne lige så godt være 90% eller 99%. Her er mit beskedne forslag: I stedet for blot at fokusere én statistisk usikkerhed, kunne man formidle to eller tre. Der er intet særligt ved dette og man ser det ofte gjort i videnskabelige artikler – eksempelvis når man vurderer om noget er signifikant på forskellige niveauer eller med både 90% og 95% konfidensintervaller.
Dette vil især egne sig godt til en visuel formidling, hvis man kan vise et estimat med den statistiske usikkerhed som en fleksibel størrelse. Et bud er således at give både 95% og 90% konfidensintervaller. Her er et visuelt eksempel med den seneste meningsmåling fra Voxmeter:
Opbakningen til Socialdemokratiet i den seneste Voxmeter-måling er 31,2%. Den statistiske usikkerhed er +/- 2,8% med et 95% konfidensinterval og +/- 2,4% med et 90% konfidensinterval. Denne forskel er ikke stor, men det er heller ikke det afgørende. Det vigtige er at få det vist, at den statistiske usikkerhed også kan variere (og dermed også blot er et estimat). Jo mindre vi går op i præcision (ofte for den statistiske usikkerhed), desto bedre kan vi forstå nogle af de begrænsninger, der altid vil være forbundet med meningsmålinger.
Som jeg skrev i et indlæg forrige uge, er meningsmålingerne overordnet betragtet meget præcise i en dansk kontekst, men når de tager fejl, har de det med at tage kollektivt fejl. Ved at fokusere på at den statistiske usikkerhed ikke er én størrelse, kan man forhåbentlig nuancere borgernes opfattelse af, at meningsmålingerne nogle gange kan tage fejl. Så slipper vi også for at skulle have diskussioner om, hvorvidt meningsmålingerne overhovedet kan bruges til noget, når de tager fejl.
Dertil er det også vigtigt at huske på, at vi antager at estimaterne i en meningsmåling er uafhængige af hinanden, men når vi tager fejl med ét parti, tager vi som regel også fejl med andre partier. Den statistiske usikkerhed for et parti burde derfor være uafhængig af den statistiske usikkerhed for et andet parti, men dette er noget der ikke holder i praksis. Der er med andre ord mange udfordringer forbundet med at udtale sig omkring usikkerheden i en meningsmåling. Og igen, jo mindre vi fokuserer på ét præcist estimat for hvert parti, desto nemmere vil det være at formidle sådanne begrænsninger, antagelser m.v.
Meningsmålinger er ikke præcise. Jeg ved godt at faste læsere vil være bekendt med denne pointe, men mit håb er at nogle journalister eller andre vil give sig i kast med at undersøge, hvordan man bedst kan formidle den statistiske usikkerhed i meningsmålingerne med udgangspunkt i ovenstående og tidligere nævnte pointer. Vil der være gode eksempler herpå i fremtiden, skal jeg nok skrive et indlæg herom.