I 2011 skrev jeg et trivielt indlæg om, at flere respondenter ikke nødvendigvis er bedre i en meningsmåling, og ofte er værre, da det kan være et tegn på, at meningsmålingen ikke er repræsentativ. Hvis du ser en meningsmåling med 100.000 respondenter, kan du være ganske sikker på, at der er problemer.
I løbet af de seneste par dage har jeg tænkt på en anden grund til, at flere respondenter i og for sig selv ikke gør meningsmålingen bedre – selv hvis meningsmålingen i udgangspunktet er repræsentativ. Forklaringen herpå skal findes i, at der kan være mange respondenter i en meningsmåling, der angiver, at de ikke ved, hvad de vil stemme, at de nægter at stemme m.v., som ikke bruges til at udregne andelene i en meningsmåling.
Lad os eksempelvis antage, at vi har to meningsmålinger. Den ene meningsmåling har 1.000 respondenter, hvoraf 10% af disse ikke vil stemme på et parti. Den anden meningsmåling har 1.200 respondenter, hvoraf 30% af disse ikke vil stemme på et parti. Den anden meningsmåling har i udgangspunktet en mere imponerende stikprøve, men når man kigger på, hvor mange respondenter vi har, der har stemt på de forskellige partier, har vi en mindre stikprøve. Dette handler ikke om at vurdere, hvilken af meningsmålingerne der er bedst, blot at den stikprøvestørrelse du ser i en meningsmåling, og dermed den statistiske usikkerhed, ikke altid er retvisende.
Den statistiske usikkerhed i en meningsmåling påvirkes som bekendt af stikprøvestørrelsen. Jo flere respondenter, desto mindre usikkerhed. Du kan selv beregne den statistiske usikkerhed for et parti her.
Den seneste Voxmeter-måling kan fungere som et fint eksempel. Her er beskrivelsen af meningsmålingen:
Voxmeters politiske meningsmåling, offentliggjort den 8. november 2020, baserer sig på telefoninterview med 1.028 repræsentativt udvalgte personer 18 år+ og er gennemført i perioden fra d. 2. november 2020 til d. 7. november 2020.
Voxmeter afdækker i tabellen kun de personer, der ved, hvad de vil stemme, hvis der var folketingsvalg i morgen.
Ca 25,6% af de adspurgte var på det pågældende tidspunkt “i tvivl om partivalg”, “vil ikke stemme”, “vil stemme blankt” eller “er ikke stemmeberettiget”.
Tallene i parentes angiver forskellen i procentpoint fra folketingsvalget d. 5. juni 2019. Den maksimale usikkerhed på de enkelte partier i denne måling er på +/-2,8 % point.
Målingen har interviewet 1.028 danskere omkring deres partivalg og giver Socialdemokratiet 32,5% af stemmerne. Her er det interessante: De 32,5% er ikke et tal udregnet på baggrund af 1.028 repræsentativt udvalgte respondenter. De 32,5% er kalkuleret med udgangspunkt i et tal der er betydeligt lavere. Vi kan se i målingen, at ca. 25,6% af de adspurgte var i tvivl om deres partivalg, ikke ville stemme, vil stemme blankt eller ikke er stemmeberettiget. 25,6% af 1.028 er ~263, hvilket betyder at 263 respondenter ikke er medregnet i den stikprøve, som er brugt til at udregne de 32,5% til Socialdemokratiet. Stikprøven der er brugt til at udregne denne andel er ~765.
Dette er vigtigt når vi skal forholde os til den statistiske usikkerhed. Den statistiske usikkerhed for et parti med 32,5% af stemmerne med en stikprøve på 1.028 er som rapporteret omkring 2,8%. Men den statistiske usikkerhed for et parti med 32,5% af stemmerne, når tallet er udregnet med udgangspunkt i 765 respondenter, er 3,3%.
Jeg bruger ikke Voxmeter som eksempel fordi de har problemer. Tværtimod. Sammen med Megafon, der angiver andelen af respondeter, der er “i tvivl om partivalg eller ikke ønsker at stemme”, er de blandt de få institutter, hvor det er muligt at finde informationer som ovenstående i deres seneste meningsmålinger. Det er problematisk, at det er undtagelsen snarere end normen, at sådanne informationer formidles.
Kigger vi på meningsmålingerne fra Voxmeter og Megafon i 2020, kan vi se substantiel variation mellem institutterne i, hvor stor en andel af deres respondenter, der ikke angiver et partivalg.
Der kan være forskellige grunde til disse forskelle. For det første er det muligt, at Megafon gør mere for at presse et partivalg ud af deres respondenter (og eksempelvis gør mere for at respondenterne ikke kan vælge, at de vil stemme blankt). For det andet kan det skyldes metodiske forskelle i, hvordan respondenter udvælges og interviewes (via telefon eller over nettet). Det mest interessante er dog hvor begrænset variation der er hos Megafon, hvor andelen af respondenter uden et partivalg er noget nær konstant. Dette forekommer meget mystisk, da der også burde være usikkerhed omkring disse estimater. Variationen vi finder hos Voxmeter ser betydeligt bedre ud.
På baggrund af ovenstående kan vi se, at der vil være forskelle i, hvor stor den statistiske usikkerhed er for de forskellige partier, alt efter hvor stor en andel af respondenterne, der ikke har et partivalg. Jo større denne gruppe er, desto større en diskrepans vil der være mellem de rapporterede statistiske usikkerheder og den reelle statistiske usikkerhed for den rapporterede opbakning til et parti.
Dette minder mig om et indlæg jeg skrev i forbindelse med folketingsvalgkampen i 2015, hvor medierne rapporterede opbakningen til hhv. rød og blå blok, men brugte den maksimale usikkerhed for partierne til at sige noget om, hvorvidt der var forskel på rød og blå blok. Her kan man også sige, at dette vil være et større problem 1) jo tættere rød og blå blok er på 50% og 2) jo mindre det største parti i en måling er (når vi taler om den maksimale statistiske usikkerhed).
Heldigvis er det en norm, at medierne rapporterer noget så basalt som antallet af respondenter i en meningsmåling (i vores studie af folketingsvalg fra 2005 til 2011 fandt vi, at ~94% af meningsmålingsartiklerne formidlede denne information). Det er dog et problem, at det ikke er muligt at finde information om, hvor stor den reelle stikprøve i en meningsmåling er. Derfor skal der lyde en kæmpe ros til Voxmeter og Megafon for at dele sådanne tal. Man kan kun håbe, at de andre analyseinstitutter med tiden vil begynde også at offentliggøre disse tal, hvis de vil have, at man skal tage deres målinger seriøst.