Det virker til at medierne siden folketingsvalget 2022 generelt har fokuseret mere på enkeltmålinger end kvalitetsvægtede gennemsnit. En af grundene til dette kan – potentielt og i al beskedenhed – skyldes, at jeg lukkede ned for Politologi.dk, der skabte et overblik over meningsmålingerne (for mere omkring lukningen af siden, læs dette indlæg). Det kan i hvert fald som minimum forklare, hvorfor jeg opfatter dækningen som værende domineret af enkeltmålinger.
Jeg er på det seneste blevet kontaktet af et par journalister, der gerne ville høre nærmere om, hvordan det gik med “sagen” mellem Politologi.dk og Megafon. Som jeg forklarede de journalister, der kontaktede mig, havde jeg ikke den store interesse i at stille op til et interview (læs: jeg havde ingen interesse heri). Jeg gjorde det dog også klart, at jeg gik ind for fuld transparens, så jeg havde absolut intet imod at Megafon kunne udtale sig og/eller dele alle de dokumenter og samtaler, de havde interesse i at dele.
Der blev i den sammenhæng udgivet en artikel hos Journalisten, hvor Michael Bang Petersen korrekt fremfører, at kvalitetsvægtede gennemsnit er med til at sikre en valid viden omkring meningsmålingerne. Dette var en pointe som Megafon konsekvent og systematisk har forsøgt at skyde ned i løbet af de seneste mange år.
Administrerende direktør for Megafon, Asger H. Nielsen, er således ikke enig i, at kvalitetsvægtede gennemsnit bidrager med noget væsentligt. Han udtaler blandt andet følgende: “Meningsmålingsfirmaer måler meget forskelligt, og derfor kan man ikke meningsfyldt sætte forskellige målinger ind i et samlet gennemsnit.” Intet kunne i min optik være mere forkert.
Vi skal netop kigge på kvalitetsvægtede gennemsnit af meningsmålingerne på grund af forskellige metoder – ikke på trods af. Hvis meningsmålingerne målte noget forskelligt, eksempelvis hvis én meningsmåling målte opbakningen til partierne og én meningsmåling målte opbakningen til partilederne, ville det selvfølgelig ikke give mening at sætte dem ind i et samlet snit, men det er heldigvis ikke hvad vi fokuserer på her. Vi fokuserer på meningsmålinger der måler det samme, men afviger i, hvilke metoder de bruger til at opnå repræsentative estimater.
Som faste læsere vil vide har jeg været kritisk i forhold til blindt at bruge kvalitetsvægtede gennesmnit, og herunder fremhævet vigtigheden af at se på – og formidle – flere enkeltmålinger. Der er mange nuancer i dette, og jo mere vi har brug for et kvalitetsvægtet gennemsnit af meningsmålingerne, desto vigtigere er det også at kigge på enkeltmålingerne (for nogle af mine tanker herom, se dette indlæg). Det er dog decideret forkert at påstå, at man ikke kan sætte forskellige målinger ind i et samlet snit. Faktisk er det lidt skræmmende, at personer, der arbejder med meningsmålinger til dagligt, udviser en så ringe forståelse af, hvad forskellige meningsmålinger kan bruges til at vise.
Lad os tage endnu et eksempel på, hvordan Megafon misforstår kvalitetsvægtede gennemsnit. I artiklen hos Journalisten står der: “Asger H. Nielsen skriver videre, at meningsmålingsinstitutter foretager målinger på forskellige tidspunkter, hvorfor der ifølge ham kan være udsving i resultaterne.” Der er to problemer her. For det første foretager analyseinstitutterne meningsmålinger på noget nær de samme tidspunkter, især når vi kommer tættere på et folketingsvalg. Da eksempelvis Voxmeter foretager ugentlige meningsmålinger, er det svært for et andet analyseinstitut at foretage en meningsmåling, der ikke er foretaget på omkring samme tid som minimum én anden måling.
For det andet tog mit kvalitetsvægtede gennemsnit netop tidspunktet for, hvornår meningsmålingen blev foretaget, i betragtning. Det vil sige at det faktum, at meningsmålingerne ikke foretages akkurat samme dag, ikke taler imod brugen af kvalitetsvægtede gennemsnit, men tværtimod for brugen af kvalitetsvægtede gennemsnit. Det efterlader desværre undertegnede med den opfattelse, at der ikke er noget fagligt fundament for at kritisere kvalitetsvægtede gennemsnit, selvom der selvfølgelig er ulemper ved netop brugen af vægtede gennemsnit.
Mit problem med dækningen af enkeltmålinger er ikke alene det øgede fokus på statistisk støj (som Megafon om nogen har været og er fast leverandør af), men også at enkeltmålingerne ofte bliver formidlet på en måde, der er af lav metodisk kvalitet. Som eksempel kan vi her tage den seneste Megafon-måling, dækket af TV 2, hvor det ikke engang formidles, hvor mange der deltog i meningsmålingen. Det er desværre reglen snarere end undtagelsen, at TV 2 og Megafons dækning af enkeltmålinger er langt under det niveau, man kan finde hos andre medier (eksempelvis DR og Epinions dækning af enkeltmålnger).
Det er klart at foretrække, at vi forholder os til både fordele og ulemper ved brugen af kvalitetsvægtede gennemsnit, men Megafons beskrivelse af ulemperne ved vægtede snit er fordele. Det er derfor let at få den tanke, at Megafon manglende støtte til vægtede snit bygger på en manglende forståelse af, hvad vægtede snit er – og ikke er, snarere end et fagligt argument imod brugen af vægtede snit.