I et indlæg hos Megafon kan man læse Megafons udlægning af, hvordan deres målinger klarede sig ved folketingsvalget 2022. I dette indlæg leverer jeg et gratis faktatjek af de påstande, de kommer med i det pågældende indlæg. Det er foranlediget af, at jeg finder flere af påstandene, der bringes, for misvisende.
Vær gerne opmærksom på, at jeg i skrivende stund har (eller har haft) en uoverensstemmelse med Megafon, hvorfor man med rette kan diskutere, om jeg neutralt kan forholde mig til Megafons arbejde. Det mener jeg selv, at jeg godt kan, men jeg vil lade det være op til læserne at vurdere, om jeg tager fejl i nogle af mine bemærkninger.
Lad os gennemgå indlægget afsnit for afsnit. Her er den første sætning i indlægget:
Klokken ca. 20 på valgdagen d. 1. november 2022 leverede MEGAFON sin endelige exit poll til TV 2.
Det er teknisk set korrekt, at Megafon leverede sin endelige exit poll til TV 2 klokken ca. 20 på valgdagen d. 1. november 2022. Hvad der dog er vigtigt at få med her er, at der blev leveret to exit polls fra Megafon til TV 2 klokken ca. 20. Den første exit poll blev leveret kl. 20.00, og den endelige exit poll blev leveret kl. 20.20. Det er som sagt teknisk set korrekt, at den endelige exit poll blev leveret kl. ca. 20, men den endelige exit poll blev ikke leveret kl. 20.
Det store spørgsmål der står tilbage er, hvorfor vi fik to exit polls fra Megafon. Det mystiske er, at den første exit poll (kl. 20.00) skulle vise sig at være tættere på valgresultatet end den anden, de bragte (kl. 20.20). Der har ikke været nogen kommunikation omkring, hvad der helt præcist er foregået, og det kan ikke udelukkes, at det blot er et tilfælde, at deres exit poll fra kl. 20.20 ligger lidt tættere på Epinions exit poll. Det er vigtige forbehold at have med, når man kigger på tidslinjen for exit polls ved folketingsvalget 2022. Uden mere information herom vil jeg undlade at udtale mig omkring kvaliteten af exit polls ved dette folketingsvalg.
Lad os se nærmere på næste afsnit i indlægget:
Endnu en gang kom MEGAFONs exit poll for TV2 meget tæt på det faktiske resultat. MEGAFON placerer sig dermed igen i år som Danmarks mest præcise analyseinstitut. En position som vi naturligvis er utrolig stolte af.
Nej. Megafon blev ikke Danmarks mest præcise analyseinstitut. Der er tale om en misvisende formulering her, der forsøger at efterlade det indtryk, at Megafon var dem, der ramte valgresultatet mest præcist.
Her er en figur jeg lavede i et indlæg efter valget, hvor vi ser på, hvordan enkeltmålinger, vægtede snit og exit polls klarede sig:
På y-aksen har vi kvadratroden af den gennemsnitlige kvadratafvigelse, hvor større værdier indikerer, at estimaterne ligger længere fra det endelige valgresultat. Her ser vi klart og tydeligt, at Gallups meningsmåling lå tættest på det endelige valgresultat. Ikke Megafons exit poll for TV 2 (hverken kl. 20.00 eller 20.20). Eller Megafons meningsmåling for den sags skyld.
Det er med andre ord ganske enkelt ikke korrekt, når Megafon konkluderer, at de placerer sig “som Danmarks mest præcise analyseinstitut” igen i år. Den titel kan Gallup tage. Ikke Megafon. Min konklusion forleden var dog, at meningsmåingerne over en bred kam havde et godt valg, men hvis vi skal se på hvem der var mest præcis, var det ikke Megafon.
Lad os gå videre til næste afsnit:
Udover exit poll så lavede MEGAFON også algoritmen til TV 2’s prognoser, der blev vist i løbet af valgaftenen. Altså den løbende korrigerede forventning til resultatet baseret både på exit poll interview og de faktisk optalte stemmer.
Prognoserne var meget hurtige og præcise, og det er et godt eksempel på en af MEGAFONs kernekompetencer; at udarbejde komplekse matematiske modeller, der kombinerer registerdata og interview.
Okay. Der er ikke noget faktuelt at faktatjekke her. Det er markedsføringssnak, hvilket er helt fint. Alle institutter har beskrivelser a la disse om, hvorfor de er det bedste. Det har jeg absolut intet problem med. Derfor kan vi hurtigt gå videre til næste afsnit:
Valgaftenens resultat bekræfter, at MEGAFON bør være førstevalget, hvis du lægger vægt på præcision i markedsanalyser. Den eneste reelle mulighed, du som analysekøber har for at sammenligne de bedste aktører på markedet, er ved de større landsdækkende valg og folkeafstemninger. Ikke alene deltager alle de betydeligste analyseudbydere med exit polls op til valget, men disse begivenheder er desuden unikke i en analysemæssig sammenhæng, da der som bekendt foreligger en decideret facitliste at måle kvaliteten af undersøgelserne ud fra.
Nej, der er intet der taler for, på baggrund af valgresultatet, at Megafon bør være førstevalget, hvis man lægger vægt på præcision i markedsanalyser. Det er først og fremmest forkert, når Megafon påstår, at alle de betydeligste analyseudbydere deltager med exit polls op til valget (det er kun Epinion der, udover Megafon, foretog en exit poll i forbindelse med folketingsvalget 2022).
Her lader jeg dog gerne tvivlen komme Megafon til gode og antager, at de her taler om politiske meningsmålinger generelt (hvilket de fleste analyseinstitutter foretager op til valget). Det giver også bedre mening, når man ser på hvad der er i fokus her, nemlig at kunne ramme valgresultatet præcist. Men så er vi tilbage til det problem, at Megafon ikke var det mest præcise analyseinstitut (jævnfør ovenstående figur).
Lad os hurtigt gå videre til sidste afsnit i indlægget:
Når vores exit polls igen og igen er så præcise, skyldes det særligt vores store og fokuserede arbejdsproces bag. Gennem en kombination af kvantitative og kvalitative metoder skaber vi et yderst solidt grundlag for vores data. Denne gang resulterede det i, at vi var det analyseinstitut, der kom tættest på det endelige resultat – og det satser vi også på, at vi gør næste gang!
Vi mener derfor fortsat godt, at vi kan tillade os at byde nye samarbejdspartnere velkomne til Danmarks mest præcise analyseinstitut.
Nej, det er simpelthen ikke rigtigt, at Megafon er Danmarks mest præcise analyseinstitut. I hvert fald ikke når det kommer til spørgsmålet om, hvem der ramte folketingsvalget 2022 mest præcist. Hvordan skal jeg have tiltro til, at de er det mest præcise analyseinstitut, når de ikke kan lave en præcis analyse af, hvor præcise de er? Igen, det er misvisende kun at kigge på exit polls fra to analyseinstitutter – og ikke meningsmålingerne generelt – når man forsøger at konkludere, hvordan analyseinstitutterne klarede sig ved folketingsvalget.
Hvorfor går jeg op i dette? Fordi vi lever i en verden, hvor nogle analyseinstitutter arbejder aktivt på, at gøre det svært at faktatjekke påstande om, hvordan analyseinstitutterne klarer sig. Hvad der irriterer mig en smule ved alt dette er således, at Megafon først bruger resourcer på at stoppe forsøg på at sammenholde og evaluere meningsmålingerne, og når det så ikke længere er muligt at sammenligne meningsmålingernene og evaluere, hvem der har klaret sig bedst, går man ud og påstår – uden skyggen af evidens (i bedste fald) eller ved at ignorere tilgængelig evidens (i værste fald) – at man nu er Danmarks mest præcise analyseinstitut.
Jeg ville absolut intet problem have med, at Megafon siger, at de var bedst til at ramme valgresultatet, hvis de rent faktisk var bedst til at ramme valgresultatet.