Hos Jyllands-Posten kan man læse, at “Jyllands-Posten og Wilke indfører en ny metode for opinionsmålinger. Målet er at opnå større præcision.” Kort opsummeret vil Jyllands-Posten og Wilke introducere ”en ny standard” for politiske meningsmålinger i Danmark. Dette vil ske med følgende tiltag: 1) en fordobling af antallet af respondenter, 2) en fortsættelse af hidtidige praksis, 3) en ændring i udvælgelsen af respondenter, 4) en ændring i vægtningsproceduren og 5) en højere svarprocent.
Det er svært at se, hvor de nye standarder er – og hvilke problemer, de vil løse. Husk på, at der stadig ikke har været nogle udmeldinger om, hvad der gik galt under det seneste folketingsvalg. Og når vi ikke kender årsagen til problemet, er det som bekendt vanskeligt at komme med en løsning. Vi ved, at institutterne ikke var gode til at ramme Dansk Folkepartis vælgeropbakning, men vi ved ikke om det var på grund af udvælgelsen af respondenter, svarprocenten, vægtningen af svarene eller noget helt fjerde (eller en kombination af nævnte, som Jyllands-Posten står på mål for her).
Det er også rimeligt at antage, at andre analyseinstitutter arbejder på at opnå en højere svarprocent, have den bedste vægtningsprocedure og udvælge respondenterne på den bedste måde. Så længe vi ikke adresserer hvordan Wilkes metode afviger fra andre analyseinstitutters metoder, er det svært at konkludere, at der er nogle nye standarder/metoder her. Det er med andre ord svært at se, hvad der er nyt i disse standarder, som de fleste andre analyseinstitutter ikke allerede (også) arbejder ud fra. Dette beskriver Jyllands-Posten ikke med ét ord, og det er nok fordi, at der ikke er så meget nyt under solen her. Gammel vin på nye flasker.
Der er dog ét punkt, hvor Jyllands-Posten er eksplicit omkring, hvordan deres praksis afviger fra andres: ”Hidtil har Wilkes meningsmålinger bestået af ca. 1.000 interview, fordelt på internet og telefon. Dette antal er normen i Danmark. Fremover øger vi dog antallet af interview til ca. 2.000”. Hvis man ser bort fra, at der er undtagelser på dette (Epinion, der laver meningsmålinger for DR, har som regel over 1.700 respondenter i hver måling), er det svært at se, hvorfor dette er en kvalitet i sig selv. Det er ikke kun i et lille land som Danmark, at 1.000 respondenter er normen, men i alle lande.
Dette af gode statistiske grunde: Vi får mere ud af at interviewe respondent nummer 980 end respondent nummer 1.980. Uafhængigt af populationens størrelse, forstås. Kritiske tunger kan derfor indvende, at i stedet for at bruge penge på at interviewe 2.000 i stedet for 1.000, ville pengene være givet bedre ud på at forbedre andre forhold ved meningsmålingen. Eller med andre ord: Bruge pengene på at opnå større validitet end reliabilitet.
Generelt er der et alt for stort fokus på – og tiltro til – stikprøvestørrelsen og den statistiske usikkerhed, der følger med. Den statistiske usikkerhed er kun meningsfuld, hvis vi har et validt estimat. Præcision er dermed ikke en kvalitet i sig selv, hvis vi blot rammer forkert med stor præcision. Med andre ord kan det sågar blot medføre, at man tager fejl med større præcision og dermed – lettere komisk – ligger endnu længere væk fra det sande estimat, taget den statistiske usikkerhed i betragtning (som det eksempelvis var tilfældet under folketingsvalget, når man arbejdede med aggregerede meningsmålinger).
Den statistiske usikkerhed kan da også være svær at tolke. I den første meningsmåling fra Wilke for Jyllands-Posten, skrives der: “Usikkerheden er det interval, målingen med 95 pct. sandsynlighed rammer inden for.” Dette er lidt kludret formuleret og ikke helt korrekt. Som bekendt er den rigtige tolkning, at hvis vi fik gennemført meningsmålingen igen og igen, ville den statistiske usikkerhed 19 ud af 20 gange indeholde den rigtige opbakning. For en let og god illustration af dette, se denne guide. Igen: Det vigtige er, at en præcis meningsmåling ikke nødvendigvis er en sand meningsmåling. Det virker derfor mest af alt som en gratis (=dyr) reklame for Wilkes målinger, når man sælger 2.000 respondenter som en kvalitet.
Det er formidabelt, at Jyllands-Posten arbejder på at gøre det bedre i deres dækning af meningsmålinger, især i forhold til frekvensen af dem. Ligeledes har Jyllands-Posten og Wilke måske lavet forandringer til det bedre, men umiddelbart er der intet der tyder på, at vi skal stole mere på meningsmålinger fra Wilke end fra Epinion, Gallup og de andre analyseinstitutter – også efter indførelsen af den “ny metode”.