Hvorfor er flere respondenter ikke nødvendigvis bedre? #3

Avisen Danmark kan rapportere, at et nyt analyseinstitut ved navn Electica er begyndt at foretage politiske meningsmålinger:

Det er en ny spiller på markedet, instituttet Electica, der har målt Nye Borgerlige til 11 procent, Venstre til 9,8 og Konservative til 12,6. Electica måler for Alliancen, der består af fagforbundene NNF, Blik & Rør, Dansk El-forbund og Malerforbundet, og fordi de måler blandt 5000 repræsentativt udvalgte danskere og ikke de cirka 1000-2000, som andre institutter baserer deres målinger på, giver det en statistisk usikkerhed, der blot er halvt så stor som normalt.

Jeg er på ingen måde imponeret over denne beskrivelse. Vi bør ikke have større tiltro til, at denne meningsmåling er mere præcis end hvad de andre analyseinstitutter kan vise med omkring 1000 respondenter. Det er korrekt, at flere respondenter resulterer i en mindre statistisk usikkerhed, men dette er – som nævnt i tidligere indlæg – ikke ensbetydende med, at der er tale om en mere præcis meningsmåling.

Jeg udelukker ikke, at tallene i meningsmålingen kan være præcise, men jeg har valgt ikke at indkludere denne meningsmåling i min oversigt på Politologi.dk. For det første har det ikke være muligt for mig at finde nogen beskrivelse af Electica, herunder hvilke slags analyser de helt præcist foretager. For det andet er jeg skeptisk over for den information om målingen, der bliver præsenteret i dækningen:

Undersøgelsen er gennemført af Electica for Alliancen, der består af fagforbundene NNF, Blik & Rør, Malerforbundet og Dansk El-forbund.

Der er gennemført 5000 interview blandt et repræsentativt udsnit af den danske befolkning i alderen 16 år eller derover. Deltagere mellem 16 og 18 år er siet [sic] fra. 11 procent har ikke svaret på hvilket parti, de ville stemme på. Tilbage var 4138 deltagere over 18 år.

De 5000 er blevet spurgt i perioden 1.-14. februar.

De 5000 er valg [sic] ud med udgangspunkt i den kendte fordeling på kriterierne køn, alder og region, og resultaterne er efterfølgende vejet således, at de afspejler den i Danmark kendte fordeling på kriterierne køn, alder og region

Den maksimale statistiske usikkerhed er på +/- 1,5 procentpoint.

Hvilken interesse har de respektive fagforbund i at betale for meningsmålinger? Ville de også stå på mål for selvsamme meningsmåling, hvis de havde vist, at opbakningen til Socialdemokraterne ville være langt lavere end hvad andre analyseinstitutter viser? Dette mener jeg, at man retmæssigt kan have sin tvivl omkring, hvorfor jeg ikke vil sidestille disse meningsmålinger med de målinger, der foretages af de respekterede analyseinstitutter og YouGov for andre medier.

Til dette kan man indvende, som nogle eksperter udtaler til Avisen Danmark, at kvaliteten er på linje med andre analyseinstitutter. Jeg skal ikke kunne udelukke dette, men jeg er langt mere kritisk ift. at skulle kunne bekræfte, at kvaliteten er den samme. Jeg tror ganske enkelt ikke, uden at være forelagt anden information end den der er tilgængelig, at denne meningsmåling er lige så god – og blot har endnu mere præcision.

Der er åbenlyse spørgsmål, jeg gerne vil have besvaret: Hvordan er de 5000 respondenter blevet udvalgt? Der skrives, at det er en onlineundersøgelse, men hvordan har de helt præcist rekrutteret 5000 respondenter, der udgør en repræsentativ stikprøve, når man vejer efter køn, alder og region? (Og er svarene de samme hvis man også vejer efter stemmeafgivelse ved valget i 2019?)

Flere respondenter i en meningsmåling er ikke et kvalitetstegn i og for sig selv. Hvis man som (nyt) analyseinstitut forsøger at skille sig ud fra resten af branchen, vil mit råd være ikke at sælge sig selv på en større stikprøve, men større transparens omkring, hvad man helt præcist gør.