Der kan være store forskel på, hvor stor opbakningen er til et politisk parti alt efter hvilken meningsmåling, man kigger på. I en meningsmåling fra Voxmeter, foretaget i begyndelsen af oktober, fik Moderaterne 3,3% af stemmerne, mens Moderaterne i en meningsmåling fra Megafon fra samme periode stod til at få 6,2% af stemmerne. Da analyseinstitutterne ikke er transparente omkring deres metoder og hvad de rå data viser, kan vi ikke umiddelbart vurdere, hvilken meningsmåling vi skal have størst tiltro til.
Disse forskelle er dog ikke unikke – og vi ser dem især ved nye partier. Ved folketingsvalget i 2019 så vi hvordan institutterne var meget uenige omkring, hvor stor opbakningen var til Nye Borgerlige. Her var der især forskel på hvor stor opbakning hhv. Voxmeter og YouGov gav partiet. Det er blandt andet på den baggrund, at jeg har skrevet om huseffekter før, og det vil blive noget der vil blive diskuteret i løbet af den igangværende valgkamp, når der kommer nye meningsmålinger.
De systematiske forskelle mellem analyseinstitutterne i forhold til, hvor stor opbakning de giver partierne, kan kvantificeres med huseffekter. Det vil sige at jo mere et analyseinstitut afviger fra hvad andre analyseinstitutter viser, gennemsnitligt betragtet, desto større vil en huseffekt være. Huseffekter er således systematiske forskelle i om et analyseinstitut giver en højere eller lavere opbakning til et parti sammenlignet med hvad andre analyseinstitutter viser. Der kan som bekendt være mange forklaringer på sådanne huseffekter (indsamlingsmetode, spørgsmålsrækkefølge, etc.).
En af de misforståelser jeg ofte ser, er, at folk konkluderer, at en huseffekt er lig med en fejl hos et analyseinstitut. Nogle vil således kunne foranlediges til at kigge på en huseffekt og udlede, at man ikke skal stole på en meningsmåling. Dette er ikke nødvendigvis tilfældet, hvorfor jeg vil advokere for, at vi skal sondre mellem huseffekter og husfejl. En stor huseffekt kan være udtryk for, at ét analyseinstitut tager fejl – eller at flere andre institutter kollektivt tager fejl. En huseffekt er hverken en nødvendig eller tilstrækkelig betingelse for, at der kan være en fejl hos et analyseinstitut.
Husfejl er forskelle i hvor stor opbakning et analyseinstitut giver et parti relativt til et valgresultat. Hvis et analyseinstitut giver et parti en opbakning på 20% og partiet ender med at få 20% ved et valg, vil huseffekten være 0. Når valget er overstået kan vi se på både huseffekter og husfejl, men indtil da kan vi kun kigge på huseffekterne, uden at kunne sige noget om, hvorvidt et institut tager fejl eller ej.
Et vægtet gennemsnit vil ikke nødvendigvis være bedre end alle individuelle meningsmålinger. Der vil med stor sandsynlighed være mindst en meningsmåling, der rammer bedre end et vægtet snit, og der vil være meningsmålinger, der klarer sig dårligere. Det så vi også ved folketingsvalget i 2019. Pointen er at vi ikke kan sige med sikkerhed, om en huseffekt er en husfejl eler ej, og det kan vi udelukkende vurdere efter et valg.
Så indtil vi har valgresultatet er det vigtigt, at man sondrer mellem huseffekter og husfejl, og ikke antager at en huseffekt er ensbetydende med, at et analyseinstitut tager fejl.