Hvor mange ville stemme på Liberal Alliance, hvis der var valg i dag? Hvis du kigger på de seneste meningsmålinger fra Voxmeter, Epinion, Gallup og YouGov, får du henholdsvis 7,5%, 7,0%, 6,7% og 6,8%. Hvis vi tager et gennemsnit af de fire tal, får vi 7,0%. Hvorfor viser mit seneste vægtede snit af meningsmålingerne så 5,8%? Hvis der var valg i dag, ville jeg virkelig mene, at opbakningen i målingerne er tættere på 5,8% end 7,0%? Det korte svar er ja. Det lange svar er dette indlæg.
Jeg diskuterede partiernes opbakning i mit vægtede snit med Ole Birk Olesen fra Liberal Alliance, der retmæssigt, måske ligefrem retorisk, spurgte, om tallene fra det vægtede snit giver mening, når der sker store udsving over kort tid. Kort fortalt kan man diskutere, om det vægtede snit er for konservativt, altså om det tillægger tidligere meningsmålinger for stor betydning. Ole Birk Olesens pointe er, som jeg har forstået det, at et vægtet snit bør ligge langt tættere på 7%, når de seneste fire meningsmålinger ser ud, som de gør, men det er jeg ikke overbevist om.
Mit vægtede snit er konservativt. Det vil sige at det ikke bevæger sig drastisk op og/eller ned alt efter hvad en håndfuld meningsmålinger viser. Når der kommer én ny måling, vil et snit bevæge sig i retning af den pågældende måling, men hvor meget det vil bevæge sig i den pågældende retning kommer an på hvor mange meningsmålinger vi har, hvad de viser og hvor store forskelle der har været på tværs af institutterne i den pågældende periode. Der tages med andre ord langt mere information i betragtning i det vægtede snit end i et simpelt gennemsnit af de seneste meningsmålinger.
Det er ikke unaturligt at meningsmålingerne bevæger sig en del fra måling til måling. Det ville sågar være mærkeligt, hvis de ikke gjorde. Dette ser vi også ved nogle partier mere end andre. I denne valgperiode har der været en del målinger, der har givet Liberal Alliance meget større eller meget lavere opbakning end andre, hvor det vægtede snit (helt fornuftigt) ikke ændrer sig drastisk på den baggrund.
For at forstå hvorfor det vægtede snit giver Liberal Alliance 5,8% giver det mening at se på alle meningsmålinger i denne valgperiode og det vægtede snit i samme periode. De forskellige prikker indikerer de forskellige analyseinstitutter, der har gennemført meningsmålinger i denne valgperiode. Her ser vi at det vægtede snit går op og ned over tid, men ikke i samme omfang som vi ville se, hvis vi blot tog et gennemsnit af de seneste målinger, hvor vi ville få langt større udsving.
Vi kan således se mange meningsmålinger i valgperioden, der ligger et pænt stykke fra det vægtede gennemsnit. Dette er vigtigt at forstå her i forhold til den usikkerhed, vi skal tage højde for. Hvis der havde været mere enighed omkring Liberal Alliances opbakning i løbet af valgperioden, ville det vægtede snit have større tillid til et par nye målinger. Hvis vi teoretisk arbejder ud fra, at meningsmålingerne fra alle analyseinstitutter havde vist de samme tal for de samme dage, ville vi have større tiltro til, at nogle nye meningsmålinger ville opfange en tendens uden de store vanskeligheder. Det er, som vi kan se, ikke tilfældet her, hvorfor det vægtede snit ikke per automatisk køber konklusionen om, at Liberal Alliances opbakning nu er 7%. Det bevæger sig i den retning, men der er brug for flere målinger, før vi kan konkludere, at opbakningen er på 7%.
Det er her relevant at se på, hvad de seneste meningsmålinger også har vist. Den seneste måling fra Megafon, der blev foretaget for en uge siden, havde partiet på 5,4%. Hvis den næste Megafon-måling (der vil komme i løbet af næste uge) og andre målinger bekræfter at Liberal Alliances opbakning er på omkring 7%, vil det vægtede snit også afspejle dette. De forudgående meningsmålinger gav Liberal Alliance 5,7% hos Voxmeter, 5,8% hos Epinion, 5,5% hos Gallup, 5,5% hos YouGov og 5,2% hos Megafon. I begyndelsen af valgkampen lå partiet tættere på 4% af stemmerne.
Det vægtede snit kører efter det simple princip, at det ikke skal stole 100% på enkeltmålinger, men tage al data i betragtning og give et kvalificeret bud på, hvor stor opbakningen er til partierne. Det er derfor vi tager huseffekter og generelle tidsserietendenser i betragtning, så vi ikke blot tager et gennemsnit af den seneste håndfuld meningsmålinger (eller de sidste fire meningsmålinger, hvis det giver en større opbakning til et parti). Det vægtede snit er ligeglad med, om vi befinder os i en valgkamp, om et parti måske er på vej ind i en god stime, om vi bedre kan lide Voxmeter end Megafon, etc.
Det er derfor, når du kigger på figuren ovenfor, at det vægtede snit ikke ligger tættere på de fire øverste målinger, end tilfældet er. Hvis de næste målinger ligger i det område – og især den næste Megafon-måling – vil du som sagt se det afspejlet i det vægtede snit. Men forvent ikke at det vægtede snit følger en håndfuld nye målinger 1:1.
Er det det samme som at Liberal Alliances opbakning ikke er større end 5,8% Ikke nødvendigvis. Det er meget plausibelt, at de kommende meningsmålinger også vil bekræfte dette mønster, men det vægtede snit hopper og falder ikke alt efter hvad en ny måling fra et institut viser. Det vægtede snit er ikke sat i verden for at kunne konkurrere med enkeltmålingernes mange bevægelser, og som jeg har sagt mange gange før, vil der være enkeltmålinger, der sandsynligvis vil slå det vægtede snit, når det kommer til at ramme valgresultatet.
Med andre ord vil jeg argumentere for, at det er en styrke, at det vægtede snit ikke giver Liberal Alliance 7% i skrivende stund. Men kan dette udgøre et problem for det vægtede snit, hvis det ikke opfanger en stor udvikling i valgkampens sidste dage? Hvis et parti eksempelvis mister flere procentpoints opbakning i den sidste måling lige før valgdagen, vil det betyde, at det vægtede snit har svært ved at opfange sådan en tendens. Snittet vil med andre ord ikke kunne sige, om der er tale om outliers eller en egentlig tendens. Det kan tolkes som et problem, men det er ikke en udfordring, der er isoleret til et vægtet snit. Hvordan kan vi med sikkerhed konkludere, om der er tale om en outlier eller en veldokumenteret tendens?
Når der kommer en ny meningsmåling fra Voxmeter, der giver Liberal Alliance 7,5%, bør vi ikke automatisk konkludere, at opbakningen til Liberal Alliance hos Voxmeter er normalfordelt omkring 7,5%. Vi bør tage tidligere meningsmålinger fra Voxmeter i betragtning (inklusiv en tre uger gammel måling, der gav partiet 4,2%), og give et estimat på, hvor stor opbakning der sandsynligvis er til partiet. Den seneste måling fra Voxmeter er mere informativ end en måling der er tre uger gammel, men det vil i min optik være en fejl at konkludere, at der ikke er brugbar information i tage med i betragtning fra ældre målinger.
Hvis man har større tiltro til et simpelt gennemsnit af de seneste fire meningsmålinger, der ignorerer al anden tilgængelig information, står det folk frit for at fokusere på dette (alle data ligger frit tilgængeligt her). Intentionen med det vægtede snit er at reducere støjen i udviklingen i meningsmålingerne og kun drage konklusioner om, hvad vi kan sige på baggrund af flere meningsmålinger fra de relevante institutter. Hvis man omvendt er af den overbevisning, at de store ændringer man ser i meningsmålingerne er reelle og ikke påvirket af støj og andre fejlkilder, og et vægtet snit er for konservativt, kan det sågar anbefales, at man tillægger de seneste målinger større værdi end et vægtet snit.
Det korte af det lange er, at vi ganske enkelt ikke kan vide, om det er et signal eller støj der kommer i de seneste meningsmålinger. Ved seneste valg tydede det på, at der kom nogle ændringer i valgkampens seneste dage, som mit snit indfangede ganske pænt. Eller som jeg skrev i et indlæg for et par år siden:
Et godt vægtet gennemsnit skal på den ene side være konservativt og ikke blot følge ukritisk med, når et par meningsmålinger viser store forandringer, men på den anden side også være i stand til at opsamle disse forandringer. Min vurdering er således, at jo mere et vægtet snit vejede nye meningsmålinger over ældre målinger, desto bedre ramte det vægtede snit valgresultatet.
Jeg giver ligeledes en forklaring på, hvorfor snittet bevæger sig i retning af nye målinger men netop ikke bevæger sig drastisk op og ned alt efter hvad nogle enkeltmålinger viser: “En grundlæggende antagelse er, at partierne ikke ændrer drastisk opbakning fra dag til dag. Til at tage højde for dette anvendes en Kalman filter-metode, der ofte bruges når man arbejder med tidsseriedata. Overordnet betyder dette, at selvom opbakningen til partierne kan ændre sig på kort sigt, vil de næppe miste og få mange vælgere i løbet af få dage.”
Jeg kan ikke udelukke, at vi ser noget historisk i dansk politik i disse dage, der kan være en udfordring for mit vægtede snit at indfange. De forskellige meningsmålinger er heller ikke selv enige om opbakningen til alle partierne, og der vil være nogle, der tager fejl. Liberal Alliance er ej heller det eneste parti, der står til at opleve en voldsom fremgang eller tilbagegang i denne valgkamp. Det samme ser vi eksempelvis hos de Konservative, der er ved at implodere i meningsmålingerne. Partiets opbakning i meningsmålingerne og i det vægtede snit er vist nedenfor.
Det vægtede snit giver de Konservative 7,8%. Hvorfor dog dette? Når nu de seneste tre meningsmålinger giver partiet hhv. 6,7%, 7,0% og 7,1%, burde snittet så ikke ligge tættere på disse tre målinger? Af de grunde jeg har nævnt i relation til Liberal Alliance, vil jeg også argumentere for, at 7,8% er et bedre estimat end et simpelt gennemsnittet af de seneste målinger. Igen er formålet med det vægtede gennemsnit ikke at bevæge sig i retning af nye målinger med samme hastighed som bevægelserne i enkeltmålingerne, men at adskille tilfældig støj, systematiske fejlkilder og egentlige forandringer.
Jo flere meningsmålinger vi har, desto nemmere er det for et vægtet snit at give præcise estimater. Vi har eksempelvis relativt få meningsmålinger, der inkluderer Moderaterne, og de har haft svært ved at komme til enighed om, hvor stor opbakning der er til partiet. Derfor får vi ikke et lige så rent billede af deres opbakning, når vi kigger på det vægtede snit (som vist nedenfor).
Her ser vi at snittet bevæger sig mere op og ned alt efter hvad nogle enkeltmålinger viser, men jeg er langt mindre tilfreds med disse estimater end dem vist ovenfor for Liberal Alliance. Dette til trods for at det vægtede snit giver Moderaterne 8,9% af stemmerne, der ligger tæt på et simpelt gennemsnit af de seneste målinger. Når vi har relativt få meningsmålinger og der sker store forandringer, vil en ny måling have en relativt større vægt, men jeg er ikke overbevist om, at dette er en styrke i og for sig selv (da vi ikke kan udelukke, at vi opsamler andet end egentlige forandringer i opbakningen til partiet). Det er blot det bedste snittet kan gøre med de data, der er til rådighed. En god tolkning af meningsmålingerne her vil tage disse nuancer i betragtning og være kritisk i forhold til, med hvilken præcision vi kan udtale os om opbakningen til Moderaterne i disse dage.
Hos Alternativet har vi nu også set meningsmålinger, der placerer partiet over spærregrænsen. Alligevel er Alternativet lige under spærregrænsen i mit vægtede snit, hvor opbakningen er 1,8%. Det er ikke det samme som, at jeg udelukker, at partiet ville få mere end 2% af stemmerne, hvis der var valg i dag, blot at vi ikke har set en systematisk tendens på tværs af alle institutter, der giver partiet mere end 2% af stemmerne (i den seneste Gallup-måling får partiet eksempelvis 1,5% af stemmerne).
Lad os tage et sidste eksempel, hvor vi kigger på Danmarksdemokraterne i meningsmålingerne og det vægtede snit. Her har opbakningen i meningsmålingerne generelt været stabil, og de største forskelle har været på tværs af institutter. I de seneste målinger ser vi dog også større ændringer over kort tid, hvor eksempelvis Gallup nu har partiet helt nede på 5,9% (i den forrige Gallup-måling fik partiet 8,0% af stemmerne).
Til trods for nye meningsmålinger, der giver partiet en større tilbagegang, er faldet i det vægtede snit ikke lige så stor (endnu). Dette kan delvist skyldes at vi har set nogle fald i meningsmålinger fra institutter, der på baggrund af tidligere målinger har en negativ huseffekt ift. Danmarksdemokraterne (Voxmeter og Gallup), samt at vi ikke har set dette fald bekræftet på tværs af flere målinger fra alle institutter. Derfor ligger det vægtede snit i den høje ende af hvad et simpelt gennemsnit af de seneste målinger måtte vise.
Jeg forstår godt, hvis det kan virke i strid med almindelig sund fornuft, at et vægtet gennemsnit ikke giver Liberal Alliance 7% af stemmerne, men i stedet er tættere på 6%, når nu de seneste fire målinger giver partiet en gennemsnitlig opbakning på 7%. Heldigvis er vi ikke i en situation, hvor vi er tvunget til at ignorere hverken de vægtede snit eller enkeltmålingerne. Det ville være ærgerligt, hvis vi ikke har plads til disse nuancer i vores diskussion omkring målingerne. Eller som jeg anbefalede i et indlæg for et par år siden: “[K]ig gerne på flere enkeltmålinger såvel som flere vægtede snit, når du skal have en idé om, hvordan partierne klarer sig.”
Jeg har ikke lyst til at leve i en verden, hvor mit vægtede snit er det eneste folk kigger på. Der er forskellige måder at lave vægtede snit på (jeg har sammenlignet de forskellige vægtede snit her), og et vægtet snit kan tage fejl og være for konservativt i forhold til hvilke tendenser enkeltmålingerne (måske) samler op i en valgkamp. Jeg sætter større lid til et vægtet snit end de nye målinger isoleret betragtet, men jeg anerkender gerne vigtigheden af at kigge på og forstå begge.
Det er efterhånden et årti siden, at jeg skrev et indlæg om, at vægtede snit er at foretrække frem for enkeltmålinger, og jeg er blevet mere kritisk i forhold til værdien af vægtede snit (herunder især deres præcision og de antagelser vi anvender, når vi reducerer den statistiske usikkerhed). De vægtede snits styrke er især i forhold til at se på tendenser i stedet for tilfældigheder og outliers, hvor mediedækningen har det med at fokusere på sidstnævnte (jeg har for ikke-vante læsere skrevet en lille bog om dette), men de er ikke perfekte.
Der er kun en lille uge til folketingsvalget, og jeg skal nok følge op med et indlæg omkring, hvor godt de respektive meningsmålinger såvel som mit vægtede snit klarede valget. Mit bedste råd til da er at du forholder dig kritisk til både enkeltmålinger og vægtede snit – og især husker på, at meget stadig kan ske i en valgkamp (herunder også i meningsmålingerne).