Folkeafstemningen om forsvarsforbeholdet endte med et overbevisende flertal til en afskaffelse af forsvarsforbeholdet (med 66,9% til ‘Ja’). Hvordan klarede meningsmålingerne sig? Min konklusion er, at Gallup og Megafon havde et godt valg, og Epinion og Voxmeter havde et mindre godt valg.
For at komme frem til denne konklusion tog jeg den seneste meningsmåling fra hver af de fire nævnte analyseinstitutter, der blev foretaget i dagene op til folkeafstemningen. YouGov og Wilke foretog også en måling hver, men disse blev ikke foretaget i dagene op til folkeafstemningen, hvorfor jeg ikke inkluderer dem her. Nedenstående figur viser forskellen mellem resultatet og den seneste måling i opbakningen til ‘Ja’, hvor større værdier angiver, at ‘Ja’ fik en større opbakning end de pågældende målinger viste. De horisontale linjer angiver 95% konfidensintervaller.
Vi ser her at Gallup og Megafon ramte meget præcist og var inden for den statistiske usikkerhed. Gallup ramte resultatet så godt som på kornet. Voxmeter og Epinion ramte begge forbi med hhv. 5,7 procentpoint og 5,8 procentpoint. Til sammenligning var forskellen mellem Socialdemokratiets valgresultat og opbakning ved kommunalvalget i 2013 i Epinions exitprognose 6,8 procentpoint.
Der er med andre ord tale om, at et par meningsmålinger ramte valget godt, og et par meningsmålinger ramte valget dårligt. Hvis man konkluderer på baggrund af folkeafstemningen, at meningsmålingerne var valgets vindere, er det således også relevant at tilføje, at nogle analyseinstitutter vandt mere end andre.
Der er forskellige forklaringer, der potentielt kan belyse, hvorfor vi har set en forskel mellem analyseinstitutterne. Analyseinstitutterne er på ingen måder transparente, især ikke sammenlignet med hvad man ser i andre lande, hvorfor disse forklaringer mere skal ses som hypoteser end empirisk funderede forklaringer.
Kan forskellene mellem institutterne skyldes antallet af tvivlere? Det ser trods alt ud til, at flere stemte ja end mange nok havde forventet. Dette kan dog ikke forklare forskelle mellem analyseinstitutterne. I Voxmeters seneste måling var antallet af tvivlere 21,1%, hvor det hos Megafon var 22%. Hvis der havde været større uenighed blandt analyseinstitutterne, der ramte henholdsvis rigtigt og forkert, ville det være en mere plausibel forklaring.
Hvad med valgdeltagelsen? En fordel ved folketingsvalg er, at valgdeltagelsen er høj, hvorfor det er en mindre udfordring. Valgdeltagelsen var ved folkeafstemningen en større ubekendt faktor, og det kan ikke udelukkes, at valgdeltagelsen har noget at skulle have sagt, men den slags data har vi desværre ikke adgang til her. Det kan selvsagt også skyldes en interaktion mellem valgdeltagelsen og hvem der svarer ‘Ved ikke’ i de respektive meningsmålinger.
Det er også en mulighed, at folk har ændret holdning i dagene op til valget. Dette er dog ikke en mulig forklaring på, hvorfor Gallup og Megafon ramte valget bedre. Faktisk afsluttede Voxmeter og Epinion begge dataindsamling senere end Gallup og Megafon. Dataindsamlingsperioden er i min optik dermed ikke en forklarende faktor. Det skal ikke kunne udelukkes, at mange først har besluttet sig sent, men i så fald ville Voxmeter og Epinion blot være bedre stillet til at indfange disse dynamikker.
En mere plausibel forklaring kan være ordlyden på spørgsmålet. Det er min vurdering, at dette forhold kan forklare variationen mellem de forskellige analyseinstitutter. Hos Megafon og Gallup brugte man formuleringen ‘deltage i det europæiske samarbejde om sikkerhed og forsvar ved at afskaffe EU-forsvarsforbeholdet’, hvilket også blev brugt i selve afstemningen. Hos Epinion stillede man i stedet spørgsmålet “1. juni skal der være folkeafstemning om at afskaffe det danske EU-forsvarsforbehold. Hvad vil du stemme ved folkeafstemningen?” og hos Voxmeter spurgte man “Hvis der var folkeafstemning i dag om at afskaffe det danske forsvarsforbehold i EU, hvad ville du så stemme?”.
Grunden til at Epinion og Voxmeter brugte en anden spørgsmålsformulering er for at sikre sammenlignelige resultater over tid. Vi ved at spørgsmålsformuleringen kan påvirke borgerens opbakning til en afskaffelse af forsvarsforbeholdet (se tidligere indlæg her og her), og det skal ikke kunne udelukkes, at det også kan forklare en forskel på nogle procentpoint hos de respektive analyseinstitutter. Jeg anbefalede forud for valget, at analyseinstitutterne skulle undersøge dette empirisk med et eksperiment, for at sikre, at det ikke ville være en fejlkilde, men der er mig bekendt ingen analyser heraf i dagene op til valget.
Med andre ord vil jeg ikke udelukke, at hvis både Epinion og Voxmeter havde nævnt ‘deltage i det europæiske samarbejde om sikkerhed og forsvar’ i spørgsmålet, kunne de respektive målinger have ligget tættere på hinanden.
Det er selvfølgelig ingen let opgave at ramme resultatet til en folkeafstemning, men hvis vi kigger på meningsmålingerne fra folkeafstemningen om retsforbeholdet i 2015, ser vi, at analyseinstitutterne over en bred kam ramte valgresultatet.
Med folkeafstemningen i 2015 i betragtning er det således interessant, at de sidste målinger gav vidt forskellige bud på, hvor stor opbakning der ville være til en afskaffelse af forsvarsforbeholdet.
Når det er sagt er det vigtigt at huske på, at vi har relativt få meningsmålinger – især sammenlignet med hvad vi ser ved folketingsvalg. Hvor vi ved folketingsvalg har daglige meningsmålinger op til valgdagen, og flere hundrede målinger i en valgperiode (i indeværende valgperiode har vi allerede 200+ meningsmålinger), kigger vi her på omkring 30 målinger foretaget over flere måneder.
Det faktum at et par af målingerne klarede sig godt og et par andre mindre godt, kan bruges til at fremhæve styrken ved vægtede snit. Altingets snit af målingerne gav 64,4% til ‘Ja’, hvilket var 2,5 procentpoint fra resultatet. Dette er en styrke ved de vægtede gennemsnit. Nogle målinger vil være mere præcise, men vi kommer tættere på et valgresultat, når vi netop ikke ved, hvilke enkeltmålinger, der vil ramme resultatet bedst.
Jeg forsøgte selv at undersøge i hvilket omfang det ville være muligt at estimere opbakningen til ‘Ja’-siden med udgangspunkt i samme tilgang som jeg bruger til at estimere opbakningen til partierne ved folketingsvalget. Dette var primært med henblik på bedre at forstå hvordan min model ville virke på en afstemning med relativt få målinger. Her er en figur hvor jeg viser opbakningen til ‘Ja’-siden over tid sammen med resultaterne fra de enkelte målinger:
Bemærk at kun målinger der eksplicit nævner ‘forbehold’ er inkluderet i ovenstående figur. Til trods for dette ser vi en del variation på tværs af de forskellige målinger, hvor der ikke er den store enighed gennem hele perioden om, hvor stor opbakning der vil være til en afskaffelse af forsvarsforbeholdet.
På baggrund af denne model var mit bedste bud 62,4% til ‘Ja’-siden (med en statistik usikkerhed på 2,5 procentpoint). Dette var ingenlunde imponerende. Vi kan se i figuren, at dette netop er tættere på hvad Voxmeter og Epinion viste end hvad Megafon og Gallup viste. Grunden til dette skal findes i, at de fleste målinger havde ‘Ja’-siden i ugerne op til valget på omkring 60%, og når der er så få målinger, kunne Megafon og Gallup lige så godt have været outliers. Modellen er således mere konservativ og springer ikke op og ned alt efter hvilken retning enkelte målinger bevæger sig i, især da Megafon gennem hele perioden gav ‘Ja’-siden en større opbakning end de andre institutter.
Som sagt er pointen med et vægtet gennemsnit netop ikke at slå enkeltmålinger, men at reducere betydningen af enkelte målinger (blandt andet ved at tage huseffekter i betragtning). Ved folketingsvalg har sagt langt flere målinger, hvor det ligeledes er lettere at estimere huseffekter for de respektive analyseinstitutter for de forskellige partier.
Det var dog ikke kun meningsmålingerne, der var i fokus i forbindelse med folkeafstemningen. Hvordan så det eksempelvis ud med de to exitpolls, vi fik kl. 20.00 på valgaftenen? Hos DR kunne man se tallene fra Epinions exitpoll, der gav ‘Ja’-siden et flertal med 69,1% (og 30,9% til ‘Nej’-siden):
Dette var tættere på resultatet end hvad Epinions meningsmåling viste, men i den anden retning. Hvor deres meningsmåling underestimerede opbakningen til ‘Ja’-siden, overestimerede deres exitpoll opbakningen (dog kun med 2,2 procentpoint).
Bedre så det ud hos Megafon og TV 2, hvor deres exitpoll annonceret kl. 20.00 gav ‘Ja’-siden en opbakning på 66,6%, altså kun 0,3 procentpoint fra det endelige valgresultat. Det underlige er her, at denne exitpoll blev opdateret 15 minutter senere til 67,4% til ‘Ja’-siden, altså længere fra det endelige valgresultat. Jeg har ingen idé om, hvad der kan forklare denne opdatering. Jeg vil af samme grund undlade at udtale mig yderligere herom.
Det blev heldigvis ingen katastrofal folkeafstemning for hverken meningsmålingerne eller de respektive exitpolls. Med til dette hører at medierne også har været nuancerede i deres dækning af disse målinger, herunder med et stort fokus på, hvordan spørgsmålsformuleringen kan have en betydning for, hvor stor opbakningen ville være.
Jeg er derfor fortrøstningsfuld, når det kommer til det kommende folketingsvalg. Medierne er blevet betydeligt bedre til at dække meningsmålingerne, herunder især deres begrænsninger, og selvom man godt kunne tænke sig at især DR og Epinion havde dækket målingerne bedre end tilfældet har været, må man konkludere, at det i grove træk var et fint valg for meningsmålingerne og dækningen af samme.
Lad os slutte med en tanke om, hvordan dækningen af folkeafstemningen ville have set ud uden meningsmålinger. Mit gæt er at det ikke ville have været en bedre politisk dækning. Tag eksempelvis dette citat fra en artikel hos Ekstra Bladet, givet af en af deres læsere: “Hmmm jeg forstår ikke helt de målinger […] Ikke en eneste, jeg har snakket med, siger ‘ja'”. Dette viser, at det netop er godt med meningsmålinger. De kan give os en idé om, hvor stor opbakning der er til et spørgsmål, så det ikke blot bliver til gætterier på baggrund af, hvem man har snakket med. Meningsmålingerne er ikke perfekte, men alternativet er i min optik værre.