Erik Gahner Larsen

Hvad du skal vide om valgkampens meningsmålinger

Jeg har for Altinget besvaret en række spørgsmål om meningsmålinger. Der er tale om aspekter, der er gode at have styr på i forbindelse med valgkampen.

Spørgsmålene er blandt andet:

  • Hvad betyder det for meningsmålingerne, at der pludselig er tre helt nye partier med? (Nye Borgerlige, KRP og Stram Kurs)
  • Når et parti som Nye Borgerlige en dag får 0,9 procent og en anden dag får 6,3 procent – kan vi så bruge meningsmålinger?
  • Hvad er dine tre bedste råd til at navigere i de mange meningsmålinger?

Du kan finde alle spørgsmålene (og svarene) her.

Hvordan vil danskerne stemme til Europa-Parlamentsvalget? #2

Forleden kom der en rapport fra Europa-Parlamentet, foretaget af Kantar Public, der gav bud på, hvordan partierne ville klare sig ved det kommende Europa-Parlamentsvalg.

En af ulemperne ved denne rapport var, at den ikke byggede på meningsmålinger omkring Europa-Parlamentsvalget, men i Danmark i stedet målinger til Folketinget (noget jeg udtalte mig kritisk om her).

Heldigvis har vi nu meningsmålinger foretaget af analyseinstitutterne på samme tid til både Europa-Parlamentsvalget (EP) og folketingsvalget (FT). Derfor kan vi nu sætte tal på, hvor stort et problem, der var tale om for de forskellige partiers opbakning.

Hos DR kan man finde to meningsmålinger fra Epinion – både til EP-valget og FT-valget. Hos Jyllands-Posten kan man ligeledes finde en måling for både EP-valget og FT-valget (foretaget af Norstat).

Før vi sammenligner partiernes opbakning til FT-valget og EP-valget, er det dog vigtigt at huske på en af de afgørende kritikpunkter ved rapporten foretaget af Kantar Public, netop at nogle partier stiller op til FT-valget og ikke EP-valget (og vice versa).

Figur 1: Opbakningen til partierne i EP- og FT-valget, Epinion og Norstat

Figur 1 viser opbakningen i meningsmålingerne til partierne der stiller op ved begge valg. Meningsmålingerne fra Epinion og Norstat viser (heldigvis) sammenlignelige resultater. Vi kan se, ved alle valg, at Socialdemokraterne står til at blive størst, efterfulgt af Venstre og Dansk Folkeparti.

Kritikken jeg gav forleden kan koges ned til, at vi ikke blot kan bruge meningsmålinger ved FT-valget til at konkludere, hvordan EP-valget vil gå. Til trods for at nogle partier vil klare sig godt i begge valg, er der nævneværdige forskelle.

Mest nævneværdigt stiller Folkebevægelsen mod EU udelukkende op til EP-valget, hvorfor vi vil se at målinger, der kun kigger på FT-valg, naturligvis vil undervurdere deres opbakning.

Figur 2 viser forskellen i partiernes opbakning mellem de to valg, hvor positive værdier indikerer større opbakning ved EP-valget, og negative værdier indikerer større opbakning ved FT-valget. Ingen forskel indikerer at et partis opbakning vil være den samme ved de to valg.

Figur 2: Forskel i opbakning mellem EP- og FT-valg.

Her ser vi, som nævnt ovenfor, at Folkebevægelsen mod EU klarer sig betydeligt bedre i EP-målingerne. Andet er logisk umuligt. Vi ser også at Enhedslisten klarer sig betydeligt bedre i FT-målinger, da flere af deres vælgere stemmer på Folkebevægelsen mod EU ved EP-valget.

Radikale Venstre, Venstre og SF klarer sig også bedre i EP-målingerne end FT-målingerne, hvor det modsatte gør sig gældende for Socialdemokraterne, Liberal Alliance og de Konservative, omend disse forskelle er marginale. Der er ikke helt enighed mellem Epinion og Norstat om, hvordan Dansk Folkeparti vil klare sig relativt mellem de to valg.

Ovenstående viser at vi, til trods for nogle ligheder mellem EP- og FT-målinger, ikke blindt skal betro os til FT-målinger og konkludere, hvordan EP-valget vil gå. Især ikke når det vedrører partier som Folkebevægelsen mod EU, Radikale Venstre og Enhedslisten.

Hvor mange vil stemme på Nye Borgerlige? #7

I løbet af de seneste par dage har vi set meningsmålinger, der giver vidt forskellige bud på, hvor mange der vil stemme på Nye Borgerlige.

En meningsmåling fra Voxmeter giver eksempelvis partiet 0,9 procent af stemmerne, altså under spærregrænsen, hvor en meningsmåling fra YouGov giver partiet hele 6,3 procent af stemmerne. Der er intet nyt i, at Voxmeter placerer Nye Borgerlige betydeligt lavere end YouGov gør, men det er første gang, vi ser så stor en forskel.

Mit bud er, at Stram Kurs’ ankomst på den politiske scene ingenlunde har gjort det nemmere at give et kvalificeret bud på, hvor mange der vil stemme på Nye Borgerlige.

I forbindelse med de forskellige meningsmålinger har jeg talt med DR Detektor, der har skrevet en artikel omkring Nye Borgerlige i meningsmålingerne. Her gives nogle bud på, hvorfor vi ser disse forskelle mellem institutterne.

Jeg anbefaler desuden, at man aldrig kigger på enkeltmålinger, men i videst muligt omfang forsøger at kigge på flere målinger og supplerer med vægtede snit, der ikke i samme grad påvirkes af enkelte målinger.

Hvor lang er valgkampen sammenlignet med tidligere valgkampe?

Onsdag den 5. juni skal vælgerne stemme ved folketingsvalget. Ved seneste valg så vi en valgkamp, der varede 22 dage.

Hvor lang bliver valgkampen denne gang? En uge længere end seneste valgkamp – og dette med afholdelsen af EP-valget midt i denne valgkamp. Med data fra Folketingets hjemmeside tilføjet dagens informationer, kan vi se, hvordan valgkampens længde placerer sig historisk.

I ovenstående figur ser vi, at vi skal et godt stykke tilbage i tid, før vi finder en mindst lige så lang valgkamp. Helt specifikt skal vi tilbage til 1974, hvor valgkampen varede 35 dage.

Det bliver én lang valgmåned.

New article in Policy Studies Journal: Policy Feedback Effects on Mass Publics

I have a new article in the May issue of the Policy Studies Journal. The article is titled ‘Policy Feedback Effects on Mass Publics: A Quantitative Review‘. Here is the abstract:

There has been an impressive stride in the research on policy feedback effects on mass publics over recent years. However, we lack systematic evidence on how large such policy feedback effects are in the literature. This article provides a review of 65 published studies and quantifies the findings and key themes in the policy feedback literature. The results show a great degree of heterogeneity in the domains and outcomes being studied and in the effects of policies on the public. In line with the findings from narrative reviews, feedback effects are greater for outcomes related to political participation and engagement. Last, the review sheds light on important theoretical and methodological limitations to be addressed in future research.

The article is a substantially revised version of my review chapter in my PhD thesis on how public policies matter for public opinion. You can find the article here. Replication material is available at GitHub and the Harvard Dataverse.

Har statistikdatabasen Numbeo pålidelige data?

I løbet af de seneste år har medier som DR, TV 2, Berlingske, B.T. m.v. formidlet historier, der bygger på data fra statistikdatabasen Numbeo.

Faktatjekmediet TjekDet har kigget nærmere på, om disse data er pålidelige. I den forbindelse giver jeg blandt andet følgende kommentar med på vejen:

Det kan være, at folk, der er mere bekymret for kriminalitet, er mere tilbøjelige til at bidrage med data i en by og ikke i en anden by. Selv om de to byer måtte have den samme mængde kriminalitet, ville det føre til en forskel i deres kriminalitetsindeks.

Med andre ord er jeg også skeptisk i forhold til, hvor pålidelige de respektive data er. Læs hele artiklen her.

Hvor mange skoler er lukket?

Altinget kunne for et år siden rapportere, at 603 skoler er lukket på 10 år. Der er dog noget, der tyder på, at dette tal er overdrevet og reelt set er betydeligt lavere.

Johan Ries Møller, specialestuderende ved Syddansk Universitet, har netop offentliggjort nye data for udvalgsstyrede kommuner, der viser, at blot 148 folkeskoler blev besluttet lukket i perioden 2009-2013 og 54 i perioden 2013-2017. Disse tal bakkes op af forskellige måder at estimere antallet af skolelukninger.

Hvorfor kom Altinget frem til et andet svar, der indikerede, at langt flere skoler var lukket? De tog udgangspunkt i svar til Folketinget, der opererer med en bestemt teknisk definition af, hvornår vi har at gøre med en skolelukning:

Dette tal er noget overdrevent, da mange af de skoler, der optræder på listen blot har fået fællesledelse eller har oplevet en reduktion i antal klassetrin. Grunden til, at de figurerer i de officielle opgørelser, er, at Institutionsregisteret baserer sig på de såkaldte institutionsnumre. Der er ikke fast praksis for, hvorvidt underafdelinger skal nedlægge deres institutionsnummer når de underlægges fælles ledelse.

Der er tale om et fornemt eksempel på at gå data efter i sømmene og forstå, hvordan de helt præcist er indsamlet og forstås. Johan Ries Møller er desuden i gang med at færdiggøre sit speciale omkring skolelukningernes betydning for vælgerens adfærd, der også har nogle yderst interessante resultater.

Ny ressource: Politologi Prognose

Én meningsmåling skal som regel ikke ses i isolation. Tværtimod skal den sættes i kontekst og forstås sammen med andre meningsmålinger. Et af de bedste redskaber i denne sammenhæng er vægtede snit, hvor meningsmålingerne aggregeres med henblik på at give mere præcise bud på, hvordan partierne klarer sig.

Fordelen ved disse vægtede snit er, at vi tager mere information i betragtning og på denne måde reducerer sandsynligheden for, at enkeltstående ekstreme meningsmålinger har for meget at skulle have sagt.

Der er heldigvis nogle vægtede gennemsnit i Danmark. Altinget har deres Risbjerg-snit, der dog desvære er bag en betalingsmur. Tilbage har vi Berlingske Barometer og Ritzau Index, der har visse ligheder. Fælles for disse snit er, at de udelukkende tager udgangspunkt i de nyeste meningsmålinger.

Ritzau Index bygger på de seneste 15 meningsmålinger, hvor de allernyeste vejes tungest i deres indeks. Berlingske Barometer anvender meningsmålinger fra de seneste 31 dage, hvor de nyeste målinger også har større indflydelse på resultaterne end de ældre meningsmålinger.

Dette giver på overfladen god mening. Hvad kan en to år gammel meningsmåling bruges til, når vi skal sige noget om partiernes opbakning i dag? Svaret er, at der er vigtig information i ældre meningsmålinger, som vi skal tage i betragtning, når vi laver vægtede snit.

Det er på denne baggrund, at jeg har lavet Politologi Prognose. Modsat Ritzau Index og Berlingske Barometer, tager Politologi Prognose udgangspunkt i meningsmålinger over flere år til at estimere, hvordan partierne står i meningsmålingerne.

Den information som der udnyttes, som ikke tages med ved blot at kigge på nye meningsmålinger, er huseffekter. Dette er kort fortalt tendensen til, at forskellige analyseinstitutter er tilbøjelige til at favorisere bestemte partier. YouGov og Voxmeter er eksempelvis systematisk uenige i, hvor stor opbakningen er til Nye Borgerlige.

Ved at kigge på langt flere meningsmålinger kan vi således estimere, hvordan partierne klarer sig, når vi tager disse systematiske forskelle mellem analyseinstitutterne i betragtning.

En anden ulempe ved de eksisterende vægtede snit er, at ingen af dem rapporterer nogen form for statistisk usikkerhed. Vægtede snit er dog også blot estimater med en statistisk usikkerhed. Denne usikkerhed bliver selvfølgelig formidlet i forhåndenværende vægtede snit.

Det er vigtigt at få med, at der er tale om en prognose over, hvordan partierne ville klare sig i dag og er dermed ikke et forsøg på at forudsige deres opbakning ved et folketingsvalg.

Det er således ikke et forsøg på at lave en egentlig valgprognose for, hvordan valget kommer til at gå. Der tages udelukkende udgangspunkt i meningsmålinger, og hvis man vil forsøge at lege med at forudsige valget, ville det være ideelt at inkludere mere kontekstuel information (cf. Stoetzer et al. 2019).

Prognosen vil blive opdateret med jævne mellemrum, men forvent ikke talrige opdateringer – og slet ikke daglige opdateringer i løbet af en valgkamp.

Potpourri: Statistics #54

Valgspecial i Presselogen om meningsmålinger

I går blev der sendt en valgspecial af Presselogen med fokus på medierne og det kommende folketingsvalg. I den forbindelse bidrog jeg med et par kommentarer omkring, hvad vi bør forvente os af meningsmålingerne under den kommende valgkamp.

Udgangspunktet var blandt andet følgende profeti af Lisbeth Knudsen: “Når valget udskrives, vil vi igen blive oversvømmet af meningsmålinger. Og fristelsen til at tolke på de små udsving og på de små marginaler vil igen blive så stor, at nogen plumper i.”

Dette tror jeg Lisbeth Knudsen i overvejende grad har ret i. Vi ved fra flere studier at medierne ikke er gode til at formidle meningsmålinger og i høj grad overser den statistiske usikkerhed, hvorved der laves store historier på baggrund af små udsving. Der er intet der taler imod, at vi ikke vil se dette under det kommende folketingsvalg.

Når det er sagt er der også grund til at være optimistisk. Alene det faktum at Presselogen dedikerer tid til at tale om mediernes dækning af meningsmålingerne forud for et folketingsvalg viser, at det er noget medierne er opmærksomme på og tager seriøst.

Der er sket mangt og meget i løbet af de seneste fire år, herunder Brexit og Donald J. Trump, hvor meningsmålingerne fik en del kritik, og det er min klare vurdering, at medierne er blevet bedre til at forstå og formidle meningsmålinger. Med andre ord: Kritikken af meningsmålingerne i løbet af de seneste fire år er ikke gået journalisterne forbi.

Under seneste folketingsvalgkamp blev der produceret en håndfuld meningsmålinger om dagen, og det ser ud til, at vi får færre meningsmålinger at se ved det kommende folketingsvalg. Ligeledes har vi diskrepansen mellem Dansk Folkepartis opbakning i meningsmålingerne og ved valget i 2015 friskt i erindringen. Derfor tillader jeg mig at være optimistisk i forhold til, hvordan dækningen af meningsmålingerne vil være under det kommende valg.

Vi ser heldigvis flere og flere artikler, der formår at formidle meningsmålinger sobert og nuanceret. Et eksempel på dette kan ses her, hvor Hans Redder fra TV 2 formidler den seneste måling fra Megafon.

Derfor så jeg ingen grund til udelukkende at være kritisk, da jeg deltog i Presselogen. Tværtom fandt jeg det nødvendigt at mane til besindighed og opfordre til ikke at smide barnet ud med badevandet. Meningsmålingerne er ikke perfekte, og der er al mulig grund til at være kritisk, men de er nu engang et af de bedste redskaber vi har, når vi skal sige noget fornuftigt om, hvordan partierne klarer sig.

Marchen Neel Gjertsen fra Jyllands-Posten fik det sidste ord og sluttede af med at sige, at problemet var, at der var fokuseret for meget på meningsmålingerne og for lidt på at tage ud og besøge vælgerne rundt om i landet.

Dette er jeg fundamentalt set uenig i af to grunde. For det første fordi det ene ikke udelukker det andet. Det er muligt at lave meningsmålinger og feltarbejde. For det andet fordi der ikke er noget der taler for, at medierne vil blive bedre til at dække valget ved at fokusere på feltarbejde i stedet for systematisk indsamlede meningsmålinger.

Det er muligt, at der bliver fokuseret for meget på meningsmålinger i en valgkamp. Det er dog ikke nødvendigvis et problem. Det er fint at vælgerne har et indblik i, hvordan de forskellige partier klarer sig. Dette er selvfølgelig ikke det eneste, der er relevant i en valgkamp, hvorfor vi heldigvis ikke udelukkende ser journalisterne og politikerne fokusere på meningsmålingerne.

Det giver meget lidt mening at konkludere at meningsmålinger i og for sig selv er gode eller dårlige. Hvis de ikke er af højeste kvalitet eller hvis man bruger dem forkert, er de selvsagt dårlige. Indsamles og formidles de efter alle kunstens regler, er de et demokratisk gode.

Presselogen kan ses på TV 2 PLAY.