Meningsmålinger i R med pollsDK

En ny pakke til R, pollsDK, giver mulighed for let at hente danske meningsmålinger ind i R. Pakken er lavet af Mikkel Krogsholm og installeres og indlæses vha. følgende (forudsætter at man har devtools-pakken installeret):

devtools::install_github("56north/pollsDK")
library("pollsDK")

Pakken er nem at bruge og giver blandt andet mulighed for at hente de meningsmålinger, jeg har liggende på GitHub. Dette gør man med funktionen gahner(). I nedenstående gemmer vi disse data i objektet polls og viser de seneste seks observationer herfra.

polls <- gahner()
tail(polls)
     id pollingfirm year month day party_a party_b party_c party_f party_i party_k
962 962    Voxmeter 2016     5  29    25.4     5.0     3.1     4.5     7.7     0.6
963 963      Greens 2016     6   2    25.7     5.4     3.2     5.1     6.5     0.7
964 964    Voxmeter 2016     6   5    25.8     4.9     2.9     4.6     7.4     0.8
965 965      Gallup 2016     6   9    25.1     4.6     3.5     4.6     7.3     0.7
966 966    Voxmeter 2016     6  12    25.4     4.3     2.9     4.0     7.9     0.7
967 967    Voxmeter 2016     6  18    25.9     4.9     2.6     4.1     8.7     0.7
    party_o party_v party_oe party_aa    n                                        source
962    19.7    17.9      8.5      7.1 1020 http://voxmeter.dk/index.php/meningsmalinger/
963    19.7    16.6      9.0      7.8 1248            http://www.politiko.dk/barometeret
964    19.6    17.3      8.0      8.4 1039 http://voxmeter.dk/index.php/meningsmalinger/
965    19.8    18.9      8.2      6.9 1570            http://www.politiko.dk/barometeret
966    20.9    18.1      8.3      7.4 1032 http://voxmeter.dk/index.php/meningsmalinger/
967    20.7    17.5      7.8      6.9 1050 http://voxmeter.dk/index.php/meningsmalinger/

Disse data kan eksempelvis bruges til at visualisere partiernes vælgeropbakning over tid. I nedenstående eksempel er det vist, hvordan Socialdemokraterne har ligget i meningsmålinger fra 2010 til i dag (forudsætter at man har ggplot2-pakken installeret).

library("ggplot2")

polls$date <- format(as.Date(c(paste(polls$year, 
                                     polls$month, 
                                     polls$day, 
                                     sep="-")), by = "days"))

ggplot(polls, aes(x=as.Date(date), y=party_a )) + 
  geom_point(col="red", alpha=.1) +
  geom_smooth(col="red", se=F, alpha=.5, size=1.2, span=.65) +
  theme_minimal() +
  ylab("Opbakning (%)") + 
  xlab("")

Hvor mange vil stemme på Nye Borgerlige?

I en ny meningsmåling foretaget af Voxmeter for Ritzau, står et parti med navn Nye Borgerlige til at få 10,8 procent af stemmerne. Nyheden har fundet vej til blandt andet Information, Børsen, Jyllands-Posten, BT og Berlingske.

Der er tale om en relativt normal meningsmåling. Lige godt 1000 respondenter (1065, for at være helt præcis) har svaret på en række politiske spørgsmål, men så går det også galt for Voxmeter. I en normal meningsmåling, hvor vi gerne vil finde ud af, hvor mange vælgere der stemmer på et parti, stiller vi spørgsmålet, hvilket parti respondenten ville stemme på, hvis der var valg i morgen (eller en afart af dette spørgsmål). Denne måde at spørge på garanterer blandt andet, at summen af opbakningen til de enkelte partier altid er lig 100 procent. Det er dog ikke hvad Voxmeter har gjort denne gang.

Voxmeter har eksempelvis ikke blot stillet ét spørgsmål. Der er stillet flere spørgsmål, der bidrager til at give de 10,8 procent. Det første spørgsmål respondenterne blev sat til at besvare, var: “Hvis det bliver muligt ved næste valg, vil du overveje at stemme på et parti, der har en strammere udlændingepolitik end Dansk Folkeparti?”. Med dette spørgsmål vil Voxmeter få respondenten til at basere sine overvejelser og valg på udlændingepolitik, og dermed ikke eksempelvis velfærd, miljø, vækst og hvad der ellers spiller en rolle i vælgernes overvejelser.

Det andet spørgsmål, som de 10,8 procent stammer fra, er ikke et klassisk partivalgsspørgsmål, men spørgsmålet: “Partiet Nye Borgerlige forsøger at blive opstillingsberettiget til næste valg. Partiet vil føre en stram udlændingepolitik som Dansk Folkeparti og en borgerlig økonomisk politik som Liberal Alliance. Vil du stemme på partiet, hvis det stiller op?”. Når en respondent svarer ja til dette spørgsmål, er det på ingen måde det samme som, at respondenten ville vælge Nye Borgerlige som svar, hvis spørgsmålet gik på, hvilket parti respondenten ville stemme på, hvis der var valg i morgen. Som Peter Kurrild-Klitgaard beskriver det: “Men det er meget tænkeligt, at vælgerne i praksis vil agere anderledes, når de i andre målinger eller på selve valgdagen (hvis partiet overhovedet får samlet de fornødne underskrifter), konfronteres med det fulde sæt af alternativer–inklusive dem de plejer at stemme på.”

De to spørgsmål – og især deres rækkefølge og konstruktion – bidrager begge til, at respondenterne svarer på et spørgsmål, der på ingen måde kan sammenlignes med et spørgsmål, der skal give et retvisende estimat af, hvor stor vælgertilslutning partiet vil få. Alene det forhold, at disse resultater ikke formidles sammen med en traditionel meningsmåling viser, at nærværende måling ikke skal tages seriøst. Kigger man på den seneste Voxmeter-måling (fra 12. juni), siger 1 procent af vælgerne, at de vil stemme på et andet parti end dem der er repræsenteret i Folketinget (heraf vil 0,7 procent stemme på Kristendemokraterne).

Dermed er det ikke sagt, at Nye Borgerlige ikke har et potentiale, men der er ingen meningsmåling, ej heller Voxmeters, der giver partiet 10,8 procent. Det bygger på tvivlsomme spørgsmål og en række antagelser af yderst urealistisk karakter. Meningsmålingen er med andre ord ikke en meningsmåling, der lever op til de standarder, man normalt arbejder med, og det kan undre en, at Voxmeter kvalitetsstempler meningsmålinger som disse.

Så nej, ingen meningsmåling viser, at “hver tiende vil stemme på Nye Borgerlige”. Det er blot et par dubiøse analytikere, der får det til at se sådan ud, for at skabe en god historie.

Oplæg for CBEN om nudging og metode

Forleden gav jeg et oplæg for Copenhagen Behavioural Economics Network (CBEN) om nudging og metode. Sidstnævnte er noget jeg beskæftiger mig meget med, og nudging har jeg berørt i diverse indlæg (se eksempelvis her, her og her).

Arrangementet bar titlen ‘The methods behind nudging‘. Mit oplæg var introducerende med fokus på metode, og især hvorfor det er vigtigt at tage metoden bag mange af diverse undersøgelser interesseret i nudging seriøst (også selvom man er en del af et felt, hvor det overvejende fokus er på nye og spændende teoretiske bidrag). Min simple pointe var, at al den viden om nudging der appliceres i det offentlige såvel som det private i disse år er rodfæstet i viden, men også en betydelig del bullshit, og den eneste måde hvorpå man kan adskille det videnskabelige fra den tomme snak, er ved at sætte sig ind i metode.

Foruden mit oplæg var der et spændende oplæg af Pelle Guldborg Hansen (fra iNudgeyou og RUC), der gik i dybden med, hvad nudging er – og mindst lige så vigtigt, hvad det ikke er. Fremmødet var imponerende (en blanding af universitetsansatte, studerende, konsulenter, embedsmænd m.v.), og jeg kan kun anbefale andre med interesse for nudging at deltage i fremtidige arrangementer.

Potpourri: Statistik #31

A FiveThirtyEight-inspired theme for ggplot2
Comparing ggplot2 and R Base Graphics
List of useful RStudio addins made by useRs
Creating a LOESS animation with gganimate
interplot: Plot the Effects of Variables in Interaction Terms
How Much Should We Trust Estimates from Multiplicative Interaction Models? Simple Tools to Improve Empirical Practice
Stata Figure Schemes (+ update)
An unhealthy obsession with p-values is ruining science
Statistikere udsender sjælden form for advarsel
A reading list for the Replicability Crisis
Rock ‘n Poll
Jagten på den perfekte stikprøve
– Demystifying Box-and-whisker plots: Part 1, Part 2
Polipredict.dk: markedets forventninger til politiske begivenheder
Rbitrary Standards

Mistede Socialdemokraterne en fjerdedel af deres vælgere?

I slutningen af januar fik én bestemt meningsmåling opmærksomhed på alle sendeflader. Målingen viste, at Socialdemokraterne gik tilbage med syv procentpoint. Mere specifikt fra 26,3 procent til 19,3 procent. Meningsmåling blev foretaget af Megafon for TV2 og Politiken.

Syv procentpoint er meget. Mere end en fjerdedel af, hvad Socialdemokraterne stod til at få tilbage i november hos Megafon. Nyheden om at Socialdemokraterne gik tilbage med syv procentpoint fik af samme grund omtale hos blandt andre MetroXpress, Information, Ekstra Bladet, Berlingske, TV2 (igen), Fyens Stiftstidende, BT og sågar i udlandet. Hos Politiken valgte man at bruge anledningen til også at følge op med et par artikler omkring tallene bag vælgertabet og de sidste 20 års største vælgerskred.

Asger H. Nielsen, direktør for Megafon, udtalte til TV2, at han var 100% sikker på, at meningsmålingen var korrekt. De havde sågar lavet en såkaldt kontrolmåling, for at være sikker på, at målingen var valid. Med andre ord var selv Megafon overraskede over resultatet. Tallene fra målingen er som illustreret:

Det interessante ved målingen, og grunden til at journalister elsker målinger som den fra Megafon, er, at historierne står i kø for at blive fortalt. Politisk kommentator Søs Marie Serup får eksempelvis hele syv historier ud af målingen, herunder at “Dansk Folkeparti er Danmarks største parti. Succesen er ikke forbigående!”

Når der er så mange historier i én måling, altså så mange store forandringer, er der grund til at være ekstra skeptisk. Vi ved, at når én måling viser noget ekstremt, er sandsynligheden for, at det er korrekt, minimal. I forhold til den journalistiske dækning er det paradoksale, som jeg pointerede for nogle år siden i Berlingske, at de forkerte målinger netop er kendetegnet ved, at de får ekstra meget omtale.

Fredag, dagen efter Megafons måling var blevet præsenteret i 22 Nyhederne på TV 2, kom der en meningsmåling fra Greens for Børsen, der viste, at Socialdemokraterne ikke gik tilbage. Denne måling fik ikke lige så meget omtale som Megafons, men formåede dog heldigvis at blive dækket af blandt andre Jyllands-Posten, Information, Metroxpress og Berlingske.

Dette førte til nogen forvirring, og på den baggrund var jeg med i TV2 News fredag aften. Her havde jeg to pointer. For det første, at Megafons kontrolmåling ikke var nogen garanti for validiteten. Kontrolmålingen viste blot, at Megafon havde været i stand til at ramme det samme estimat to gange i træk, altså opbakningen til Socialdemokraterne, men ikke at man havde ramt bullseye. For det andet at man – som altid – bør være varsom med at tolke for meget ud af enkeltmålinger. Det er med andre ord vigtigt i situationer hvor én måling viser noget ekstremt, at være åben for det mulige scenarie, at kommende målinger ikke ville bekræfte de ekstreme tendenser, og i de fleste tilfælde decideret afkræfte dem.

Samme dag blev det meldt ud fra Megafon, at man var fagligt inkompetent, hvis man ikke kunne se forskellene på Greens og Megafons målinger. Mandag den 1. februar gav Martin Vinæs Larsen fra Københavns Universitet fem grunde til, at man skulle tvivle på Megafons måling, og Megafons direktør, Asger H. Nielsen, gav fire grunde til at tro på Megafons måling.

Den ugentlige Voxmeter-måling, også fra om mandagen, viste, at der ikke var noget, der tydede på, at Socialdemokraterne gik tilbage. Voxmeter-målingen, der bliver foretaget for Ritzau, fik omtale hos BT, Fyens Stiftstidende og Politiken. Det interessante er, at til trods for at nogle medier dækkede både Greens og Voxmeters målinger, kom de ikke i nærheden af at få lige så meget omtale som Megafons måling, og slet ikke på print og i TV. Dette skyldes blandt andet, at det er nemmere at skrive opfølgende historier, der bygger på forandring. Det er nemmere at få en kommentar fra et utilfreds S-bagland, når Socialdemokraterne går tilbage, end det er at få en kommentar, når der ikke er sket noget som helst.

Megafon plejer at gennemføre en meningsmåling i slutningen af hver måned, men i februar, mere specifikt torsdag den 11. februar, kom der en ny måling, hvor Socialdemokraterne af uransaglige årsager går frem. Dette på trods af diskussioner omkring intern uro i partiet, blandt andet affødt af den ekstreme måling fra Megafon.

Siden da har vi set endnu en måling fra Megafon, der viser, at Socialdemokraterne ligger på omkring de 24 procent, som de har gjort i flere måneder. Det samme mønster, bare uden en ekstrem måling, finder man i hos de andre analyseinstitutter. I lørdags (den 5. marts) havde jeg derfor en analyse i Politiken, der inkluderede nedenstående figur:

I analysen, der ikke er online, skriver jeg således om de efterfølgende målinger og formidlingen af dem:

Når det gælder Megafon, er det især instituttets efterfølgende målinger, der er interessante. Her får Socialdemokraterne, af uransagelige årsager, et opsving i begge målinger. Det bedste gæt er, at det blot er en langsom tilbagevenden til den reelle opbakning, som partiet har, og som alle andre meningsmålinger viser.

Det triste er så, at landets journalister ikke har dedikeret lige så megen tid til at formidle lige netop disse aspekter. Der er med andre ord en klar asymmetri, der gør det svært at dræbe myter om store partivandringer. Når én meningsmåling viser noget ekstremt, får den masser af opmærksomhed, men når forudgående og efterfølgende meningsmålinger afkræfter den pågældende måling, er journalisterne med få undtagelser tavse.

Her står vi så: Det har ingen konsekvenser, når journalisterne går i selvsving i forbindelse med en ekstrem måling. Medierne, såvel som analyseinstitutterne, har endda klare incitamenter til at skabe så meget omtale som muligt, uafhængigt af, om en meningsmålingen så ellers er korrekt.

Megafon fik masser af omtale, og alle – med undtagelse af et par politologer, der går op i meningsmålinger – har glemt alt om målingen. Tilbage er der blot at vente på den næste ekstreme måling, der kan rydde sendefladen. Vi har set det før, vi har set det igen med Megafons måling, og vi kommer til at se det igen. Desværre.

Potpourri: Statistik #30

Measures of Political Behavior
The Amazing Significo: why researchers need to understand poker
How to create confounders with regression: a lesson from causal inference
Meta-analyses are no substitute for registered replications: a skeptical perspective on religious priming
fifty million frenchmen can eat it
Understanding Bayes: How to become a Bayesian in eight easy steps
A Variant on “Statistically Controlling for Confounding Constructs is Harder than you Think”
Effect stability: (1) Two-group, three-group, and interaction designs
Effect stability: (2) Simple mediation designs

Konflikten mellem Lars Løkke og Søren Pape

Talte forleden med en journalist fra Kristeligt Dagblad. Det kom der en artikel ud af, der kan findes her såvel som i torsdagens avis. Emnet var konflikten mellem regeringen og de Konservative, personificeret ved Lars Løkke Rasmussen og Søren Pape Poulsen. Pointen i artiklen er, at konflikten kan forstås med relativt simpel spilteori.

Er meningsmålinger om terrorfrygt væsentlige?

I en klumme i Information skriver klummeskribent Lasse Jensen, at meningsmålinger ofte er igangsat på baggrund af et fravær af journalistiske ideer. Han indleder således sin klumme med ordene: “Hvad skulle mange såkaldt toneangivende medier gøre uden meningsmålinger? Svaret er meget enkelt: De ville være tvunget til at lave rigtig journalistik!” Underforstået, at meningsmålinger ikke handler om rigtig journalistik.

Til at illustrere dette tager klummeskribenten udgangspunkt i en meningsmåling Megafon lavede for TV2 og Politiken i forbindelse med etårsdagen for terrorangrebet i København (i Krudttønden og synagogen i Krystalgade). Her formuleres kritikken af Megafons måling som følger:

Den ene måling fastslog i Politiken, at »knap seks ud af 10 danskere forventer et nyt terrorangreb«. Altså 60 procent. Det er mange, og målingen afstedkom da også et langt indslag i DR’s 21 Søndag, hvor der heldigvis var en forsker, der mente, at »risikoen for at blive ramt af et terrorangreb er lige så stor som risikoen for at blive ramt af en meteorit«. Da et andet analysebureau, YouGov, lavede den samme undersøgelse for MetroXpress lige efter tragedien i Krudttønden og synagogen, var frygttallet 53 procent. Det faldt dog til 38 procent på to måneder ifølge en ny måling i maj 2015. Der er gået 10 måneder uden terror i Danmark, men frygten er altså voldsomt forøget ifølge Megafon. Det har ingen sat spørgsmålstegn ved.

Der er flere ting galt her. Jeg elsker at kritisere meningsmålinger lige så meget som alle andre, men den kritik klummeskribenten retter er meningsløs og udstiller blot en manglende evne til at forholde sig kritisk til forskellige meningsmålinger og journalisternes brug af meningsmålinger.

For det første var det ganske enkelt ikke Megafons måling, der afstedkom et indslag i DRs 21 Søndag. Det var derimod en meningsmåling, som DR selv fik lavet af Epinion. De to meningsmålinger vedrører to forskellige spørgsmål. Epinions handler om, hvorvidt frygten for terror er steget i løbet af det seneste år, og Megafons handler om frygten for, at et nyt terrorangreb vil finde sted inden for det næste år.

For det andet påstår ingen, at frygten er voldsomt forøget. Tværtimod nævner journalisten fra Politiken blot, at terrorfrygten ikke er faldet væsentligt. Det giver i denne sammenhæng ingen mening at begynde at sammenligne en meningsmåling fra YouGov med en fra Megafon, uden også at kigge nærmere på, hvem der er spurgt, hvilke spørgsmål der er stillet, hvilke svarmuligheder der er givet og så videre. Det er med andre ord ingen selvfølge, at Megafon og YouGov har lavet den samme undersøgelse.

Megafon har på forskellige tidspunkter over de seneste 15 år stillet spørgsmålet “Anser du det for sandsynligt, at Danmark bliver udsat for et terrorangreb inden for det næste år?”. YouGov har spurgt “Tror du, at der kommer terrorangreb i Danmark i år?”. Spørgsmålene er forskellige, og det er svarmulighederne også. Hos Politiken er de 58 procent (altså næsten 6 ud af 10), den andel der har svaret ‘meget sandsynligt’ eller ’sandsynligt’, hvor det hos YouGov er andelen, der har svaret ja til et simpelt ja/nej-spørgsmål. Det ville være en journalistisk katastrofe at antage, at de to tal er direkte sammenlignelige, så intet under, at ingen har gjort det.

Hvis man virkelig gerne ville undersøge tendenserne over tid, giver det bedre mening at sammenligne Megafon over tid og YouGov over tid. Dette er da også muligt for sidstnævnte, da YouGov, også i forbindelse med etårsdagen for terrorangrebet, lavede endnu en måling. Fortællingen her er konsistent med fortællingen hos Politiken og DR, netop at mange danskere frygter terror.

Vi er så tilbage til udgangspunktet for klummen, eller som Lasse Jensen afslutter sin klumme: “Det er altid fascinerende at høre, hvad ’danskerne’ mener. Spørgsmålet er, om det er væsentligt?” Det er selvfølgelig ikke noget spørgsmål, der er et klart svar på, men jeg vil mene, at det er et legitimt synspunkt, at det selvfølgelig giver mening for medierne, at belyse danskernes terrorfrygt. Det er netop – som forskerne pointerer og medierne formidler – på mange måder en dybt irrationel frygt, som da om noget er relevant at belyse. Tilføj endvidere det forhold, at en eventuel frygt for terror har væsentlige implikationer for den politik der føres – fra asylpolitik til sessionslogning.

Meningsmålinger er et vigtigt redskab for journalister (og for at sætte det lidt på spidsen: for demokratiet), men de taler aldrig for sig selv, hvorfor de også fordrer, at journalisterne kan placere dem i deres retmæssige kontekst. Det er – som de fleste ved – vigtigt at forholde sig kritisk til meningsmålingerne og journalisternes formidling af dem, men det er for letkøbt blot at affeje meningsmålingernes værdi med, at de ikke er ‘rigtig’ journalistik, hvad pokker det så end er.

Er statskundskabsstuderende de mest kæphøje?

Hos Berlingske kan man læse, at studerende der læser Statskundskab, er de mest kæphøje: “Selvtillid er godt, men selvfedme er bedre. Det ser ud til at være mottoet for i hvert fald et udsnit af statskundskabsstuderende i et stort videnskabeligt forsøg, der har undersøgt graden af selvovervurdering hos studerende”. Det omtalte studie kan ligeledes findes omtalt hos blandt andre Videnskab.dk, der skriver: “Dem, der overvurderer deres egen præstation allermest, er de statskundskabsstuderende”.

Studiet, der bærer titlen Overconfidence and Career Choice og er publiceret i PLOS ONE, bygger på data fra 711 førsteårsstuderende i Schweiz. I forsøget blev de studerende stillet en række faglige spørgsmål relateret til årstallet for bestemte begivenheder. Efterfølgende blev de studerende spurgt om, hvordan de selv syntes, de havde klaret sig. Jo større diskrepans mellem faktisk og opfattet kunnen, desto mere havde den studerende overvurderet sine evner (eller undervurderet, hvis den studerende troede, at vedkommende havde klaret sig dårligere, end tilfældet var). Hovedresultaterne fra studiet er at finde i Figur 1 i artiklen, hvor gennemsnitsovervurderingen er vist for de respektive uddannelser:

Da jeg så ovenstående figur tænkte jeg, at til trods for at Berlingske kalder det for et “stort videnskabeligt forsøg”, er et trecifret antal forsøgspersoner ikke ret meget, når man har ni forskellige grupper, inden for hvilke der må forventes at være en høj grad af heterogenitet i, hvor meget de studerende overvurderer egne evner. Derfor reproducerede jeg figuren fra artiklen, men tilføjede en ekstra feature: 95% konfidensintervaller.

Som det kan ses, er der intet der tyder på, at statskundskabsstuderende grundlæggende set overvurderer egne evner mere end andre studerende (eller med andre ord er mere kæphøje). Overordnet set er der intet der tyder på, at der er nogle signifikante forskelle for langt de fleste af uddannelsesgrupperne.

Som Berlingske også nævner, skal man dog også være varsom med at drage konklusioner i forhold til de studerende i andre lande. Også selvom der ikke rigtigt er noget at konkludere. Det er ikke sikkert, at “resultaterne” kan generaliseres til andre studerende (heller ikke andre studerende i Schweiz). Det kan desuden være svært at sammenligne statskundskabere i forskellige lande, især fordi relationen mellem uddannelse og arbejdsmarked varierer betydeligt på tværs af lande.

Det ændrer dog selvfølgelig ikke på, at det altid er sjovt at placere statskundskabere i kasser, og mon ikke de fleste statskundskabere tager det som en kompliment, at blive kaldt for kæphøj.