Potpourri: Statistik #32

Advice for learning to code from scratch
Vectorization in R: Why?
Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations
The Simpsons as a Chart
Causal Empiricism in Quantitative Research (ungated)
Methods workshop: Automated Text Analysis with R
Spring du bare den næste meningsmåling over
Weekly Updates from the Entire R Community
Good Books for All Things Data
Ten Simple Rules for Effective Statistical Practice

Det postfaktuelle demokrati

I løbet af de seneste par dage har man kunne læse flere bidrag i medierne om, at vi nu lever i en postfaktuel tid. I dagens Politiken kan man således læse, at vi “lever i en postfaktuel verden, hvor hver side har sine egne argumenter og sine egne urokkelige fakta. Vi har ikke længere bare forskellige meninger. Vi har forskellige kendsgerninger.” I RÆSON kan man læse en kronik, der argumenterer for, at vi ser konturerne til et postfaktuelt demokrati. I Information kan man læse, i kølvandet på Brexit, at vi ser “postfaktuel politik i en nøddeskal: Friheden til at udtrykke sin egen mening er blevet afløst af friheden til at udvælge sine egne kendsgerninger.” Hos Altinget skriver Lisbeth Knudsen, ligeledes i kølvandet på Brexit, at vi ser “en politisk proces med forskellige tolkninger, løsninger og holdninger, [der] ser ud til at blive erstattet af et postfaktuelt demokrati.”

Der er en lang række af fællestræk ved ovennævnte indlæg. For det første er de fyldt med de samme banaliteter. Pointerne i disse bidrag er, som det meste andet stof i de danske medier, et ekko af hvad man kan læse i de internationale (især amerikanske) medier, hvorfor der også primært er henvisninger til de eksempler, man kan finde i de internationale medier, især Brexit og Trump. For det andet er der tale om anekdotisk evidens. Der gives nogle ekstreme eksempler på, at mange vælgere nu i højere grad kan være selektive i forhold til deres valg af informationskilder, på hvilken baggrund der drages generelle konklusioner. For det tredje henvises der til nogle af de samme forklaringer, herunder især nyhedsmediernes indhold, den teknologiske udvikling og de sociale medier. For det fjerde henvises der til, at dette er et nyt vilkår ved den demokratiske samtale.

Ovenstående forhold gør det nemt at finde et par kritiske indvendinger til påstanden om, at vi nu skulle leve i et postfaktuelt demokrati. Overordnet er der tale om en klassisk forfaldshistorie, altså det der med, at alt var bedre i gamle dage. Der er intet nyt i denne kritik, og den er ikke nødvendigvis mere aktuel i dag. Som Alexios Mantzarlis har pointeret, har vi angiveligt haft postfaktuelle tilstande i flere årtier. Det interessante er dog også den betydning, der ligger i begrebet postfaktuel. Termen postfaktuel indikerer i denne sammenhæng, at vi tidligere har været i et faktuelt demokrati, hvor alt var fryd og gammen og politik blev ført med udgangspunkt i fakta. Som Brendan Nyhan korrekt har bemærket: “I don’t think that time ever existed”.

I kronikken hos RÆSON tilføjes der desuden et par ekstra bemærkninger til, hvad der menes med et postfaktuelt demokrati: “Et demokrati er i en postfaktuel tilstand i det tilfælde, at sandhed, fakta og saglig konsekvensberegning erstattes af robuste narrativer, opportune politiske dagsordener og urealiserbare løfter, således at den demokratiske debat og mobilisering mister forbindelsen til realistiske politiske løsninger og ren vælgermaksimering bliver målet i sig selv.”

Her blandes forskellige fænomener sammen, men der er især to relevante forhold. For det første virker det søgt at betegne urealiserbare løfter fra politikerne som et nyt vilkår. I en parentes bemærket kan det sågar tilføjes, at det som regel altid vil være de politikere, der leverer de mest realistiske urealiserbare løfter, der bliver valgt. Det er med andre ord politikernes jobbeskrivelse. Ikke et nyt vilkår. For det andet reduceres det hele til ren motivspekulation, når politikernes ambitioner ligeledes reduceres til at være ren vælgermaksimering (altså at appellere til flest mulige vælgere). Det er jo bare et mindre fint ord for demokrati, desuagtet motiverne.

Det er muligt, at der kan være noget om de pointer, de forskellige indlæg rejser. Der er bare et ironisk, tilnærmelsesvist komisk, fravær af fakta, til at bakke de pågældende påstande op. Jeg kunne sagtens have skrevet et indlæg om, at vi nu lever i et faktabaseret demokrati, hvor der er mere fokus end nogensinde før på at lave faktatjek, bedrive evidensbaseret politik og korrigere misinformation, men det er ikke min pointe. Min pointe er den simple, at hvis man gerne vil foretage den demokratiske diagnosticering, at vi nu lever i en postfaktuel tidsalder, så tag lidt fakta med til at bakke det hele op. Dette vil sikre, at det eneste bevis for at vi lever i en postfaktuel tidsalder, ikke blot bliver selvsamme analyses anekdotiske karakter.

Meningsmålinger i R med pollsDK

En ny pakke til R, pollsDK, giver mulighed for let at hente danske meningsmålinger ind i R. Pakken er lavet af Mikkel Krogsholm og installeres og indlæses vha. følgende (forudsætter at man har devtools-pakken installeret):

devtools::install_github("56north/pollsDK")
library("pollsDK")

Pakken er nem at bruge og giver blandt andet mulighed for at hente de meningsmålinger, jeg har liggende på GitHub. Dette gør man med funktionen gahner(). I nedenstående gemmer vi disse data i objektet polls og viser de seneste seks observationer herfra.

polls <- gahner()
tail(polls)
     id pollingfirm year month day party_a party_b party_c party_f party_i party_k
962 962    Voxmeter 2016     5  29    25.4     5.0     3.1     4.5     7.7     0.6
963 963      Greens 2016     6   2    25.7     5.4     3.2     5.1     6.5     0.7
964 964    Voxmeter 2016     6   5    25.8     4.9     2.9     4.6     7.4     0.8
965 965      Gallup 2016     6   9    25.1     4.6     3.5     4.6     7.3     0.7
966 966    Voxmeter 2016     6  12    25.4     4.3     2.9     4.0     7.9     0.7
967 967    Voxmeter 2016     6  18    25.9     4.9     2.6     4.1     8.7     0.7
    party_o party_v party_oe party_aa    n                                        source
962    19.7    17.9      8.5      7.1 1020 http://voxmeter.dk/index.php/meningsmalinger/
963    19.7    16.6      9.0      7.8 1248            http://www.politiko.dk/barometeret
964    19.6    17.3      8.0      8.4 1039 http://voxmeter.dk/index.php/meningsmalinger/
965    19.8    18.9      8.2      6.9 1570            http://www.politiko.dk/barometeret
966    20.9    18.1      8.3      7.4 1032 http://voxmeter.dk/index.php/meningsmalinger/
967    20.7    17.5      7.8      6.9 1050 http://voxmeter.dk/index.php/meningsmalinger/

Disse data kan eksempelvis bruges til at visualisere partiernes vælgeropbakning over tid. I nedenstående eksempel er det vist, hvordan Socialdemokraterne har ligget i meningsmålinger fra 2010 til i dag (forudsætter at man har ggplot2-pakken installeret).

library("ggplot2")

polls$date <- format(as.Date(c(paste(polls$year, 
                                     polls$month, 
                                     polls$day, 
                                     sep="-")), by = "days"))

ggplot(polls, aes(x=as.Date(date), y=party_a )) + 
  geom_point(col="red", alpha=.1) +
  geom_smooth(col="red", se=F, alpha=.5, size=1.2, span=.65) +
  theme_minimal() +
  ylab("Opbakning (%)") + 
  xlab("")

Hvor mange vil stemme på Nye Borgerlige?

I en ny meningsmåling foretaget af Voxmeter for Ritzau, står et parti med navn Nye Borgerlige til at få 10,8 procent af stemmerne. Nyheden har fundet vej til blandt andet Information, Børsen, Jyllands-Posten, BT og Berlingske.

Der er tale om en relativt normal meningsmåling. Lige godt 1000 respondenter (1065, for at være helt præcis) har svaret på en række politiske spørgsmål, men så går det også galt for Voxmeter. I en normal meningsmåling, hvor vi gerne vil finde ud af, hvor mange vælgere der stemmer på et parti, stiller vi spørgsmålet, hvilket parti respondenten ville stemme på, hvis der var valg i morgen (eller en afart af dette spørgsmål). Denne måde at spørge på garanterer blandt andet, at summen af opbakningen til de enkelte partier altid er lig 100 procent. Det er dog ikke hvad Voxmeter har gjort denne gang.

Voxmeter har eksempelvis ikke blot stillet ét spørgsmål. Der er stillet flere spørgsmål, der bidrager til at give de 10,8 procent. Det første spørgsmål respondenterne blev sat til at besvare, var: “Hvis det bliver muligt ved næste valg, vil du overveje at stemme på et parti, der har en strammere udlændingepolitik end Dansk Folkeparti?”. Med dette spørgsmål vil Voxmeter få respondenten til at basere sine overvejelser og valg på udlændingepolitik, og dermed ikke eksempelvis velfærd, miljø, vækst og hvad der ellers spiller en rolle i vælgernes overvejelser.

Det andet spørgsmål, som de 10,8 procent stammer fra, er ikke et klassisk partivalgsspørgsmål, men spørgsmålet: “Partiet Nye Borgerlige forsøger at blive opstillingsberettiget til næste valg. Partiet vil føre en stram udlændingepolitik som Dansk Folkeparti og en borgerlig økonomisk politik som Liberal Alliance. Vil du stemme på partiet, hvis det stiller op?”. Når en respondent svarer ja til dette spørgsmål, er det på ingen måde det samme som, at respondenten ville vælge Nye Borgerlige som svar, hvis spørgsmålet gik på, hvilket parti respondenten ville stemme på, hvis der var valg i morgen. Som Peter Kurrild-Klitgaard beskriver det: “Men det er meget tænkeligt, at vælgerne i praksis vil agere anderledes, når de i andre målinger eller på selve valgdagen (hvis partiet overhovedet får samlet de fornødne underskrifter), konfronteres med det fulde sæt af alternativer–inklusive dem de plejer at stemme på.”

De to spørgsmål – og især deres rækkefølge og konstruktion – bidrager begge til, at respondenterne svarer på et spørgsmål, der på ingen måde kan sammenlignes med et spørgsmål, der skal give et retvisende estimat af, hvor stor vælgertilslutning partiet vil få. Alene det forhold, at disse resultater ikke formidles sammen med en traditionel meningsmåling viser, at nærværende måling ikke skal tages seriøst. Kigger man på den seneste Voxmeter-måling (fra 12. juni), siger 1 procent af vælgerne, at de vil stemme på et andet parti end dem der er repræsenteret i Folketinget (heraf vil 0,7 procent stemme på Kristendemokraterne).

Dermed er det ikke sagt, at Nye Borgerlige ikke har et potentiale, men der er ingen meningsmåling, ej heller Voxmeters, der giver partiet 10,8 procent. Det bygger på tvivlsomme spørgsmål og en række antagelser af yderst urealistisk karakter. Meningsmålingen er med andre ord ikke en meningsmåling, der lever op til de standarder, man normalt arbejder med, og det kan undre en, at Voxmeter kvalitetsstempler meningsmålinger som disse.

Så nej, ingen meningsmåling viser, at “hver tiende vil stemme på Nye Borgerlige”. Det er blot et par dubiøse analytikere, der får det til at se sådan ud, for at skabe en god historie.

Oplæg for CBEN om nudging og metode

Forleden gav jeg et oplæg for Copenhagen Behavioural Economics Network (CBEN) om nudging og metode. Sidstnævnte er noget jeg beskæftiger mig meget med, og nudging har jeg berørt i diverse indlæg (se eksempelvis her, her og her).

Arrangementet bar titlen ‘The methods behind nudging‘. Mit oplæg var introducerende med fokus på metode, og især hvorfor det er vigtigt at tage metoden bag mange af diverse undersøgelser interesseret i nudging seriøst (også selvom man er en del af et felt, hvor det overvejende fokus er på nye og spændende teoretiske bidrag). Min simple pointe var, at al den viden om nudging der appliceres i det offentlige såvel som det private i disse år er rodfæstet i viden, men også en betydelig del bullshit, og den eneste måde hvorpå man kan adskille det videnskabelige fra den tomme snak, er ved at sætte sig ind i metode.

Foruden mit oplæg var der et spændende oplæg af Pelle Guldborg Hansen (fra iNudgeyou og RUC), der gik i dybden med, hvad nudging er – og mindst lige så vigtigt, hvad det ikke er. Fremmødet var imponerende (en blanding af universitetsansatte, studerende, konsulenter, embedsmænd m.v.), og jeg kan kun anbefale andre med interesse for nudging at deltage i fremtidige arrangementer.

Potpourri: Statistik #31

A FiveThirtyEight-inspired theme for ggplot2
Comparing ggplot2 and R Base Graphics
List of useful RStudio addins made by useRs
Creating a LOESS animation with gganimate
interplot: Plot the Effects of Variables in Interaction Terms
How Much Should We Trust Estimates from Multiplicative Interaction Models? Simple Tools to Improve Empirical Practice
Stata Figure Schemes (+ update)
An unhealthy obsession with p-values is ruining science
Statistikere udsender sjælden form for advarsel
A reading list for the Replicability Crisis
Rock ‘n Poll
Jagten på den perfekte stikprøve
– Demystifying Box-and-whisker plots: Part 1, Part 2
Polipredict.dk: markedets forventninger til politiske begivenheder
Rbitrary Standards

Mistede Socialdemokraterne en fjerdedel af deres vælgere?

I slutningen af januar fik én bestemt meningsmåling opmærksomhed på alle sendeflader. Målingen viste, at Socialdemokraterne gik tilbage med syv procentpoint. Mere specifikt fra 26,3 procent til 19,3 procent. Meningsmåling blev foretaget af Megafon for TV2 og Politiken.

Syv procentpoint er meget. Mere end en fjerdedel af, hvad Socialdemokraterne stod til at få tilbage i november hos Megafon. Nyheden om at Socialdemokraterne gik tilbage med syv procentpoint fik af samme grund omtale hos blandt andre MetroXpress, Information, Ekstra Bladet, Berlingske, TV2 (igen), Fyens Stiftstidende, BT og sågar i udlandet. Hos Politiken valgte man at bruge anledningen til også at følge op med et par artikler omkring tallene bag vælgertabet og de sidste 20 års største vælgerskred.

Asger H. Nielsen, direktør for Megafon, udtalte til TV2, at han var 100% sikker på, at meningsmålingen var korrekt. De havde sågar lavet en såkaldt kontrolmåling, for at være sikker på, at målingen var valid. Med andre ord var selv Megafon overraskede over resultatet. Tallene fra målingen er som illustreret:

Det interessante ved målingen, og grunden til at journalister elsker målinger som den fra Megafon, er, at historierne står i kø for at blive fortalt. Politisk kommentator Søs Marie Serup får eksempelvis hele syv historier ud af målingen, herunder at “Dansk Folkeparti er Danmarks største parti. Succesen er ikke forbigående!”

Når der er så mange historier i én måling, altså så mange store forandringer, er der grund til at være ekstra skeptisk. Vi ved, at når én måling viser noget ekstremt, er sandsynligheden for, at det er korrekt, minimal. I forhold til den journalistiske dækning er det paradoksale, som jeg pointerede for nogle år siden i Berlingske, at de forkerte målinger netop er kendetegnet ved, at de får ekstra meget omtale.

Fredag, dagen efter Megafons måling var blevet præsenteret i 22 Nyhederne på TV 2, kom der en meningsmåling fra Greens for Børsen, der viste, at Socialdemokraterne ikke gik tilbage. Denne måling fik ikke lige så meget omtale som Megafons, men formåede dog heldigvis at blive dækket af blandt andre Jyllands-Posten, Information, Metroxpress og Berlingske.

Dette førte til nogen forvirring, og på den baggrund var jeg med i TV2 News fredag aften. Her havde jeg to pointer. For det første, at Megafons kontrolmåling ikke var nogen garanti for validiteten. Kontrolmålingen viste blot, at Megafon havde været i stand til at ramme det samme estimat to gange i træk, altså opbakningen til Socialdemokraterne, men ikke at man havde ramt bullseye. For det andet at man – som altid – bør være varsom med at tolke for meget ud af enkeltmålinger. Det er med andre ord vigtigt i situationer hvor én måling viser noget ekstremt, at være åben for det mulige scenarie, at kommende målinger ikke ville bekræfte de ekstreme tendenser, og i de fleste tilfælde decideret afkræfte dem.

Samme dag blev det meldt ud fra Megafon, at man var fagligt inkompetent, hvis man ikke kunne se forskellene på Greens og Megafons målinger. Mandag den 1. februar gav Martin Vinæs Larsen fra Københavns Universitet fem grunde til, at man skulle tvivle på Megafons måling, og Megafons direktør, Asger H. Nielsen, gav fire grunde til at tro på Megafons måling.

Den ugentlige Voxmeter-måling, også fra om mandagen, viste, at der ikke var noget, der tydede på, at Socialdemokraterne gik tilbage. Voxmeter-målingen, der bliver foretaget for Ritzau, fik omtale hos BT, Fyens Stiftstidende og Politiken. Det interessante er, at til trods for at nogle medier dækkede både Greens og Voxmeters målinger, kom de ikke i nærheden af at få lige så meget omtale som Megafons måling, og slet ikke på print og i TV. Dette skyldes blandt andet, at det er nemmere at skrive opfølgende historier, der bygger på forandring. Det er nemmere at få en kommentar fra et utilfreds S-bagland, når Socialdemokraterne går tilbage, end det er at få en kommentar, når der ikke er sket noget som helst.

Megafon plejer at gennemføre en meningsmåling i slutningen af hver måned, men i februar, mere specifikt torsdag den 11. februar, kom der en ny måling, hvor Socialdemokraterne af uransaglige årsager går frem. Dette på trods af diskussioner omkring intern uro i partiet, blandt andet affødt af den ekstreme måling fra Megafon.

Siden da har vi set endnu en måling fra Megafon, der viser, at Socialdemokraterne ligger på omkring de 24 procent, som de har gjort i flere måneder. Det samme mønster, bare uden en ekstrem måling, finder man i hos de andre analyseinstitutter. I lørdags (den 5. marts) havde jeg derfor en analyse i Politiken, der inkluderede nedenstående figur:

I analysen, der ikke er online, skriver jeg således om de efterfølgende målinger og formidlingen af dem:

Når det gælder Megafon, er det især instituttets efterfølgende målinger, der er interessante. Her får Socialdemokraterne, af uransagelige årsager, et opsving i begge målinger. Det bedste gæt er, at det blot er en langsom tilbagevenden til den reelle opbakning, som partiet har, og som alle andre meningsmålinger viser.

Det triste er så, at landets journalister ikke har dedikeret lige så megen tid til at formidle lige netop disse aspekter. Der er med andre ord en klar asymmetri, der gør det svært at dræbe myter om store partivandringer. Når én meningsmåling viser noget ekstremt, får den masser af opmærksomhed, men når forudgående og efterfølgende meningsmålinger afkræfter den pågældende måling, er journalisterne med få undtagelser tavse.

Her står vi så: Det har ingen konsekvenser, når journalisterne går i selvsving i forbindelse med en ekstrem måling. Medierne, såvel som analyseinstitutterne, har endda klare incitamenter til at skabe så meget omtale som muligt, uafhængigt af, om en meningsmålingen så ellers er korrekt.

Megafon fik masser af omtale, og alle – med undtagelse af et par politologer, der går op i meningsmålinger – har glemt alt om målingen. Tilbage er der blot at vente på den næste ekstreme måling, der kan rydde sendefladen. Vi har set det før, vi har set det igen med Megafons måling, og vi kommer til at se det igen. Desværre.

Potpourri: Statistik #30

Measures of Political Behavior
The Amazing Significo: why researchers need to understand poker
How to create confounders with regression: a lesson from causal inference
Meta-analyses are no substitute for registered replications: a skeptical perspective on religious priming
fifty million frenchmen can eat it
Understanding Bayes: How to become a Bayesian in eight easy steps
A Variant on “Statistically Controlling for Confounding Constructs is Harder than you Think”
Effect stability: (1) Two-group, three-group, and interaction designs
Effect stability: (2) Simple mediation designs

Konflikten mellem Lars Løkke og Søren Pape

Talte forleden med en journalist fra Kristeligt Dagblad. Det kom der en artikel ud af, der kan findes her såvel som i torsdagens avis. Emnet var konflikten mellem regeringen og de Konservative, personificeret ved Lars Løkke Rasmussen og Søren Pape Poulsen. Pointen i artiklen er, at konflikten kan forstås med relativt simpel spilteori.