Meningsmålinger på Politologi.dk #2

I 2017 introducerede jeg en meningsmålingsoversigt på Politologi.dk. Det er i al beskedenhed blevet en populær resource for mange, herunder journalister og politikere, og under folketingsvalgkampen i 2019 blev oversigten brugt af tusindvis af danskere på daglig basis. Den blev ligeledes også formidlet i medierne (eksempelvis hos DR).

Jeg har siden 2017 kun lavet mindre justeringer hist og her på figurerne i oversigten. Her er et eksempel på, hvordan de har set ud for Socialdemokratiet:

På baggrund af nogle af de udfordringer og begrænsninger folk har fremhævet i forbindelse med figurerne, har jeg nu lavet en ny version. Her er et eksempel på, hvordan det ser ud for Socialdemokratiet:

Som det kan ses, er der foretaget flere synlige ændringer. I dette indlæg gennemgår jeg de mest væsentlige samt mine argumenter herfor.

Punkter

Figuren begyndte i 2017 at vise meningsmålinger fra de seneste 10 måneder. Dette havde dog det primære problem, at når vi ville komme ind i en valgkamp, ville det blive meget svært at se udviklingen i løbet af en valgkamp. Derfor ændrede jeg antallet af punkter til at vise de 100 seneste meningsmålinger.

Dette har overordnet fungeret fint, men i den nyeste version har jeg reduceret mængden af data til de seneste 75 meningsmålinger. Grunden til dette er, at der vises mere information i de opdaterede figurer, og jeg har forsøgt at kompensere for dette ved at fjerne nogle af de ældre meningsmålinger.

Figurerne har forsøgt at vise forskellige farver og punkttyper for de respektive analyseinstitutter. Dette har overordnet fungeret fint, men der har været et par begrænsninger. Eksempelvis havde Norstat og Voxmeter næsten identiske farver og punkttyper, hvorfor det kunne være besværligt at sondre mellem de to.

I de nye figurer forsøger jeg at tage højde for, at nogle analyseinstittuter foretager mange meningsmålinger (eksempelvis Voxmeter) og andre foretager få meningsmålinger (eksempelvis Norstat), og give farver og punkttyper herefter (altså en mørkerød udfyldt cirkel til Voxmeter, der adskiller sig signifikant fra de andre farver og typer).

Kurve

Hele formålet med figurerne er at give et hurtigt overblik over, hvordan det går de forskellige partier i meningsmålingerne. Trendlinjen, altså kurven, er et godt redskab til dette. Problemet har dog været, at den godt kunne give et misvisende billede af, hvilken retning meningsmålingerne bevæger sig (eksempelvis Socialdemokratiet i ovenstående figur, der giver et indtryk af, at partier et er på en opadgående kurve).

Konkret har jeg gjort kurven mere lokal, så trendlinjen vil skyde mindre i vejret men ‘binde sig’ mere til punkterne, som alt andet lige skal være i fokus. Dette gør det forhåbentligt nemmere at få et indtryk af, hvilken trend vi observerer i meningsmålingerne. Dertil har jeg også ændret farven på trendlinjen, så den ikke tager for meget opmærksomhed.

Statistisk usikkerhed

Den største ændring i figurerne er, at der nu også rapporteres den statistiske usikkerhed (med et 95% konfidensinterval). Jeg har skrevet talrige indlæg om den statistiske usikkerhed, så der er ingen nævneværdige grunde til at gå mere i dybden med dette her. Jeg kan blot nævne, at jeg har forsøgt diskret at fremhæve den statistiske usikkerhed, uden at det fremstod uoverskueligt.

Y-akse

Et af de primære kritikpunkter af figurerne har været, at y-aksen ikke inkluderer 0 (eller 100 for den sags skyld). Jeg har tidligere skrevet om, hvorfor det ikke er misvisende, at en figur ikke inkluderer 0 på y-aksen. Det vil eksempelvis ikke være informativt at vise, hvor langt Socialdemokratiet ligger fra spærregrænsen, og at vise dette ville blot gøre det sværere at se, hvordan deres opbakning har ændret sig (eller ikke ændret sig).

Når det er sagt har jeg forsøgt at øge variationen i y-aksen på en systematisk måde, der ikke gør det svært at identificere forskelle over tid. Konkret har jeg anvendt disse principper fra Francis Gagnon, altså at der kan tilføjes et tomt område under den laveste værdi, der er udregnet vha.:

(minimum værdi – minimum y-akse værdi) / (maksimum y-akse værdi – minimum y-akse værdi)

Dette (samt den statistiske usikkerhed) gør at de laveste observationer ikke ligger tæt på y-aksens begyndelse, og vil forhåbentlig give et mere rammende billede af, hvordan partierne ligger i meningsmålingerne (uden altid at inkludere 0).

Foruden dette har jeg også fjernet titlen på y-aksen samt flyttet al anden information, så der gives mere plads horisontalt til at vise meningsmålingerne over tid. Der er ligeledes tilføjet mere information til selve figuren (eksempelvis navnet på partiet og information om statistisk usikkerhed). Dette er gjort da figurene ofte deles på sociale medier, hvorfor det er fint, at den slags information kommer med.

Overordnet ser jeg dette som en væsentlig forbedring af figurerne. Ikke desto mindre er jeg sikker på, at der nok skal være forslag derude til, hvordan de kan blive endnu bedre. Koden til at producere figurerne kan findes her, og såfremt du har forslag til forbedringer, hører jeg gerne fra dig.

Du kan finde de seneste meningsmålinger på Politologi.dk.

Hvordan måler vi omfanget af vold mod kvinder?

Der er ikke ét land, hvor vold mod kvinder ikke er et problem, der skal tages alvorligt. Spørgsmålet i dette indlæg er ikke, om der er et problem med vold mod kvinder i Danmark. Det er jeg overbevist om, at der er. Spørgsmålet jeg kort vil belyse her er, hvordan vi bedst kan belyse problemet. Eller mere præcist, om der er brug for at belyse problemet yderligere.

Det er desværre ikke muligt at finde fuldkommen valide data på, hvor stort problemet er – og slet ikke hvis vi ønsker at sige noget om, hvor og hvorfor problemet er størst. Er vold mod kvinder et større problem i Danmark end i Sverige? Er det et større problem i Danmark end i Polen? Hvordan forstås vold i de forskellige lande og hvordan måler vi det?

Det er heldigvis muligt at stille disse spørgsmål uden at marginalisere eller ignorere problemets omfang.

Det er ressourcekrævende at indsamle data. Den store udfordring er ikke blot de data vi har, men især de data vi ikke har. Det er med andre ord muligt, at der er mere vold mod kvinder end hvad vi kan foranlediges til at tro, når vi kigger på de tilgængelige data. For interesserede der ønsker at vide mere omkring køn og (manglende) data, kan jeg anbefale at man læser bøger som Invisible Women: Exposing Data Bias in a World Designed for Men og Data Feminism.

Noget af det arbejde, der har fået størst (medie)omtale over årene, er en rapport fra 2014. Rapporten, der bærer titlen Violence against women: an EU-wide survey, konkluderede, at problemet med vold mod kvinder er størst i lande som Danmark, Sverige og Finland – og mindst i et land som Polen.

Der er en lang række af problemer med rapporten. Som en forsker blandt andet pointerede da rapporten kom ud, afhænger svarene af, hvordan man opfatter vold i de forskellige EU-lande. Og resultaterne stemte ganske enkelt ikke overens med hvad andre datakilder viste. I min optik er en af de primære udfordringer i forhold til Danmark, at undersøgelsen ikke blev foretaget på samme måde som i de fleste andre lande. Konkret blev der kun i Danmark, Sverige og Finland (altså de lande, hvor vold mod kvinder angiveligt er det største problem) anvendt telefoninterviews, der som bekendt giver højere værdier på sensitive spørgsmål.

Der kunne skrives meget mere omkring udfordringerne ved rapporten, men det interessante i denne sammenhæng at se på, hvordan kritikere af kritikere af rapporten reagerer på kritiken. Igen, spørgsmålet er ikke om der er et problem med vold mod kvinder i Danmark, men hvordan vi belyser problemet. Anledningen til forhåndenværende indlæg er denne kommentar fra Leon Derczynski i forbindelse med rapporten: “To the fragile men arguing against the findings’ validity: What’s your end goal here? Who are you trying to silence, and what good would that serve? Sometimes the best first step to improving a problem is just to listen to and absorb the facts. Read the report.”

Jeg vil undlade at spekulere nærmere over min motivation til at forholde mig kritisk til rapporter om alverdens emner (dette kan blive emnet for et indlæg en anden dag), men jeg finder kommentaren uvidenskabelig og problematisk. Der stilles tre spørgsmål i kommentaren, der antager, at folk der forholder sig kritisk, ikke tror på, at der er et problem. I ikke-tilfældig rækkefølge kan de tre spørgsmål opsummeres som følger: 1) Hvem forsøger man at censurere, når man ønsker at kritisere ovennævnte rapport? 2) Hvad godt kommer der ud af det? 3) Hvad er endemålet med kritikken?

De to første spørgsmål kan nemt besvares: Ingen kritiserer rapporten med et ønske om censurere nogen (svar på spørgsmål 1), da det på ingen måde vil føre noget godt med sig (svar på spørgsmål 2). Når jeg i tidligere indlæg har forholdt mig kritisk til diverse rapporter er det ikke et forsøg på at lukke en debat – men tværtimod at nuancere og åbne en debat.

Det bringer os videre til det mest relevante spørgsmål. Hvad kommer der ud af at kritisere rapporten? Hvorfor ikke blot anerkende, at der er et stort problem, ukritisk absorbere sandheden (“absorb the facts”) og være konstruktiv og løsningsorienteret?

Når jeg er kritisk i forhold til rapporten, handler det om, at for at kunne løse et problem (og dermed være konstruktive), må vi først sørge for, at vi har et videnskabeligt funderet deskriptivt udgangspunkt, der belyser problemets omfang. Vi må med andre ord sørge for, at vi har den bedst tilgængelige viden (der hviler på det stærkeste metodiske grundlag), før vi kan være løsningsorienteret. Dette handler ikke om at nægte at anerkende, at der er et problem med vold mod kvinder. Tværtimod handler det om at anerkende, at problemet er så vigtigt, at vi ikke blot skal tage til takke med en middelmådig spørgeskemaundersøgelse.

Der er komplekse og besværlige spørgsmål, der desværre ikke let kan besvares gennem nogle telefoninterviews. Hvilke sociodemografiske grupper har de største problemer med vold mod kvinder? Hvornår bliver kvinder i højere grad udsat for vold? Problemet med ikke at problematisere ovennævnte rapports tal er, at vi for let konkluderer, at vi nu har et tilstrækkeligt vidensgrundlag. Det har vi ikke – og i værste fald ved vi mindre.

Det er på plads at rekapitulere: Vold mod kvinder er et alvorligt problem. Når man kritiserer en rapport der kommer med denne pointe, risikerer man at skulle stå til indtægt for den pointe, at vold mod kvinder ikke er et problem. Dette siger dog kun noget om, hvor forsimplet denne slags debatter ofte er. Min bekymring er, at hvis man forsøger at lukke en debat omkring en rapports metodiske begrænsninger ned, vil man på længere sigt blot gøre mere skade end gavn, når det kommer til at løse et problem.

Does being tall raise the risk of getting COVID-19?

Take a look at these articles from various media outlets:

People over 6ft have double the risk of coronavirus, study suggests
Does being tall raise the risk of getting Covid-19? Men over 6ft are TWICE as likely to get infected, study claims
How your HEIGHT could double your risk of catching coronavirus, scientists discover
People who are over 6ft tall are twice as likely to catch coronavirus, study claims
Being over six foot tall doubles Covid-19 risk
Studie: Flere høje mennesker fik coronavirus (for my Danish readers)

Well, a new study claims that people (or men?) over 6ft (183 cm) tall are more likely to catch coronavirus. That’s interesting, I guess. I can see how tall people (or tall men?) face different environments that might make them more likely to catch the virus. Maybe. I am over 6ft tall and maybe I am twice as likely to get infected than my counterfactual shorter me. However, as I noticed in a previous post, there are profound reason to be skeptical towards a lot of social science research conducted in relation to COVID-19.

Accordingly, I decided to look at the working paper that found the specific relationship between height and COVID-19 risk. It is available here. Alas, it didn’t take me many minutes to see that there are significant problems with the manuscript in question.

Take a look at the first paragraph in the abstract: “The paper provides new evidence from a survey of 2000 individuals in the US and UK related to predictors of Covid-19 transmission.” That’s impressive, yes? No. Among the 2000 individuals, only a small proportion had the virus in both countries (and all the data is self-reported!). For example, only 43 men in the UK and 26 men in the US reported having had the virus. Those are rookie numbers in this racket. There is simple no to little data to actually explore variation in whether men had the virus or not.

For the actual results, take a look at this paragraph (also from the abstract): “Thirdly and finally, there is some, often weaker, evidence that income, car-owership [sic.], use of a shared kitchen, university degree type, risk-aversion, extraversion and height are predictors of transmission.” (my emphasis). Height is listed as a predictor among a series of other explanatory variables (and presented as ‘some, often weaker’ evidence). The problem here is the good old kitchen sink approach to social science. Throw in a series of variables in your model and see what shows up significant. It goes without saying that this is not good science.

And now take a look at this paragraph (also from the abstract): “The evidence about height is discussed in the context of the aerosol transmission debate.” Of course it is. This can explain why the height finding is receiving so much media coverage. We can think about a sexy theoretical mechanism explaining why tall people are more likely to get COVID-19. Here is the “mechanism” as outlined in the paper: “The fact that height is a significant predictor for men suggests that downward droplet transmission may be less important than aerosol transmission (particularly prior to lockdown) in which case the use of specifically designed air purifiers should be further explored.”

Noteworthy, the problem here is not that the work is not peer-reviewed. A lot of good research is not peer-reviewed and a lot of bad research is peer-reviewed. Also, I don’t blame the media for not picking up on any of the significant issues with the paper. The researchers doing the work are affiliated with institutions such as LSE, Oxford, Columbia and UCL, and I totally understand why journalists find it newsworthy when such “experts” conduct interesting “research”.

With that being said, let’s dig a little deeper into the paper. The first thing to keep track of is that the study is only making a point about the risk of being tall as a man. The problem here is potential p-hacking, i.e. that the researchers tested the relationship for the full sample – and then for men and women and decided that it was most interesting to go with the findings for men (the research was – from what I can see – not pre-registered). However, the choice is sensible if you take the measure of height into account. Normally, surveys interested in the height of the respondent asks for a precise height (e.g. in cm). That’s not the case here. The researchers use a weird binary measure of height and simply ask “Are you TALLER than 6 ft (1.83 m) in height?”. This is not the best way to explore how height relates to anything (including the risk of COVID-19 transmission).

We can begin to see how severe the problems are. Here is a simple cross-tabulation between height and transmission of COVID-19 (medical diagnosis/positive test for) among men in the US. We only have 11 men in the US sample that are tall (i.e. above 183 cm) and had the virus (again, according to the self-reported data). I don’t see any possible way the researchers can use this data to make any robust conclusions about how height matter for COVID-19 transmission.

Short Tall
No transmission 339 135
Transmission 15 11

The small cell sizes show that it is limited how much we can actually learn from any statistical analysis of the data, especially if we do multiple regressions. For the record, if we run a simple bivariate OLS regression, there is a significant effect of being tall on COVID-19 transmission in the UK (p = .04) but not in the US (p = .13). Again, these are results from bivariate regressions and we do not have sufficient data to do anything more advanced. Unsurprisingly, these results do not get any better if we begin to control for obvious confounders such as age (UK: p = .09; US: p = .15). In other words, the results are not convincing.

So, does being tall raise the risk of getting COVID-19? Maybe, but there is no evidence for this in the working paper. A working paper that, alas, led to news articles that are now shared thousands of times.

25 interesting facts #3

51. Concerns about travel time explain why some members of the European Parliament favour holding plenaries only in Brussels (Whitaker et al. 2017)

52. Prospect theory replicates across countries and languages (Ruggeri et al. 2020)

53. Anti-vaccine policy attitudes correlate with low levels of knowledge about the causes of autism (Motta et al. 2018)

54. Information on the choices of others contributes to inequality and unpredictability in cultural markets (Salganik et al. 2006)

55. In a Monty Hall Dilemma analogue, pigeons maximize their wins by switching on virtually all trials (Herbranson 2012)

56. The preregistration of clinical trials is associated with more null findings (Kaplan and Irvin 2015)

57. Later school start times are associated with more sleep and better performance (Dunster et al. 2018)

58. Cars detected in Google Street View images can be used to predict social outcomes (e.g. voting patterns in elections) (Gebru et al. 2017)

59. People tend to recall being more generous in the past than they actually are (Carlson et al. 2020)

60. Ants modify the structure of their social network (and make it less efficient) to decrease pathogen transmission (Stroeymeyt et al. 2018)

61. Using green products improves consumption experience (Tezer and Bodur 2020)

62. Signing a veracity statement at the beginning instead of at the end of a tax form does not increase honest reporting (Kristal et al. 2020)

63. There is no liberal media bias in which news stories political journalists choose to cover (Hassell et al. 2020)

64. The overlap between different common depression scales is depressingly low (Fried 2017)

65. Saint’s day fiestas in Mexico occurring near an election decrease turnout (Atkinson and Fowler 2014)

66. While the optimal strategy for soccer goalkeepers is to stay in the goal’s center during penalty kicks, they tend to jump right or left (Bar-Eli et al. 2007)

67. Violent video game engagement is not associated with adolescents’ aggressive behaviour (Przybylski and Weinstein 2019)

68. There is an association between providing data link statements in articles and the expected number of citations (Colavizza et al. 2020)

69. The 2004 French headscarf ban reduced the secondary educational attainment of Muslim girls (Abdelgadir and Fouka 2020)

70. The 9/11 attacks led to an increase in the vacancy rates of the most distinctive Chicago landmark buildings (Abadie and Dermisi 2008)

71. Newspapers preferentially cover medical research with weaker methodology (Selvaraj et al. 2014)

72. Only children are not more narcissistic than individuals with siblings (Foster et al. 2020)

73. When people invest in stocks they get more right-leaning outlooks on issues such as merit and deservingness, personal responsibility, and equality (Margalit and Shayo 2020)

74. Conservatives report, but liberals display, greater happiness (Wojcik et al. 2015)

75. Politicians use different flag emojis in line with their political ideology (Kariryaa et al. 2020)

Potpourri: Statistics #66

How To Read 2020 Polls Like A Pro
Visualizing Complex Science
What is machine learning, and how does it work?
Choosing Fonts for Your Data Visualization
Why linear mixed-effects models are probably not the solution to your missing data problems
Outstanding User Interfaces with Shiny
How I Taught Tidymodels, Virtually
How your colorblind and colorweak readers see your colors
Graphic Content: How Visualizing Data Is a Life-or-Death Matter
How to Create Brand Colors for Data Visualization Style Guidelines
The R package workflow
Introducing Modeltime: Tidy Time Series Forecasting using Tidymodels
Tidy Geospatial Networks in R
PCA with Age of Empires II data
A practical guide to geospatial interpolation with R
Oh my GOSH: Calculating all possible meta-analysis study combinations
Rating children’s books with empirical Bayes estimation
Normalizing and rescaling children’s book ratings
Tips from an R Journalist
How to improve your R package
A very short introduction to Tidyverse
purrr: Introduction and Application
Supervised Machine Learning for Text Analysis in R
4 Tips to Make Your Shiny Dashboard Faster
How I share knowledge around R Markdown
Teaching Statistics and Data Science Online
a ggplot2 grammar guide
Five Tidyverse Tricks You May Not Know About
How to build a Tufte-style weather graph in R using ggplot2