Frasier

The three great 90s sit-coms are Seinfeld, Frasier and Friends. I have written about Friends and Seinfeld (in Danish), and it is only fair to dedicate a post to Frasier. I watched all 11 seasons of the show ~10 years ago and I recently rewatched all seasons. I am happy to confirm that it is still a great sit-com and definitely worth your time.

Frasier is about the life of radio psychiatrist Frasier Crane (played by Kelsey Grammer) and his family and colleagues. Frasier is a snob living in a fancy apartment in Seattle and that’s pretty much everything you need to know about the show (assuming you don’t already know that). The show lasted for 11 seasons and it is interesting to see how little changed during the run of the series (despite some changes in the relations between the different characters).

What I noticed the second time I watched the show (or at least thought more about this time), is how much it is always about the internal dynamics between the characters and in particular what they know or misunderstand or misremember or lie about. And how that – at the end of the day – never plays out well for Frasier. Unsurprisingly, some of the best episodes rely on the consequences of asymmetrical information (e.g. The Matchmaker and Two Misses Crane).

As always, I rated each individual episode on a scale from 1 to 10 on IMDb. This figure shows all my ratings:

As you can see, I believe the show got worse over time. Not because the older episodes are much better but we see a lot of repetitions in the plots (more than you should expect in a great sit-com). The show experiment more during the last couple of seasons but without taking any chances.

Also, I was never that much into Cheers and most of the storylines in Frasier (and the accompanying humour) that builds upon the dynamics between the characters from Cheers are subpar. I know that some people are more into Frasier Crane when he was just a character in Cheers, so I acknowledge that it might simply be a personal preference.

Overall, there is a strong positive correlation between my ratings of the episodes and the average IMDb ratings. In other words, unsurprisingly, when most people like an episode, I tend to like it as well (I’ve added a linear trend and some jitter to the points):

27% of the variation in my ratings can be explained by the IMDb score (R² = .27). In an OLS regression, adding the date of the airing of the episode, number of votes and a set of binary variables with the director of the episode adds little extra explanatory power to the model (adjusted R² = .32).

Compared to Seinfeld and Friends, Frasier is somewhere between the two. I guess you can say Seinfeld > Frasier >> Friends. To use the categories of the Michelin Guide, Friends is worth stopping at (if it’s already on), Frasier is worth going out of your way for and Seinfeld is a destination in itself.

Giver lotterier tvivlsomme meningsmålinger? #2

I forbindelse med YouGovs seneste meningsmåling, som jeg skrev om for en uge siden, skrev jurist og radiovært, Nima Zamani, en kommentar i Ekstra Bladet, hvori han kritiserer YouGovs meningsmålinger. Der er flere kritikpunkter, men en af de primære kritikpunkter går på, at YouGovs meningsmålinger anvender muligheden for at ‘vinde gratis præmier’.

Konkret formuleres kritikken som følger: “Hos YouGov er det et mere særligt og snævert udvalgt segment af borgere, der udgør resultatet af meningsmålingen, der altså helt ekseptionelt giver Nye Borgerlige 6-7 flere mandater end alle de andre matematisk redelige målinger. Det er borgere, der blandt andet bruger internettet til at vinde gratis præmier. Man deltager nemlig – og hold nu helt fast – i lodtrækningen om luksusgavekort til internetshopping, når man tilmelder sig hos YouGov. […] Og uden at skulle lyde elitær er det altså oftest de mindre velhavende, der er interesserede i luksusgavekort og gratis sager på nettet. Knap halvdelen er Nye Borgerliges vælgere er arbejdsløse eller står udenfor arbejdsmarkedet.”

Med andre ord kritiseres YouGov for at anvende en bestemt metode, der giver skæve svar. Man kan med rette diskutere og kritisere YouGovs meningsmålinger, men jeg finder ikke den konkrete kritik overbevisende.

Jeg finder ikke kritikken overbevisende, da ingen metode er perfekt. Der er intet der taler for, at noget analyseinstitut kan foretage “matematisk redelige målinger”. Analyseinstitutterne har ikke mulighed for at foretage en tilfældig udvælgelse af stemmeberettigede og spørge om, hvilket parti, de ville stemme på, hvis der var valg i morgen. Det er derfor nemt blot at henvise til nogle specifikke begrænsninger ved ét bestemt analyseinstitut og antage, at andre analyseinstitutter ikke har specifikke begrænsninger og udfordringer.

Det er ikke første gang meningsmålinger kritiseres for at anvende lotterier til at tiltrække respondenter, og jeg skrev et indlæg om dette tilbage i 2015. Spørgsmålet om hvorvidt en meningsmåling anvender et lotteri eller ej er dog ingenlunde det eneste relevante aspekt at kigge på, når man skal forstå rekrutteringen af respondenter til en meningsmåling. Ligeledes er det på ingen måde det eneste aspekt, der er relevant for at forstå, om en meningsmåling kun siger noget om et “særligt og snævert udvalgt segment”.

Mange forestiller sig meningsmålinger som noget der primært består af telefoninterviews, men dette er efterhånden undtagelsen mere end reglen. Mig bekendt anvender alle analyseinstitutter – med undtagelse af Voxmeter – en kombination af telefoninterviews og webpaneldeltagelse. De fleste analyseinstitutter anvender dog ikke egentilmelding, hvor man hos YouGov selv kan tilmelde sig panelet, når man har interesse heri. Dette har dog ikke nødvendigvis noget at gøre med præmier, man kan vinde i et lotteri.

Min pointe er, at YouGov afviger fra de andre analyseinstitutter på nogle parametre, men ikke nødvendigvis i så drastisk et omfang, som man tror. Alle analyseinstitutter ville ønske, at det var nemmere at få fat i et repræsentativt snit af danskerne, at der ville være en højere svarprocent osv., men det er og bliver ikke den virkelighed, vi lever i.

Pointen om at lotterier giver tvivlsomme meningsmålinger er i min optik ikke en tilstrækkelig kritik for at kunne diskvalificere eller diskreditere en meningsmåling. Det er langt mere relevant at se på summen af de metodiske valg, der er aktuelle i forhold til, hvordan et analyseinstitut kommer frem til et bestemt estimat for et parti, herunder hvilke variable der vægtes på, om der anvendes tematiske spørgsmål og andre potentielt vigtige karakteristika.

Regeringens overblik over COVID-19 tests

Den danske regering træffer mange vigtige beslutninger i disse dage. Jeg er bekymret for, om de træffer beslutninger på det bedst oplyste grundlag. Tag denne figur (fra 22. maj), hvor regeringen oplyser, hvor mange tests der foretages i forskellige lande:

Figuren viser angiveligt, at Danmark er det land, der foretager flest tests. Der er dog to væsentlige problemer med denne figur.

1. Selektiv udvælgelse af lande

For det første har regeringen været yderst selektiv i forhold til, hvilke lande, der vises data fra. Jeg har taget data fra den datakilde, regeringen anveder. Nedenstående figur viser de 20 lande, der foretager flest tests.

Her er det nemt at se, at Danmark ikke er det land, der foretager flest tests.

2. Datakvalitet

Det andet problem med figuren er selve datakilden. Regeringen anvender data fra Worldometer, der på ingen måde er den bedste datakilde. Der er med andre ord god grund til at være bekymret for, hvor valide de data er, der rapportes fra regeringen i det konkrete tilfælde (se ekempelvis denne artikel fra CNN).

En betydeligt bedre datakilde er Our World in Data. Her er figuren med de 20 lande, der laver flest COVID-19 tests, jævnfør Our World in Data:

Det ville være at foretrække, at regeringen overvejer, hvilke data de anvender – og især hvilke data, de vælger ikke at vise.

Hvor mange vil stemme på Nye Borgerlige? #8

Meningsmålingerne har givet vidt forskellige bud på, hvor mange der vil stemme på Nye Borgerlige. Jeg skrev det første af flere indlæg omhandlende netop dette spørgsmål for små fire år siden. Man kunne håbe at folketingsvalget i 2019 havde afgjort det én gang for alle, hvor mange der så rent faktisk vil stemme på Nye Borgerlige, men meningsmålingerne er stadigvæk uenige.

På den ene side har vi meningsmålingerne fra især Voxmeter, der har placeret partiet omkring spærregrænsen. På den anden side har vi meningsmålinger, primært fra YouGov, der har placeret partiet tættere på 5% end 2%. Folketingsvalget i 2019 viste, at YouGov tog fejl – og de fleste andre analyseinstitutter var mere præcise.

En af konklusionerne på baggrund af seneste folketingsvalg var, at YouGov ikke havde et godt valg. Min analyse viste således, at YouGov havde klaret sig dårligst blandt alle analyseinstitutter. Konkret kunne man se, at YouGov havde den største gennemsnitlige afvigelse, altså hvor langt partierne lå fra seneste meningsmåling før valget til selve valgresultatet:

Med dette in mente kan vi nu se nærmere på den seneste meningsmåling fra YouGov, der blev formidlet af BT med følgende titel: Bedste måling for Vermund siden valget: ‘Bemærkelsesværdigt’

Er der tale om en bemærkelsesværdig måling? Hvis man kigger på andre målinger fra YouGov, er svaret nej. BT gik ikke desto mindre – som de har for vane – i breaking mode. Tirsdag aften var selvsamme artikel at finde på forsiden i gult:

Der er ikke tale om en vanvittig måling, men det er svært at formidle relativt neutrale meningsmålinger som breaking news. Dette er ikke en kritik af meningsmålingen i og for sig selv, men formidlingen af samme. Her er det værd at huske på, at BT ej heller havde et godt folketingsvalg, når det kommer til formidlingen af meningsmålinger.

I artiklen kan man læse, at “Nye Borgerlige står til mere end en fordobling af antallet af mandater, hvis der var valg i dag”. Det er meget lig hvad YouGov viste under folketingsvalgkampen, altså at Nye Borgerlige stod til at få dobbelt så mange mandater, som de rent faktisk endte med at få.

Dette har flere andre også bemærket (eksempelvis Hans Redder og Jonas Holm). Hvis vi kigger på meningsmålingerne fra i år kan vi da også se, at intet tyder på, at opbakningen til Nye Borgerlige har ændret sig voldsomt (eller på en måde, der kan betegnes som værende ‘vanvittig’). Her er meningsmålingerne fra januar og frem:

Med andre ord: Intet tyder på, at Nye Borgerlige har fået flere vælgere eller mistet vælgere i løbet af de seneste måneder. BT synes med andre ord at fortsætte hvor de slap under dækningen af meningsmålingerne i løbet af valgkampen.

Problemet med BTs dækning stopper dog ikke her. For det første informeres der ikke om, hvad opbakningen er til alle partierne. Dette gør det umuligt at få et overblik over, hvad meningsmålingen rent faktisk viser. Det var kun da folk begyndte at spørge ind til disse tal, at YouGov lagde dem på deres hjemmeside. Man kan håbe (og kraftigt opfordre til), at YouGov også vil gøre dette i fremtiden.

For det andet har vi endnu et eksempel på, at journalister ikke nødvendigvis forstår sig på den statistiske usikkerhed. Tag denne information fra artiklen: “Målingen, der er foretaget blandt 1.251 repræsentativt udvalgte personer mellem 7. og 11. maj 2020, er den bedste for Nye Borgerlige siden folketingsvalget grundlovsdag 2019. Det hører med til historien, at den statistiske usikkerhed i målingen er på 2,8 procent.”

Der nævnes dog intet tal i artiklen, hvor den statistiske usikkerhed er 2,8 procent. Den statistiske usikkerhed for Nye Borgerlige er mindre end 2,8 procent, og dette tal er den maksimale statistiske usikkerhed. Her kan jeg anbefale, at journalisten (og andre interesserede) (gen)læser mit indlæg fra 2015.

Hvor stor er opbakningen så til Nye Borgerlige, hvis man tager den samlede mængde data i betragtning? Mit bedste bud er at partiet ligger solidt over spærregrænsen, men på ingen måde over 5 procent. Partier som Dansk Folkeparti og Stram Kurs har ikke klaret sig godt, ej heller siden valget, og Nye Borgerlige har sandsynligvis samlet nogle af disse vælgere op, hvorfor der er tale om en fremgang siden valget.

Mit bedste kvantitative bud, jvf. den seneste Politologi Prognose, er, at Nye Borgerlige ville få omkring 3,7% af stemmerne, hvis der var valg i morgen:

Dette estimat er dog sandsynligvis optimistisk (givet specifikke antagelser omkring huseffekterne), og det ville ikke overraske mig, hvis partiet nok ligger tættere på 3% end 4%. Dette er selvfølgelig også et meget hypotetisk spørgsmål, da intet i dansk politik er som det plejer at være (hvordan ville en coronavalgkamp se ud?), og sandsynligheden for et snarligt folketingsvalg er meget lille.

Figurer i ‘Ekspertrapport af den 6. maj 2020’

Onsdag gik samtlige danske medier i ‘breaking mode’ på baggrund af en ny rapport fra Statens Serum Institut. Rapporten bærer titlen ‘Ekspertrapport af den 6. maj 2020: Matematisk modellering af COVID-19 smittespredning og sygehusbelastning ved scenarier for anden fase af genåbningen af Danmark’ og kan findes her.

Jeg har ingen nævneværdige holdninger til selve indholdet af rapporten. Hvad jeg i stedet vil forholde mig til her er kvaliteten af formidlingen i rapporten. I dette indlæg giver jeg således mine konkrete anbefalinger til Statens Serum Instituts ekspertgruppe.

Kvalitetsproblem

Den første figur i rapporten viser, at der er problemer med kvaliteten af rapporten:

Det er nemt at se, at det ikke er nemt at se, hvad der foregår. Man skal knibe øjnene godt sammen for at se, hvad der helt præcist står på akserne.

Dette problem finder man flere steder i rapporten, eksempelvis også her, hvor jeg har zoomet ind på en figur, for at gøre problemet tydeligt:

Min første anbefaling er at gemme figurerne som vektorgrafik (gerne som PDF-dokumenter). Dette gør at figurerne er i en ordentlig kvalitet, der ikke gør ondt i øjnene.

Vælg software

En anden anbefaling er at bruge ét stykke software til at lave de figurer, der skal præsenteres. Her er eksempelvis en hæslig figur fra Excel, der nemt kunne have været lavet i R (som mange af figurerne er lavet i):

Bemærk desuden i ovenstående figur, hvor svært det er at sammenligne på tværs af de forskellige grupper. Og når de andre figurer i rapporten anvender farver, hvorfor så gå med sort/hvid her? Det virker til, at flere har bidraget med figurer til rapporten uden nogen koordination.

Det tætteste jeg kommer på at have en holdning til indholdet er, at det sjældent er et godt tegn, når man ser variation i, hvordan figurer er bygget op i en rapport (e.g. R og Excel).

Derfor: Lav alle figurer med det samme software, så de kan reproduceres i det samme workflow.

Brug ét tema

Det er desværre ikke tilstrækkeligt, at man blot bruger det samme software. Man bør også anvende det samme tema, så der er en visuel identitet i en rapport. Tag for eksempel et par af figurerne, der er lavet i R med temaet ggplot2::theme_bw():

Hvorfor bruge dette tema og ikke noget, der er konsistent med hvad der ellers vises i rapporten? Det skal dog tilføjes, at ovenstående figur har langt større problemer end selve temaet (alene værdierne på x-aksen ødelægger figuren og kunne have være forsimplet drastisk – hvorfor eksempelvis nævne 2020 ved hver enkelt dato?).

Når man skal udarbejde en rapport som nævnte, kan det varmt anbefales at man bruger et par minutter på at overveje hvilket tema, man anvender (eksempelvis kunne de have lavet et theme_ssi(), der nemt kunne appliceres til hver figur lavet med ggplot2). Alt andet er simpelthen for uprofessionelt.

Tag ovenstående som et par gratis anbefalinger – og ingenlunde som mit ønske om at være med i ekspertgruppen. Der er allerede 19 medlemmer i gruppen – og hvis der mangler yderligere hjælp (hvilket der åbenlyst gør), burde der nok være mere end én kvalificeret kvinde (der er én kvinde i ekspertgruppen), der kunne hjælpe med at øge kvaliteten på dette stykke ufrivilligt postmoderne kunst.

10 method books you should read before you die

In this post you will find my 10 recommendations for method books you should read (or at least buy to impress your so-called friends). I have tried my best to put some order into the list so you can begin from the beginning. However, you should be able to read the books in any order you prefer.

Before we begin, I should note a few things. First, the list is ‘biased’ towards quantitative approaches. This is not to say that such books are more important or better (they are); the list is simply a reflection of my personally biased and professional interests. Second, while I can recommend books such as Data Analysis Using Regression and Multilevel/Hierarchical Models, Mostly Harmless Econometrics and Quantitative Social Science etc., I decided to go with 10 recommendations instead of 15 or 20.

1. The Seven Deadly Sins of Psychology: A Manifesto for Reforming the Culture of Scientific Practice
Science is broken. We all know that, but Chris Chambers knows it better than anyone else. He has been part of the open science movement for a long time and provides a tour de force through how “bad” science (i.e. most science) is conducted. From confirmation bias to p-hacking and everything else you need to be aware of when you read the endnotes in PNAS (i.e. the method section).

I suggest that this is the first book you should read. The book reminds you that science is done by humans and no specific method or no amount of statistics can remove the human element in doing scientific research. The book is about the procedures we don’t think about but should. Most importantly, I find the book optimistic in so far that it is pragmatic in terms of what we can do in order to conduct better science.

Related to this, I can also recommend this article: Five ways to fix statistics

2. Bit by Bit: Social Research in the Digital Age
This is a great book by Matthew J. Salganik. The book is introductory in its material and provides a lot of interesting and relevant examples. For that reason, I have used this book in my teaching.

The book provides a good introduction to the basics of social science research with a focus on contemporary data sources, e.g. social media data, and the different methods we can use. In addition, I also find the ‘Ethics‘ chapter much more relevant compared to what you often find in similar books.

Interestingly, and another reason why I can definitely recommend this book, the book is available for free online. If you do like the book, consider buying a copy.

3. Understanding Psychology as a Science: An Introduction to Scientific and Statistical Inference
Multiple books deal with philosophy of science and research methods, but no book is better than Understanding Psychology as a Science to give a solid introduction to the philosophy of (social) science.

What I find great about this book is that it fills a gap between philosophy of science and research methods compared to how most books cover both topics. Specifically, the book connects the work of Karl Popper and Imre Lakatos on scientific inference to the foundations of statistics (in particular hypothesis testing and significance testing).

4. Designing Social Inquiry: Scientific Inference in Qualitative Research
There is no way around this political science classic. Whether you like it or not, you cannot engage with the literature on research design in political science without having read KKV (an abbreviation of the three authors, King, Keohane and Verba).

The book is now over 25 years old (published in 1994) but still worth reading.

I have read the book from A to Z a few times (it is an easy read),

5-7. Causal Inference in Statistics, Social, and Biomedical Sciences: An Introduction, Experimental and Quasi-Experimental Designs for Generalized Causal Inference and Counterfactuals and Causal Inference: Methods and Principles for Social Research

There are different causal models. Each of these models have their advantages and disadvantages. The three most important causal models to know about are Rubin’s causal model, Campbell’s causal model and Pearl’s causal model (see Shadish and Sullivan 2012 for a comparison).

In my view, the most important causal model to be familiar with is the potential outcome framework. In Causal Inference in Statistics, Social, and Biomedical Sciences: An Introduction, Guido W. Imbens and Donald B. Rubin provide an introduction to Rubin’s causal model and several topics related to experimental and observational research.

Next, the classic book on the validity model to causality (Campbell’s causal model) is Experimental and Quasi-experimental Designs for Generalised Causal Inference. This book is written with psychology research in mind but is relevant for most of the social sciences. What I like about this book is that it devotes a lot of attention to the threats to validity that researchers will often encounter but might not even consider.

For an introduction to Pearl’s causal model, I recommend Counterfactuals and Causal Inference: Methods And Principles For Social Research. This book provides a very good introduction to the directed acyclic graph (DAG) framework to causality.

Some might ask why I don’t recommend any of the work by Judea Pearl himself. In short, while I do like his work I am not a great fan of his writing. His book Causality: Models, Reasoning and Inference is not a good introduction (especially not for most social scientists) and The Book of Why: The New Science of Cause and Effect is not doing a good job positioning the framework within the broader literature (in other words, I agree with Peter M. Aronow and Fredrik Sävje that the book is selective and narrow in its introduction to the history of causality).

I recommend to read the three books and compare the different approaches to causality. Not for the purpose of finding your ‘causality tribe’, but – on the contrary – to understand the strengths and limitations of different approaches.

8. Field Experiments – Design, Analysis, and Interpretation
Field Experiments – Design, Analysis, and Interpretation is a solid book on how to design, analyse and interpret experiments. In other words, the subtitle of the book is very much correct. If you have very limited experience with experiments, this book is a must read.

The book is great at introducing the logic of the experimental method and connect this to statistical topics such as different estimators, how to calculate standard errors etc.

Also, while Don Green, one of the co-authors, was involved in some problematic “empirical” research (to say the least), this book is definitely still worth your time.

9. Design of Observational Studies

Design of Observational Studies by Paul Rosenbaum is one of the best books to understand the design of observational studies (not to be compared with Observational Studies by the same author).

The book deals with statistical approaches to observational studies (including matching) and is not too difficult to get into (even for social science students). I have also included it on this list as it covers various elements of observational studies that I didn’t find in any other books.

10. Experimental Political Science and the Study of Causality: From Nature to the Lab
If you are into experiments this book is the primer on all aspects of experiments. What is great about this book is that it covers a lot of topics and how different experimental traditions within economics and psychology look at these topics. For example, what is the role of deception in experiments and what can we learn from experiments when deception is involved?

This is, in other words, the go-to reference for people who wants to conduct experimental political science. And even if you are not a political scientist, I can highly recommend this book.

These are my ten recommendations. Have fun! Last, my apologies for the clickbait title. These books will not sell themselves. Also, if you made it this far I am sure you wouldn’t need an apology in any case.