Kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed #3

I mit forrige indlæg om kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed, kom jeg ind på, at en af grundene til, at der er forskel på de vægtede gennemsnit er, at de ikke anvender samme tilgang:

Der findes ikke én måde at lave et vægtet gennemsnit. Der er en lang række af spørgsmål, man skal forholde sig til. Hvor mange meningsmålinger skal indgå i et vægtet snit? Skal alle analyseinstitutter have samme indflydelse – eller skal eksempelvis de institutter, der ramte sidste valg bedre, vægtes højere? Nyere meningsmålinger skal vægtes højere end ældre meningsmålinger, men hvor meget mere? Svarene på disse spørgsmål er ikke nødvendigvis oplagte, og det er en af grundene til, at forskellige vægtede gennemsnit ej heller giver de samme estimater.

På den baggrund tænkte jeg, at det ville være interessant at lave en sammenligning af de respektive vægtede gennemsnit. Der er fire vægtede gennemsnit i Danmark, der bliver opdateret regelmæssigt: Politologi Prognose, Risbjerg-snittet, Berlingske Barometer og Ritzau Index.

Der er flere ligheder og forskelle mellem de respektive snit, og i tabellen nedenfor har jeg sammenlignet de fire snit på de følgende syv parametre: 1) hvilke institutter, de inkluderer (om det er alle institutter eller ej); 2) antallet af meningsmålinger; 3) om der tages højde for huseffekter; 4) hvilke minimumskrav der er til, at et parti inkluderes; 5) om nyere målinger vægtes højere; 6) om resultaterne er offentligt tilgængelige; og 7) om den statistiske usikkerhed formidles.

Tabel 1: Sammenligning af vægtede gennemsnit

Politologi Prognose Risbjerg-snittet Berlingske Barometer Ritzau Index
Alle institutter Ja Nej Nej Nej
Antal målinger Alle fra valgperioden Målinger fra den seneste måned Målinger fra de seneste 31 dage Seneste 15 målinger
Estimering af huseffekter Ja Nej Nej Nej
Minimumskrav Ingen Ingen Ingen Minimum 15 målinger hvor et parti indgår
Vægter nye målinger højest Ja Uklart Ja Ja
Offentligt tilgængelige resultater Ja Nej Ja Ja
Rapportering af statistisk usikkerhed Ja Ja Nej Nej

Før jeg beskriver detaljerne i tabellen yderligere, skal jeg nævne, at jeg tager forbehold for, at jeg kan have misforstået noget ved de vægtede snit, og såfremt der er fejl eller mangler, skal jeg selvfølgelig nok korrigere disse. Ligeledes skal jeg for en god ordens skyld orientere, at jeg står bag Politologi Prognose, hvorfor jeg (u)bevidst kan få den til at fremstå som den bedste prognose blandt de fire. Jeg vil holde mig fra at lave en sådan vurdering i dette indlæg.

De fleste vægtede gennemsnit inkluderer ikke meningsmålinger fra Megafon. Sådan har det været i årevis, hvor Megafon eksplicit har frabedt sig dette. Jeg har ikke fået en henvendelse fra Megafon, hvorfor jeg antager, at det er acceptabelt, at de er inkluderet i Politologi Prognose. Politologi Prognose er dermed det eneste vægtede snit, der inkluderer meningsmålinger fra alle institutter.

De vægtede snit bruger ikke de samme meningsmålinger. Risbjerg-snittet og Berlingske Barometer anvender begge de nyeste meningsmålinger (meningsmålinger der er ældre end en måned, er ikke inkluderet). Ritzau Index tager ikke højde for, hvornår meningsmålingerne er lavet, men blot at de er blandt de seneste 15 meningsmålinger. Politologi Prognose anvender uden sammenligning flest meningsmålinger ved at kigge på alle meningsmålinger i perioden fra det seneste folketingsvalg frem til og med den seneste meningsmåling.

Dette fører til en af de primære forskelle mellem Politologi Prognose og de andre vægtede gennemsnit. Mere konkret at Politologi Prognose estimerer huseffekter, altså systematiske forskelle i, hvordan analyseinstitutterne generelt betragtet vurderer (eller ikke vurderer) partierne forskelligt (se dette indlæg for henvisninger til mere information omkring huseffekter). Ved at bruge et større datamateriale har Politologi Prognose nemmere ved at opfange nye tendenser i meningsmålingerne, uden blot at samle op på tilfældig støj. De vægtede snit der anvender de seneste meningsmålinger, men som ikke korrigerer for, hvor disse meningsmålinger kommer fra, vil i overvejende grad primært formidle et gennemsnit af Voxmeters resultater (da de kommer med flere meningsmålinger end de andre institutter).

De fleste vægtede gennemsnit har ingen eksplicitte minimumskrav til, hvornår et nyt parti skal inkluderes. Undtagelsen her er Ritzau Index, der først inkluderer et nyt parti, når de er at finde i mindst 15 meningsmålinger. Det vil sige at Ritzau Index skal have et parti med i alle de respektive meningsmålinger, de kigger på i deres vægtede snit, før de inkluderes.

De vægtede snit vægter som regel nye målinger højest, om end det er uklart i hvilket omfang dette finder sted i Risbjerg-snittet. Dette da det blot er den seneste måneds meningsmålinger, der inkluderes, hvorfor det nok ikke vil have den store betydning i sidste instans. Det er således også begrænset, hvor meget information vi har om, hvor meget mere nye målinger vægtes højere. I Politologi Prognose estimeres en model, hvor der gives estimater for hver dag for, hvor stor opbakningen er til de respektive partier. Det vægtede gennemsnit er således blot estimaterne for den dag, modellen er estimeret.

De fleste vægtede snit er offentligt tilgængelige, så det er muligt for alle at få information om, hvordan partierne klarer sig i meningsmålingerne. Undtagelsen her er Risbjerg-snittet, der af samme grund primært er af interesse for journalister og andre fagprofesionelle, der har adgang til indholdet bag Altingets betalingsmur.

Det sidste jeg har kigget på er, hvorvidt de vægtede snit formidler den statistiske usikkerhed. Hverken Berlingske Barometer eller Ritzau Index rapporterer den statistiske usikkerhed ved de vægtede snit. Den statistiske usikkerhed er som bekendt lavere end ved enkeltmålinger, men det er vigtigt at huske på, at vi trods alt stadig har en statistisk usikkerhed. Ved Politologi Prognose formidles den statistiske usikkerhed for hvert parti, og for Risbjerg-snittet formidles den som det højeste usikkerhedsestimat, eksempelvis: “Den statistiske usikkerhed på snittet for de enkelte partier er højst +/- 1,3 procentpoint.”

Dette er ikke en udtømmende gennemgang af alt, hvad man kan kigge på, når vi kigger på de vægtede genenmsnit. Som jeg nævnte i mit forrige indlæg, er det eksempelvis muligt at give nogle analyseinstitutter større indflydelse, hvis de har for vane at ramme valgresultatet mere præcist. Mig bekendt tager ingen af de nuværende danske vægtede gennemsnit dette i betragtning.

Ovenstående genenmgang er som sagt ikke en øvelse i at vurdere, hvilket vægtet snit, der er bedst. Der er forskelle og ligheder, og min plan er ikke at øge konkurrencen mellem disse snit (tværtimod tror jeg kun det er sundt, at der er forskellige snit med forskellige tilgange), men at øge transparensen og vores opmærksomhed på, hvordan disse vægtede gennemsnit er skruet sammen. Hvis nogen skulle have interesse heri, står det dem frit for at lave et kvalitetsvægtet gennemsnit af de vægtede gennemsnit.

Min tilgang til de vægtede gennemsnit og deres anvendelighed er blevet mere kritisk og pessimistisk med årenes gang (sammenlign eventuelt mit indlæg fra 2013 med mit indlæg fra 2020). Derfor ønsker jeg heller ikke, at ovenstående skal tage fokus fra enkeltmålingernes relevans. Min tilgang er nu, at det er vigtigt ikke blot at kigge på én meningsmåling, når vi skal vurdere, hvordan partierne står i målingerne, men at vi ej heller skal reducere et partis opbakning til et estimat i ét vægtet gennemsnit.

Koster skolelukninger stemmer?

I forbindelse med udgivelsen af bogen KV17: Analyser af kommunalvalget 2017, har Kommunen.dk lavet en podcast med Ulrik Kjær. Afsnittet tager udgangspunkt i kapitlet omkring de elektorale konsekvenser af skolelukninger.

Her er en kort introduktion:

I valgperioden 2010-2013 blev der lukket 147 skoler fordelt på 55 kommuner, og i perioden 2014-2017 blev der lukket 56 skoler fordelt på 30 kommuner. Samlet 203 lukkede skoler i 85 kommuner indgår i undersøgelsen.

Men holder antagelsen om, at skolelukninger koster stemmer? Det korte svar er nej.

Det er et aktuelt og relevant emne, da flere kommmuner kommer til at opleve skolelukninger i den nærmeste fremtid.

Jeg kan kun varmt anbefale podcasten, der kan findes her.

KV17: Analyser af kommunalvalget 2017

Bogen KV17: Analyser af kommunalvalget 2017 er på gaden nu. Du kan kaste dine cafépenge efter den her. Der er tale om det autoritative værk i forhold til at forstå kommunalvalget i 2017, for dem der godt vil være klædt bedre på til kommunalvalget i november.

Jeg bidrager selv med to kapitler til bogen. Det ene vedrører split-stemme adfærd (skrevet sammen med Ulrik Kjær). I det kapitel belyser vi, hvor mange vælgere der vil stemme på det samme parti ved folketingsvalget og kommunalvalget. Det bliver spændende at se, hvordan dette vil udspille sig ved det kommende kommunalvalg – især i kølvandet på COVID-19.

Det andet vedrører de elektorale konsekvenser af skolelukninger (skrevet sammen med Ulrik Kjær og Johan Ries Møller). I det kapitel undersøger vi, om borgmesterpartiet mister stemmer, når der lukkes skoler. Her bruger vi blandt andet data på, hvilke folkeskoler, der er lukket i de forskellige kommuner (omtalt i et tidligere indlæg her). Den gængse forestilling er, at borgmesterpartiet bliver straffet af vælgerne, når de lukker skoler, men vi viser, at virkeligheden ikke er helt så simpel.

Foruden ovennævnte er der kapitler om den kommunale valgdeltagelse, den landspolitiske valgvind, lokale valgprogrammer, lokale medier, tilliden til kommunalpolitikere og meget mere.

Hvis du slet ikke kan få nok af den danske kommunalvalgslitteratur, er der selvfølgelig også bogen om kommunalvalget 2013, hvor der også blev præsenteret en lang række interessante fund, der har betydning for kommunalvalg generelt betragtet.

God læselyst!

Hvor lav er opbakningen til Venstre? #2

Der er sket meget i meningsmålingerne i løbet af de seneste par måneder. I januar viste min prognose, at Venstre stod til at få omkring 17 procent af stemmerne. Siden da har partiet mistet endnu flere vælgere i meningsmålingerne. I min seneste prognose står partiet til at få omkring 10 procent af stemmerne. Til sammenligning ligger de Konservative på omkring 15 procent.

Der har været især to store begivenheder i 2021 for Venstre. Den ene er relateret til Lars Løkke Rasmussens afgang, den anden Inger Støjbergs ditto. Mit bud er, at kun den ene af disse er relateret til Venstres opbakning i meningsmålingerne, selvom man selvfølgelig kan diskutere, om de to begivenheder er relateret til hinanden og om der er tale om kausale effekter.

I nedenstående figur viser jeg alle meningsmålinger fra 2020 og 2021, vi har haft i skrivende stund. Ligeledes har jeg fremhævet tre væsentlige begivenheder. Den første er corona-nedlukningen den 11. marts 2020. Den anden er Lars Løkke Rasmussens udmeldelse af Venstre den 1. januar 2021. Den tredje er Inger Støjbergs udmeldelse af Venstre den 4. februar 2021.

Vi ser flere interessante ting i figuren. For det første ser vi at opbakningen til Venstre løbende falder i løbet af 2020, men ikke fra én måling til den næste. Det er med andre ord et gradvist fald der er sket i løbet af 2020, hvor Socialdemokratiet konsoliderede deres magt og position, herunder også i meningsmålingerne.

For det andet ser vi et direkte og stort fald i meningsmålingerne efter Lars Løkke Rasmussen meldte sig ud ved årsskiftet. Før dette lå Venstre på over 15% i langt de fleste meningsmålinger. Siden da har Venstre ligget på under 15% i samtlige meningsmålinger. Dette er en klar diskontinuitet i opbakningen til Venstre i meningsmålingerne.

For det tredje ser vi, at der ikke var et lignende fald i meningsmålingerne efter Inger Støjberg forlod Venstre. Meningsmåingerne giver med andre ord Venstre samme (lave) opbakning i meningsmålingerne før og efter hendes exit.

Formålet med dette indlæg er udelukkende at beskrive, hvordan Venstre har klaret sig, og dermed ikke hvordan partiet vil klare sig i de kommende målinger og måneder. Det vil tiden – og sandsynligvis et senere indlæg – belyse.

Polls and the 2020 Presidential Election

In 2016, opinion polls – and in particular poll-based prediction models – suffered a major hit with the inability to predict the election of Donald J. Trump as the president of the United States. If you want a quick reminder, take a look at this forecast from the 2016 Presidential Election:

The 2020 Presidential Election polling was not great, but not a disaster. This is the simple point I want to emphasise in this blog post. I saw a lot of takes in my feed in the wake of the election calling the election everything from a “total and unmitigated disaster for the US polling industry” to the death of “quantitative political science“. I know, you gotta do what you gotta do to earn the sweet retweets, but I find such interpretations hyperbolic.

I will not provide all the answers (if any at all) to what happened with the polls in the 2020 election. My aim is much more humble: provide some reflections and thoughts on what might have happened with the polls. Specifically, I will provide links to the material I have stumbled upon so far that provide some of the most nuanced views on how well the polls performed.

When you hear people calling the election an “unmitigated disaster” for the polling industry, it is good to take a step back and remember that other elections have experienced significant polling failures in the past. It takes a lot for opinion polls to be an unmitigated disaster. Or as W. Joseph Campbell describes it in the great book Lost in a Gallup: Polling Failure in U.S. Presidential Elections: “In a way, polling failure in presidential elections is not especially surprising. Indeed, it is almost extraordinary that election polls do not flop more often than they do, given the many and intangible ways that error can creep into surveys. And these variables may be difficult or impossible to measure or quantify.”

Accordingly, it is not the norm that opinion polls enable an exact and reliable prediction of who will be the next president. If anything, when only looking at the most recent elections, our myopic view might bias our understanding of how accurate opinion polls have been in a historical perspective.

It is interesting to see what W. Joseph Campbell wrote in Lost in Gallup, prior to the election, on what to expect in 2020: “Expect surprise, especially in light of the Covid-19 coronavirus pandemic that deepened the uncertainties of the election year. And whatever happens, whatever polling controversy arises, it may not be a rerun of 2016. Voters in 2020 are well advised to regard election polls and poll-based prediction models with skepticism, to treat them as if they might be wrong and not ignore the cliché that polling can be more art than science. Downplaying polls, but not altogether ignoring them, seems useful guidance, given that polls are not always in error. But when they fail, they can fail in surprising ways.”

Taking the actual outcome of the election into account, this is a good description of what we should expect. We should expect surprise in the polls but not ignore them. They turned out to be quite useful in order to understand what would have happened, but they also did show some surprises. Generals always fight the last war and pollsters always fight the last polling failure. I believe this is the key lesson for the next election: do not ignore them but be open to the possibility that there might be surprises.

What frustrated me a lot in the wake of the 2020 election was the frame that the opinion polls got it wrong. There is a simply lack of nuance in this view that is needed if we want to actually understand how well the polls performed. Take, for example, this post by Tim Harford titled “Why the polls got it wrong”. There is no evaluation of how precise the opinion polls were, only the conclusion that polls got it wrong. Admittedly, Tim Harford acknowledges that at “this early stage one can only guess at what went wrong”, but it is still disappointing to see such unnuanced opinions. Ironically, the article provides less evidence on “why the polls got it wrong” than opinion polls provided evidence on who would become the next president.

The discrepancy between what the opinion polls show and what the media reports is interesting. Our public memory of the 2016 election is that opinion polls got it wrong and nobody, especially the media, saw it coming. There was a polling failure but we tend to ignore all information available to us during the 2016 campaign that warned us about the fact that polls might be wrong. An article by Nate Silver in 2016, titled “Trump Is Just A Normal Polling Error Behind Clinton”, stated that: “Clinton’s lead is small enough that it wouldn’t take more than a normal amount of polling error to wipe the lead out and leave Trump the winner of the national popular vote.” And we got a fair amount of polling error although Trump was not the winner of the national popular vote.

More importantly, in 2016, opinion polls did not all proclaim that Hillary Clinton would be the next president of the United States. In fact, that it not the job of any single opinion poll. If the job was simply to estimate the popular vote, that could be a job for a single poll. The bias was not in the individual polls but rather the aggregation methods (see Wright and Wright 2018 for more on this point). What went wrong was that state-level polling underestimated Trump in battleground states, in particular the Rust Belt states Michigan, Pennsylvania and Wisconsin (one reason for this was that polls dit not appropriately adjust for nonresponse, cf. Gelman and Azari 2017). I will not rule out we face similar issues with the 2020 election.

Despite the problems in 2016, the 2018 midterm elections went a lot better for the polls and Nate Silver concluded that the polls are all right. There was a sense that the problems we faced in 2016 were not corrected (for more information on what changed between 2016 and 2020, see this article). However, we might have overestimated how much we could conclude based on the performance in 2018.

That being said, I do not see the polls as being completely off in 2020. Sure, there were certain issues, but I find the narrative of a universal failure of polls in 2020 inaccurate and unfair. I think a key reason this narrative took off is that people started evaluating the quality of the polls on election night and did not wait for all votes to be counted. The chronology of how the results were called in the different states might have played a role here. James Poniewozik made a great point about this: “There’s a Black Lodge backwards-talk version of the election where the same results happen but PA counts its votes first and Miami-Dade comes in last, and people say, ‘Closer than I thought, but pretty much on target.'” It is not only about what the numbers in the polls show, but also how we interpret them – and in what order.

This is not to say that opinion polls could not do better, but part of the problem is how we consume polls. Generally, based on the lesson from 2016, the coverage was one where most stories about opinion polls came with caveats and reminders that it could be close. A good example is the article ‘I’m Here To Remind You That Trump Can Still Win‘. I did also notice an increased certainty among some pundits, pointing out that Biden’s lead was bigger compared to what the polls showed in 2016, there were fewer undecided voters than in 2016, we had improved state polls, many people have already voted etc. However, in the wake of the election, I saw a lot of people bashing the polls, prediction-models and the coverage of polls, but overall I found this coverage sober and much better than in 2016.

It is also important to keep in mind that when we are looking at presidential elections and in particular the composition of the Electoral Collece, a few percentage points of the vote from the Democrats to the Republicans (and vice versa) might have significant implications for who will win. For that reason, we should be cautious when evaluating the overall result and, when trying to predict the result, maybe not be 95% certain that a certain candidate will win.

The conclusion reached by Nate Silver is that “while polling accuracy was mediocre in 2020, it also wasn’t any sort of historical outlier.” (see also this post by Nate Silver with additional data). In other words, it was not a disaster, but there was also nothing to celebrate.

What went wrong? What is most likely the case is that several polls overestimated Democrats. However, we still do not know yet, but Matt Singh outlines four categories of explanations for what might have gone wrong: 1) sample bias, 2) differential turnout, 3) misreporting and 4) late swing (see also this post by Pew Research Center on some of the potential issues and solutions).

The four explanations are all valid but I find the third one most unlikely, i.e. that people should simply have lied when asked about their vote choice, also called the “shy Trump voters”. There is no evidence that people lie about voting for Trump, and I doubt we will see any convincing evidence for this in relation to the 2020 election.

Out of the four categories, I find it most likely that the polls had difficulties reaching certain voters. The polls seem to have underestimated a shift towards non-college and Hispanic voters in specific states. In addition, it might be difficult to measure who wants to answer polls now, especially if Trump supporters are more likely to distrust polls (and the media) in general (David Shor made a similar point here and here and here). These issues can be very difficult to address with traditional weighting methods. However, again, when we look at the polling error in specific battleground states in a historical context, the results do not point towards a historical disaster.

I am less convinced of the usefulness of election-forecasting models aggregating all available information. The issue is that we reduce all the complexities and all of the different polls to a single prediction. Maybe the coverage would be much better if simply focusing on the state-level polls in the battleground states and in particular the variation in these polls. The Economists model did a good job with making all their material publicly available (something that FiveThirtyEight did not do) and the researchers were explicit about the limitations (see, for example, here and here). That being said, I believe that the probability of 95% for a Biden win provided by The Economist team was a scientific failure (something that can most likely be explained by common sense, our experience as consumers of forecasts, statistical analysis, statistical design and sociology of science). There were some differences between the FiveThirtyEight model and The Economists model (see this thread), and I believe the communication of the numbers and uncertainties was done much better by FiveThirtyEight (see also this thread on a lot of the reflections on how to report the numbers).

We really don’t know yet what went wrong with a lot of the polls, but we know that it was not a total and unmitigated disaster. American Association for Public Opinion Research released their evaluation of the polling errors in relation to the 2016 election some time after the election, and it will be interesting to see what the detailed evaluation of the 2020 election will show. However, I do not expect any smoking guns. Instead, what I expect is a combination of some of the different categories mentioned above.

Last, the most recent research suggests that non-probability sampling performed better than probability polls in the 2020 election. This provides some optimism for the future. While probability polls will be more difficult to conduct in the future, advances in survey sampling and the conduction of non-probability polls will provide more valid estimates on who will win.

While I like criticising polls as much as the next guy, I am not convinced we should conclude that the polls experienced a total and unmitigated disaster. What I hope we will see in the next election is less focus on poll-based prediction models and more focus on high-quality state-level polling in key states.

Hvorfor er flere respondenter ikke nødvendigvis bedre? #3

Avisen Danmark kan rapportere, at et nyt analyseinstitut ved navn Electica er begyndt at foretage politiske meningsmålinger:

Det er en ny spiller på markedet, instituttet Electica, der har målt Nye Borgerlige til 11 procent, Venstre til 9,8 og Konservative til 12,6. Electica måler for Alliancen, der består af fagforbundene NNF, Blik & Rør, Dansk El-forbund og Malerforbundet, og fordi de måler blandt 5000 repræsentativt udvalgte danskere og ikke de cirka 1000-2000, som andre institutter baserer deres målinger på, giver det en statistisk usikkerhed, der blot er halvt så stor som normalt.

Jeg er på ingen måde imponeret over denne beskrivelse. Vi bør ikke have større tiltro til, at denne meningsmåling er mere præcis end hvad de andre analyseinstitutter kan vise med omkring 1000 respondenter. Det er korrekt, at flere respondenter resulterer i en mindre statistisk usikkerhed, men dette er – som nævnt i tidligere indlæg – ikke ensbetydende med, at der er tale om en mere præcis meningsmåling.

Jeg udelukker ikke, at tallene i meningsmålingen kan være præcise, men jeg har valgt ikke at inkludere denne meningsmåling i min oversigt på Politologi.dk. For det første har det ikke være muligt for mig at finde nogen beskrivelse af Electica, herunder hvilke slags analyser de helt præcist foretager. For det andet er jeg skeptisk over for den information om målingen, der bliver præsenteret i dækningen:

Undersøgelsen er gennemført af Electica for Alliancen, der består af fagforbundene NNF, Blik & Rør, Malerforbundet og Dansk El-forbund.

Der er gennemført 5000 interview blandt et repræsentativt udsnit af den danske befolkning i alderen 16 år eller derover. Deltagere mellem 16 og 18 år er siet [sic] fra. 11 procent har ikke svaret på hvilket parti, de ville stemme på. Tilbage var 4138 deltagere over 18 år.

De 5000 er blevet spurgt i perioden 1.-14. februar.

De 5000 er valg [sic] ud med udgangspunkt i den kendte fordeling på kriterierne køn, alder og region, og resultaterne er efterfølgende vejet således, at de afspejler den i Danmark kendte fordeling på kriterierne køn, alder og region

Den maksimale statistiske usikkerhed er på +/- 1,5 procentpoint.

Hvilken interesse har de respektive fagforbund i at betale for meningsmålinger? Ville de også stå på mål for selvsamme meningsmåling, hvis de havde vist, at opbakningen til Socialdemokraterne ville være langt lavere end hvad andre analyseinstitutter viser? Dette mener jeg, at man retmæssigt kan have sin tvivl omkring, hvorfor jeg ikke vil sidestille disse meningsmålinger med de målinger, der foretages af de respekterede analyseinstitutter og YouGov for andre medier.

Til dette kan man indvende, som nogle eksperter udtaler til Avisen Danmark, at kvaliteten er på linje med andre analyseinstitutter. Jeg skal ikke kunne udelukke dette, men jeg er langt mere kritisk ift. at skulle kunne bekræfte, at kvaliteten er den samme. Jeg tror ganske enkelt ikke, uden at være forelagt anden information end den der er tilgængelig, at denne meningsmåling er lige så god – og blot har endnu mere præcision.

Der er åbenlyse spørgsmål, jeg gerne vil have besvaret: Hvordan er de 5000 respondenter blevet udvalgt? Der skrives, at det er en onlineundersøgelse, men hvordan har de helt præcist rekrutteret 5000 respondenter, der udgør en repræsentativ stikprøve, når man vejer efter køn, alder og region? (Og er svarene de samme hvis man også vejer efter stemmeafgivelse ved valget i 2019?)

Flere respondenter i en meningsmåling er ikke et kvalitetstegn i og for sig selv. Hvis man som (nyt) analyseinstitut forsøger at skille sig ud fra resten af branchen, vil mit råd være ikke at sælge sig selv på en større stikprøve, men større transparens omkring, hvad man helt præcist gør.

Paying for good journalism

There is no such thing as a free lunch. And there is no such thing as free journalism. And there is definitely no such thing as free good journalism. Yet I consume a lot of free good journalism. Good journalism is a public good. However, to get access to good journalism, as for most things that are good in this world, someone should pay. This also means that I am not convinced that we can approach journalism as something people will be willing to pay for when/if it becomes cheaper.

I consume journalism from various outlets, including (but definitely not limited to) The Economist, The Atlantic, The New Yorker, Financial Times, The Guardian, and the Danish Weekendavisen, without (at least directly) paying anything. I have at multiple occasions considered subscribing to one of more of these outlets but I did not find it worth the money. Not because I do not find any of the prices reasonable. The main issue is that each outlet only provides a small proportion of the content I care about. For that reason, I agree 100% with this tweet arguing that the system is broken: “Starting mid-june I began tracking each Twitter link that I follow which ends up at a source that blocks adblockers & demands a subscription to view content. I calculated the monthly cost of each of those sources, if I subscribed to all to see their content. I’m only 15 days into the experiment and the cost so far is \$182.47/month. In other words, paying for the journalistic content I value, in the current market system, is a \$2,189/year expense. That’s an awful lot. I could pitch in a buck per article and come out ahead.”

The issue is that good journalism is a public good made up by several (semi-)private organisations and I do not have one entry point to get access to everything I need (or at least the content that I would like to pay for). I tried out Blendle back in 2016 and bought several articles but I never used it beyond that. Maybe I found it difficult to navigate the platform, maybe I simply didn’t integrate it into my news consumption habits.

There has been a lot of talk about the need for a ‘Netflix for journalism’. I disagree with this idea for at least two reasons. First, while it is not always easy to distinguish between the two, journalism is not entertainment like TV shows and movies. As Robert Putnam describes it in Bowling Alone: “Although modern media offer both information and entertainment, they increasingly blur the line between the two — it is important from the point of view of civic engagement to treat the two somewhat separately.” In other words, there are often strong analytical reasons to not simply look at journalism as something that should (or could) work as ‘Netflix for journalism’. If ‘Netflix for journalism’ actually worked, I would be concerned about whether it actually was journalism.

Second, I am not even convinced that the ‘Netflix for entertainment’ model is working. This model was more appealing five years ago when Netflix was one of the few players on the streaming market. Today, you have Disney+, HBO Max, Amazon Prime and other streaming platforms. Maybe Netflix is moving closer to ‘New York Times for entertainment’ than media outlets are moving closer to ‘Netflix for journalism’?

The most recent trend has, if anything, been further away from a ‘Netflix for journalism’ model and more towards following (and paying) individual journalists. Substack is the best example of such a model and there are good reasons not to see that as a good model for most journalism.

Of course, there has already been conducted a lot of research on why people want to pay for news. Fletcher and Nielsen (2017), for example, examine people’s willingness to pay for online news and find that people who are already paying for offline news and younger people are more willing to pay for online news (see also Goyanes 2015). This is not surprising.

However, there are questions in this domain I would like some researchers devote more time to. Here is one hypothesis: People will be more willing to pay for expensive journalism. In other words, as journalism becomes cheaper, we might not see the willingness to pay increase but rather decrease. It’s simply a race to the bottom.

If this hypothesis is correct, then journalism is a Veblen good. That is, demand for journalism increases as the price increases (or, in economic terms, the demand curve for journalism can slope upwards). This is partially because the price reflect the quality of a product (see also Coelho and McClure 1993). There are several examples from the medical literature that expensive placebos work better. In one study, by Waber et al. (2008), respondents in an experiment reported that a painkiller with a cost of $2.50 a dose worked much better than a painkiller with a cost of 10c, despite both of them being placebos. Might similar mechanisms be at play when people consume journalism?

One relatively easy way to test this would be to build a “news portal” in an experiment (similar to to approach in Bryanov et al. 2020) and explore how the price of journalism affects decision-making. When are people more likely to pay for expensive news? What citizens are more likely to opt for cheap alternatives? What role does clickbait headlines play? Will paywalls lead some people to be more inclined to opt for sources with a greater amount of mis- or/and disinformation?

It is a well-known point that a lot of bad journalism is free: “the New York Times, the New Yorker, the Washington Post, the New Republic, New York, Harper’s, the New York Review of Books, the Financial Times, and the London Times all have paywalls. Breitbart, Fox News, the Daily Wire, the Federalist, the Washington Examiner, InfoWars: free!”. However, as I stated above, most of the good journalism I consume is free as well. Accordingly, I am not convinced that the solution to bad journalism is to make good journalism cheaper or more easily available.

Medier og makrelmad

Et af de emner som medierne og de politiske kommentatorer har fokuseret en del på på det seneste, er statsminister Mette Frederiksens makrelmad på Instagram. Der har især været et fokus på, hvordan det kan ses som effektiv politisk kommunikation (se eksempelvis her og her). Det synes at være tilfældet, at de fleste har en holdning til Mette Frederiksens brug af Instagram. Dette indlæg er ingen undtagelse. Jeg har dog ingen holdning til selve opslaget, men en holdning til mediernes holdning til opslaget.

Det interessante er, at der på mange måder er tale om så banal politisk kommunikation, at gud og hver mand kan have en holdning til netop den politiske kommunikation. Der er intet subtilt. Ingen tvetydighed. Ingen substans. Kun ved at medierne fokuserer på den politiske kommunikation, formår det at blive til effektiv politisk kommunikation. Det er således ikke en effekt af sociale medier, men – i det tilfælde der er en effekt – en effekt af klassiske medier. Jeg finder det derfor ikke synderligt interessant at diskutere, hvorvidt den politiske kommunikation i og for sig selv på Instagram er effektiv eller ej (spørger man eksperter i sociale medier, der lever af at rådgive om sociale medier, vil de som regel sige, at kommunikation på sociale medier er meget effektiv).

Jeg finder det heller ikke relevant at diskutere, om mad kan være politisk (et af de opstillingsberettigede partier hedder Veganerpartiet). Forskning viser at selv børn dømmer andre børn på baggrund af den mad de spiser. Anden forskning viser, at vi stoler mere på folk, der spiser samme mad som os selv. Det kommer derfor ikke bag på mig, at Mette Frederiksen deler et billede af en makrelmad.

Det der kommer bag på mig er, hvor overrasket medierne synes at være over, at politikere kan finde på at dele billeder af den karakter. Essensen af en potentiel effektiv politisk kommunikation ligger ikke i selve opslagets substans eller fraværet af samme, men i mediernes reaktion på denne. Det er netop mediernes naivitet, der er hele udgangspunktet for, at det overhovedet giver mening at kalde opslaget for effektiv politisk kommmunikation.

Et billede af en makrelmad på et socialt medie til ens følgere vil næppe kunne betegnes som effektiv, politisk kommunikation, hvis ikke medierne tog emnet op som netop politisk kommunikation. Mit problem er ikke, at det at stille spørgsmålet “Er det effektiv politisk kommunikation?” i sig selv kan påvirke, om den politiske kommunikation bliver effektiv. Jeg tvivler blot på, at medierne selv er bevidste herom.

Hvornår kommer folketingsvalget?

Da de første meningsmålinger kom ovenpå nedlukningen af Danmark, stod det klart, at Socialdemokratiet stod til en stor fremgang i meningsmålingerne og dermed sad tungt på magten. Ikke alene stod Socialdemokratiet stærkt, men rød blok havde et komfortabelt flertal.

Det er dog først i løbet af de seneste måneder, vi kan konkludere, at Socialdemokratiet har konsolideret deres opbakning i meningsmålinger. Der er dermed ikke tale om en kortsigtet effekt. End ikke minksagen ser ud til at have rykket nogle vælgere væk fra Socialdemokratiet.

Derfor vil jeg også tillade mig at komme med et kvalificeret gæt på, hvornår vi vil se et folketingsvalg: 16. november 2021.

Der er flere grunde til dette. For det første, som kvikke hoveder allerede har bemærket, er det samme dag som der er kommunal- og regionsvalg. Der afholdes normalt kun kommunal- og regionsvalg den samme dag, men der er tilfælde på tripelvalg, hvor der også afholdes folketingsvalg (senest i 2001). Hvis coronatallene desuden ser fine ud til den tid, kan det sågar være at foretrække at slå to fluer med ét smæk.

For det andet, og vigtigst af alt, går det godt for Socialdemokratiet. Kigger man på min seneste prognose står partiet til at få 32,2% af stemmerne. Det er omkring 20 procentpoint mere end Venstre, der nu ligger på niveau med Konservative.

Kigger vi på nogle af de seneste lokale meningsmålinger, ser det også godt ud for Socialdemokratiet. I Hedensted Kommune står partiet til at gå fra 27,8 pct. til 33,7 pct. af stemmerne, og der er lignende historier om fremgang til partiet i Horsens Kommune, Odense Kommune og Bornholms Kommune. Dette bekræfter hvad vi ved fra tidligere kommunalvalg, altså at der er en national valgvind, hvor partiernes nationale opbakning smitter af på deres opbakning ved kommunalvalget. En sådan valgvind kan potentielt blæse endnu stærkere, hvis valget afholdes samme dag, hvilket kan give Socialdemokratiet endnu et incitament til at udskrive valg.

Forskningen har vist, at politikerne er opportunistiske og er mere tilbøjelige til at udskrive valg før tid, når det går godt i meningsmålingerne (effektstørrelserne i studiet er dog små). Det vil være oplagt for Socialdemokratiet at smede mens folkestemningen er rød. Hvem ved hvordan folkestemningen ser ud om et år? Og hvad hvis blå blok kan nå at mobilisere et egentligt regeringsalternativ til den siddende regering? Det vil alt andet lige være optimalt for en regering, at udskrive valg i 2021.

Jeg kan selvsagt ikke gøre mig overvejelser om, hvorvidt Socialdemokratiet allerede har gjort sig overvejelser herom. Der er dog intet i deres adfærd eller udsagn hidtil, der synes at signalere, at de har tænkt sig at vente længe med at udskrive valget. Jeg vil sågar mene, at den seneste regeringsrokade, med endnu et ressortområde til Kaare Dybvad, så han også bliver indenrigsminister, vil klæde partiet godt på til et tripelvalg.

Det skal nævnes, at jeg ikke er den første til at lufte disse tanker. Erik Holstein, politisk kommentar for Altinget, udtalte således forleden til selvsamme Altinget: “Et valg til foråret er meget usandsynligt, men det er derimod en realistisk mulighed, at der kan komme et folketingsvalg i november sammen med kommunalvalget. Her vil Mette Frederiksen have en legitim undskyldning for at bede om et nyt mandat efter coronakrisen, og det vil se praktisk ud at slå de to valg sammen”.

Dette er selvfølgelig blot et gæt. Der er stadig mere end to år til, at der skal udskrives valg. Og end ikke politiske kommentatorer, der går meget mere op i dette end jeg, er altid enige om, hvornår der udskrives valg (se eksempelvis dette indlæg fra 2015). Ligeledes er der stadig en masse ubekendte variable (hvordan vil det gå med coronavaccinerne? hvordan vil det gå med opbakningen i målingerne?), men hvis det fortsætter som hidtil, har jeg svært ved at se, hvorfor Mette Frederiksen ikke skulle udskrive valg med afholdelse 16. november 2021.

Huseffekter i meningsmålingerne

Når vi kigger på kvalitetsvægtede gennemsnit af meningsmålingerne forsøger vi at tage højde for såkaldte huseffekter, altså hvordan de forskellige analyseinstitutter systematisk giver partier en større eller mindre opbakning end de andre analyseinstitutter.

Jeg har over årene været med til at udregne huseffekter i meningsmålingerne (se eksempelvis Politiken i 2015 og TV 2 i 2017). Jeg har ligeledes fremhævet vigtigheden af at kigge på huseffekter, når jeg har talt med eksempelvis Altinget og DR ifm. 2019-valget.

Hvad jeg har savnet er dog ét sted, hvor huseffekterne bliver opdateret mere regelmæssigt, så jeg ikke behøves henvise til ældre artikler om emnet. Denne resource har jeg nu lavet og den kan findes her. De ser ud som følger:

Vi kan se, at der er uenighed om især opbakningen til Nye Borgerlige og Venstre hos YouGov og Voxmeter. Bemærk, som jeg også skriver på siden, at dette ikke er ensbetydende med, at disse institutter tager fejl.

Har du forslag til forbedringer eller tilføjelser, modtager jeg gerne feedback.