Erik Gahner Larsen

Eurobarometer and Euroscepticism

Are low response rates resulting in biased estimates of public support towards the EU in Eurobarometer? That is the argument presented in this story in the Danish newspaper Information. As the journalist behind the story writes on Twitter: “EU’s official public opinion survey – Eurobarometer – systematically overestimates public support for the EU”.

As I described in a previous post (in Danish), I talked to multiple journalists this week where I made the argument that the response rate is informative but not sufficient or even necessary in order to obtain representative samples. In brief, I don’t understand the following recommendation provided in the article: “Experts consulted by Information estimate that the response rate ought to reach 45-50% before a survey is representative.” That’s simply a weird rule of thumb.

That being said, what is the actual evidence presented by the journalist that Eurobarometer systematically overestimates public support for the EU? None. Accordingly, I am not convinced, based on the coverage, that the response rate in Eurobarometer is significantly affecting the extent to which people are positive towards the EU in the Eurobarometer data.

The weird thing is that the journalist is not providing any evidence for the claim but simply assuming that a low response rate is leading to a systematic bias in the responses. Noteworthy, I am not the first one to point out a problem with the coverage. As Patrick Sturgis, Professor at London School of Economics, points out on Twitter, the piece “provides no evidence that Eurobarometer overestimates support for the EU”.

There is no easy way to assess the extent to which this is a problem. The issue is that we (obviously) do not have data on the people that decide not to participate in Eurobarometer. Alternatively, we would have the exact same questions asked in different surveys at the same time in the same countries.

However, it is still relevant to look at the data we got and see whether there is anything that is in line with the criticism raised by Information. In brief, I can’t see anything in the data confirming the criticism raised by the coverage.

First, when we look at the response rates in Eurobarometer 89.1 and the support towards the EU, I am unable to find any evidence that the samples with lower response rates are more supportive. For example, if we look at the extent to which people feel attached to the European Union, we see no correlation between attachment to the EU and the response rate.

In the figure above, we see that the respondents interviewed in the UK are among those who feel least attached to the EU, but they also have a low response rate (way below the “representative” 45-50%). The counterfactual argument is that if the response rate was greater, a greater proportion of the respondents would feel less attached to the EU. This is possible but I am not convinced that the response rate is the most important metric here to assess how representative the data is.

Second, if the low response rate was problematic, we should see that countries with a low response rate in Eurobarometer systematically provide more positive EU estimates when compared to other datasets. In the figure below, I plot the estimates on attachment to EU (Eurobarometer) and the answers from respondents in the 2018 European Social Survey (Round 9) on a question related to preferences for European unification.

The size of each dot is the response rate (with a greater size indicating a greater response rate). We see a strong correlation between the estimates in the two surveys. In countries where more people feel attached to the EU (in Eurobarometer), more people are also more likely to prefer European unification (in the European Social Survey).

More importantly, we do not see that the countries with a low response rate are outliers. There is nothing here suggesting that countries with lower response rates are much more positive towards the EU in Eurobarometer compared to the European Social Survey.

I am not saying that any of this is conclusive evidence that there is no reason for concern, but I simply do not see any significant problems when looking at the data. On the contrary, it would be great if the journalist could provide any evidence for the claim that Eurobarometer “systematically overestimates public support for the EU”.

Why might there not be a significant problem? One reason is, as described by a spokeswoman for the EU Commission here, that “respondents are not told in the beginning of their face-to-face interview that the survey is done for an EU institution”.

Last, there is something odd about a story like this. Why, for example, did the journalist not include any of the potential caveats I mention here? I know that the journalist talked to an expert that did not agree with the frame of the article, but that was not mentioned in the article. How many experts were contacted that did not buy into the premise of the story? For the sake of transparency, it would be great if the journalist could declare his … response rate.

Vil Danske Bank-skandalen påvirke folketingsvalget?

Forleden talte jeg med en journalist fra Information om, hvilke implikationer sagen om hvidvask i Danske Bank og lignende skandaler vil have for det kommende folketingsvalg. Uden at spoile for meget kan jeg afsløre, at jeg ser bestemte grunde til at antage, at sagerne ikke vil have den store betydning for det kommende valg.

Artiklen, hvori jeg udtaler mig, kan findes her.

Er vi på vej mod et kendis-demokrati?

Mens de kendte forsøger at indtage Christiansborg, har Christiansborgs politikere travlt med at svinge træbenet for åben skærm. Tendensen er klar, men hvilke konsekvenser har det for vores samfund. Er vi på vej mod et kendis-demokrati, og skal politikere vælges på baggrund af deres underholdningsfaktor?

Sådan lyder indledningen i et læserbrev bragt i Information i dag – og nu også i dette indlæg. Lad os se på hvad der bliver postuleret på de få linjer – og hvor at skribenten, Bjørn Ubbe Ebbesen, mener at tendensen er klar:

  • De kendte forsøger at indtage Christiansborg (kendis -> politiker)
  • Politikere har travlt med at svinge træbenet for åben skærm (politiker -> kendis)

Jeg har kun en meget kort kommentar til de to påstande: Jeg søger belæg for begge. Nuvel, måske vi bare skal gå lidt mere i dybden med de holdninger der ytres og den empiri der inddrages.

Det handler jo i bund og grund om personer – kendisser og politikere. I hele indlægget inddrages følgende personer: Kristian Jensen, Joachim B. Olsen, Arnold Schwarzenegger, Ronald Reagan og Klaus Bondam. To amerikanere og tre danskere. Af de tre danskere har to af dem aldrig været repræsenteret i Folketinget. Vi står altså tilbage med én politiker i Folketinget, Kristian Jensen, der har ”travlt med at svinge træbenet for åben skærm”. Med denne erfaring og uden videre belæg for sin påstand, er det måske lige i overkanten at gå til at konkludere, at politikerne over en bred kam har travlt med at svinge træbenet for åben skærm.

Hvad angår at de kendte forsøger at indtage Christiansborg, er det måske også på sin plads at slå lidt koldt vand i blodet. Det nyeste danske politiske eksempel vi har på noget der bare ligner en kendismarch mod Folketinget, var Ny Alliance, og hvordan gik det? Igen, af de få personer der nævnes som eksempler, er Joachim B. Olsen det eneste eksempel på en kendt der forsøger at indtage Christiansborg.

Jeg er ked af at være sådan en mood killer, men: Vi har at gøre med en storm i et glas vand.

Selvfølgelig er der strategiske overvejelser forbundet med at deltage i offentlige TV-programmer, og man skal være godt naiv og blåøjet for at påstå andet. Selvfølgelig kan det være en fordel at være et kendt ansigt, men det er det ikke nødvendigvis. Selvfølgelig skal vælgerne ikke bare vælge folk ud fra hvem der danser bedst eller ser godt i et stramt outfit eller kan kaste kugler længst, men ja – logisk nok på baggrund af holdninger, værdier og politik!

I den forbindelse er det sgu ikke programmer som Vild med dans eller Kristian Jensens egen tolkning af hans deltagelse der er det demokratiske problem, men mere de danske journalisters evne til at lave god og seriøs journalistik. Evnen til at tage vælgerne i hånden og angribe folketingskandidaterne med alle de journalistiske våben der findes, for at komme helt ind til benet af, hvilke holdninger at politikerne har.

Argumentationen i indlægget er for mig ganske ulogisk: ”Om Joachim B. Olsen vil være i stand til at adskille underholdning og politik på samme måde, vil være afgørende for hans politiske troværdighed i fremtiden.”

Flere undersøgelser viser, at politikernes troværdighed er alfa omega for at vælgerne gider stemme på vedkommende. Skribenten påstår, at kun såfremt Joachim B. Olsen er i stand til at adskille underholdning og politik, vil han have politisk troværdighed. Noget kunne altså tyde på, jf. den logik der bruges i indlægget, at det ikke nødvendigvis styrker en politikers karriere, at deltage i underholdningsprogrammer. Det kunne m.a.o. tyde på, at vælgerne ikke nødvendigvis er så dumme som de ifølge skribenten tilsyneladende er, og blot stemmer på folk der har en høj underholdningsværdi.

Indlægget sluttes af med: ”Vi kommer ikke uden om at Kristian Jensen succesfuldt har brugt et underholdningsprogram til at kapre stemmer, og eftersom TV2 er 100 procent statsejet, har du været med til at betale gildet.”

Her er det værd at bide mærke i, at TV2 ikke har modtaget licens eller lignende siden 2004, og med mindre at du frivilligt på markedet har besluttet dig for at afgive en SMS-stemme og betale de få kroner at dét koster, har du ikke været med til at betale gildet. Desuden vil jeg betvivle, hvor meget at Kristian Jensens optræden i Vild med dans har givet ham. Den første overskrift jeg får på Google når jeg søger på Kristian Jensen Vild med Dans er: ”Kristian Jensen floppede i Vild med dans”

Jeg vil ikke udelukke, at ens kendisfaktor eller politikernes søgen på en større af samme betyder mere for politik i dag end engang for længe siden, men jeg savner nu et belæg for at påstå dette. Et belæg der er større end en politikers deltagelse over nogle uger i et TV-program og vedkommendes overvejelser omkring dette.