Erik Gahner Larsen

Hvor mange vil stemme på Nye Borgerlige? #9

For omkring en måned siden kunne BT formidle, at Nye Borgerlige stod til en stor fremgang siden folketingsvalget i 2019. Her stod partiet i dækningen – ud af det blå – til mere end en fordobling af stemmerne i meningsmålingerne. Der var flere problemer med den pågældende artikel og meningsmåling, som jeg har beskrevet her.

Kort fortalt var problemet, at det eneste sted Nye Borgerlige ikke var i nærheden af en fordobling af deres stemmer, var i YouGovs meningsmålinger (hvis man vel at mærke tog deres meningsmålinger fra valgkampen i 2019 seriøst). Der var ligeledes intet nyt i, at BT ukritisk formidlede meningsmålingen uden så meget som ét lille forbehold.

Forleden var BT så på banen med endnu en historisk meningsmåling fra YouGov. Og der er igen tale om, at Nye Borgerlige står til en overordentlig fremgang. Denne meningsmåling blev også formidlet som en stor – ligefrem historisk – nyhed.

Ovenstående er taget fra BTs hjemmeside men historien var også slået stort op i den fysiske avis. Det eneste historiske ved denne meningsmåling er dog, at den udgør et nyt lavpunkt for, hvor dårligt meningsmålingerne kan formidles i de danske medier. Vi har at gøre med endnu et eksempel på, hvor farlig en symbiose YouGov og BT kan være. Meningsmålingen fra YouGov giver Nye Borgerlige 7,7 procent af stemmerne (nogle procentpoint mere end hvad YouGov gav partiet ved folketingsvalget – og mange procentpoint mere end de 2,4 procent, de stod til at få ved valget). Hvis vi – i tradition med BT og medierne generelt – ignorerer den statistiske usikkerhed, er Nye Borgerlige ifølge YouGov det tredjestørste parti i Folketinget.

Der er ikke meget nyt under solen her. Endnu en ekstrem meningsmåling, der i de forkerte hænder bliver skrevet op af et medie, der åbenlyst ikke bør formidle meningsmålinger. I tidligere tilfælde har der været et tvivlsspørgsmål om, hvorvidt BT og YouGov har været ubevidst eller bevidst misvisende i deres dækning af, hvor mange der vil stemme på Nye Borgerlige. I den pågældende artikel indrømmer de dog, i en note der kan udfoldes i artiklen, at “i det seneste kvalitetsvejede snit fra maj af flere analyseinstitutters vælgermålinger til 3,6 procent af stemmerne”. BT ved med andre ord godt, at der ikke er noget der tyder på, at opbakningen er så stor, som de forsøger at overbevise deres læsere om, at den er.

Jeg har allerede skrevet en del om problemet med YouGov og BT, men hvad jeg finder interessant i denne sammenhæng er implikationerne af dækningen. For det første stoppede BT ikke blot med deres artikel om meningsmålingen. De fulgte eksempelvis også op med denne artikel, hvor Nye Borgerliges partileder, Pernille Vermund, udtaler, at det går partiet godt fordi hun siger tingene, som de er:

BT gør alt hvad de kan for at sælge meningsmålingen som en chok-måling, men – igen – det eneste chokerende er BTs manglende evne til at dække meningsmålingen sobert. På baggrund af BTs meningsmålingsartikler skrev jeg således en kommentar for Altinget, hvor jeg blandt andet skriver:

“De eneste gode nyheder for BT og YouGov er, at deres dækning kan ende med at blive en selvopfyldende profeti. Jo mere BT bidrager til et narrativ om, at Nye Borgerlige er blandt landets største partier, desto mere medvind vil partiet få, der vil appellere til flere vælgere.

Med andre ord: BT laver misvisende artikler om opbakningen til Nye Borgerlige, men de medvirker til, at opbakningen til Nye Borgerlige vil være større fremadrettet.

Forskningen viser således, at vælgere bruger meningsmålinger delt i deres sociale netværk til at danne sig indtryk om, hvor stor opbakningen er til politiske partier, med implikationer for, hvilke partier vælgerne vil stemme på. Dette f udgør et demokratisk problem, når BT og YouGov – ubevidst såvel som bevidst – bidrager til at give et misvisende billede af opbakningen til partierne.“

Der er flere videnskabelige studier, der dokumenterer en såkaldt bandwagon effekt, altså at partier der bliver fremstillet positivt i medierne, når de dækker meningsmålinger, vil få en øget opbakning (se denne artikel for en god introduktion). I forhold til meningsmålinger i sociale netværk havde jeg dette nye studie i tankerne, der belyser vigtigheden af sociale netværk for meningsmålingernes effekter.

Det er da heller ingen overraskelse, at Nye Borgerliges folketingsmedlemmer var ekstra glade for BTs dækning af partiet og delte den gode YouGov-meningsmåling på Facebook med nyheden om, at de står til at blive Folketingets tredjestørste parti:

Som det kan ses blev artiklen delt et stort antal gange blot gennem et par få politikere. Lars Tvede delte også meningsmålingen på Facebook med ordene: “Her står Nye Borgerlige til at blive det 3. største parti i Folketinget efter Socialdemokratiet og Venstre.” Dette viser at et basalt kendskab til statistik og usikkerhed ikke er en forudsætning for at kunne handle med aktier.

Der er selvfølgelig intet overraskende i, at Nye Borgerlige er glade for meningsmålinger, der giver dem en højere opbakning. Dansk Folkeparti er omvendt nok mindre glade for disse meningsmålinger, hvorfor de også har formidlet min kritik af BTs dækning. Der er intet i vejen med at politikerne deler de meningsmålinger, de er glade for, men BT er trods alt ikke et politisk parti, og det ville være at foretrække, at de kunne tage deres dækning af meningsmålingerne lidt mere seriøst.

YouGov svarede desuden på min kritik, der ligeledes kan læses hos Altinget. Jeg værdsætter at YouGov giver svar på tiltale, men der er intet konkret i deres svar, jeg ikke allerede i tidligere har beskæftiget mig med (jeg er desuden langt mindre skeptisk ift. YouGovs metode end andre kritikere). Kritikken er således mere interessant når man kigger på, hvad YouGov ikke forholder sig til: Hvad har ændret sig siden folketingsvalget, der gør, at vi nu skal tage YouGov seriøst? Dette savner jeg svar på.

Journalisten har også taget min kritik op, hvortil Michael Dyrby udtaler: “Jeg synes ikke, det er vanvittigt at skrive om den tendens, at Nye Borgerlige er stigende. Det har de andre institutter også set.” Det er korrekt. Andre analyseinstitutter finder også en øget opbakning til Nye Borgerlige, men YouGov giver dem en betydeligt højere opbakning. Og igen: Hvad har ændret sig siden folketingsvalget?

Hvor mange vil så stemme på Nye Borgerlige? Nedenstående meningsmålinger fra 2020 giver et bud på opbakningen til partiet:

Vi kan se tegn på, at opbakningen til Nye Borgerlige stiger. Voxmeter, der har vurderet partiet lavest i meningsmålingerne, og ramte ret præcist ved folketingsvalget i 2019, har dem nu på omkring fire procent. Jeg udelukker derfor ikke, at opbakningen til Nye Borgerlige er steget (og sågar kan stige yderligere), og når man ser på den dækning der har været af partiets vælgeropbakning, vil det ikke overraske mig, hvis meningsmålingerne – som jeg nævner i min kommentar i Altinget – kan ende med at blive en selvopfyldende profeti. I skrivende stund er mit bedste bud, at partiets opbakning ligger et sted mellem 4 og 5 procent.

Til slut er det også vigtigt at huske på, at jeg ikke blot er kritisk, når YouGov forsøger at estimere opbakningen til Nye Borgerlige. Den første problematiske meningsmåling, der forsøgte at sige noget fornuftigt om Nye Borgerlige, blev foretaget af Voxmeter tilbage i 2016, hvor medierne rapporterede, at Nye Borgerlige kunne få omkring 10 procent af stemmerne. Over de seneste år har det blot vist sig, at YouGov og BT igen og igen står som eksponent for en problematisk meningsmålingsjournalistik, hvorfor dette selvsagt får flere ord med på vejen.

Kvalitetsvægtede gennemsnit af meningsmålinger og statistisk usikkerhed #2

Hvis to meningsmålinger begge viser, at opbakningen til Socialdemokratiet er på 25%, tror jeg på, at opbakningen til Socialdemokratiet ligger på omkring 25%. Hvis én meningsmåling viser, at Socialdemokratiet ligger på 20% og en anden meningsmåling viser, at partiet ligger på 30%, tror jeg ikke i højere grad på, at partiet ligger på 25%.

Jo mere der er brug for et vægtet gennemsnit af meningsmålingerne, desto mindre stoler jeg på det vægtede gennemsnit. Hvis alle meningsmålinger viste det samme, ville det ganske enkelt ikke være afgørende at bruge et vægtet gennemsnit (med mindre man blot vil reducere den statistiske støj).

Ingen analyse er bedre end de data, man har til rådighed. De vægtede gennemsnit er fantastiske til at minimere eventuelle fejl ved én meningsmåling og give et samlet bud på, hvordan de politiske partier klarer sig.

Sandheden er dog at kvalitetsvægtede gennemsnit primært tager højde for støj i meningsmålingerne (altså forskelle mellem meningsmålingerne) og ikke systematiske fejl, der skubber alle meningsmålinger i en bestemt retning. Hvis alle meningsmålinger eksempelvis overestimerer opbakningen til Dansk Folkeparti, vil et vægtet gennemsnit ikke komme tættere på et korrekt estimat. Tværtimod vil standardfejlene omkring et forkert estimat være mindre, og vi vil foranlediges til at tro, at der er mindre usikkerhed.

I et tidligere indlæg (fra 2013) skrev jeg, at vægtede gennemsnit er at foretrække, og dette mener jeg selvfølgelig stadigvæk, men det er interessant at se, at der ikke blev plads til nogle forbehold. Ikke så meget som ét lille forbehold, fandt jeg relevant at få med. Indlægget konkluderer blot, at vægtede gennemsnit er løsningen på vores problemer, men jeg finder det relevant at gå i dybden med nogle af de relevante forbehold.

Der findes ikke én måde at lave et vægtet gennemsnit. Der er en lang række af spørgsmål, man skal forholde sig til. Hvor mange meningsmålinger skal indgå i et vægtet snit? Skal alle analyseinstitutter have samme indflydelse – eller skal eksempelvis de institutter, der ramte sidste valg bedre, vægtes højere? Nyere meningsmålinger skal vægtes højere end ældre meningsmålinger, men hvor meget mere? Svarene på disse spørgsmål er ikke nødvendigvis oplagte, og det er en af grundene til, at forskellige vægtede gennemsnit ej heller giver de samme estimater.

Ved forrige valg tyder det på, at meningsmålingerne opfangede nogle vælgervandringer i valgkampens sidste dage. Meningsmålingerne var dermed mere præcise i dagene op til valget end de var i ugerne op til valget (YouGov kan være undtagelsen her). Et godt vægtet gennemsnit skal på den ene side være konservativt og ikke blot følge ukritisk med, når et par meningsmålinger viser store forandringer, men på den anden side også være i stand til at opsamle disse forandringer. Min vurdering er således, at jo mere et vægtet snit vejede nye meningsmålinger over ældre målinger, desto bedre ramte det vægtede snit valgresultatet.

Der er dog intet samlet overblik over, hvordan vægtede snit forholder sig til forskellige meningsmålinger. Dette bringer os videre til en anden udfordring ved de vægtede gennemsnit: Der er begrænset eller ingen transparens omkring, hvordan disse snit er lavet. Med andre ord gives der meget sjældent eksplicit svar på ovennævnte spørgsmål. På samme måde som vi ved meget lidt om, hvordan individuelle meningsmålinger konstrueres, ved vi meget lidt om, hvad der går ind i den ‘black box’, der er et vægtet gennemsnit. Dette er også et forbehold, der er relevant ift. det snit af meningsmålingerne, jeg præsenterer på Politologi Prognose. Et fantastisk eksempel på en undtagelse, hvor alt materiale er offentligt tilgængeligt, er The Economists model for det kommende præsidentvalg i USA.

Kigger man på den videnskabelige litteratur kan man finde forskellige modeller for vægtede gennemsnit appliceret på politiske meningsmålinger i lande som Australien (Jackman 2005), England (Fisher et al. 2011; Hanretty et al. 2016), Frankrig (Arzheimer og Evans 2014), Irland (Louwerse 2016), Mexico (Cantú et al. 2016), Sverige (Walther 2015), Tyskland (Michaelis 2018) og selvfølgelig USA (Wright og Wright 2018).

En af grundene til, at der er forskellige modeller, er blandt andet, at de forsøger at tage højde for specifikke kontekstuelle forhold. Der er eksempelvis stor forskel på om du ønsker at lave et vægtet gennemsnit af meningsmålingerne i USA eller i Danmark. I en dansk kontekst med et flerpartisystem med relativt få meningsmålinger fra få institutter, skal vi selvsagt tage højde for, at det ikke blot er to partier, meningsmålingerne skal give bud på.

Min prognose bygger på flere af ovennævnte studier (primært Simon Jackmans model). Konkret estimeres partiernes opbakning i en Bayesiansk analyse, der ikke giver konfidensintervaller men troværdighedsintervaller. Disse har en meget mere intuitiv tolkning når det kommer til usikkerhed, der giver mulighed for at lave den tolkning, læsere og journalister ofte ønsker at foretage (eksempelvis at at vi er 95% sikre på, at opbakningen til Venstre ligger et sted mellem 22% og 26%). Dertil kan det også tilføjes, at posterior fordelingen er en Beta fordeling, der gør, at 95% troværdighedsintervallet ikke nødvendigvis er normalfordelt.

En grundlæggende antagelse er, at partierne ikke ændrer drastisk opbakning fra dag til dag. Til at tage højde for dette anvendes en Kalman filter-metode, der ofte bruges når man arbejder med tidsseriedata. Overordnet betyder dette, at selvom opbakninge til partierne kan ændre sig på kort sigt, vil de næppe miste og få mange vælgere i løbet af få dage.

En anden antagelse er relateret til huseffekter (jeg har skrevet om huseffekter før, se eksempelvis her). Vi antager med huseffekterne at resultaterne fra det “gennemsnitlige” analyseinstitut er korrekte, hvorfor gennemsnittet af disse huseffekter er 0. Denne antagelse er yderst vigtig, da implikationen er, at hvis alle meningsmålinger tager systematisk fejl (altså tager fejl “i samme retning”), vil det vægtede snit ikke tage højde for dette.

Er der måder hvorpå disse vægtede snit kan forbedres yderligere? Helt sikkert. En interessant udvidelse er at kombinere meningsmålingsdata med anden data (evt. økonomiske data), så der kan gives egentlige forudsigelser på, hvordan partierne vil klare sig ved et valg (for en introduktion til en sådan tilgang henvises til Stoetzer et al. 2019). Personligt er jeg dog ikke overbevist om en oplagt applikation i en dansk kontekst, da der er mange forbehold der ændrer sig fra valg til valg (herunder ofte nye partier, der stiller op for første gang).

De vægtede snit er – alt andet lige – at foretrække over enkeltmålinger. Dette er dog ikke det samme som, at vægtede snit er uden begrænsninger eller altid vil ramme bedre end specifikke enkeltmålinger. Afslutningsvis vil jeg derfor give to anbefalinger med på vejen. For det første, kig gerne på flere enkeltmålinger såvel som flere vægtede snit, når du skal have en idé om, hvordan partierne klarer sig. For det andet, brug din kritiske sans. Meningsmålingerne kan tage fejl (og rammer derfor sjældent 100% plet), men de vægtede snit kan kun adressere en bestemt type af disse fejl.

BT’s dækning af YouGovs misvisende målinger kan blive en selvopfyldende profeti for Vermund

Ved folketingsvalget i 2019 vurderede YouGov, at Nye Borgerlige ville få hele 4,7% af stemmerne. Dette skete som bekendt ikke, da partiet endte med at få 2,4%. YouGov overvurderede systematisk, hvor stor opbakningen var til Nye Borgerlige. Der var intet andet analyseinstitut, der ramte lige så meget forbi som YouGov.

Der kan være flere forklaringer herpå, herunder især YouGovs metode, hvor de anvender data fra danskere, der selv har tilmeldt sig deres internetpanel. Det er meget plausibelt, at YouGov har væsentlige udfordringer forbundet med at få såkaldt repræsentative data, der kan sige noget generelt om, hvor stor opbakningen er til et parti som Nye Borgerlige.

Der er intet nyt i dette, og som jeg udtalte til Altinget forud for folketingsvalget i 2019, var der en konkret udfordring for YouGov: ”Hvis man eksempelvis kun kigger på meningsmålinger fra YouGov, vil man få et indtryk af, at Nye Borgerliges opbakning er større, end hvis man også kigger på andre meningsmålinger.”

Det sørgelige er, at intet tyder på, at vi har lært noget af folketingsvalget. YouGov giver stadig en systematisk højere opbakning til Nye Borgerlige, og der er ingen grund til at antage, at analyseinstitutterne, der havde ret i 2019, ud af det blå tager fejl i 2020.

Alt dette har implikationer for især BTs dækning, da de bringer YouGovs meningsmålinger. Problemet er, at BT lader som om, at YouGovs meningsmålinger pludselig giver et retvisende billede af, hvor mange danskere, der vil stemme på Nye Borgerlige. Dette er yderst misvisende og har absolut intet med god journalistik at gøre. De to seneste meningsmålinger fra YouGov er gode eksempler herpå.

Den 12. maj rapporterede BT ’breaking news’ med overskriften Vanvittig ny måling for dansk parti. I artiklen kunne man læse, at “Nye Borgerlige står til mere end en fordobling af antallet af mandater, hvis der var valg i dag”. Dette fremkalder en følelse af deja-vu, da denne meningsmåling blot er på niveau med hvad YouGov vurderede partiet ville få i 2019. Kort fortalt er det misvisende at tale om en fordobling, da der ikke var tale om nogen signifikant ændring sammenlignet med tidligere målinger fra YouGov. Der var med andre ord ikke tale om en vanvittig ny måling. Det eneste vanvittige var BTs dækning heraf.

Den 15. juni kunne BT igen formidle ’breaking news’. Denne gang er der tale om en såkaldt historisk måling, hvor Nye Borgerlige angiveligt er større end Dansk Folkeparti. Denne meningsmåling giver Nye Borgerlige 7,7% af stemmerne, hvilket er langt mere end alle andre analyseinstitutter. Der er tale om de akkurat samme begrænsninger i dækningen som ved tidligere meningsmålinger, og der er intet der taler for, at Nye Borgerlige ville få 7,7% af stemmerne, hvis der var valg i morgen. Det kan udelukkende forklares med udgangspunkt i middelmådige meningsmålinger fra YouGov og en elendig politisk dækning fra BT.

Nye Borgerliges opbakning i YouGov-målingerne er problematisk af flere grunde. Vi er allerede bekendt med, at YouGov har udfordringer med at måle opbakningen til dette parti, men det langt mere interessante er spørgsmålet om, hvilken rolle medierne spiller.

BTs dækning af YouGovs meningsmålinger er et paradeeksempel på, at medierne ikke altid har en interesse i at give et retvisende billede af, hvor stor opbakningen er til de politiske partier i meningsmålingerne. Hvis dette var intentionen, ville dækningen have vist, at meningsmålingerne er uenige og i de langt fleste tilfælde vil give Nye Borgerlige en opbakning der er langt lavere end 7,7%.

Formålet med dækningen virker omvendt til at tage én ekstrem meningsmåling og bruge den til at indikere, at der er sket noget ’historisk’. En sådan nyhed vil alt andet lige få større opmærksomhed blandt tilhængere og modstandere af Nye Borgerlige, og dermed tiltrække mere engagement, læsere og annoncekroner.

Det værste er, at det virker. Den seneste meningsmåling er blevet delt tusindvis af gange på de sociale medier af personer med direkte og indirekte tilknytning til Nye Borgerlige. En misvisende meningsmåling når halvvejs rundt om jorden, før sandheden når at få sine bukser på.

De eneste gode nyheder for BT og YouGov er, at deres dækning kan ende med at blive en selvopfyldende profeti. Jo mere BT bidrager til et narrativ om, at Nye Borgerlige er blandt landets største partier, desto mere medvind vil partiet få, der vil appellere til flere vælgere. Med andre ord: BT laver misvisende artikler om opbakningen til Nye Borgerlige, men de medvirker til, at opbakningen til Nye Borgerlige vil være større fremadrettet.

Forskningen viser således, at vælgere bruger meningsmålinger delt i deres sociale netværk til at danne sig indtryk om, hvor stor opbakningen er til politiske partier, med implikationer for, hvilke partier vælgerne vil stemme på. Dette udgør et demokratisk problem når BT og YouGov – ubevidst såvel som bevidst – bidrager til at give et misvisende billede af opbakningen til partierne.

BT og YouGov har i over et år været fælles om at lave dårlig meningsmålingsjournalistik, men det kan undre én at især YouGov sætter sit renommé på højkant ved at skulle stå som afsender på meningsmålinger med konklusioner, der ikke er tilstrækkeligt empirisk belæg for.

Min opfordring har tidligere været, at BT skulle være deres ansvar bevidst og dække meningsmålingerne på en ansvarlig måde. Der er dog intet der tyder på, at BT eller YouGov har intentioner om at ændre procedure. Dette giver igen fin mening, når man ser på, hvor meget trafik og omtale, det skaber. Min opfordring vil derfor nu blot være, at man – i det omfang det er muligt – ignorerer BTs dækning af de politiske partier og i videst muligt omfang afholder sig fra at bruge YouGov, når det gælder om at belyse danskernes holdninger til politiske spørgsmål.

Bragt i Altinget, 17. juni 2020

Potpourri: Statistics #65

– How The Economist presidential forecast works
– GESIS Workshop: Applied Data Visualization
– Introduction to R – tidyverse
– Why Is It Called That Way?! – Origin and Meaning of R Package Names
– PMAP 8921: Data Visualization
– Visualising Odds Ratio
– Exeter Q-Step Resources
– tidymodels workflow with Bayesian optimisation
– How to Create Dummy Variables in R (with Examples)
– Guides for Visualizing Reality
– How I Teach R Markdown
– Getting machine learning to production
– Introducing Pew Research Center’s Python libraries
– Textrecipes series: Term Frequency, lexicons, TF-IDF, Feature Hashing
– Reproducible Research Data & Project Management in R
– ggplot2 Theme Elements Demonstration
– Pulling YouTube Transcripts
– Congressional Data in R
– Learn tidymodels with my supervised machine learning course
– Effectively Deploying and Scaling Shiny Apps with ShinyProxy, Traefik and Docker Swarm

How not to measure conspiracy beliefs

A new study in Psychological Medicine concludes: “In England there is appreciable endorsement of conspiracy beliefs about coronavirus. Such ideas do not appear confined to the fringes.” The study, titled ‘Coronavirus conspiracy beliefs, mistrust, and compliance with government guidelines in England’, shows that a lot of people believe various conspiracy theories related to the coronavirus.

Specifically, almost half of the respondents in the study agree that the “[c]oronavirus is a bioweapon developed by China to destroy the West”. And 21% believe that Bill Gates is behind the virus! The sample used in the study consists of ~2500 adults in England that evaluated 48 conspiracy statements. Here is an overview of some of the items:

As you can see in the figure, a lot of people agree with these statements. However, as several people have noted on Twitter (e.g. Keiran Pedley, Rob Johns, Joe Twyman and Anthony B. Masters), there are problems with how the questions are asked (or, more specifically, how the choices are presented).

The main problem is related to this aspect from the paper: “Each item is rated on a five-point scale: do not agree (1), agree a little (2), agree moderately (3), agree a lot (4), agree completely (5). A higher score indicates greater endorsement of a statement.”

It is problematic that there are four agree choices (and only one disagree choice) and no “don’t know” option. By designing the questionnaire like that, you turn a disagreement with the item into an extreme answer (and people providing an answer at the middle of the scale into agreement).

I am surprised that this made it through peer-review. However, there are two reasons why I believe this is intentional by the authors. In other words, I believe that the authors deliberately designed the survey like this in order to make the respondents more likely to endorse the conspiracy beliefs.

First, if we look at the information provided to the participants before answering questions to the conspiracy beliefs, we see that the researchers aim to indicate that there are support to some of these items: “A wide range of views are asked – some have a lot of evidence supporting them, others have no evidence supporting them.”

This is misleading as all of the 48 conspiracy beliefs, to the best of my knowledge, have no evidence supporting them. What the researchers do to justify this formulation is to also include four official explanations (such as “The virus is most likely to have originated from bats”). However, by designing the survey like this, you are increasing the odds of people agreeing to at least some of these beliefs that they would otherwise not agree with.

Second, all other questions used in the survey do not have the same problems. For example, they rely on the conspiracy mentality questionnaire (11-point scale from 0% [certainly not] to 100% [certain] scale), the vaccine conspiracy beliefs scale (seven-point scale [strongly disagree, disagree, somewhat disagree, neutral, somewhat agree, agree, strongly agree]) and the climate change conspiracy belief (seven-point scale [strongly disagree, disagree, somewhat disagree, neither agree nor disagree, somewhat agree, agree]). In other words, the researchers are familiar with better ways to measure such questions, including conspiracy beliefs.

Third, with 12 authors on this article I would be surprised if at least not one of the authors would be familiar with the problems described above. One comment to this could be that it might only have been one person that designed the study. However, this is not in line with the following description from the ‘Author contributions’ (my emphasis): “DF was the chief investigator and wrote the paper. All authors contributed to the study design. DF and SL carried out the analyses. All authors commented on the paper.” Well, maybe that’s the point here: when everybody is responsible for the survey design, nobody is responsible.

In sum, this is a great case on how not to measure conspiracy beliefs. If you are interested in some more solid work on conspiracy beliefs in relation to COVID-19, I can highly recommend this and this by Professor Karen Douglas.