Erik Gahner Larsen

Skaber sociale medier ekkokamre? #4

Jeg har i tidligere indlæg kigget nærmere på, om der er evidens for, at sociale medier skaber ekkokamre (se mine indlæg fra 2017, 2018 og 2019). Det første indlæg jeg skrev om spørgsmålet var et forsøg på at give modspil til det argument, der var dominerende i den danske debat, navnligt at sociale medier skabte ekkokamre (primært fremført af personer, der bruger mere tid på at tegne bobler end at analysere data). Jeg har i løbet af 2020 ikke fulgt forskningen nøje, men tilstrækkeligt til at kunne give nogle henvisninger til den nyeste forskning på området.

Det er min klare vurdering, at der er et mere nuanceret syn på sociale medier og ekkokamre i 2020 end tilfældet var i 2017. Vi taler ikke længere blot om sociale medier generelt, men en lang række af forskellige sociale medier (Facebook, Twitter, YouTube, TikTok etc.), der i større eller mindre grad kan have implikationer for den måde brugerne finder og deler information på. Ligeledes er der en erkendelse af, at ekkokamre ikke blot vedrører sociale medier men også medieforbrug mere generelt (se eksempelvis Hmielowski et al. 2020).

Dette er relevant da folks nyhedsforbrug i overvejende grad stadig kommer fra TV. Et amerikansk studie af Allen et al. (2020) viste eksempelvis, at nyhedsforbruget fra TV er omkring fem gange større end nyhedsforbruget online – og kun 0,15% af indholdet kan betegnes som værende fake news. Dette betyder selvfølgelig ikke, at vi ikke skal være bekymret for, hvad der foregår på sociale medier, men vi skal huske på, at problemet – i det omfang der er et problem med den måde borgerne konsumerer information – ikke kan isoleres til sociale medier.

Vanen tro er der nye studier, der kan sige noget fornuftigt omkring sociale medier og ekkokamre. Et af de mest interessante studier, vi har set i år, er en stor undersøgelse af amerikanernes nyhedsforbrug i 2015 og 2016 (Guess 2020). Dette studie kombinerer både medieforbrug og spørgeskemadata til at vise, at amerikanerne har et balanceret medieforbrug, hvorfor informationsforbruget online hverken tager sted i filterbobler eller ekkokamre. Kort fortalt er der et stort overlap mellem republikaneres og demokraters nyhedsforbrug. Når vi ser disse fund i en meget polariseret kontekst som den amerikanske, er det svært at forestille sig, at der skulle være et problem i en kontekst som den danske, der alt andet lige er mindre polariseret.

Et andet interessant studie undersøger tyske internetbrugeres internethistorik (på deres PC og/eller smartphone) (Scharkow et al. 2020). Dette studie finder ingen evidens for, at sociale medier fører til et mere snævert, ideologisk nyhedsforbrug. Studiet finder omvendt at sociale medier fører til et mere varieret nyhedsforbrug. Dette – og de fleste andre studier – er ikke eksperimentelle, men der er intet der tyder på, at sociale medier i og for sig selv skaber ekkokamre.

Et tredje studie kigger på omkring 250.000 amerikaneres nyhedsforbrug fra 2014 til 2018 (Yang et al. 2020). I dette studie findes der ej heller overbevisende evidens for, at amerikanerne lever i ekkokamre på de sociale medier. Faktisk viser de, at ideologisk selvselektion – altså at man vælger indhold der harmonerer med ens egne overbevisninger – forklarer en yderst begrænset andel af ens nyhedsforbrug. Mest interessant finder de, at i den periode der studeres, hvor flere amerikanere finder deres nyheder på deres mobiltelefon, konsumeres der mere diverst indhold.

Ovennævnte studier har – som alle studier – deres begrænsninger, men i min optik demonstrerer de overbevisende, at vi ikke lever i vores eget lille ekkokammer, når vi bevæger os på nettet, herunder de sociale medier. Som jeg tidligere har nævnt er det ikke det samme som, at der ikke er udfordringer med de sociale medier, eller at der ikke er nogen, der konsumerer information på en måde, vi vil betegne som værende identisk med et ekkokammer.

Der er således nye studier, der bruger eksperimentelle metoder til at belyse nogle af de dynamikker, der finder sted på sociale medier. Et af de bedste studier jeg har læst i år, der belyser dette, er af Kim et al. (2020). Dette studie undersøger hvordan kommentarsporet til nyhedsartikler på Facebook påvirker andre brugeres adfærd. Specifikt opererer de med en såkaldt toksicitetsværdi (“toxicity score“), der måler variation i hvor slemt indhold er (målet går fra 0 til 1, hvor 1 er højest). “Please get blown away”, for eksempel, har en toxicity score på 0,5, og “Stupid ugly bitch” har en toxicity score på 0,99. I et eksperiment viser de således, hvordan at tilfældig eksponering til indhold med en høj toksicitetsværdi får brugere til selv at lave indhold med en højere toksicitetsværdi. Dette viser hvordan indhold på de sociale medier kan have selvforstærkende effekter.

Et andet eksperiment viser ligeledes hvordan indhold på sociale medier kan føre til mere polarisering (Banks et al. 2020). Konkret undersøger studiet hvordan forskellige tweets kan påvirke borgernes opfattelse af den ideologiske distance mellem partier og kandidater. De viser eksempelvis tweets fra henholdsvis Donald Trump og Hillary Clinton i forbindelse med det amerikanske præsidentvalg i 2016, og finder, at den opfattede polarisering måske påvirkes af at være eksponeret for sådanne tweets. Når jeg siger måske skyldes det, at effektstørrelser er små og ser ud til at variere alt efter hvilke statistiske modeller, der kigges på.

Et tredje eksperiment undersøger hvordan republikanere og demokrater vælger nyheder på sociale medier (Mukerjee og Yang 2020). Dette studie bruger et conjoint eksperiment på mTurk-platformen til at vise, at når respondenterne præsenteres med forskellige nyhedsartikler, er de mindre tilbøjelige til at vælge nyhedsartikler fra et medie der er mere associeret med det andet parti. Til trods for at det er et eksperiment, er det et studie af en mildest talt middelmådig kvalitet, hvorfor jeg vil være påpasselig med at drage for store konklusioner på baggrund af dette studie. En generel kritik af dette studie – og snart sagt samtlige studier, der forsøger at sige noget omkring politiske bias, politisk motiveret tænkning osv. – er, at de kun studerer personer med en klar politisk identitet. Det svarer til kun at undersøge religiøse respondenter og konkludere, at religion er vigtigt. Der er dog en lang række ekstra begrænsninger her sammenlignet med de andre studier nævnt ovenfor, hvorfor du bør læse dette studie med dine ekstra kritiske læsebriller.

De fleste studier kigger på enten Twitter eller Facebook, da disse er de mest populære platforme, og især Twitter giver rig mulighed for at indsamle data. Der er dog heldigvis også kommet et øget fokus på andre sociale medier, herunder YouTube. Hosseinmardi et al. (2020) finder eksempelvis evidens for et lille men voksende ekkokammer med højreorienteret indhold. Så til trods for at der ikke er noget der taler for, at vi alle går rundt og lever i ekkokamre på sociale medier, kan der være grund til bekymring med nogle sociale medier og de tendenser, vi ser.

Et andet studie der kigger på YouTube, og især betydningen af deres anbefalingsalgoritme, er Kaiser og Rauchfleisch (2020). Dette studie kigger på kanalanbefalinger i USA og Tyskland og finder, at algoritmerne spiller en rolle i at skabe miljøer på YouTube. Dette er dog ikke nødvendigvis et ekkokammer, hvis man forbinder selvselektion som værende et afgørende kriterie for at kunne tale om et ekkokammer. Eller som de skriver i artiklen: “We understand filter bubbles as algorithmically induced homophilous communities, while echo chambers can be understood as homophilous communities that are formed by deliberate user choices.”

Generelt er der et større fokus på, at de forskellige sociale medier – herunder de algoritmer, de implementerer – kan have konsekvenser for, hvilket indhold, der konsumeres. Der er således mindst to studier, der kigger på algoritmernes betydning på Facebook. Levy (2020) demonstrerer at algoritmerne kan føre til, at man bliver eksponeret for mindre information på Facebook, man er uenig med, hvilket kan føre til øget polarisering. Garz og Szucs (2020) viser i Tyskland at algoritmerne på Facebook kan påvirke hvilket indhold, medier vælger at dele. Algoritmerne spiller med andre ord en stor rolle i forhold til, hvad vi ser på de sociale medier. Igen, dette er ikke det samme som, at sociale medier automatisk vil føre til ekkokamre, men at der er en del nuancer at tage i betragtning.

Skaber sociale medier ekkokamre? Ikke nødvendigvis. Svaret er ikke et entydigt ja eller nej, men afhænger af hvem vi kigger på, hvordan vi studerer det og hvad vi mener med et ekkokammer. Der er dog ingen overbevisende evidens for, at der er tale om så stort et demokratisk problem, som det ofte gøres til af meningsdannere. Kevin Munger har desuden nogle gode overvejelser i et blogindlæg, hvor han også pointerer, at det i høj grad handler om hvordan vi definerer et ekkokammer. Her kommer han også med nogle ekstra henvisninger til relevant litteratur, der varmt kan anbefales.

Referencer

Allen, J., B. Holland, M. Mobius, D. Rothschild og D. J. Watts. 2020. Evaluating the fake news problem at the scale of the information ecosystem. Science Advances 6(14): eaay3539.

Banks, A., E. Calvo, D. Karol og S. Telhami. 2020. #PolarizedFeeds: Three Experiments on Polarization, Framing, and Social Media. The International Journal of Press/Politics.

Garz, M. og F. Szucs. 2020. Algorithmic Selection and Ideological Diversity of News on Facebook.

Guess, A. M. 2020. (Almost) Everything in Moderation: New Evidence on Americans’ Online Media Diets. American Journal of Political Science.

Hmielowski, J. D., M. J. Hutchens og M. A. Beam. 2020. Asymmetry of Partisan Media Effects?: Examining the Reinforcing Process of Conservative and Liberal Media with Political Beliefs. Political Communication.

Hosseinmardi, H., A. Ghasemian, A. Clauset, D. M. Rothschild, M. Mobius, D. J. Watts. 2020. Evaluating the scale, growth, and origins of right-wing echo chambers on YouTube. arXiv: 2011.12843.

Kaiser J. og A. Rauchfleisch. 2020. Birds of a Feather Get Recommended Together: Algorithmic Homophily in YouTube’s Channel Recommendations in the United States and Germany. Social Media + Society 6(4).

Kim, J. W., A. Guess, B. Nyhan og J. Reifler. 2020. The Distorting Prism of Social Media: How Self-Selection and Exposure to Incivility Fuel OnlineComment Toxicity.

Levy, R. 2020. Social Media, News Consumption, and Polarization: Evidence from a Field Experiment. American Economic Review.

Mukerjee, S. og T Yang. 2020. Choosing to Avoid? A Conjoint Experimental Study to Understand Selective Exposure and Avoidance on Social Media. Political Communication.

Scharkow, M., F. Mangold, S. Stier og J. Breuer. 2020. How social network sites and other online intermediaries increase exposure to news. Proceedings of the National Academy of Sciences 117(6): 2761-2763.

Yang, T., S. Majó-Vázquez, R. K. Nielsen og S. González-Bailón. 2020. Exposure to news grows less fragmented with an increase in mobile access. Proceedings of the National Academy of Sciences 117(46) 28678-28683.

Assorted links #2

31. Stanley Milgram and the uncertainty of evil
32. Electric Schlock: Did Stanley Milgram’s Famous Obedience Experiments Prove Anything?
33. LinkedIn’s Alternate Universe
34. Who Did J.K. Rowling Become?
35. The economics of Christmas trees
36. How To Understand Things
37. On The Exciting Subject Of Earwax And Unsupported Medical Arguments
38. The real David Attenborough
39. The UX of LEGO Interface Panels
40. 99 Good News Stories From 2020 You Probably Didn’t Hear About
41. Memos
42. The Observer Effect – Daniel Ek
43. The economics of vending machines

And here is a list with a few good Twitter threads:

44. Something I’ve learned while in law school is about the social construction of crime
45. In 40 tweets I will describe 40 powerful concepts for understanding the world
46. Here are 50 ideas that shape my worldview
47. Thread on creating your own CS degree online
48. Lessons from different fields
49. Bastion forts around the world
50. My top 12 favourite perceptual illusions
51. A meta-thread of some of my favourite Twitter threads

And some links to good video essays and clips on YouTube:

52. 4-2: The History of Super Mario Bros.’ Most Infamous Level
53. Exploring the Sonic Cocktail of Beastie Boys’ PAUL’S BOUTIQUE
54. Akira Kurosawa – Composing Movement
55. BOOKSTORES: How to Read More Books in the Golden Age of Content
56. How The Shawshank Redemption Humanizes Prisoners
57. Sexual Assault of Men Played for Laughs – Part 1 Male Perpetrators
58. Van Gogh’s Ugliest Masterpiece
59. The Art Of Sci-Fi Book Covers
60. This Is What a “Second-Person” Video Game Would Look Like

Previous posts: #1

Gode serier #2

I 2010 skrev jeg et indlæg med anbefalinger til gode serier. Det er interessant at se listen igen, især da der er serier, der ikke længere hører til på en liste over mine yndlingsserier. Med andre ord har mine præferencer ændret sig i løbet af det seneste årti. Ikke desto mindre har jeg ingen intentioner om at ændre listen. Hvad jeg vil gøre i stedet er blot at tilføje flere serier til listen.

Jeg har tilføjet en række serier til listen, så den nu sammenlagt tæller 30 serier. De er placeret alfabetisk i nedenstående liste, og nummer 17 er dermed ikke nødvendigvis hverken dårligere eller bedre end nummer 30. Jeg satser på at smide et par ekstra serier på listen om et årtis tid.

17. Atlanta (2016)
Atlanta, af auteuren Donald Glover, er en af de mest interessante serier, vi har set i løbet af de seneste fem år. Dette da serien er bedst (og intet mindre end fremragende) når den tager chancer og afviger fra den måde, hvorpå serier normalt fortæller en historie (i.e. det serielle format). Symptomatisk for de bedste afsnit er således, at de afviger radikalt for den samlede rammefortælling (i det omfang der er en sådanne) og stiller knivskarpt på en enkelt karakter, problematik eller idé. Dette har man set i talrige andre serier (blandt de bedre bør nævnes afsnit 3 af Horace and Pete, flere afsnit af Master of None og 9/11-afsnittet af Ramy), men det gøres bedst i Atlanta.

18. BoJack Horseman (2014)
Oprindeligt havde jeg Rick and Morty med på denne liste, men jeg må erkende, at den bedste animationsserie er BoJack Horseman, der slår førstnævnte med længder. BoJack Horseman beskæftiger sig med temaer, der står i skærende kontrast til de lyse farver og lette animationsstil, der præger seriens visuelle udtryk. Det er en serie der holder et djævelsk højt niveau og er på højde med de bedste sæsoner af andre animationsserier som South Park, The Simpsons og nævnte Rick and Morty (der desværre ikke har holdt et højt niveau).

19. Breaking Bad (2008)
Breaking Bad er en af de bedste TV-serier, og jeg har ikke set noget a la dette siden The Wire. Jeg anbefalede serien i et indlæg tilbage i 2013, og jeg mener afgjort at serien holder den dag i dag (jeg har genset den et par gange). Det skal nævnes, som jeg også har pointeret i et tidligere indlæg, at serien bliver bedre og bedre, jo længere ind i serien du kommer. Og den er klart bedre end Better Call Saul, som du nemt kan ignorere.

20. Chernobyl (2019)
Chernobyl er fra 2019 men er mere aktuel i 2020. På samme måde som COVID-19 er fra 2019 men er mere aktuel i 2020. Kort fortalt er Chernobyl et formidabelt eksempel på, hvordan politikeres løgne kan have katastrofale konsekvenser. Det er svært ikke at se denne serie i 2020 og tænke på, hvordan pandemien kunne have udspillet sig anderledes i en lang række lande (især i USA med Donald Trump), hvis politikerne ikke havde løjet omkring pandemiens omfang og alvor. Måske ville hundrede tusinde liv være reddet. Jeg kan desuden også anbefale bogen, som flere af seriens storylines er inspireret af.

21. Dekalog (1989)
Krzysztof Kieslowskis mesterværk Dekalog er en samling af ti mindre film, der er løst baseret på de ti bud. Hvis du har set nogle af de mere kendte film af samme instruktør, evt. farvetrilogien, og kan lide disse, er jeg overbevist om, at du også vil synes om de fleste (hvis ikke alle) afsnit af Dekalog, da det er meget samme stil og tematikker, der berøreres.

22. Fleabag (2016)
Phoebe Waller-Bridge har med Fleabag skabt en af de bedste britiske serier i nyere tid. Der er i skrivende stund to sæsoner (hvoraf sæson 2 klart er den bedste), og intet tyder på, at der vil komme flere afsnit. Dette passer mig perfekt, da serien er afrundet og formår at fortælle en sammenhængende historie i løbet af de relativt få afsnit. Min bekymring er, at en beskrivelse af tematikker og plot ikke vil gøre serien fyldest, så jeg vil nøjes med blot at give den en kæmpe anbefaling.

23. Freaks and Geeks (1999)
Freaks and Geeks fik desværre (eller heldigvis?) blot én sæson med 18 afsnit (og dermed seks afsnit mere end Fleabag. Den er indbegrebet af en god ungdomsserie fra 90erne (a la My So-Called Life). Den er let at se og alle afsnit holder et højt niveau. Persongalleriet tæller også flere skuespillere, der fik et gennembrud med denne serie (herunder blandt andre James Franco, Seth Rogen og Jason Segel).

24. Game of Thrones (2011)
Game of Thrones har været den absolut mest omtalte serie det seneste årti og var intet mindre end et globalt fænomen i de seneste sæsoner. Der er også tale om en af det seneste årtis bedste serier. En sidste dårlig sæson ændrer således ikke på, at der er tale om en formidabel serie. Faktisk er jeg af den overbevisning, at hvad der gjorde de tidligere sæsoner fantastiske var at sætte så høje forventninger, at det ville være en noget nær umulig opgave at give en tilfredsstillende slutning.

25. Mad Men (2007)
Mad Men er en af de serier jeg har højt på listen over serier, jeg gerne vil gense snart. Jeg har tiltro til, at den kun vil være bedre ved gensyn. Det er nu 13 år siden, at den havde premiere, og selvom der er stor forskel på, hvor meget jeg kan lide de respektive sæsoner af serien, er og bliver det spændende at følge Don Drapers liv og karriere.

26. Scener ur ett äktenskap (1973)
Scener ur ett äktenskap er, som mange andre ting Ingmar Bergman står bag, et mesterværk. Det er på tale at der skal laves en amerikansk remake, hvilket jeg har svært ved at forestille mig, at der kommer noget godt ud af. Det der gør serien god er netop, at det er svært at forestille sig en amerikansk remake.

27. Seinfeld (1989)
Seinfeld er den absolut bedste sit-com til dato – og jeg har vanskeligt ved at forestille mig, at nogen sit-com vil kunne overgå den. Jeg skrev et indlæg om serien tilbage i 2017, hvor jeg kommer nærmere ind på, hvorfor jeg kan anbefale den. Se desuden denne datavisualisering, der giver et fint overblik over flere aspekter af serien.

28. Succession (2018)
Jesse Armstrong, der også var inde over serien Veep, står bag Succession. Jeg var af den grund yderst skeptisk i forhold til, hvad jeg skulle forvente af denne serie (da jeg ikke brød mig om humoren i Veep). Der er flere ligheder mellem Succession og Veep, men hvor sidstnævnte ingenlunde formår at underholde, er Succession en af de bedste nyere komedieserier. Måske især fordi det er pakket ind i drama (hvilket også kan forklare, at den vandt en Emmy). Coronapandemien har som bekendt besværliggjort en tredje sæson, men den bliver forhåbentlig ventetiden værd.

29. The Sopranos (1999)
Jeg skrev et indlæg om The Sopranos sidste år, hvorfor jeg ikke vil tilføje andet her end at den klart er værd at se hvad der med rette kan kaldes for The Godfather of TV.

30. The Wire (2002)
Dette er den bedste TV-serie nogensinde, bar none. Som jeg formulerede det tilbage i 2011: “The Wire er raffineret drama af den højeste kvalitet. Jeg kan kun håbe, at fremtidige serier vil lade sig inspirere af The Wire. I skrivende stund kan jeg ikke forestille mig nogen anden serie der kommer i nærheden af at slå The Wire.” Dette har ikke ændret sig i løbet af de seneste ni år. Serien formår stadig med sin narrative kompleksitet at skildre narkokriminalitetsbekæmpelse fra et sociologisk-politologisk perspektiv med fokus på indbyrdes forbundne institutioner centreret om fagbevægelsen, (lokal)politik, uddannelsessystemet og medierne.

New article in Journal of European Social Policy: Personal politics

I have a new paper titled ‘Personal politics? Health care policies, personal experiences and government attitudes’ in the new issue of Journal of European Social Policy. Here is the abstract:

Do personal experiences matter for public attitudes towards the role of the government? In the domain of healthcare, I argue that policies change the salience of personal experiences for government attitudes. Specifically, I expect that personal experiences matter less for government attitudes when healthcare is publicly financed, that is, when there is less emphasis on financing healthcare via market-based choices. Empirically, I link subjective and objective personal experiences from the International Social Survey Programme to macro-level policy indicators. The analysis provides strong support for the expectation and contributes to a growing body of literature interested in the underpinnings of government attitudes in a comparative perspective.

The manuscript aims to explore why there is substantial variation in the relationship between people’s personal experiences and their government attitudes, as illustrated below.

The key finding is that when healthcare is publicly financed, people will rely less on their own personal experiences. You can find the article here. As always, you can find the replication material at the Harvard Dataverse and GitHub.

This is the fourth published article from my PhD. I also believe it is going to be the last.

Hvorfor skal meningsmålinger være så præcise? #2

Forud for folketingsvalget i 2019 anbefalede jeg medierne, at fokusere mere på den statistiske usikkerhed i meningsmålingerne. Jeg fremhævede i den forbindelse at den statistiske usikkerhed er vigtig i mediedækningen: “Fordi den pointerer den væsentlige kendsgerning, at vi ikke arbejder med præcise tal. Vi arbejder med estimater. Personligt er jeg mindre opmærksom på, om den statistiske usikkerhed er 2,5 procentpoint eller 3 procentpoint for et parti. Det vigtigste er, at man erkender, at der er en statistisk usikkerhed, og dermed også en sandsynlighed for, at man tager fejl.”

Journalister, kommentatorer og eksperter er dog fortsat glade for præcision og undlader ofte at nævne den statistiske usikkerhed, når opbakningen til forskellige partier skal formidles. Tag dette eksempel, som jeg stødte på forleden. Her står der, at de Konservative har vundet ”95.433 nye vælgere”. Hvorfor ikke 95.432 eller 95.434 nye vælgere? Det giver absolut ingen mening at formidle tal med en sådan præcision. Tværtimod gør det blot usikkerheden mindre synlig. Det ville være betydeligt bedre hvis man havde sagt omkring 95 tusinde vælgere og givet den statistiske usikkerhed for dette estimat.

I mit forrige indlæg legede jeg med tanken om, at medierne kunne præsentere den statistiske usikkerhed mere dynamisk. Eksempelvis ved at fokusere mere på det interval inden for hvilket, opbakningen højst sandsynligt lå end et tal for, hvor stor opbakningen er. Med andre ord: at fokusere mere på usikkerheden end selve estimatet.

Den statistiske usikkerhed bliver som regel repræsenteret med ét tal (eller ét tal for hvert parti). Denne usikkerhed er som regel udregnet med et 95% konfidensinterval in mente. Det er dog ingen naturlov, at den statistiske usikkerhed skal være på 95%, og det kunne lige så godt være 90% eller 99%. Her er mit beskedne forslag: I stedet for blot at fokusere én statistisk usikkerhed, kunne man formidle to eller tre. Der er intet særligt ved dette og man ser det ofte gjort i videnskabelige artikler – eksempelvis når man vurderer om noget er signifikant på forskellige niveauer eller med både 90% og 95% konfidensintervaller.

Dette vil især egne sig godt til en visuel formidling, hvis man kan vise et estimat med den statistiske usikkerhed som en fleksibel størrelse. Et bud er således at give både 95% og 90% konfidensintervaller. Her er et visuelt eksempel med den seneste meningsmåling fra Voxmeter:

Opbakningen til Socialdemokratiet i den seneste Voxmeter-måling er 31,2%. Den statistiske usikkerhed er +/- 2,8% med et 95% konfidensinterval og +/- 2,4% med et 90% konfidensinterval. Denne forskel er ikke stor, men det er heller ikke det afgørende. Det vigtige er at få det vist, at den statistiske usikkerhed også kan variere (og dermed også blot er et estimat). Jo mindre vi går op i præcision (ofte for den statistiske usikkerhed), desto bedre kan vi forstå nogle af de begrænsninger, der altid vil være forbundet med meningsmålinger.

Som jeg skrev i et indlæg forrige uge, er meningsmålingerne overordnet betragtet meget præcise i en dansk kontekst, men når de tager fejl, har de det med at tage kollektivt fejl. Ved at fokusere på at den statistiske usikkerhed ikke er én størrelse, kan man forhåbentlig nuancere borgernes opfattelse af, at meningsmålingerne nogle gange kan tage fejl. Så slipper vi også for at skulle have diskussioner om, hvorvidt meningsmålingerne overhovedet kan bruges til noget, når de tager fejl.

Dertil er det også vigtigt at huske på, at vi antager at estimaterne i en meningsmåling er uafhængige af hinanden, men når vi tager fejl med ét parti, tager vi som regel også fejl med andre partier. Den statistiske usikkerhed for et parti burde derfor være uafhængig af den statistiske usikkerhed for et andet parti, men dette er noget der ikke holder i praksis. Der er med andre ord mange udfordringer forbundet med at udtale sig omkring usikkerheden i en meningsmåling. Og igen, jo mindre vi fokuserer på ét præcist estimat for hvert parti, desto nemmere vil det være at formidle sådanne begrænsninger, antagelser m.v.

Meningsmålinger er ikke præcise. Jeg ved godt at faste læsere vil være bekendt med denne pointe, men mit håb er at nogle journalister eller andre vil give sig i kast med at undersøge, hvordan man bedst kan formidle den statistiske usikkerhed i meningsmålingerne med udgangspunkt i ovenstående og tidligere nævnte pointer. Vil der være gode eksempler herpå i fremtiden, skal jeg nok skrive et indlæg herom.

My most played songs in 2020

According to Spotify:

  1. Everything You Do Is A Balloon by Boards of Canada
  2. U.D.I.G. (UNITED DEFENDERS OF INTERNATIONAL GOODWILL) by R.A.P. Ferreira
  3. Weight of the Word* by MIKE
  4. I Follow Rivers – The Magician Remix by Lykke Li, The Magician
  5. Kom Ind by Loke Deph
  6. Needle In The Hay by Elliott Smith
  7. Quicksilver by Roger Eno, Brian Eno
  8. DNA. by Kendrick Lamar
  9. Bed För Mig by Avner
  10. Seigfried by Frank Ocean
  11. NUN WITH A MOTHERF*&*ING GUN by Trent Reznor and Atticus Ross
  12. HUMBLE. by Kendrick Lamar
  13. Burn the Witch by Radiohead
  14. Contact High by Killah Priest
  15. Plus tôt by Alexandra Streliski
  16. I Want You To Love Me by Fiona Apple
  17. DUCKWORTH. by Kendrick Lamar
  18. Faith by Against All Logic
  19. Ghost by The Acid
  20. 7th Seal by Freestyle Fellowship
  21. King Kunta by Kendrick Lamar
  22. Desert Sand by Roger Eno, Brian Eno
  23. Changing Winds by Alexandra Streliski
  24. Burden by Aminé
  25. GOT REAL by JOYRYDE, Mika Means
  26. The One by Hemlock Ernst, Kenny Segal
  27. You Are Invited by Dismemberment Plan
  28. Purple Noise by Boris Brejcha
  29. Dreams – 2004 Remaster by Fleetwood Mac
  30. These Walls by Kendrick Lamar, Bilal, Anna Wise, Thundercat
  31. The Serpent (In Quicksilver) by Harold Budd
  32. Bitter Cassava by Armand Hammer, Pink Siifu
  33. We Played Some Open Chords and Rejoiced, for the Earth Had Circled the Sun Yet Another Year by A Winged Victory for the Sullen
  34. Tumbling Lights by The Acid
  35. Cut by Low
  36. How Much A Dollar Cost by Kendrick Lamar, James Fauntleroy, Ronald Isley
  37. Miles Davis by Blu & Exile, Blu, Exile
  38. 4th Dimension by KIDS SEE GHOSTS, Louis Prima
  39. 1969 by Boards of Canada
  40. LVL by A$AP Rocky
  41. WHOLE WORLD (feat. Maxo) by Earl Sweatshirt, Maxo
  42. DOLDRUMS by R.A.P. Ferreira
  43. Undskyld Vi Er Her by Pede B, J.A.N., Cab, Don Jay, Mik L
  44. Ambre by Nils Frahm
  45. WATCH OVER THIS BOY by Trent Reznor and Atticus Ross
  46. letuleave.[geekdop] by Knxwledge
  47. I Wish – Radio Edit by Skee-Lo
  48. Say the Name by clipping.
  49. calles feat. tuamie by Wun Two
  50. Universal Soldier by Jay Electronica
  51. Down by Hemlock Ernst, Kenny Segal
  52. SICKO MODE by Travis Scott
  53. Lives by Modest Mouse
  54. Stoned Again by King Krule
  55. Andrea Davis by Killah Priest
  56. Messy by Hemlock Ernst, Kenny Segal
  57. Try Again by Ovrkast.
  58. OBJECTS IN MIRROR (ARE CLOSER THAN THEY APPEAR) by Trent Reznor and Atticus Ross
  59. To Cure A Weakling Child by Aphex Twin
  60. Vor Frelser by Loke Deph, Esben
  61. I Am A God by Kanye West
  62. I’LL WAIT by Trent Reznor and Atticus Ross
  63. Udknast by Jøden, Lau
  64. The Ballad Of Howie Bling by Daniel Lopatin
  65. Hey Now – Arty Remix by London Grammar, ARTY
  66. Kaos i Härnösand – Axel Boman Remix by Avner, Axel Boman
  67. Euphoria by Boris Brejcha
  68. In the Coupe (feat. Jim Jones) by Curren$y, Harry Fraud, Jim Jones
  69. I Familiens Skød by Strøm
  70. Uanset hvad I siger by Clemens
  71. Stranger Than Fiction by Moses Boyd
  72. One More Year by Tame Impala
  73. Toba Tek Singh by Riz Ahmed
  74. Play Dead by Aesop Rock
  75. Rhapsody In Blue by George Gershwin, Benjamin Grosvenor, Royal Liverpool Philharmonic Orchestra, James Judd
  76. Судно (Борис Рижий) by Molchat Doma
  77. Any Day by Riz Ahmed, Jay Sean
  78. Black Habits I (feat. Jackie Gouché) by D Smoke, Jackie Gouche
  79. Offloading by Curren$y, Harry Fraud
  80. I Can See by Mac Miller
  81. LEAVING HELL by R.A.P. Ferreira
  82. LV ASCOT by CJ Fly, Statik Selektah
  83. Shawn vs. Flair by Westside Gunn
  84. Exorcist by Onoe Caponoe, Miles Dare
  85. …DE BATARD by Laylow, Wit.
  86. Down With the King by Run–D.M.C.
  87. Black Panda by Koi Child
  88. THE BRICK by Trent Reznor and Atticus Ross
  89. Plastic by Pind, Benjamin Hav
  90. 10 Points by Nas
  91. Fuck The World (Summer in London) by Brent Faiyaz
  92. Paydirt by Marlowe, L’Orange, Solemn Brigham
  93. Musse by Benjamin Hav
  94. Truman Sleeps by Philip Glass, Burkhard Dallwitz
  95. Biografi & Testamente by Dan Turèll & Halfdan E
  96. Ingenue by Atoms For Peace
  97. Chase the Spirit by The Koreatown Oddity, Jimetta Rose
  98. Excursions by A Tribe Called Quest
  99. Remind Me – Nujabes Tribute by Side Effekt
  100. Min Blok by Marwan

Previous years: 2019, 2018, 2017

Er meningsmålingerne i Danmark præcise?

Meningsmålingerne har (igen) fået en masse opmærksomhed i forbindelse med det amerikanske præsidentvalg. Ramte de forkert? Kan vi stole på dem? Hvad kan de egentlig bruges til? I de danske medier er meningsmålingerne ved det amerikanske præsidentvalg blevet diskuteret eksempelvis her og her. Jeg takkede pænt nej til de journalister, der gerne ville have et par kommentarer med på vejen, da jeg ikke har fulgt tilstrækkeligt med i dækningen (modsat de eksperter, der har udtalt sig kvalificeret og nøgternt) – og jeg planlægger at skrive et indlæg om meningsmålingerne og præsidentvalget ved en senere lejlighed, når støvet har lagt sig.

Én ting jeg dog finder relevant at pointere her, er, at der er enormt stor forskel på at foretage meningsmålinger i Danmark og USA. Med andre ord vil jeg argumentere for, at selvom der er mulighed for at drage paralleller mellem udfordringerne forbundet med at foretage og dække meningsmålinger i Danmark og USA, skal vi være påpasselige med ikke at fokusere for meget på det amerikanske præsidentvalg, når vi skal sige noget om, hvad meningsmålingerne kan i en dansk kontekst. Med andre ord savner jeg, at når de danske medier diskuterer meningsmålingerne i USA, at man fremhæver, at det er begrænset, hvad man kan bruge disse diskussioner til i en dansk kontekst.

Det er nemt at se store forskelle på tværs af Danmark og USA, der kan have implikationer for, hvor nemt (eller svært) det er at foretage meningsmålinger. Eksempelvis er valgsystemerne fundamentalt forskellige (hvilket gør det nemmere at foretage meningsmålinger i Danmark) og valgdeltagelsen er stabil på tværs af sociodemografiske grupper og generelt højere i Danmark (hvilket også gør det nemmere at foretage meningsmålinger i Danmark). Du kan ikke foretage én meningsmåling i USA, der vil give et bud på, hvem der bliver den næste præsident. En meningsmåling kan med andre ord ikke sige at sandsynligheden for at kandidat X bliver præsident er Y%. Når vi alligevel hører disse udsagn er det på baggrund af statistiske modeller, der estimerer hvilken kandidat der står til at vinde forskellige delstater (og de dertilhørende valgmænd).

Meningsmålinger foretages i USA derfor ikke kun nationalt men også på delstatsniveau, hvor kvaliteten mildest sagt er meget svingende (især i de stater, hvor incitamentet til at lave mange meningsmålinger, eksempelvis fordi udfaldet er sikkert, er begrænset). Det er en kæmpe fordel i en dansk sammenhæng at analyseinstitutterne kan foretage en national meningsmåling, der vil afspejle valgresultatet godt, og er fri for at skulle lave meningsmålinger, der er repræsentative for eksempelvis lige præcis Nordjylland og Bornholm.

Det er som sagt derfor begrænset, hvor meget vi kan bruge de amerikanske diskussioner til at sige noget om meningsmålingernes kvalitet i Danmark. Og jeg vil pointere, at meningsmålingerne er ret præcise i Danmark. Men hvor præcise er de?

I et arbejdspapir, der bærer titlen “Public Election Polls are 95% Confident but only 60% Accurate“, viser et par amerikanske forskere, at selvom den statistiske sandsylighed i meningsmålingerne i USA er 95%, rammer de kun rigtigt 60% af gangene. Det vil sige, at kun 60% af gangene er estimatet inden for de 95% af den statistiske sandsynlighed. Har du en interesse i meningsmålingsfejl i forbindelse med amerikanske præsidentvalg, kan jeg varmt anbefale den nye bog Lost in a Gallup: Polling Failure in U.S. Presidential Elections, der giver en detaljeret gennemgang af fejl i meningsmålingerne fra 1936 til 2016.

Til at belyse hvor præcise meningsmålingerne er i en dansk sammenhæng, kigger jeg på meningsmålingerne fra den sidste uge op til de tre seneste folketingsvalg (2011, 2015 og 2019). Det giver sammenlagt 811 estimater. Jeg finder det unfair for meningsmålingerne at forvente, at de skal være præcise, når vi går længere væk fra valget, da meningsmålingerne ganske enkelt ikke forsøger at forudsige hvem der vinder valget – men hvem der ville vinde, hvis der var valg den dag, meningsmålingen er foretaget. (Jeg bryder mig af samme grund ikke om den formulering, der lyder, at meningsmålingerne bliver mere præcise, jo tættere vi kommer på valgdagen.)

I 88% af tilfældene ramte meningsmålingerne ved de tre seneste folketingsvalg partierne korrekt. Det er mindre end 95% af gangene, men ikke desto mindre tyder det på, at meningsmålingerne rammer rigtigt 9 ud af 10 gange. Det må siges at være meget godt. Dette kan føre til en diskussion om, hvorvidt man skulle bruge 90% konfidensintervaller i stedet for 95% konfidensintervaller, hvilket dog blot ville føre til, at man tager fejl endnu oftere. Nedenstående figur viser hvor præcise de forskellige analyseinstittutter var ved de tre folketingsvalg.

Det mest præcise analyseinstitut, når man kigger på hvor mange partier de ramte rigtigt, var Greens i 2015 (94%). Det mindst præcise analyseinstitut var også Greens – i 2019 (70%). Kun YouGov i 2011 og Greens i 2019 er under 80%, hvilket tyder på at de fleste analyseintitutter som minimum rammer fire ud af fem partier rigtigt, når den statistiske usikkerhed er 95%.

Ovenstående figur skjuler dog det faktum, at analyseinstitutterne rammer de fleste partier meget præcist i de fleste tilfælde, men har problemer med enkelte partier ved enkelte valg, som eksempelvis Dansk Folkeparti i 2015 og Venstre i 2019, hvor under 25% af meningsmålingerne havde partiernes endelige valgresultat inden for den statistiske usikkerhed på 95% i løbet af valgkampens sidste uge.

I 15 ud af 27 tilfælde – når vi kigger på partiene (vist i ovenstående figur) – ramte alle meningsmålinger korrekt (altså 100%). 21 ud af 27 partier blev ramt rigtigt i omkring eller mere end 95% af gangene.

Hvad vi kan se er, at meningsmålingerne ikke rammer rigtigt i 95% af tilfældende, og når de ikke gør, har meningsmålingerne det med kollektivt at tage fejl. Dette så vi især i 2015, hvor der var talrige diskussioner om, hvorvidt vi overhovedet skulle og kunne stole på meningsmålingerne. Faktum er dog at meningsmålingerne i Danmark generelt rammer præcist, men at dette ikke er det samme som, at der ikke kan være udfordringer i forhold til at ramme alle partier præcist.

Meningsmålingerne er mere præcise i Danmark end i USA, og det er det vigtigt at huske på – især når diskussionen omkring meningsmålingernes anvendelighed i disse uger primært sker i forlængelse af og forbindelse med det amerikanske præsidentvalg.

Fem ud af fem meningsmålingshistorier var forkerte

Den 22. oktober kunne TV 2 præsentere en ny Megafon-måling med rubrikken: ”Radikale Venstre er halveret siden valget – næsten dødt løb mellem blokkene”.

Meningsmålingen viste store forandringer i det politiske landskab og fik ikke overraskende meget opmærksomhed blandt politiske kommentatorer og andre plattenslagere. Søs Marie Serup kaldte det en vild måling med følgende beskrivelse: “Målingen pegede på en halvering af Det Radikale Venstre, et tilbageslag til Socialdemokratiet, at Nye Borgerlige var dobbelt så store som Dansk Folkeparti og et nærmest dødt løb mellem blokkene.” Henrik Qvortrup kaldte det ligeledes helt vildt.

Kristian Madsen fremhævede, at der er (mindst) fem historier i meningsmålingen: 1) en halvering af Radikale, 2) Nye Borgerlige er dobbelt så store som DF, 3) minus 6 procentpoint til Venstre, 4) Socialdemokratiet er solidt tilbage under 30 procent og 5) dødt løb mellem rød og blå blok.

Der er flere gode grunde til at være skeptisk over for disse fem historier. Jeg tror ganske enkelt ikke på, at der er evidens for så meget som én af de historier, Kristian Madsen fremhæver. Husk på Twymans lov, der om noget gælder, når det handler om meningsmålinger: Jo mere interessant noget data er, desto større er sandsynligheden for, at der er tale om en fejl.

Megafon har en notorisk dårlig track record, når det kommer til ekstreme enkeltmålinger. I 2016 viste de, at Socialdemokratiet mistede halvdelen af deres vælgere (hvilket der ikke var belæg for i andre målinger – inklusiv deres efterfølgende målinger). Lignende ekstreme Megafon-historier har der været med de Konservative (i 2017), Dansk Folkeparti (i 2017), Socialdemokratiet (i 2018) og Radikale (i 2018). Derfor tillader jeg mig at være ekstra skeptisk hver gang, der er en ny vild Megafon-måling. Modsat de politiske kommentatorer, der har en lidt kortere hukommelse.

Jeg har derfor også ventet med at skrive dette indlæg, til vi havde endnu en Megafon-måling i hus, blot for at se, om der var tale om nogle historier, der kunne være korrekte. Kigger man på den seneste måling fra Megafon (eller alle meningsmålinger fra andre analyseinstitutter), er der dog intet der tyder på, at historierne holder vand. De Radikale er på magisk vis ikke længere halveret, Nye Borgerlige er ikke dobbelt så store som DF, Socialdemokratiet er på 30% og der er ikke længere dødt løb mellem rød og blå blok – eller som det beskrives i artiklen: “I oktober var blå og rød blok næsten lige, men med den seneste måling er vi stort set tilbage ved det vante billede for denne valgperiode.” Tilbage? Vi har aldrig været væk fra det vante billede.

Den eneste historie man med lidt god vilje kan sige ikke er direkte forkert, er historien om en tilbagegang på 6 procentpoint til Venstre. Men kigger man på de seneste Megafon-målinger har Venstre ikke rykket sig. Der er således tale om en tilbagegang siden valget i 2019, hvorfor der ikke er noget nyt ved den pågældende Megafon-måling. De vilde historier udebliver – og det er misvisende at sige, at der har været en stor ændring i målingerne, når det kommer til Venstres opbakning i løbet af de seneste måneder.

Jo vildere en meningsmåling er, desto mindre skal du stole på den. Og når én historie i en meningsmåling ikke holder, bør du også forvente, at andre vilde historier ikke holder. Én ulykke kommer sjældent alene.

“This letter closes the question”

Here is the beginning of an abstract from a recent study published in the American Political Science Review:

Larger protests are more likely to lead to policy changes than small ones are, but whether or not attendance estimates provided in news or generated from social media are biased is an open question. This letter closes the question: news and geolocated social media data generate accurate estimates of protest size variation.

I disagree from the bottom of my heart. The question is not closed. I don’t understand why researchers need to mislead in the abstract in order to make the research stand out.

Let me make a guess. It’s because the editor, reviewers and authors all know that this can be one of the studies people will cite uncritically (when they use unreliable or reliable protest size data). “We thank Reviewer 1 for paying attention to this issue. We have consulted the literature and we now provide a reference to a study showing that social media data accurately measure protest size variation“. I mean, it makes sense if you read the title of the paper: “News and Geolocated Social Media Accurately Measure Protest Size Variation”. My prediction is that we will see a lot of research where news and social media data will be used to measure protest size with no further validation (beyond a reference to this study).

Is that a problem? The research is strong and I have no reason to be concerned with the quality of the work (I also admire the work of some of the researchers mentioned in the ‘Acknowledgement’, so I assume it’s good). I believe there is a problem, however, in how researchers try to sell their findings as closing a debate that has merely started.

The study in question looks at one salient protest type (Women’s March protest) in one country (the US). The (peaceful) Women’s March protest is not necessarily representative for most protests we see around the world (or representative for the sociodemographic composition of protest participants in general) – and the researchers know that. Actually, they are explicit about this towards the end of the paper: “Since this paper’s validation has only been tested on one event, the scope to which it holds remains to be tested. The results probably hold in other wealthy democracies, though for now that claim remains an assumption.” Why not add that to the abstract? Seriously. “The results probably hold in other wealthy democracies, though for now that claim remains an assumption”.

If that claim remains an assumption, why then close the question in the abstract? I am tired of how researchers are pandering to the intellectual laziness of their colleagues. Why not be honest and just say that the study adds evidence to the matter? And why do I bother writing a blog post about a single paragraph in a paper? Because I believe we should care about how we communicate research findings – and in particular what can be learned from a single study.

25 interesting facts #5

101. Claude Monet’s late works were the result of cataracts and not conscious experimentation with a more expressionistic style (Gruener 2015)

102. There are about ~40,000 virus species in mammals, including ~10,000 viruses with zoonotic potential (Carlson et al. 2019)

103. People mispredict the time course of their own creativity (Lucas and Nordgren 2020)

104. Attractive individuals are more likely to identify as conservative (Peterson and Palmer 2017)

105. Political leaders who experienced economic hardship in their youth increase social welfare spending when in power (Han and Han 2020)

106. Digital technology explains less than 0.4% of the variation in well-being among adolescents (Orben and Przybylski 2019)

107. Exposure to elite discourse about fake news leads to less accurate identification of real news (Van Duyn and Collier 2019)

108. The arrival of children creates a long-run gender gap in earnings (Kleven et al. 2019)

109. Proximity to fast food has significant deleterious effects on children’s weight outcomes (Han et al. 2020)

110. Conservatives are more likely to express concern about climate change when framed as a national security issue (Motta et al. 2020)

111. Access to an uncensored internet does not induce people to acquire politically sensitive information (Chen and Yang 2019)

112. Voluntary environmental action induces positive reactions among citizens towards individual firms (Kolcava et al. 2020)

113. More films with US presidents are released during Democratic administrations than during Republican administrations (Uscinski 2009)

114. There is no effect of oxytocin on trusting behaviour (Declerck et al. 2020)

115. Lacking household sanitation is associated with women’s risk of non-partner sexual violence (Jadhav et al. 2016)

116. Voters evaluate female party leaders more positively than male party leaders (Bridgewater and Nagel 2020)

117. Bronze medalists tend to be happier than silver medalists (Husted et al. 1995; Hedgcock et al. 2020)

118. Blood alcohol concentration predicts utilitarian responses in moral dilemmas (Duke and Bègue 2015)

119. Adoption of copyrights within Italy increased the number and the quality of operas (Giorcelli and Moser 2020)

120. When consuming Coca Cola and Pepsi, people are influenced more by the label than the actual taste (Woolfolk et al. 1983)

121. In Spain, the more foreign players in the club winning, the more favourable the views of immigrants in the club’s region (Lago and Lago-Peñas 2020)

122. The presence of African American soldiers in the U.K. during World War II reduced anti-minority prejudice (Schindler and Westcott 2020)

123. In New York and London, individuals in high-income occupations are concentrating in the city centre (van Ham et al. 2020)

124. In speed dating, male selectivity is invariant to group size, while female selectivity is strongly increasing in group size (Fisman et al. 2006)

125. People who are unaware of the price do not derive more enjoyment from more expensive wine (Goldstein et al. 2008)