Erik Gahner Larsen

Skal medierne formidle metodiske informationer i dækningen af meningsmålinger?

Nyhedsartikler med meningsmålinger fortæller ofte historier, der har rod i tilfældig støj, laver absurde fortolkninger på baggrund af misvisende spørgsmålsformuleringer, “glemmer” at informere om hvem der har betalt for meningsmålingerne og så videre.

Derfor har jeg argumenteret tidligt og silde for, at medierne skal informere om metodiske aspekter, da disse er altafgørende for at kunne vurdere, hvor god dækningen af en meningsmåling er. Hvis metodiske informationer udebliver, er vi med andre ord ikke i stand til at kunne vurdere kvaliteten af en meningsmåling.

I 2011 besluttede jeg mig for, sammen med en god ven, at indsamle en masse artikler i medierne og undersøge, hvor gode medierne var til at informere om metodiske aspekter. Motivationen for dette var en begrænset systematisk viden herom i en dansk sammenhæng, men også en frustration over mediernes – i vores optik – mangelfulde dækning af metodiske informationer.

På baggrund af tidligere studier valgte vi at fokusere på bestemte aspekter, herunder om spørgsmålsformuleringens ordlyd, stikprøvestørrelsen og den statistiske usikkerhed blev formidlet. Resultaterne bekræftede overordnet betragtet vores forventninger og blev publiceret i Tidsskriftet Politik.

Til trods for at jeg i de fleste sammenhænge finder metodiske informationer relevante, er jeg ikke ukritisk tilhænger af blot at formidle så mange metodiske informationer som muligt. I dette indlæg vil jeg derfor gøre hvad jeg kan for at mindske relevansen af vores føromtalte studie. Eller som minimum komme ind på nogle af de forbehold, det er vigtige at holde sig for øje.

For det første er der begrænset plads i nyhedsartikler. AAPOR opererer eksempelvis med +10 metodiske informationer, der bør formidles, og der vil være tilfælde, hvor pladsen ikke tillader formidlingen af så mange informationer. Pladsbegrænsninger er en mindre bekymring når det handler om netartikler, men man skal ikke desto mindre være bevidst om, at der ganske enkelt er naturlige begrænsninger på, hvor lange historier der kan skrives om meningsmålinger.

For det andet er alle metodiske informationer ikke lige relevante. Hvad der kan være relevant i én sammenhæng kan i andre sammenhænge være tilnærmelsesvist ligegyldigt. Hvis der eksempelvis er tale om en meningsmåling omkring partivalg, er den eksakte ordlyd på spørgsmålet som regel ikke afgørende, hvor ordlyden i en meningsmåling omkring holdningen til et bestemt politisk emne er yderst relevant – og i mange tilfælde afgørende for, hvilke svar man får.

For det tredje kan formidlingen af mange metodiske informationer føre til at læseren husker mindre fra en meningsmålingsartikel. Derfor kan det give mening at anbefale journalister ikke at bestræbe sig på at formidle et tocifret antal af metodiske informationer, men i stedet at skulle forholde sig til, hvilke metodiske informationer der er relevante i den pågældende sammenhæng.

For det fjerde er det ikke selvskrevet, at metodiske informationer hjælper læserne med at forstå meningsmålinger. Det er således muligt, at en læser kan huske hvad den statistiske usikkerhed er i en meningsmåling, men dette betyder ikke, at vedkommende forstår hvad den statistiske usikkerhed helt præcist er for en størrelse og hvordan den skal tolkes. Derfor kan metodiske informationer ofte ikke stå alene. Nogle informationer kan være nødvendige, men de er sjældent tilstrækkelige.

For det femte er der andre elementer, der påvirker hvordan læserne tolker meningsmålingernes troværdighed. Vi skal dermed ikke forholde os til metodiske informationer isoleret set. Et amerikansk studie viser således, at borgerne er mere tilbøjelige til at finde en meningsmåling pålidelig, hvis den harmonerer med egne politiske overbevisninger, og det at formidle metodiske informationer gør hverken fra eller til i forhold til dette. Gevinsterne ved at formidle metodiske informationer er dermed sandsynligvis mindre end vi har antaget.

Alt dette fører til, at formidlingen af metodiske informationer ikke kan stå alene. Det er vigtigere at fokusere på, om de narrativer journalisterne laver, er konsistente med meningsmålingerne, der formidles, end at tælle hvor mange metodiske aspekter, der formidles. Der kan således være tilfælde, hvor 2-3 metodiske informationer er alt, der er brug for, og ekstra informationer tilføjes på bekostning af andre informationer og læserens oplevelse.

Da vi lavede vores undersøgelse i 2011 fandt vi talrige eksempler på nyheder, hvor der var en eksplicit diskrepans mellem de metodiske aspekter og selve artiklen. Eksempel 1: “Alle forskydninger ligger dog inden for målingens statistiske usikkerhed på 2,8 procent.” Eksempel 2: “Men selvom S går frem fra 25 pct. af stemmerne i går til 26,5 i dagens måling, så skal man bemærke, at bevægelsen ligger indenfor den statistiske usikkerhed, som stikprøveundersøgelsen bevæger sig indenfor.” Eksempel 3: “Bevægelserne er inden for den statistiske usikkerhed.”

I de tilfælde blev den statistiske usikkerhed nævnt, men det var ikke en god dækning. Vi kan derfor gå nok så meget op i, hvor mange metodiske informationer, der formidles, men hvis vi i sidste instans ikke har en dækning, der tager dem seriøst, har vi langt større problemer. Dette er elementer Yosef Bhatti og Rasmus Tue Pedersens tager op i deres undersøgelse af formidlingen af meningsmålinger i relation til den statistiske usikkerhed.

Min opfattelse er, at journalister i de fleste tilfælde ikke er kvalificerede til at vurdere, hvilke informationer der er relevante. Derfor er det ofte tilfældigt, om metodiske informationer formidles – og i så fald hvilke. Som tommelfingerregel bør medierne formidle metodiske informationer, men flere informationer er ikke altid bedre, og i værste fald fjerner det fokus fra, hvilke metodiske informationer der er vigtige samt hvordan de bruges.

Smittede kommunalvalget af på partiernes opbakning?

I forlængelse af kommunalvalget har der været flere artikler om, at kommunalvalget har smittet af på partiernes nationale opbakning. Vi har således set historier som Kommunalvalgssejr smitter af på Mette Frederiksen, Dansk Folkepartis lokale lussing giver ekko på landsplan og Dansk Folkeparti taber terræn – S i medvind.

Fælles for disse artikler er, at de alle tager udgangspunkt i enkeltmålinger (de to førstnævnte bygger begge på tal fra Megafon). Derfor besluttede jeg mig for, at kigge nærmere på målingerne fra institutterne, hvor vi har en måling både før og efter kommunalvalget. Dette har vi fra fem institutter: Greens, Epinion, Gallup, Voxmeter og Megafon.

Figur 1 viser forskellen i opbakningen til de respektive partier hos de forskellige institutter før og efter kommunalvalget. På x-aksen vises forskellen mellem kommunalvalget i år (KV17) og sidste kommunalvalg (KV13). På y-aksen vises forskellen mellem målingen fra før kommunalvalget og efter kommunalvalget (hvor positive værdier indikerer fremgang).

Figur 1: Opbakning før og efter kommunalvalget

Hvad kan vi sige på baggrund af disse tal? Det mest iøjnefaldende er, at de fleste udsving er små og ikke statistisk signifikante fra den ene måling til den næste. Der er enkeltmålinger, der giver en stor fremgang til Socialdemokraterne, men her skal man bemærke følgende forbehold: Greens’ før-måling er fra begyndelsen af oktober (næsten to måneder før kommunalvalget), og den anden er fra Megafon.

I det store hele er der ikke de store tegn på, at kommunalvalget førte til store ændringer i partiernes nationale opbakning fra én måling til den næste. De fleste ændringer er små og fortjener blot, at man tager den statistiske usikkerhed in mente. Dette er selvfølgelig ikke det samme som, at kommunalvalget (og dækningen heraf) ikke kan have betydning på længere sigt, men man skal være meget varsom med at konkludere, at kommunalvalget har smittet af på partiernes landspolitiske opbakning.

My most played songs in 2017

According to Spotify:

    1. Love Is Real by Moods
    2. Midnight In A Perfect World by DJ Shadow
    3. Couple Bars by Homeboy Sandman
    4. Pray Everyday (Survivor’s Guilt) by GoldLink
    5. Battle Royale – Haters Instrumental VIP by Apashe
    6. Sweeter Than Sweet (featuring Alice Carreri) by Lulu Rouge
    7. Pick up Sticks by The Dave Brubeck Quartet
    8. Six Days by DJ Shadow
    9. Like Spinning Plates by Radiohead
    10. Time Lapse In This City by Cosiner & Capital
    11. Some Girl by GoldLink, Steve Lacy
    12. Still Beating by Mac Demarco
    13. Hands on the Wheel (feat. Asap Rocky) by ScHoolboy Q, A$AP Rocky
    14. Tell Me What I Don’t Know by Danny Brown
    15. Animal by Miike Snow
    16. It Ain’t Necessarily So by Mary Lou Williams
    17. Aquemini by OutKast
    18. Odessa by Caribou
    19. Everything In Its Right Place by Radiohead
    20. Anne Linnet by Loke Deph
    21. Not Really by Homeboy Sandman
    22. Thieves In The Night by Black Star
    23. Communicate (feat. Ravyn Lenae) by Mick Jenkins, Ravyn Lenae
    24. Angel Duster by Run The Jewels
    25. Cool Story Bro by People Under The Stairs
    26. Same Clothes As Yesterday by GoldLink, Ciscero
    27. Knee-Deep in the North Sea by Portico Quartet
    28. Norf Norf by Vince Staples
    29. Piano Concerto No.1 In E Minor, Op.11: 3. Rondo (Vivace) by Frédéric Chopin, Seong-Jin Cho, London Symphony Orchestra, Gianandrea Noseda
    30. Souvenir by Milo, Hemlock Ernst
    31. Be Like You by Linden Jay
    32. Ride Home? by Cosiner & Capital
    33. II. shadows by Childish Gambino
    34. The Coffee Song by Frank Sinatra
    35. The Sideshow (feat. Ernie Fresh) by DJ Shadow, Ernie Fresh
    36. Chocolate by Big Boi, Troze
    37. You And Whose Army? by Radiohead
    38. Daisuke by El Huervo
    39. Little Acorns by The White Stripes
    40. Jazz by Mick Jenkins
    41. Namely You by Benny Golson Sextet
    42. Lord Have Mercy by ScHoolboy Q
    43. Tuesday (feat. Danelle Sandoval) by Burak Yeter, Danelle Sandoval
    44. Yet Another by Milo, Lorde Fredd33, YCP Beno, Signor Benedick the Moor
    45. Getlive by baaskaT
    46. Young And Dumb by Rangleklods
    47. Harmonisch Serie by Max Cooper
    48. Chasing by Cosiner & Capital
    49. All this I do for glory by Colin Stetson
    50. On the Level by Mac Demarco
    51. Hydrogen by M|O|O|N
    52. Wallflower by Agnes Obel
    53. Groovy Tony / Eddie Kane by ScHoolboy Q, Jadakiss
    54. Sevenhouses by Deeb
    55. Mama Said Knock You Out – Hot Mix – Long by LL Cool J, Bobby “Bobcat” Ervin
    56. Akaido by Gorila
    57. Grown Up by Danny Brown
    58. Solis Occasum by Gyvus
    59. Worlds to Run by Busdriver, Milo, Anderson .Paak
    60. Nobody Speak (feat. Run the Jewels) by DJ Shadow, Run The Jewels
    61. CoCo – Coucheron Remix by O.T. Genasis, Coucheron
    62. If I Had You by Lee Konitz
    63. So Will Be Now… feat. Pional by John Talabot, Pional
    64. Building Steam With A Grain Of Salt by DJ Shadow
    65. Rings Of Saturn by Nick Cave & The Bad Seeds
    66. THat Part by ScHoolboy Q, Kanye West
    67. Gold Nova by baaskaT
    68. Mask Off by Future
    69. Du Er Min Datter by Shit & Chalou
    70. Mystic Brew by Ronnie Foster
    71. Next Levels by King Geedorah
    72. This Old Dog by Mac Demarco
    73. All Caps by Madvillain
    74. Aloha by Møme, Merryn Jeann
    75. Changeling by DJ Shadow
    76. Lost U by Rangleklods
    77. The Chair Upstairs by Julian Winding
    78. C.R.E.A.M. by Wu-Tang Clan
    79. Suzanne by Leonard Cohen
    80. Karma Police by Radiohead
    81. Get Got by Death Grips
    82. The World Is Yours by Nas
    83. Prokofiev: Romeo and Juliet, Op. 64, Act 1: No. 13, Dance of the Knights (Complete Ballet) by Sergei Prokofiev, André Previn, London Symphony Orchestra
    84. Helium by Loke Deph
    85. Chum by Earl Sweatshirt
    86. Love Can Be… by Vince Staples
    87. Casimir Pulaski Day by Sufjan Stevens
    88. Boulevarden by Ukendt Kunstner
    89. Nakkesved by Binær, Trepac, Mund de Carlo
    90. Beluga (feat. Esben) by Loke Deph, Esben
    91. Begin The Beguine – Alternate Take by Art Pepper
    92. V. 3005 by Childish Gambino
    93. A Little Soul by Pete Rock
    94. Let It Happen – Soulwax Remix by Tame Impala, Soulwax
    95. Concerning the UFO sighting near Highland, Illinois by Sufjan Stevens
    96. No Eyes (Radio Edit) by Claptone, JAW
    97. All The Things You Are by Dizzy Gillespie
    98. Salad Days by Mac Demarco
    99. This Night Has Opened My Eyes – 2011 Remastered Version by The Smiths
    100. winter in rio by Wun Two

Meningsmålinger og kommunalvalg

Én af de nationale tendenser, der er blevet fremhævet i kølvandet på kommunalvalget, er at Dansk Folkeparti ikke fik en national fremgang. Ikke nok med at den store fremgang udeblev: partiet gik tilbage. Dette kan der skrives mange politiske analyser om, men der har endnu ikke været nogen overbevisende af slagsen.

Det hele handler som altid om meningsmålinger, og det relevante spørgsmål er, hvad vi så kan konkludere om disse på baggrund af kommunalvalgkampen. Jeg vil argumentere for to ting i dette indlæg. For det første at journalisterne fortjener ros for en dækning, der formåede at balancere det lokale med det nationale uden at fokusere på meningsmålinger. For det andet at vi undgik en krise ved ikke at dække de analyser, der blev lavet med udgangspunkt i nationale meningsmålinger, mere end tilfældet var.

Udgangspunktet er, at det er pokkers besværligt at lave undersøgelser, der kan belyse tendenser som Dansk Folkeparti. Vi har ganske enkelt ikke de fornødne data. Derfor forfalder vi oftest til nationale meningsmålinger. Helt galt gik det som bekendt i 2013, da DR fejlagtigt kårede Socialdemokraterne til kommunalvalgets store taber på baggrund af den famøse exitprognose fra Epinion.

Der er ingen tvivl omkring, at mediernes dækning af kommunalvalget skal ses i skyggen af kommunalvalget i 2013. DR var eksempelvis ude i begyndelsen af oktober og proklamere, at de ikke ville skrive om meningsmålinger i forbindelse med kommunalvalgkampen. Denne beslutning blev rost af Kasper Møller Hansen: “Det lyder som en erkendelse af, at kommunalvalget består af 98 forskellige valg, og at man selvfølgelig ikke har mulighed for at lave meningsmålinger af tilstrækkelig høj kvalitet i hver eneste kommune”.

Det er så netop også, hvad vi har set i 2017. En ydmyghed og erkendelse af, at der er tale om 98 forskellige valg. Det er sjældent, at jeg roser journalister for deres arbejde, men i denne sammenhæng er det min klare vurdering, at det er på sin plads at rose journalisternes dækning af kommunalvalget. Det har overordnet været en sober og nuanceret valgdækning, hvor der har været plads til interviews med lokalpolitikere, nationale politikere, borgere, eksperter, kommentatorer osv. Selvfølgelig har der været artikler og indslag, der kan kritiseres, men det har i overvejende grad været en god valgkampsdækning.

Der har dog været nogle historier, der har været mindre attråværdige. I København, en kommune der har de fleste mediers bevågenhed, blev der foretaget nogle meningsmålinger af diskutabel karakter. Martin Justesen har skrevet om disse for Journalisten, og han kommer med fem gode grunde til, at man skal være ekstra varsom med meningsmålinger til kommunalvalg. Artiklen er hermed anbefalet.

Der blev også gjort forsøg på at anvende de nationale meningsmålinger til at forudsige, hvordan det ville gå partierne lokalt. Mest omtale fik de såkaldte valgvindsprognoser, der tager udgangspunkt i ændringen i de nationale partiers opbakning og bruger disse til at forudsige ændringen i partiernes opbakning på lokalt niveau. Altinget kunne derfor skrive: “Den største fremgang henter Dansk Folkeparti, der både er gået meget frem i de landspolitiske meningsmålinger og samtidig er et parti, hvor forskerne forventer, at effekten smitter direkte af.”

I modellen blev det forudset, at Dansk Folkeparti ville gå frem i alle 98 kommuner. I ikke så meget som én kommune ville partiet få et dårligere valg end i 2013. Figuren der bedst illustrerede dette kan ses her:

Som bekendt blev Danmark ikke urinfarvet ved kommunalvalget, og der har som nævnt ovenfor været nogle analyser omkring hvorfor (se her og her). Det interessante for mig at se er dog, hvor grueligt galt det kunne have gået, hvis et institut havde lavet en prognose à la Epinions i 2013 og kommet frem til en så stor fremgang til Dansk Folkeparti som nævnte model forudså.

Kommunalvalget 2017 er dermed ikke kendetegnet ved en god dækning på trods af fraværet af meningsmålinger, men på grund af dette fravær. Forsimplede analyser, der heldigvis ikke fik den store medieopmærksomhed, ville kunne have ændret fundamentalt på dette med fejlslagne konklusioner om, hvordan det ville gå især Dansk Folkeparti.

Meningsmålinger er et ubegribeligt fantastisk værktøj, men vi skal være ekstra påpasselige med at bruge nationale meningsmålinger til at sige noget om fænomener, de ikke er lavet med henblik på at kunne sige noget om – eksempelvis hvordan det vil gå partierne lokalt. Hvis vi ikke gør det, gør vi det blot endnu sværere at overbevise folk om, at de rent faktisk har en værdi (hvilket de har).

Potpourri: Statistics #41

Indlæg i Journalisten: En problematisk populær metode i journalistikforskningen

I anledning af at det snart er uge 46, har Kim Andersen og undertegnede et indlæg i Fagbladet Journalisten omkring netop uge 46 som metode i journalistikforskningen. Indlægget kan også findes online her.

Anker Brink Lund, professor ved Copenhagen Business School, giver en kommentar til vores indlæg, der også er at finde nederst på siden. Han indvender at vores alternative forslag, der er at findes i vores artikel, egner sig bedst til kvantitative analyser – og uge 46 er at anbefale, hvis man gerne vil ‘dybere ned i den journalistiske substans’.

For det første argumenteres der for, at uge 46 giver mulighed for at undersøge, hvordan ‘forudsigelige begivenheder’ dækkes i medierne hvert år. Dette er ikke decideret forkert, men det problematiske er blandt andet, at vi ikke kan tage højde for uforudsigelige begivenheder (som terrorangrebet i Paris i 2015). Udfordringen er, at når man taler om en normal, gennemsnitlig nyhedsuge, giver man udtryk for, at man tager højde for forudsigelige og uforudsigelige begivenheder, hvilket man ingenlunde gør. Derfor kan og bør man ikke tage udgangspunkt i uge 46 som en normal nyhedsuge.

For det andet fremhæves det, at metoden især kan anvendes til ‘dertil knyttede case-studier’, det være sig eksempelvis finanslovsforhandlingerne. I disse tilfælde har jeg dog vanskeligt ved at se, hvad der helt præcist er fordelen ved at bruge uge 46, hvis man gerne vil dybere ned i, hvordan finanslovsforhandlinger dækkes. Hvis man således har et specifikt casestudie, vil det alt andet lige være bedre først at undersøge, hvornår casen dækkes og ikke lade sig begrænse til én arbitrær uge. Med andre retorisk spørgende ord: Hvorfor skal man afgrænse sig til uge 46, hvis man har ambitioner om at komme dybere ned i den journalistiske substans?

Metoden – i det omfang vi bør omtale det som en egentlig metode – egner sig derfor hverken godt til statistiske analyser eller dybdegående casestudier. Uge 46 som metode placerer sig kort fortalt mellem to stole, hvor de metodiske problemer langt overstiger eventuelle fordele.

Introduktion til R

Tilbage i sommeren 2016 stablede jeg en endagsworkshop på benene for de af mine studerende, der gerne ville lære at bruge R. Da det er begrænset, hvor meget man kan lære i R over nogle timer en sommerdag i juni, valgte jeg at skrive en lille guide til de studerende, som de kunne tage brug af efter forgodtbefindende.

Denne udgave har været tilgængelig i nogen tid, men jeg har nu lavet en opdateret version. Den er stadig under udarbejdelse, så der er masser af ting, der mangler og skal tilføjes senere. Ikke desto mindre er der nu tale om en udgave, der kan være behjælpelig med at lære R (især hvis man allerede har kendskab til programmer som SPSS og Stata).

Guiden kan findes online såvel som PDF og EPUB. Har du idéer, forslag eller kommentarer modtages disse med kyshånd.

A dataset with political datasets

I am working on an overview of political datasets (as usual, old news for the people following me on Twitter). My aim is to collect as many datasets as possible of relevance to political science students and researchers. You can find the dataset here (in different file formats).

The dataset has datasets related to cabinets, parliaments, public opinion, constitutions, political institutions, parties, politicians, democracy, governance, economics, elections, international relations, news media, policy indicators, political elites and more.

There is a few points to keep in mind. First, the dataset has over 150 datasets but it is still work in progress and I need to collect relevant info for all datasets. Second, in line with the principles of open science, the overview, while not limited to, is overrepresented by datasets freely available online.

If you have any suggestions, feedback or comments, feel free to contact me or create an issue in the repository.