Får størstedelen af amerikanerne deres nyheder fra Facebook og Twitter?

Politiken kunne her den anden dag berette, at størstedelen af amerikanerne får deres nyheder fra Facebook og Twitter. Mere specifikt så rubrik og underrubrik i artiklen ud som følger:

Jeg læste artiklen og kunne se, at der ikke var tale om en repræsentativ undersøgelse, men kun en analyse af de amerikanere, der bruger sociale medier. Journalisten blev informeret herom og svarede tilbage, at: ”En rubrik kan aldrig være helt dækkende. Derfor har man underrubrik og artikel”. Da jeg senere læste artiklen igen, var underrubrikken ændret og så ud som følger:

Point til journalisten for at gøre underrubrikken mindre misvisende. Lad os kigge nærmere på, hvad der ellers skrives om den amerikanske undersøgelse: ”En ny undersøgelse fra den amerikanske tænketank Pew Research Center viser, at hele 63 procent af de amerikanske brugere af sociale medier melder, at de får deres nyheder fra sociale medier. Og den andel er stigende. På to år er tallet steget med henholdsvis 11 og 16 procentpoint for Twitter og Facebook. Men hvad betyder det, at vi alle sammen mere eller mindre får kurateret vores verdensbillede via de sociale medier og dem vi følger – i stedet for en papir-, net-, tv- eller radioavis hvor der sidder en journalistisk redaktion og prioriterer og vægter verdens nyheder for os?”

Undersøgelsen kan findes her. Efter at have kigget nærmere på undersøgelsen er der som minimum tre aspekter ved ovenstående, der er værd at kommentere på. For det første er det vigtigt at huske på, som antydet ovenfor, at 63 procent af de amerikanske brugere af sociale medier ikke er det samme som 63 procent af den amerikanske befolkning.

For det andet konkluderer artiklen, at brugere af sociale medier har valgt de traditionelle medier fra. Dette er der dog ikke belæg for, men blot at undersøgelsen finder, at “clear majorities of Twitter (63%) and Facebook users (63%) now say each platform serves as a source for news about events and issues outside the realm of friends and family”. Med andre ord: Det er ikke undersøgt, om de amerikanske brugere i mindre grad følger traditionelle medier. Tværtimod er der tal i rapporten der viser, at brugerne nok ikke valgt mere traditionelle medier fra til fordel for de sociale medier, eller som følgende tabel i rapporten viser (side 13):

Til tabellen skrives der: “Both Twitter and Facebook serve as important sources of news for some users, but only a small core consider them a top source of news”. Det er svært at finde en empirisk overensstemmelse med formidlingen af undersøgelsen i Politiken, når journalisten skriver, at brugere af de sociale medier har valgt disse medier “i stedet for en papir-, net-, tv- eller radioavis”.

For det tredje er det forsimplet at tale om forholdet mellem traditionelle og sociale medier på en måde, hvor brugerne fravælger traditionelle medier til fordel for sociale medier. I langt de fleste tilfælde kan det tænkes, at det brugerne finder på facebook og twitter, er henvisninger til de traditionelle medier, og i mange tilfælde at det er ved at følge et traditionelt medie på et af de sociale medier. Eksempelvis har Politiken omkring 165 tusinde følgere på facebook, der synes godt om deres side.

Det stopper dog ikke her. Journalisten refererer til endnu en rapport, der viser, ”at 47 procent af danskerne finder deres nyheder via de sociale medier. Udviklingen går hurtigt, men danskerne er indtil videre mere trofaste overfor traditionelle nyhedsmedier end amerikanerne”. Omtalte undersøgelse er Reuters Digital News Report 2015, og kan findes her. Forskellen mellem denne undersøgelse og Pew Research Center er, at nærværende undersøgelse er repræsentativ for borgere i en lang række lande, der har adgang til internettet (herunder også USA). Som ved rapporten fra Pew Research Center er det dog heller ikke her muligt at konkludere, at brugere af sociale medier i højere grad vælger traditionelle medier fra.

Spørgsmålet som et repræsentativt udsnit af borgere i 12 lande er blevet spurgt, er: ”Which, if any, of the following have you used in the last week as a source of news? Please select all that apply.” Her har de adspurgte så – blandt andre muligheder – kunne vælge sociale medier. De 47 procent, som der refereres til i artiklen hos Politiken, er at finde på side 53 i rapporten (de røde søjler er tallene fra 2015, de blå fra 2014):

Det sjove ved denne figur er, at tallene fra USA også er at finde her, og de viser to ting: 1) ikke engang størstedelen af amerikanerne anvender de sociale medier som en kilde til nyheder og 2) flere danskere anvender sociale medier som en kilde til nyheder end amerikanere. Vi kan derfor konkludere, at ikke alene er rubrikken på artiklen hos Politiken lodret forkert, men der er intet belæg for, at danskerne er mere trofaste end amerikanerne.

Sociale medier betyder mere og mere i takt med at flere bruger dem, og de genererer trafik til de traditionelle mediers hjemmesider, og det er vigtigt at diskutere implikationerne for de traditionelle medier. Når man vælger at formidle og diskutere disse spørgsmål på baggrund af flere rapporter, er det dog vigtigt, at man har styr på, hvad rapporterne helt præcist kan fortælle os (og ikke fortælle os).

Potpourri: Statistik #23

How Can I Get Started Using R?
Is withholding your data simply bad science, or should it fall under scientific misconduct?
Data poverty makes it harder to fix real poverty. That’s why the UN should push countries to gather and share data.
Capital in the 21st Century in R
A Statistical Analysis of the LearnedLeague Trivia Competition
Data science done well looks easy – and that is a big problem for data scientists
Danish General Election Results 1953-2015

Vi ved ikke hvad der gik galt med analyseinstitutternes vurdering af Dansk Folkepartis vælgeropbakning

Et af de store spørgsmål i forlængelse af det seneste folketingsvalg har været, hvad der gik galt med analyseinstitutternes vurdering af Dansk Folkepartis opbakning blandt vælgerne (se eksempelvis her, her, her, her, her, her, her, her, her, her, her og her). Det korte af det lange er, at vi ikke er blevet klogere på, hvad der er sket, og det er desværre tvivlsomt, at vi bliver klogere på dette spørgsmål.

Hvad er historien bag Dansk Folkepartis vælgeropbakning i valgperioden 2011 til 2015? Historien om Dansk Folkeparti kan koges ned til følgende: Noget nær ren fremgang frem til perioden før valget, hvor vi ser et fald i kølvandet på terrorangrebet den 14. februar i år. Tilbagegangen blev blandt andet udlagt af de politiske kommentatorer således, at vælgerne havde fået nok af den hårde terror-retorik, og der var ganske enkelt ikke flere stemmer at vinde på den dagsorden. Nedenstående figur viser opbakningen til Dansk Folkeparti i den nu afsluttede valgperiode.

Den stiplede linje viser Dansk Folkepartis opbakning ved folketingsvalget 2015. Det er selvfølgelig vigtigt at huske på, at der ikke er noget der taler for, at Dansk Folkeparti fik den opbakning på nogen anden dag end valgdagen, hvorfor den blot skal vise, hvor meningsmålingerne gerne burde ligge på valgdagen (+/- den statistiske usikkerhed). Det er tydeligt, at langt de fleste meningsmålinger ikke ramte Dansk Folkepartis valgresultat i den periode, hvor de gerne burde have gjort det.

Der kan være to forklaringer herpå: Tilfældige fejl og systematiske fejl. Førstnævnte er meget usandsynligt og kan ikke forklare, at langt de fleste meningsmålinger systematisk undervurderede Dansk Folkeparti. Hvad angår systematiske fejl har analyseinstitutterne især fremhævet det aspekt, at respondenterne kan have løjet om deres partivalg. Dette er muligt, men det er også sandsynligt, at analyseinstitutterne selv kan have truffet fejlagtige beslutninger. Det er vigtigt at huske på, at vi ikke har nogen idé om, hvad analyseinstitutterne kan finde på at gøre med deres data, før de bliver offentliggjort. Vi ved eksempelvis at Megafon vejer respondenternes svar i meningsmålingerne efter dagsordenen i medierne. Vi kan også sandsynliggøre, at analyseinstitutterne er bevidste omkring, hvordan andre analyseinstitutter vurderer vælgeropbakningen for de respektive partier. Dette er forhold der meget nemt kan resultere i skævheder.

Der er grund til bekymring, når analyseinstitutterne ikke er mere åbne omkring den slags procedurer. Især når der ikke er noget, der taler for, at de vil informere om, hvad og hvor det med al sandsynlighed gik galt. Flere analyseinstitutter meldte ud, at de nu skulle kigge nærmere på, hvad der var gået galt. Siden da har vi intet hørt, og intet tyder på, at der kommer noget som helst fra institutterne. Dette er især mærkværdigt, når vi ser de første meningsmålinger foretaget efter valget, hvor Dansk Folkeparti – som forventet – ligger meget tæt på valgresultatet. Hvordan er institutterne kommet frem til de tal? Har de taget valgresultatet og vejet det efter hvordan nogle respondenter har svaret i en meningsmåling? Hvis analyseinstitutterne havde en oprigtig interesse i at gøre os klogere på, hvad der var gået galt, ville de formidle, hvordan de nu kommer frem til en opbakning til Dansk Folkeparti, der til forveksling ligner valgresultatet.

Ovenstående figur viser meningsmålingerne fra i år. Det er især Gallup og Voxmeter, der er interessante, da de begge har gennemført en meningsmåling efter valget. I begge tilfælde ser vi en betydelig forandring i opbakningen til Dansk Folkeparti. I Gallups tilfælde ser det sågar ud til at være en tilbagevenden til den opbakning, man gav partiet før valgkampen. Hvordan, Gallup? Hvad har I gjort?

Det triste ved alt dette er, at tilliden til meningsmålingernes validitet falder, når institutterne ikke er mere transparente omkring deres metoder. I værste fald ender vi i en situation, hvor politiske kommentatorer sidder i Deadline og konkluderer, at hvis de havde opholdt sig mere i Jylland under valgkampen, ville de kunne have forudset Dansk Folkepartis reelle opbakning bedre end meningsmålingerne (læs: David Trads). Vi ved ikke, hvad der gik galt, og det ville klæde analyseinstitutterne at spille med åbne kort omkring, hvad de har gjort og hvad de vil gøre.

Er uligheden i danskernes lykke blevet større?

I Politiken kunne man den anden dag læse, at uligheden i danskernes lykke er blevet større. Mere konkret kan man læse, at en “ny undersøgelse fra Institut for Lykkeforskning viser, at mens uligheden i lykke mindskes i Europa generelt, så er den siden 2002 steget i Danmark. Uligheden i lykken er ifølge undersøgelsen således faldet med 3,4 procent for Europa som helhed i årene mellem 2002 og 2012, mens Danmark er det ene af tre lande, hvor uligheden på lykkebarometret er øget med 3,5 procent.”

Hos Berlingske drager man på baggrund af undersøgelsen den konklusion, at Finland nu er det lykkeligste land: “Kampen om at være de lykkeligste i Europa er benhård. Mens danskerne længe har tronet på toppen af lykkelisterne, har finnerne nu vippet os af pinden, i hvert fald ifølge en ny opgørelse over lykkeniveauet i europæiske lande. Her er det nemlig vores nordiske naboer i Finland, som løber med præmien som Europas lykkeligste. Det står at læse i rapporten »Happiness Equality Index – Europe 2015«, som i sidste uge blev udgivet af det danske Happiness Research Institute eller Institut for Lykkeforskning, som det kaldes her til lands.”

Rapporten er, som omtalt, udarbejdet af tænketanken Institut for Lykkeforskning og er at finde her. På baggrund af rapporten og dækningen af den, er der minimum tre spørgsmål, der er interessante at belyse. For det første: Er uligheden i danskernes lykke større nu end i 2002? For det andet: Er der tale om en udvikling over årene, hvor tendensen er, at uligheden i danskernes lykke stiger? For det tredje: Er Danmark ikke længere det mest lykkelige land?

Er uligheden i lykken større nu end i 2002?
Det omtalte Happiness Equality Index 2015 tager udgangspunkt i data fra den sjette runde af European Social Survey (ESS) fra 2012 (de danske svar er fra 2013). For at udregne (u)ligheden i danskernes og andre europæeres lykke, har man undersøgt hvor stor spredningen er i svarene i hvert land, altså standardafvigelsen, på en 11-punkts lykkevariabel, der går fra 0 til 10, hvor højere værdier indikerer mere lykke. Tallene fra dette indeks er formidlet på side 6 i rapporten:

På dette indeks har Danmark værdien 1,47. For at se om uligheden var større end i 2002 undersøger man forskellen mellem standardafvigelsen i 2002 og 2012, som vist på side 8 i rapporten:

I 2002 var standardafvigelsen i Danmark på 1,42. Forskellen mellem standardafvigelsen i 2002 og 2012 er ikke statistisk signifikant. End ikke tæt på1. Det giver derfor ikke mening at sige, at uligheden i danskernes lykke er steget.

Er der tale om en udvikling i ulighed?
I Politiken forklares det, at en ”del af forklaringen på, at Danmark har øget uligheden i forhold til følelsen af lykke, kan være den stigende økonomiske ulighed i Danmark, der ifølge blandt andre Danmarks Statistik er taget til i løbet af de seneste årtier. Det mener Meik Wiking, der er administrerende direktør for Institut for Lykkeforskning.”

Hvis der er tale om en udvikling, der er taget til over de seneste årtier, bør der om ikke andet i hvert fald være en tendens til, at uligheden stiger. Til trods for at der ikke er nogen forskel i lykken mellem 2002 og 2012, er det stadig interessant at inddrage de andre år (2002 eller 2012 kan eventuelt være en undtagelse på en ellers generel tendens). Nedenstående figur viser derfor standardafvigelserne for 2002, 2004, 2006, 2008, 2010 og 2012:

Der er intet, der taler for, at der er en udvikling i uligheden i danskernes lykke. Og der er slet intet der taler for, at denne ændring er resultatet af en årtier lang proces.

Er Danmark ikke længere det mest lykkelige land?
Som beskrevet ovenfor kan man i dækningen af rapporten hos Berlingske læse, at Danmark er blevet overhalet af Finland hvad angår de mest lykkelige indbyggere. Dette er dog decideret forkert. Det er ikke muligt at kigge på spredningen af en variabel og konkludere, at finnerne er mere lykkelige end danskerne. Danmark ligger således stadig på en førsteplads, hvis man kigger på det gennemsnitlige lykkeniveau i de respektive lande, der er med i sjette runde af ESS:

Som det kan ses, er gennemsnitsværdien højere i Danmark (DK) end i Finland (FI). I ovenstående undersøges det ikke, om der er signifikante forskelle mellem landene, men der er under alle omstændigheder ikke belæg for at konkludere, at Danmark er blevet overhalet af Finland.

For at opsummere, er der ikke empirisk belæg for at sige, 1) at uligheden i danskernes lykke er steget siden 2002, 2) at den er et systematisk produkt af øget af økonomisk ulighed samt 3) at Danmark ikke længere er det lykkeligste land. I hvert fald ikke med udgangspunkt i data fra ESS. Hvis man har interesse i at blive klogere på trivsel og lykke i et komparativt perspektiv med udgangspunkt i data fra ESS, kan man eventuelt begynde med at besøge Measuring and Reporting on Europeans’ Wellbeing: Findings from the European Social Survey.

  1. En simpel test for varianshomogenitet (Levene’s test) giver en p-værdi på 0,768, og dermed kan det ikke afvises, at variansen i de to runder er identisk.  []

Potpourri: Statistik #22

Power naps: When do within-subject comparisons help vs. hurt (yes, hurt) power?
Communicating Experimental Results with R
Two proposals for incentivizing data archiving
Graphical Data Analysis with R
Understanding the t-distribution and its normal approximation: an interactive visualization
Sluggish data sharing hampers reproducibility effort
Self Evaluation for Reproducible Science
Open Science and Reproducible Badges
Introduction to Open Science: Why data versioning and data care practices are key for science and social science

Blev meningsmålingerne valgets taber?

Flere steder kan man læse, at meningsmålingerne blev valgets store taber. Troels Mylenberg spørger således retorisk, om medierne mon kan kræve sine penge retur fra meningsmålingsinstitutterne. Det der især har overrasket folk er, at det angiveligt ikke blev så tæt et valg, som vi havde forventet. Blå blok fik som bekendt 52,3 procent af stemmerne, hvilket var betydeligt mere end 50 procent, og efter alle stemmerne var talt op, stod det fast, at 165.000 stemmer adskilte rød og blå blok. Ved folketingsvalget i 2011 var dette tal kun 8.000. Så meget for et tæt valg.

Kigger vi på hvordan den blå blok lå i meningsmålingerne ser vi dog, at meningsmålingerne slet ikke klarede det så dårligt. Nedenstående figur viser opbakningen til blå blok i løbet af valgkampen hos de seks mest aktive analyseinstitutter, hvor valgresultatet er markeret med en cirkel. Som det kan ses klarede de fleste analyseinstitutter sig ganske fint, når man tager højde for den statistiske usikkerhed.

Der er dog ingen analyseinstitutter, der skyder blå blok til at få flere stemmer, end de fik (men et par af institutterne gjorde for et par dage siden). Kigger vi nærmere på de enkelte partier i blå blok, kan vi da også se, at Dansk Folkeparti endte med et bedre valgresultat, end de fleste analyseinstitutter forventede. Nedenstående figur viser, at analyseinstitutterne undervurderede Dansk Folkepartis opbakning på valgdagen. Der kan være flere forklaringer på dette, men det skyldes nok især, at mange først giver udtryk for, at de stemmer på Dansk Folkeparti, når de står i stemmeboksen. Institutterne forsøger at tage højde for sådanne aspekter, men som det kan ses, er det ikke altid nemt.

For de andre partier i blå blok var der ingen nævneværdige overraskelser på valgdagen. Kigger vi eksempelvis nærmere på de Konservative, som nedenstående figur viser, ser vi, at de fleste institutter havde held med at ramme valgresultatet for det mindste parti i Folketinget. Statistisk er det også nemmere for institutterne at ramme rigtigt for et lille parti som de Konservative end for et større parti som Dansk Folkeparti.

Der er ingen tvivl omkring, at analyseinstitutterne selvfølgelig gerne ville have ramt endnu tættere på de 52,3 til blå blok, og dette især ved at have ramt bedre for Dansk Folkeparti. Når det er sagt må man dog bare konkludere, at det kunne være meget værre – og der er andre aspekter, der er mere aktuelle at diskutere i denne sammenhæng.

For det første er der tale om et problem, når medierne ikke gør mere ud af at nævne den statistiske usikkerhed ved målingerne. Når man glemmer usikkerheden i formidlingen af meningsmålingerne, er det klart, at selv 52 procent virker meget større end 50 procent, når det omregnes til mandater. Der er intet der taler for, at journalisterne vil blive bedre til dette foreløbigt, men det er stadig en vigtig pointe at nævne igen og igen. Så længe det ikke sker, må man selv være kritisk.

For det andet kan der være udfordringer forbundet med den måde hvorpå vi forholder os til vægtede snit og usikkerheden i de estimater, vi kommer med, når vi kombinerer flere meningsmålingers resultater. Vi har eksempelvis set påstande om, på baggrund af talrige målinger, at sandsynligheden for at rød blok fik flere end 85 mandater ved valget, var tæt på 100 procent (de fik som bekendt 85). Hvis samtlige analyseinstitutter estimerer et parti til systematisk at ligge lavere i meningsmålingerne end de burde, vil de vægtede snit reducere den statistiske usikkerhed, men også med den implikation, at det egentlige resultat for det pågældende parti ligger endnu længere væk fra konfidensintervallet i det vægtede snit. Det eneste vi har opnået er dermed en illusion af præcision, når de systematiske skævheder ikke er forsvundet.

For det tredje er der et indiskutabelt fravær af transparens i forhold til de metoder, der bruges til at underbygge påstande om, hvor stor vælgeropbakningen er til de enkelte partier. Dette gælder på alle stadier (fra analyseinstitutternes arbejde til de vægtede snit, man ser i medierne). Analyseinstitutterne har forretningshemmeligheder, hvorfor de ikke har nogen interesse i at fortælle om, hvad de gør for at ramme rigtigt. De vægtede snit kommer ligeledes sjældent med nærmere information om, hvordan de helt præcist er vægtet, hvilke målinger der er inkluderet og så videre. Dette gør det svært at forholde sig kritisk til resultaterne og vurdere validiteten af målingerne.

Det korte af det lange: Meningsmålingerne kunne have ramt bedre hvad angår Dansk Folkeparti, men det er forkert at sige, at meningsmålingerne har fejlet i nærværende valgkamp. Vi er langt fra engelske tilstande, og når man kigger nærmere på de fleste partiers opbakning ved valget og sammenholder det med de seneste målinger, ser det slet ikke så slemt ud. Meningsmålingerne blev med andre ord ikke valgets taber.

Kan meningsmålingerne have påvirket Venstres valg i 2011?

Hos Politiken kan man læse, at hvis “Venstre havde haft bedre meningsmålinger op til valget [i 2011], så havde Venstre også klaret sig bedre på valgdagen”. Med dette menes der ikke blot, at hvis Venstre havde haft en opbakning på 40 procent i meningsmålingerne, ville de også ligge tættere på 40 procent på valgdagen, men derimod at meningsmålingerne i sig selv kunne have haft en effekt på den offentlige opinion. Det vil sige, at gode meningsmålinger kunne have fået flere til at stemme på Venstre og dermed føre til endnu bedre målinger.

Mere specifikt fremhæver artiklen i Politiken, at analyseinstitutterne gav Venstre færre stemmer i løbet af valgkampen, end de endte med at få ved selve valget i 2011. Logikken er, at dette kan have kostet Lars Løkke Rasmussen statsministerposten. Der er dog mindst to grunde til, at jeg er skeptisk i forhold til, hvorvidt dette var tilfældet.

For det første er der ingen grund til at tro, at vælgerne fokuserer på den absolutte support til partierne, men, hvis overhovedet, fokuserer på forandringen i meningsmålingerne. Det vil sige at en stigning eller et fald i meningsmålingerne kan skabe en bandwagon effekt, hvor man forlader den synkende skude og hopper over på vinderholdet. Det er dog ikke dét, der argumenteres for, var tilfældet i 2011, men derimod at Venstre skiller sig “ud fra de andre partier ved gennem hele valgkampen at ligge meget lavere i meningsmålingerne end valgets endelige resultat”. Kigger man på opbakningen til Venstre i løbet af valgkampen 2011 finder man da også et meget stabilt mønster (med de velkendte tilfældige og systematiske skævheder fra måling til måling):

Jeg har svært ved at se forekomsten af betingelserne for, at meningsmålingerne kunne have resulteret i en bestemt type dækning af Venstres opbakning i meningsmålingerne, som så videre kunne have påvirket vælgerens partivalg.

For det andet er der ikke stærk evidens for, at meningsmålingerne har effekter på den offentlige opinion, selv når man fokuserer på den relative forandring (se eksempelvis her og her). Hvis meningsmålingsartiklerne i 2011 for Venstre viste, at de ikke flyttede sig i meningsmålingerne, vil det kontrafaktiske scenarie jf. det refererede studie hos Politiken, altså at de får flere stemmer, næppe generere nogen ændring i vælgeropbakningen til partiet. Var der derimod en meget stor fremgang i meningsmålingerne og det kontrafaktiske scenarie var en meget stor tilbagegang, kunne der måske være en forskel i opbakningen til partiet (jeg er ikke sikker på, hvordan man skal tolke en sådan kausal effekt). Dette synes dog ikke at være tilfældet eller aktuelt for Venstre i 2011.

I det store hele er jeg skeptisk i forhold til, hvor meget en artikel om opbakningen til et parti kan betyde for den videre opbakning til partiet. Dette af især fire grunde. For det første er effektstørrelserne i studiet af effekten af meningsmålingerne ikke store (og i forhold til de estimater, vi helt basalt er interesserede i, ikke-signifikante).

For det andet er der en høj grad af selvselektion. Dem der interesserer sig for politik vil være dem, der er mest tilbøjelige til at se en meningsmåling, og disse personer vil sandsynligvis være mindre påvirkelige end dem, der aldrig vil se en sådan artikel. Med andre ord er det dem der i forvejen har en stærk holdning til deres partivalg, som vil være mere nysgerrige efter at vide, hvordan det går med deres parti. Det er den samme logik der ligger til grund for, at jeg aldrig får nogen information om, hvordan det går OB i Superligaen.

For det tredje læser man ikke meningsmålingerne neutralt. Mange vælgere har stærke holdninger til partierne i forvejen som påvirker deres 1) tilbøjelighed til at læse bestemte typer af artikler og 2) måden hvorpå de læses og fortolkes. På samme måde som man ikke tager en valgtest eller ser en politisk debat uden forudindtagede holdninger til partierne, læser man ikke en meningsmåling uden et bestemt set af eksisterende holdninger til partierne. En meningsmåling vil derfor i mange tilfælde blot tiltrække mere opmærksomhed fra de personer, der i forvejen køber historien, der sælges. Socialdemokrater elsker meningsmålinger, hvor Socialdemokraterne går frem og det samme for de andre partier og dets vælgere.

For det fjerde skal man være meget påpasselig med, som artiklen hos Politiken også er, at generalisere effekterne i ét studie til virkelighedens verden. Kort fortalt er den økologiske og eksterne validitet i de eksperimentelle studier meget lille. Der findes eksempelvis ikke lignende eksempler på en sådan artikelopbygning, som der anvendes i det citerede studie, i den virkelige verdens mediedækning. Ligeledes er der i en valgkamp et informationsoverload og en tidsdimension der gør, at én artikel næppe vil have nogen effekt dage efter, når krydset sættes. Og sidst men ikke mindst er der ofte ikke tale om nogen reel forandring i en meningsmåling, som i studiet, men blot insignifikante forskelle som varierer på tværs af målinger og institutter (jf. ovenstående figur), der resulterer i vidt forskellige artikler i løbet af en valgkamp med både fremgang og tilbagegang for de fleste partier.

Derfor tvivler jeg blandt andet på, at meningsmålingerne kan have kostet Lars Løkke Rasmussen statsministerposten i 2011.

Den gode, den onde og den grusomme: Mediernes formidling af statistisk usikkerhed i meningsmålingerne

Den kyndige læser af meningsmålinger ved efterhånden alt om den statistiske usikkerhed i meningsmålingerne og ikke mindst vigtigheden af, at journalisterne formidler helt essentielle metodiske informationer. Dette er dog ikke ensbetydende med, at de respektive danske medier gør det. I dette indlæg kigger jeg nærmere på, hvordan de danske medier formår at formidle et af de vigtigste aspekter af meningsmålingerne: den statistiske usikkerhed.

Der er især to forhold, der er vigtige i denne sammenhæng. For det første at undersøge, om medierne formår at formidle den statistiske usikkerhed. For det andet at undersøge, om de formidler den korrekte statistiske usikkerhed. I forhold til sidstnævnte er det vigtigt at huske på, at usikkerheden for partierne i den samme meningsmåling varierer, alt efter partiets størrelse. De fleste artikler omhandlende meningsmålinger rapporterer dog oftest kun én usikkerhed, mere specifikt for det estimat med den største usikkerhed (altså usikkerheden for det estimat, der kommer tættest på 50%).

Det relevante ved meningsmålingerne i denne valgkamp er, at de alle omhandler styrkeforholdet mellem rød og blå blok. Jeg har ikke været i stand til at finde så meget som én artikel, der ikke kommenterer på opbakningen til henholdsvis rød og blå blok. Dette gør især det andet forhold ved den statistiske usikkerhed interessant. Det er ikke tilstrækkeligt, at disse artikler kun formidler usikkerheden for partierne, da den største usikkerhed er tilknyttet de to blokke. Nedenstående figur illustrerer dette ved at vise hvordan usikkerheden med et 95% konfidensinterval ændres som en funktion af partiets/blokkens størrelse (ved en stikprøvestørrelse på 1000, se her for matematikken bag):

På figuren har jeg angivet et parti, der har 25% af stemmerne (det kunne i disse dage være Socialdemokraterne), samt en blok, der får 50% af stemmerne. Hvis en artikel kun formidler den statistiske usikkerhed for partiet, men er interesseret i opbakningen på blokniveau, vil den rapporterede statistiske usikkerhed være misvisende svarende til afstanden mellem de to stiplede linjer.

For at kigge nærmere på, om medierne tager højde for dette i dækningen, gennemgik jeg en del af de artikler, der er tilgængelige online. Jeg kiggede især på de meningsmålinger fra medierne, der har et bestemt analyseinstitut tilknyttet deres dækning (da de med sikkerhed får den statistiske usikkerhed fra institutterne). Da Voxmeter leverer meningsmålinger til Ritzau, fandt jeg et par tilfældige artikler herfra, der var formidlet i medierne.

I min læsning af hver artikel undersøgte jeg 1) om den maksimale statistiske usikkerhed blev rapporteret, 2) hvad den maksimale statistiske usikkerhed var (altså egen udregning) og 3) vurderede om de to usikkerheder var identiske. Til min store overraskelse var det desværre ikke alle artikler, der formåede at levere noget så basalt som den statistiske usikkerhed.

Overordnet er der tre typer af dækning af den statistiske usikkerhed: Den gode, den onde og den grusomme. Den gode dækning formår at rapportere den statistiske usikkerhed og dette på en sådan måde, at alle rapporterede estimater har en maksimal usikkerhed, der stemmer overens med den rapporterede. Den onde dækning formår også at rapportere den statistiske usikkerhed, men nævner eksempelvis, at det blot er den maksimale usikkerhed for partierne, hvorefter forskellene mellem blokkene rapporteres. Den grusomme dækning nævner ikke usikkerheden med ét ord.

Det gode eksempel først: DR og Epinion. Lige så elendige DR og Epinion var på valgdagen under kommunalvalget i 2013 med deres exit prognose, lige så dygtige er de i deres formidling af den statistiske usikkerhed under denne valgkamp. I samtlige artikler på DR.dk, hvor Epinions målinger formidles, rapporteres den maksimale statistiske usikkerhed på blokniveau. Og for at dette ikke skulle være nok, er der i de fleste tilfælde også en henvisning til rapporten fra Epinion, hvor man kan læse meget mere om meningsmålingen. Det er fantastisk god formidling. Epinion har desuden flere respondenter med end normalt, hvilket gør, at selvom usikkerheden formidles for blokkene, er den stadig lav i forhold til, hvad man normalt ser for partierne.

Det onde eksempel: Jyllands-Posten og Wilke. Jyllands-Posten formår at formidle den statistiske usikkerhed og er eksplicit omkring, at det er for de største partier, men tolker også på forskellene mellem blokkene – og angiver den statistiske usikkerhed for partierne i figurerne hvor de viser forskellene mellem blokkene. Der er dog et tilfælde hvor de rent faktisk formidler usikkerheden på blokniveau, så jeg tror på, at de har kompetente journalister ansat, der har styr på den slags. Et par lignende tilfælde finder vi hos Politiken, der dog også har gode eksempler.

Det grusomme eksempel: TV2 og Megafon. Her formidles ingenting. Læserne af meningsmålingerne hos TV2 har kun mulighed for at vide, hvor stor den statistiske usikkerhed er, hvis de selv finder lommeregneren frem. Til gengæld får man Anders Langballe på autoplay, der fortæller om, hvor spændende alle målingerne er. Mette Østergaard, der nu er hos TV2 News, er desuden uvidende om kvaliteten af dækningen på TV2s hjemmeside, når hun siger, at TV2 gør meget ud af at beskrive den statistiske usikkerhed “udførligt på vores hjemmeside”.

Nedenfor har jeg samlet min læsning af artiklerne i tabelform. Første kolonne angiver mediet, der har formidlet målingen, samt en henvisning til selve artiklen. Anden kolonne angiver analyseinstituttet samt datoen for hvornår dataindsamlingen stoppede. Tredje kolonne den statistiske usikkerhed som rapporteret (hvis den er rapporteret). Fjerde kolonne den statistiske usikkerhed som kalkuleret (hvis der var tilstrækkelige informationer i artiklen til at kalkulere den). Femte kolonne om der er tale om en god ( ), ond ( ) eller grusom ( ) formidling af usikkerheden.

Medie Institut (dato) Maks. usikkerhed: Nævnt Maks. usikkerhed: Kalkuleret Vurdering
TV2 Megafon (27.5) 3,02
TV2 Megafon (30.5) 3,10
TV2 Megafon (31.5) 3,10
TV2 Megafon (1.6)
TV2 Megafon (2.6) 3,05
TV2 Megafon (3.6) 3,05
TV2 Voxmeter (29.5) 2,70 3,03
Politiken Megafon (29.5) 3,00 3,10
Politiken Megafon (30.5) 3,00 3,38
Politiken Megafon (1.6) 3,00 3,00
Politiken Megafon (2.6) 3,00 3,00
Politiko Gallup (27.5) 2,72
Politiko Gallup (27.5) 3,00 2,23
DR Epinion (27.5) 2,60 2,59
DR Epinion (28.5) 2,30 2,28
DR Epinion (30.5) 1,90 1,87
DR Epinion (1.6) 2,40 2,39
DR Epinion (2.6) 2,30 2,31
DR Epinion (3.6) 2,20 2,22
JP Wilke (29.5) 2,63 3,02
JP Wilke (30.5) 3,09 3,09
JP Wilke (31.5) 2,65 3,09
JP Wilke (1.6) 2,68 3,09
MX Voxmeter (27.5)
JP Voxmeter (27.5) 2,70 3,03

Som det kan ses er der både gode og dårlige eksempler. DR klarer sig uden tvivl bedst. Jyllands-Posten klarer sig godt, med plads til forbedringer. TV2 har Anders Langballe. Der er indikationer på, at nogle medier har en praksis der fungerer på den måde, at man først udregner den statistiske usikkerhed for partierne, hvorefter man tolker på opbakningen til blokkene, hvor den statistiske usikkerhed er større end for partierne. Opfordringen til journalisterne er simpel: Husk at formidle den statistiske usikkerhed – og rapporter den statistiske usikkerhed for blokkene, hvis opbakningen til disse er af interesse.

Udviklingen i antallet af meningsmålinger

Hvis du endnu ikke er kørt død i at læse om meningsmålinger, så har Politiken denne visualisering, der viser antallet af meningsmålinger over tid:

Jeg er medleverandør af data til visualiseringen (mere specifikt de nyere målinger). Jeg har intet kendskab til de ældre målinger, hvorfor jeg ikke kan sige noget om, hvor fyldestgørende disse data er. Der er dog ingen tvivl omkring, at antallet af meningsmålinger er steget betydeligt over tid.