Analyse i Politiken: Er analyseinstitutterne uden partifarve?

Under folketingsvalgkampen havde jeg en analyse i Politiken forfattet sammen med min gode kollega Zoltan Fazekas. Analysen havde den misvisende titel “Er analyseinstitutterne uden partifarve?” og kigger nærmere på, om de enkelte analyseinstitutter systematisk giver flere eller færre stemmer til de forskellige partier i meningsmålingerne vis-à-vis de andre analyseinstitutter. Den tekniske betegnelse for sådanne forskelle mellem analyseinstitutterne er “huseffekter”.

Som en bonusinfo kan det tilføjes, at analysen efterfølgende affødte en artikel (også hos Politiken), der gav læserne mulighed for at kigge nærmere på de enkelte tal for partierne i Folketinget:

Får størstedelen af amerikanerne deres nyheder fra Facebook og Twitter?

Politiken kunne her den anden dag berette, at størstedelen af amerikanerne får deres nyheder fra Facebook og Twitter. Mere specifikt så rubrik og underrubrik i artiklen ud som følger:

Jeg læste artiklen og kunne se, at der ikke var tale om en repræsentativ undersøgelse, men kun en analyse af de amerikanere, der bruger sociale medier. Journalisten blev informeret herom og svarede tilbage, at: ”En rubrik kan aldrig være helt dækkende. Derfor har man underrubrik og artikel”. Da jeg senere læste artiklen igen, var underrubrikken ændret og så ud som følger:

Point til journalisten for at gøre underrubrikken mindre misvisende. Lad os kigge nærmere på, hvad der ellers skrives om den amerikanske undersøgelse: ”En ny undersøgelse fra den amerikanske tænketank Pew Research Center viser, at hele 63 procent af de amerikanske brugere af sociale medier melder, at de får deres nyheder fra sociale medier. Og den andel er stigende. På to år er tallet steget med henholdsvis 11 og 16 procentpoint for Twitter og Facebook. Men hvad betyder det, at vi alle sammen mere eller mindre får kurateret vores verdensbillede via de sociale medier og dem vi følger – i stedet for en papir-, net-, tv- eller radioavis hvor der sidder en journalistisk redaktion og prioriterer og vægter verdens nyheder for os?”

Undersøgelsen kan findes her. Efter at have kigget nærmere på undersøgelsen er der som minimum tre aspekter ved ovenstående, der er værd at kommentere på. For det første er det vigtigt at huske på, som antydet ovenfor, at 63 procent af de amerikanske brugere af sociale medier ikke er det samme som 63 procent af den amerikanske befolkning.

For det andet konkluderer artiklen, at brugere af sociale medier har valgt de traditionelle medier fra. Dette er der dog ikke belæg for, men blot at undersøgelsen finder, at “clear majorities of Twitter (63%) and Facebook users (63%) now say each platform serves as a source for news about events and issues outside the realm of friends and family”. Med andre ord: Det er ikke undersøgt, om de amerikanske brugere i mindre grad følger traditionelle medier. Tværtimod er der tal i rapporten der viser, at brugerne nok ikke valgt mere traditionelle medier fra til fordel for de sociale medier, eller som følgende tabel i rapporten viser (side 13):

Til tabellen skrives der: “Both Twitter and Facebook serve as important sources of news for some users, but only a small core consider them a top source of news”. Det er svært at finde en empirisk overensstemmelse med formidlingen af undersøgelsen i Politiken, når journalisten skriver, at brugere af de sociale medier har valgt disse medier “i stedet for en papir-, net-, tv- eller radioavis”.

For det tredje er det forsimplet at tale om forholdet mellem traditionelle og sociale medier på en måde, hvor brugerne fravælger traditionelle medier til fordel for sociale medier. I langt de fleste tilfælde kan det tænkes, at det brugerne finder på facebook og twitter, er henvisninger til de traditionelle medier, og i mange tilfælde at det er ved at følge et traditionelt medie på et af de sociale medier. Eksempelvis har Politiken omkring 165 tusinde følgere på facebook, der synes godt om deres side.

Det stopper dog ikke her. Journalisten refererer til endnu en rapport, der viser, ”at 47 procent af danskerne finder deres nyheder via de sociale medier. Udviklingen går hurtigt, men danskerne er indtil videre mere trofaste overfor traditionelle nyhedsmedier end amerikanerne”. Omtalte undersøgelse er Reuters Digital News Report 2015, og kan findes her. Forskellen mellem denne undersøgelse og Pew Research Center er, at nærværende undersøgelse er repræsentativ for borgere i en lang række lande, der har adgang til internettet (herunder også USA). Som ved rapporten fra Pew Research Center er det dog heller ikke her muligt at konkludere, at brugere af sociale medier i højere grad vælger traditionelle medier fra.

Spørgsmålet som et repræsentativt udsnit af borgere i 12 lande er blevet spurgt, er: ”Which, if any, of the following have you used in the last week as a source of news? Please select all that apply.” Her har de adspurgte så – blandt andre muligheder – kunne vælge sociale medier. De 47 procent, som der refereres til i artiklen hos Politiken, er at finde på side 53 i rapporten (de røde søjler er tallene fra 2015, de blå fra 2014):

Det sjove ved denne figur er, at tallene fra USA også er at finde her, og de viser to ting: 1) ikke engang størstedelen af amerikanerne anvender de sociale medier som en kilde til nyheder og 2) flere danskere anvender sociale medier som en kilde til nyheder end amerikanere. Vi kan derfor konkludere, at ikke alene er rubrikken på artiklen hos Politiken lodret forkert, men der er intet belæg for, at danskerne er mere trofaste end amerikanerne.

Sociale medier betyder mere og mere i takt med at flere bruger dem, og de genererer trafik til de traditionelle mediers hjemmesider, og det er vigtigt at diskutere implikationerne for de traditionelle medier. Når man vælger at formidle og diskutere disse spørgsmål på baggrund af flere rapporter, er det dog vigtigt, at man har styr på, hvad rapporterne helt præcist kan fortælle os (og ikke fortælle os).

Potpourri: Statistik #23

How Can I Get Started Using R?
Is withholding your data simply bad science, or should it fall under scientific misconduct?
Data poverty makes it harder to fix real poverty. That’s why the UN should push countries to gather and share data.
Capital in the 21st Century in R
A Statistical Analysis of the LearnedLeague Trivia Competition
Data science done well looks easy – and that is a big problem for data scientists
Danish General Election Results 1953-2015

Vi ved ikke hvad der gik galt med analyseinstitutternes vurdering af Dansk Folkepartis vælgeropbakning

Et af de store spørgsmål i forlængelse af det seneste folketingsvalg har været, hvad der gik galt med analyseinstitutternes vurdering af Dansk Folkepartis opbakning blandt vælgerne (se eksempelvis her, her, her, her, her, her, her, her, her, her, her og her). Det korte af det lange er, at vi ikke er blevet klogere på, hvad der er sket, og det er desværre tvivlsomt, at vi bliver klogere på dette spørgsmål.

Hvad er historien bag Dansk Folkepartis vælgeropbakning i valgperioden 2011 til 2015? Historien om Dansk Folkeparti kan koges ned til følgende: Noget nær ren fremgang frem til perioden før valget, hvor vi ser et fald i kølvandet på terrorangrebet den 14. februar i år. Tilbagegangen blev blandt andet udlagt af de politiske kommentatorer således, at vælgerne havde fået nok af den hårde terror-retorik, og der var ganske enkelt ikke flere stemmer at vinde på den dagsorden. Nedenstående figur viser opbakningen til Dansk Folkeparti i den nu afsluttede valgperiode.

Den stiplede linje viser Dansk Folkepartis opbakning ved folketingsvalget 2015. Det er selvfølgelig vigtigt at huske på, at der ikke er noget der taler for, at Dansk Folkeparti fik den opbakning på nogen anden dag end valgdagen, hvorfor den blot skal vise, hvor meningsmålingerne gerne burde ligge på valgdagen (+/- den statistiske usikkerhed). Det er tydeligt, at langt de fleste meningsmålinger ikke ramte Dansk Folkepartis valgresultat i den periode, hvor de gerne burde have gjort det.

Der kan være to forklaringer herpå: Tilfældige fejl og systematiske fejl. Førstnævnte er meget usandsynligt og kan ikke forklare, at langt de fleste meningsmålinger systematisk undervurderede Dansk Folkeparti. Hvad angår systematiske fejl har analyseinstitutterne især fremhævet det aspekt, at respondenterne kan have løjet om deres partivalg. Dette er muligt, men det er også sandsynligt, at analyseinstitutterne selv kan have truffet fejlagtige beslutninger. Det er vigtigt at huske på, at vi ikke har nogen idé om, hvad analyseinstitutterne kan finde på at gøre med deres data, før de bliver offentliggjort. Vi ved eksempelvis at Megafon vejer respondenternes svar i meningsmålingerne efter dagsordenen i medierne. Vi kan også sandsynliggøre, at analyseinstitutterne er bevidste omkring, hvordan andre analyseinstitutter vurderer vælgeropbakningen for de respektive partier. Dette er forhold der meget nemt kan resultere i skævheder.

Der er grund til bekymring, når analyseinstitutterne ikke er mere åbne omkring den slags procedurer. Især når der ikke er noget, der taler for, at de vil informere om, hvad og hvor det med al sandsynlighed gik galt. Flere analyseinstitutter meldte ud, at de nu skulle kigge nærmere på, hvad der var gået galt. Siden da har vi intet hørt, og intet tyder på, at der kommer noget som helst fra institutterne. Dette er især mærkværdigt, når vi ser de første meningsmålinger foretaget efter valget, hvor Dansk Folkeparti – som forventet – ligger meget tæt på valgresultatet. Hvordan er institutterne kommet frem til de tal? Har de taget valgresultatet og vejet det efter hvordan nogle respondenter har svaret i en meningsmåling? Hvis analyseinstitutterne havde en oprigtig interesse i at gøre os klogere på, hvad der var gået galt, ville de formidle, hvordan de nu kommer frem til en opbakning til Dansk Folkeparti, der til forveksling ligner valgresultatet.

Ovenstående figur viser meningsmålingerne fra i år. Det er især Gallup og Voxmeter, der er interessante, da de begge har gennemført en meningsmåling efter valget. I begge tilfælde ser vi en betydelig forandring i opbakningen til Dansk Folkeparti. I Gallups tilfælde ser det sågar ud til at være en tilbagevenden til den opbakning, man gav partiet før valgkampen. Hvordan, Gallup? Hvad har I gjort?

Det triste ved alt dette er, at tilliden til meningsmålingernes validitet falder, når institutterne ikke er mere transparente omkring deres metoder. I værste fald ender vi i en situation, hvor politiske kommentatorer sidder i Deadline og konkluderer, at hvis de havde opholdt sig mere i Jylland under valgkampen, ville de kunne have forudset Dansk Folkepartis reelle opbakning bedre end meningsmålingerne (læs: David Trads). Vi ved ikke, hvad der gik galt, og det ville klæde analyseinstitutterne at spille med åbne kort omkring, hvad de har gjort og hvad de vil gøre.

Er uligheden i danskernes lykke blevet større?

I Politiken kunne man den anden dag læse, at uligheden i danskernes lykke er blevet større. Mere konkret kan man læse, at en “ny undersøgelse fra Institut for Lykkeforskning viser, at mens uligheden i lykke mindskes i Europa generelt, så er den siden 2002 steget i Danmark. Uligheden i lykken er ifølge undersøgelsen således faldet med 3,4 procent for Europa som helhed i årene mellem 2002 og 2012, mens Danmark er det ene af tre lande, hvor uligheden på lykkebarometret er øget med 3,5 procent.”

Hos Berlingske drager man på baggrund af undersøgelsen den konklusion, at Finland nu er det lykkeligste land: “Kampen om at være de lykkeligste i Europa er benhård. Mens danskerne længe har tronet på toppen af lykkelisterne, har finnerne nu vippet os af pinden, i hvert fald ifølge en ny opgørelse over lykkeniveauet i europæiske lande. Her er det nemlig vores nordiske naboer i Finland, som løber med præmien som Europas lykkeligste. Det står at læse i rapporten »Happiness Equality Index – Europe 2015«, som i sidste uge blev udgivet af det danske Happiness Research Institute eller Institut for Lykkeforskning, som det kaldes her til lands.”

Rapporten er, som omtalt, udarbejdet af tænketanken Institut for Lykkeforskning og er at finde her. På baggrund af rapporten og dækningen af den, er der minimum tre spørgsmål, der er interessante at belyse. For det første: Er uligheden i danskernes lykke større nu end i 2002? For det andet: Er der tale om en udvikling over årene, hvor tendensen er, at uligheden i danskernes lykke stiger? For det tredje: Er Danmark ikke længere det mest lykkelige land?

Er uligheden i lykken større nu end i 2002?
Det omtalte Happiness Equality Index 2015 tager udgangspunkt i data fra den sjette runde af European Social Survey (ESS) fra 2012 (de danske svar er fra 2013). For at udregne (u)ligheden i danskernes og andre europæeres lykke, har man undersøgt hvor stor spredningen er i svarene i hvert land, altså standardafvigelsen, på en 11-punkts lykkevariabel, der går fra 0 til 10, hvor højere værdier indikerer mere lykke. Tallene fra dette indeks er formidlet på side 6 i rapporten:

På dette indeks har Danmark værdien 1,47. For at se om uligheden var større end i 2002 undersøger man forskellen mellem standardafvigelsen i 2002 og 2012, som vist på side 8 i rapporten:

I 2002 var standardafvigelsen i Danmark på 1,42. Forskellen mellem standardafvigelsen i 2002 og 2012 er ikke statistisk signifikant. End ikke tæt på1. Det giver derfor ikke mening at sige, at uligheden i danskernes lykke er steget.

Er der tale om en udvikling i ulighed?
I Politiken forklares det, at en ”del af forklaringen på, at Danmark har øget uligheden i forhold til følelsen af lykke, kan være den stigende økonomiske ulighed i Danmark, der ifølge blandt andre Danmarks Statistik er taget til i løbet af de seneste årtier. Det mener Meik Wiking, der er administrerende direktør for Institut for Lykkeforskning.”

Hvis der er tale om en udvikling, der er taget til over de seneste årtier, bør der om ikke andet i hvert fald være en tendens til, at uligheden stiger. Til trods for at der ikke er nogen forskel i lykken mellem 2002 og 2012, er det stadig interessant at inddrage de andre år (2002 eller 2012 kan eventuelt være en undtagelse på en ellers generel tendens). Nedenstående figur viser derfor standardafvigelserne for 2002, 2004, 2006, 2008, 2010 og 2012:

Der er intet, der taler for, at der er en udvikling i uligheden i danskernes lykke. Og der er slet intet der taler for, at denne ændring er resultatet af en årtier lang proces.

Er Danmark ikke længere det mest lykkelige land?
Som beskrevet ovenfor kan man i dækningen af rapporten hos Berlingske læse, at Danmark er blevet overhalet af Finland hvad angår de mest lykkelige indbyggere. Dette er dog decideret forkert. Det er ikke muligt at kigge på spredningen af en variabel og konkludere, at finnerne er mere lykkelige end danskerne. Danmark ligger således stadig på en førsteplads, hvis man kigger på det gennemsnitlige lykkeniveau i de respektive lande, der er med i sjette runde af ESS:

Som det kan ses, er gennemsnitsværdien højere i Danmark (DK) end i Finland (FI). I ovenstående undersøges det ikke, om der er signifikante forskelle mellem landene, men der er under alle omstændigheder ikke belæg for at konkludere, at Danmark er blevet overhalet af Finland.

For at opsummere, er der ikke empirisk belæg for at sige, 1) at uligheden i danskernes lykke er steget siden 2002, 2) at den er et systematisk produkt af øget af økonomisk ulighed samt 3) at Danmark ikke længere er det lykkeligste land. I hvert fald ikke med udgangspunkt i data fra ESS. Hvis man har interesse i at blive klogere på trivsel og lykke i et komparativt perspektiv med udgangspunkt i data fra ESS, kan man eventuelt begynde med at besøge Measuring and Reporting on Europeans’ Wellbeing: Findings from the European Social Survey.

  1. En simpel test for varianshomogenitet (Levene’s test) giver en p-værdi på 0,768, og dermed kan det ikke afvises, at variansen i de to runder er identisk.  []

Potpourri: Statistik #22

Power naps: When do within-subject comparisons help vs. hurt (yes, hurt) power?
Communicating Experimental Results with R
Two proposals for incentivizing data archiving
Graphical Data Analysis with R
Understanding the t-distribution and its normal approximation: an interactive visualization
Sluggish data sharing hampers reproducibility effort
Self Evaluation for Reproducible Science
Open Science and Reproducible Badges
Introduction to Open Science: Why data versioning and data care practices are key for science and social science

Blev meningsmålingerne valgets taber?

Flere steder kan man læse, at meningsmålingerne blev valgets store taber. Troels Mylenberg spørger således retorisk, om medierne mon kan kræve sine penge retur fra meningsmålingsinstitutterne. Det der især har overrasket folk er, at det angiveligt ikke blev så tæt et valg, som vi havde forventet. Blå blok fik som bekendt 52,3 procent af stemmerne, hvilket var betydeligt mere end 50 procent, og efter alle stemmerne var talt op, stod det fast, at 165.000 stemmer adskilte rød og blå blok. Ved folketingsvalget i 2011 var dette tal kun 8.000. Så meget for et tæt valg.

Kigger vi på hvordan den blå blok lå i meningsmålingerne ser vi dog, at meningsmålingerne slet ikke klarede det så dårligt. Nedenstående figur viser opbakningen til blå blok i løbet af valgkampen hos de seks mest aktive analyseinstitutter, hvor valgresultatet er markeret med en cirkel. Som det kan ses klarede de fleste analyseinstitutter sig ganske fint, når man tager højde for den statistiske usikkerhed.

Der er dog ingen analyseinstitutter, der skyder blå blok til at få flere stemmer, end de fik (men et par af institutterne gjorde for et par dage siden). Kigger vi nærmere på de enkelte partier i blå blok, kan vi da også se, at Dansk Folkeparti endte med et bedre valgresultat, end de fleste analyseinstitutter forventede. Nedenstående figur viser, at analyseinstitutterne undervurderede Dansk Folkepartis opbakning på valgdagen. Der kan være flere forklaringer på dette, men det skyldes nok især, at mange først giver udtryk for, at de stemmer på Dansk Folkeparti, når de står i stemmeboksen. Institutterne forsøger at tage højde for sådanne aspekter, men som det kan ses, er det ikke altid nemt.

For de andre partier i blå blok var der ingen nævneværdige overraskelser på valgdagen. Kigger vi eksempelvis nærmere på de Konservative, som nedenstående figur viser, ser vi, at de fleste institutter havde held med at ramme valgresultatet for det mindste parti i Folketinget. Statistisk er det også nemmere for institutterne at ramme rigtigt for et lille parti som de Konservative end for et større parti som Dansk Folkeparti.

Der er ingen tvivl omkring, at analyseinstitutterne selvfølgelig gerne ville have ramt endnu tættere på de 52,3 til blå blok, og dette især ved at have ramt bedre for Dansk Folkeparti. Når det er sagt må man dog bare konkludere, at det kunne være meget værre – og der er andre aspekter, der er mere aktuelle at diskutere i denne sammenhæng.

For det første er der tale om et problem, når medierne ikke gør mere ud af at nævne den statistiske usikkerhed ved målingerne. Når man glemmer usikkerheden i formidlingen af meningsmålingerne, er det klart, at selv 52 procent virker meget større end 50 procent, når det omregnes til mandater. Der er intet der taler for, at journalisterne vil blive bedre til dette foreløbigt, men det er stadig en vigtig pointe at nævne igen og igen. Så længe det ikke sker, må man selv være kritisk.

For det andet kan der være udfordringer forbundet med den måde hvorpå vi forholder os til vægtede snit og usikkerheden i de estimater, vi kommer med, når vi kombinerer flere meningsmålingers resultater. Vi har eksempelvis set påstande om, på baggrund af talrige målinger, at sandsynligheden for at rød blok fik flere end 85 mandater ved valget, var tæt på 100 procent (de fik som bekendt 85). Hvis samtlige analyseinstitutter estimerer et parti til systematisk at ligge lavere i meningsmålingerne end de burde, vil de vægtede snit reducere den statistiske usikkerhed, men også med den implikation, at det egentlige resultat for det pågældende parti ligger endnu længere væk fra konfidensintervallet i det vægtede snit. Det eneste vi har opnået er dermed en illusion af præcision, når de systematiske skævheder ikke er forsvundet.

For det tredje er der et indiskutabelt fravær af transparens i forhold til de metoder, der bruges til at underbygge påstande om, hvor stor vælgeropbakningen er til de enkelte partier. Dette gælder på alle stadier (fra analyseinstitutternes arbejde til de vægtede snit, man ser i medierne). Analyseinstitutterne har forretningshemmeligheder, hvorfor de ikke har nogen interesse i at fortælle om, hvad de gør for at ramme rigtigt. De vægtede snit kommer ligeledes sjældent med nærmere information om, hvordan de helt præcist er vægtet, hvilke målinger der er inkluderet og så videre. Dette gør det svært at forholde sig kritisk til resultaterne og vurdere validiteten af målingerne.

Det korte af det lange: Meningsmålingerne kunne have ramt bedre hvad angår Dansk Folkeparti, men det er forkert at sige, at meningsmålingerne har fejlet i nærværende valgkamp. Vi er langt fra engelske tilstande, og når man kigger nærmere på de fleste partiers opbakning ved valget og sammenholder det med de seneste målinger, ser det slet ikke så slemt ud. Meningsmålingerne blev med andre ord ikke valgets taber.

Kan meningsmålingerne have påvirket Venstres valg i 2011?

Hos Politiken kan man læse, at hvis “Venstre havde haft bedre meningsmålinger op til valget [i 2011], så havde Venstre også klaret sig bedre på valgdagen”. Med dette menes der ikke blot, at hvis Venstre havde haft en opbakning på 40 procent i meningsmålingerne, ville de også ligge tættere på 40 procent på valgdagen, men derimod at meningsmålingerne i sig selv kunne have haft en effekt på den offentlige opinion. Det vil sige, at gode meningsmålinger kunne have fået flere til at stemme på Venstre og dermed føre til endnu bedre målinger.

Mere specifikt fremhæver artiklen i Politiken, at analyseinstitutterne gav Venstre færre stemmer i løbet af valgkampen, end de endte med at få ved selve valget i 2011. Logikken er, at dette kan have kostet Lars Løkke Rasmussen statsministerposten. Der er dog mindst to grunde til, at jeg er skeptisk i forhold til, hvorvidt dette var tilfældet.

For det første er der ingen grund til at tro, at vælgerne fokuserer på den absolutte support til partierne, men, hvis overhovedet, fokuserer på forandringen i meningsmålingerne. Det vil sige at en stigning eller et fald i meningsmålingerne kan skabe en bandwagon effekt, hvor man forlader den synkende skude og hopper over på vinderholdet. Det er dog ikke dét, der argumenteres for, var tilfældet i 2011, men derimod at Venstre skiller sig “ud fra de andre partier ved gennem hele valgkampen at ligge meget lavere i meningsmålingerne end valgets endelige resultat”. Kigger man på opbakningen til Venstre i løbet af valgkampen 2011 finder man da også et meget stabilt mønster (med de velkendte tilfældige og systematiske skævheder fra måling til måling):

Jeg har svært ved at se forekomsten af betingelserne for, at meningsmålingerne kunne have resulteret i en bestemt type dækning af Venstres opbakning i meningsmålingerne, som så videre kunne have påvirket vælgerens partivalg.

For det andet er der ikke stærk evidens for, at meningsmålingerne har effekter på den offentlige opinion, selv når man fokuserer på den relative forandring (se eksempelvis her og her). Hvis meningsmålingsartiklerne i 2011 for Venstre viste, at de ikke flyttede sig i meningsmålingerne, vil det kontrafaktiske scenarie jf. det refererede studie hos Politiken, altså at de får flere stemmer, næppe generere nogen ændring i vælgeropbakningen til partiet. Var der derimod en meget stor fremgang i meningsmålingerne og det kontrafaktiske scenarie var en meget stor tilbagegang, kunne der måske være en forskel i opbakningen til partiet (jeg er ikke sikker på, hvordan man skal tolke en sådan kausal effekt). Dette synes dog ikke at være tilfældet eller aktuelt for Venstre i 2011.

I det store hele er jeg skeptisk i forhold til, hvor meget en artikel om opbakningen til et parti kan betyde for den videre opbakning til partiet. Dette af især fire grunde. For det første er effektstørrelserne i studiet af effekten af meningsmålingerne ikke store (og i forhold til de estimater, vi helt basalt er interesserede i, ikke-signifikante).

For det andet er der en høj grad af selvselektion. Dem der interesserer sig for politik vil være dem, der er mest tilbøjelige til at se en meningsmåling, og disse personer vil sandsynligvis være mindre påvirkelige end dem, der aldrig vil se en sådan artikel. Med andre ord er det dem der i forvejen har en stærk holdning til deres partivalg, som vil være mere nysgerrige efter at vide, hvordan det går med deres parti. Det er den samme logik der ligger til grund for, at jeg aldrig får nogen information om, hvordan det går OB i Superligaen.

For det tredje læser man ikke meningsmålingerne neutralt. Mange vælgere har stærke holdninger til partierne i forvejen som påvirker deres 1) tilbøjelighed til at læse bestemte typer af artikler og 2) måden hvorpå de læses og fortolkes. På samme måde som man ikke tager en valgtest eller ser en politisk debat uden forudindtagede holdninger til partierne, læser man ikke en meningsmåling uden et bestemt set af eksisterende holdninger til partierne. En meningsmåling vil derfor i mange tilfælde blot tiltrække mere opmærksomhed fra de personer, der i forvejen køber historien, der sælges. Socialdemokrater elsker meningsmålinger, hvor Socialdemokraterne går frem og det samme for de andre partier og dets vælgere.

For det fjerde skal man være meget påpasselig med, som artiklen hos Politiken også er, at generalisere effekterne i ét studie til virkelighedens verden. Kort fortalt er den økologiske og eksterne validitet i de eksperimentelle studier meget lille. Der findes eksempelvis ikke lignende eksempler på en sådan artikelopbygning, som der anvendes i det citerede studie, i den virkelige verdens mediedækning. Ligeledes er der i en valgkamp et informationsoverload og en tidsdimension der gør, at én artikel næppe vil have nogen effekt dage efter, når krydset sættes. Og sidst men ikke mindst er der ofte ikke tale om nogen reel forandring i en meningsmåling, som i studiet, men blot insignifikante forskelle som varierer på tværs af målinger og institutter (jf. ovenstående figur), der resulterer i vidt forskellige artikler i løbet af en valgkamp med både fremgang og tilbagegang for de fleste partier.

Derfor tvivler jeg blandt andet på, at meningsmålingerne kan have kostet Lars Løkke Rasmussen statsministerposten i 2011.