Potpourri: Statistik #34

Efficient R programming
13 Tips For Reading General Election Polls Like A Pro
Visualising Residuals
Not So Standard Deviations: Episode 21 – This Might Be the Future!
Exploring Fitness Data in R
When Did Charts Become Popular?
What has happened down here is the winds have changed
GoodReads: Webscraping and Text Analysis with R (Part 1)
Why the Father of Modern Statistics Didn’t Believe Smoking Caused Cancer


En oversigt over spørgeskemaundersøgelser

Navn Type Geografi Periode
Afrobarometer Tværsnit Afrika 1999-
American National Election Studies Tværsnit/panel USA 1948-
AmericasBarometer Tværsnit Latinamerika 2004-
Arab Barometer Tværsnit Mellemøsten 2006-
Asian Barometer Tværsnit Asien 2001-
AsiaBarometer Tværsnit Asien 2003-2008
British Household Panel Survey Panel England 1991-2009
Caucasus Barometer Tværsnit Kaukasus 2008-
Den Danske Valgundersøgelse Tværsnit Danmark 1971-
Eurobarometer Tværsnit Europa 1973-
European Election Studies Tværsnit Europa 1979-
European Social Survey Tværsnit Europa 2002-
European Values Study Tværsnit Europa 1981-
General Social Survey​ Tværsnit/panel USA 1972-
German Socio-Economic Panel​ Panel Tyskland 1984-2013
International Social Survey Programme Tværsnit Globalt 1985-
Latinobarómetro Tværsnit Latinamerika 1995-
Longitudinal Internet Studies for the Social Sciences Panel Holland 2007-
Swiss Household Panel Panel Schweiz 1999-
World Values Survey Tværsnit Globalt 1981-

Kan et smil afgøre et præsidentvalg?

I introduktionskapitlet til bogen Political Psychology: Key Readings formidles forskellige studier, der viser, hvordan vælgerne reagerer på forhold, der ikke kan forklares ud fra traditionelle politologiske perspektiver. Det er et ganske fint kapitel, og det er altid interessant at læse, hvilke studier der fremhæves som eksemplariske, når nye læsere skal introduceres til en litteratur.

Et af disse studier i bogen omhandler effekten af et smil på vælgernes politiske adfærd. Det beskrives med ordene: “[…] a clever study by Mullen and his colleagues (1986) found that ABC news anchor Peter Jennings smiled more when reporting on stories involving Ronald Reagan in comparison with his presidential rival Walter Mondale and, furthermore, that people who watched ABC news reported more favorable attitudes toward Reagan than viewers of other networks.” (s. 7).

Studiet, der refereres til, blev publiceret i tidsskriftet Journal of Personality and Social Psychology og kan findes i en ungated version her (og i en gated version her). I artiklens abstract beskrives resultatet: “It was found that voters who regularly watched the newscaster who exhibited the biased facial expressions were significantly more likely to vote for the candidate that newscaster had smiled upon.” Med andre ord: Når nyhedsoplæseren smilede i forbindelse med omtalen af en præsidentkandidat, desto mere sandsynligt var det, at seeren ville stemme på præsidentkandidaten.

Da jeg læste studiet omtalt i bogen, kom jeg i tanke om en note jeg læste i den fremragende bog The Invisible Gorilla, skrevet af Christopher Chabris og Daniel Simons. I slutnote 44 på side 284 skriver de således om ovennævnte studie: “It’s also worth mentioning that the evidence in the original study supporting the existence of an association between television news viewing and voting was fairly minimal. The percentages were based on data from fewer than forty people per town, and in some cases, only a handful of people watched ABC. If only five people watched ABC, then a shift of 20 percent represents just one viewer. In a reanalysis of the data from the original study using a standard statistical test known as chi-square, we found that none of the differences in voting patterns were statistically significant. In other words, there might not even have been a reliable association between viewing preferences and voting patterns, making the causal claim that Peter Jennings influenced voting just by smiling even less likely.” (kursiv tilføjet)

Der er med andre ord ingen evidens for, at Peter Jennings (altså nyhedsoplæseren) har haft en indflydelse på vælgerens stemmevalg. Ikke desto mindre er studiet citeret omkring 100 gange (jf. Google Scholar), og det bliver i de fleste tilfælde citeret ukritisk. Ironisk nok er der – som i eksemplet ovenfor – tilfælde hvor kritiske bemærkninger omkring kausaliteten nævnes, men ikke selve fraværet af en korrelation.

Studiet bliver også formidlet i populærvidenskabelige værker, herunder Malcolm Gladwells The Tipping Point. Ligeledes får det åbenbart også opmærksomhed i de populærvidenskabelige medier, herunder i et indlæg fra forrige måned hos Psychology Today, der formidler studiet: “Studies have demonstrated that a newscaster who is smiling when discussing a political candidate can boost the candidate´s electability [8]. Specifically, it was discovered that people who regularly watched a particular newscaster who exhibited facial expressions in favor of certain candidate were more likely to vote for that candidate [9]. The researchers concluded that “the selection of the president by the electorate may itself be influenced by which candidate the newscasters smile upon.” [10]” (de tre referencer er alle til det samme studie.)

Dette viser helt grundlæggende, hvor stor tiltro forskere har til publicerede artikler, og især hvor lidt arbejde der bruges på at læse de artikler, der citeres. Når et studie er publiceret, er det angiveligt sandt, og vi kan citere det derefter. Det er kun sundt at have et åbent sind i forhold til den teori et studie fremfører, men blot fordi et studie er publiceret og citeret, er det stadigvæk vigtigt at forholde sig kritisk til det. Dette især når det handler om de mere flashy hypoteser, såsom at et smil ændrer vælgernes stemmeadfærd.


Hvor mange vil stemme på Nye Borgerlige? #2

Forleden var talrige danske nyhedsmedier ude og sige, at det nye parti, Nye Borgerlige, stod til at få over 10 procent af stemmerne. I går blev det annonceret, at partiet nu har anmeldt sig som opstillingsberettiget til Folketinget, og medierne dedikerede i den forbindelse en masse plads til historien og andre partiers reaktion herpå.

I de samme timer var talrige analyseinstitutter i fuld sving med at få spurgt deres webpaneler om, hvor mange der ville stemme på det nye parti. Hele processen giver et fascinerende indblik i, hvordan analyseinstitutterne går mere op i at få omtale, end at give et retmæssigt estimat af, hvor stor den reelle opbakning til Nye Borgerlige er.

Først på banen var Metroxpress, der 20.05 i går aftes kunne rapportere, at Nye Borgerlige stod til at få op mod 4 procent af stemmerne, hvis der var valg i dag. Her var de ærlige omkring, at deres data end ikke var færdiganalyseret endnu, men det skulle selvfølgelig ikke ødelægge en god historie – og risikere, at et andet institut kom først med en meningsmåling:

Siden da er artiklen blevet opdateret, hvor partiet ligger til at få 4,3 procent af stemmerne: “Partiformand Pernille Vermund og hendes parti Nye Borgerlige står til at suse ind i Folketinget med 4,3 procent af stemmerne, hvis der var valg i dag. Det viser en opdateret vælgermåling, som YouGov har foretaget for metroxpress blandt 1.425 repræsentaivt [sic] udvalgte personer fra YouGov Panelet. Målingen er foretaget over det seneste døgn; fra torsdag formiddag til fredag formiddag.”

Næst efter YouGov/Metroxpress kunne Gallup/Berlingske en time senere, 21.17, rapportere, at 2,1 procent af vælgerne vil stemme på Nye Borgerlige, hvis der var valg i dag: “Hvis der var folketingsvalg i morgen, ville 2,1 pct. af vælgerne stemme på Nye Borgerlige. Det fremgår af en meningsmåling, som Gallup foretog 22. september for Berlingske og på baggrund af 1.128 webinterview.”

Sidst på banen kom Megafon/Politiken/TV2, der i dag klokken 11.59 kunne rapportere, at Nye Borgerlige står til at få 4,9 procent af stemmerne. Her blev følgende metodiske informationer formidlet: “Målingen er gennemført som en kombineret web- og telefonrundspørge i perioden 22.-23. september. I alt har 1.134 vælgere deltaget.”

Der er nogle væsentlige ligheder ved disse tre meningsmålinger. For det første er de alle indsamlet på meget kort tid. Vi ved, at det kan være svært at kontakte et stort antal af vælgere på kort tid uden at det påvirker repræsentativiteten af meningsmålingen. Derfor skal man være ekstra kritisk i forhold til de tre meningsmålingers validitet. YouGov, Megafon og Gallup lever af omtale – ligesom de medier, de arbejder for – og det er tydeligt, at de nedprioriterer validiteten af deres meningsmålinger med henblik på at være først og aktuelle.

For det andet bygger alle tre målinger på data indsamlet fra webpaneler (om end Megafon også har respondenter fra en telefonrundspørge, men der er ingen information omkring, hvor mange det er). Dette forhold – kombineret med den meget korte tidshorisont – gør, at det er vigtigt at være påpasselig med at tolke for meget på meningsmålingernes resultater. Dette holder selvfølgelig ikke journalisterne tilbage.

For det tredje er der formidlet meget begrænset information fra analyseinstitutterne. Vi har ingen idé om, hvad respondenterne er blevet spurgt om forud for deres partivalg, herunder eventuelle spørgsmål om, hvorvidt respondenten er bekendt med Nye Borgerlige og deres politik. Vi ved, at institutterne ofte spørger om aktuelle politiske emner, og dette kan meget nemt have haft en betydning for resultaterne i denne sammenhæng. Dette er ren spekulation, men det ville klæde analyseinstitutterne at være transparente omkring den procedure, de har anvendt i denne sammenhæng.

For det fjerde kan vi konkludere, at medierne tog fejl, da de forventede at Nye Borgerlige stod til at få over 10 procent af stemmerne. Det er selvfølgelig en mulighed, at partiet er halveret siden da, men dette er ikke realistisk. Tværtimod. Det er således interessant, at medierne på denne måde vægtede en god historie højere end at have ret. Jeg håber ikke, at dette også er tilfældet her.

Dermed er det ikke sagt, at analyseinstitutterne tager fejl. Det er muligt, at Nye Borgerlige står til at få 4 procent af stemmerne. Der er dog nogle problematiske ligheder ved de tre meningsmålinger, vi har set, der gør, at jeg vil være ekstra påpasselig med at sige noget om den reelle opbakning til Nye Borgerlige. Fremtidige målinger må vise, hvor stor opbakning de sandsynligvis ville få, hvis der var et folketingsvalg i dag.


Vil en ændring af SU-reglerne bremse hver anden studerende?

I dag præsenterede regeringen deres “Helhedsplan – for et stærkere Danmark“, der blandt andet indeholder en række ændringsforslag til SU’en, herunder at SU’en skal begrænses til normeret studietid og at rentefri SU-lån skal udgøre halvdelen af SU’en.

Ingeniørforeningen bringer i den forbindelse en pressemeddelelse, “Ændring af SU-reglerne vil bremse hver anden studerende“, hvor de refererer til en undersøgelse foretaget blandt 1.020 ingeniørstuderende. Interessant er det, at der ikke gives nogen information om, hvordan de studerende er blevet spurgt, rekrutteringen af studerende, hvornår de er blevet spurgt, hvad de ellers er blevet informeret om og så videre. Det er næppe en tilfældig udvælgelse af studerende, hvorfor man bør være varsom med at kalde undersøgelsen repræsentativ for en større gruppe af studerende.

Formanden for IDA’s Uddannelses- og Forskningsudvalg, Carsten Eckhart, udtaler sig med udgangspunkt i undersøgelsen omkring regeringens forslag: “Hvis hver anden på ingeniørstudierne og de naturvidenskabelige uddannelser ikke vil læse videre på baggrund af ændringer i støtten, kan vi stå tilbage med store problemer.” Denne konneksion mellem undersøgelsen og regeringens udspil er dog misvisende af to grunde. For det første spørger undersøgelsen ikke ind til det regeringen foreslår, men derimod et scenarie hvor der ikke længere gives SU på kandidatdelen. Dette kan ikke sammenlignes med udspillet.

For det andet spørger undersøgelsen ikke om man vil stoppe med at læse videre, men om man vil overveje det. Hvis de forhold man studerer under ikke får en til at overveje ens studievalg, er der noget galt, men det er ikke det samme som, at man vil stoppe med at læse videre. Det er derfor svært at koble svarene til spørgsmålet (vist nedenfor) til en egentlig vurdering af effekterne af specifikke ændringer i SU-reglerne.

Igen har vi at gøre med et af de slags spørgsmål, hvor meningsmålinger ikke nødvendigvis er den bedste måde at belyse et fænomen på. For det første er der stor forskel på holdninger og faktisk adfærd (talk is cheap). For det andet er det en af de slags spørgsmål, hvor svarene tænkeligt påvirkes af hvem, hvornår og hvordan man spørger.

Der kan være talrige gode grunde til at ændre i SU-reglerne. Der kan også være talrige gode grunde til ikke at gøre det. Ligeledes kan man diskutere, hvor mange studerende der vil stoppe med at studere, hvis SU’en ændres. Man kan dog ikke bruge Ingeniørforeningens undersøgelse til at konkludere, at halvdelen af de studerende vil stoppe efter bacheloren, hvis SU-reglerne ændres.


Potpourri: Statistik #33

Survey Experiments in Practice: #1, #2, #3, #4, #5
FiveThirtyEight’s data journalism workflow with R
Text Mining with R on Vikings episode scripts
A List of ggplot2 extensions
The viridis color palettes
Learn R online – A curated list of online courses on R
Stop Using Google Trends
DrawMyData
Everything is fucked: The syllabus


Analyse i Politiken: Hvornår får 16-årige lov til at stemme?

Har d.d. en analyse i Politiken sammen med mine kollegaer Klaus Levinsen og Ulrik Kjær. Analysen omhandler valgretsalderen og udsigterne til at den bliver sænket til 16 år. Mere specifikt fokuserer vi på danskernes holdninger til spørgsmålet. Overordnet er der ikke den store folkelige support for en sænkelse af valgretsalderen, men der er også store forskelle i, hvilke borgere der støtter en sænkelse.

Det er især højreorienterede vælgere, der er imod en sænkelse af valgretsalderen. Som vi skriver i analysen: “Der [er] betydelige forskelle i, hvilke danskere der er imod en sænkelse af valgretsalderen. Her er det især de højreorienterede vælgere, der er imod at inkludere de unge borgere. Disse ideologiske forskelle er interessante i en international sammenhæng, idet resultater fra engelske undersøgelser viser, at vælgernes holdninger til valgretsalderen ikke i samme omfang er et ideologisk spørgsmål. I figuren ses det, at sandsynligheden for, at en borger er modstander af en sænkelse af valgretsalderen, er over 50 procent for både venstre- og højreorienterede.”


Hvor mange vil stemme på Danskernes Parti?

Forleden var en af de store politiske nyheder, at 10,8 procent af danskerne ville stemme på partiet Nye Borgerlige, hvis de var at finde på stemmesedlen ved næste folketingsvalg. Meningsmålingen fik masser af omtale, men som beskrevet er der intet der taler for, at 10,8 procent af danskerne ville stemme på Nye Borgerlige.

I dag formidler Berlingske en lignende meningsmåling foretaget af Gallup, bare for Danskernes Parti. Tallet her er 3,4 procent, men er – ligesom i tolkningen af Ritzau-målingen med Nye Borgerlige – på ingen måde det samme som, at 3,4 procent af vælgerne vil sætte deres kryds ved Danskernes Parti. Det kan undre en, at nogle journalister også her vælger at formidle denne slags meningsmålinger. Især i kølvandet på den mærkværdige dækning af meningsmålingen med Nye Borgerlige.

Det komiske er, at Gallup i Berlingskes artikel selv er ude med relevante forbehold, som Camilla Kann Fjeldsøe, leder af den politiske afdeling hos Gallup, udtaler: “Når man kun bliver spurgt ind til et enkelt parti, og om man vil stemme på dem, er der typisk flere, der er positive over for at stemme ja, end hvis man fik valgmuligheden mellem en række partier”. Godt så.

Der er ikke tale om en interessant meningsmåling, end ikke en nyhedsværdig måling. Der er tale om et forsøg på at give et indtryk af, at mange vælgere vil stemme på Danskernes Parti. Der er bare intet belæg for, at dette skulle være tilfældet. Det eneste der sker her er, at nogle journalister hopper i med begge ben.


Vil danskerne arbejde mere? II

For snart fem år siden skrev jeg, at svaret på om danskerne giver udtryk for at ville arbejde mere, afhænger af, hvad man helt præcist spørger om. Baggrunden var to meningsmålinger foretaget i den samme periode men med vidt forskellige resultater. Den ene meningsmåling viste, at 62 procent af danskerne var klar til at arbejde mere. Den anden meningsmåling viste, at 7 procent af danskerne var klar til at arbejde mere.

Det pågældende indlæg kom jeg i tanke om, da jeg læste en nyhed hos Berlingske, der formidler en undersøgelse, der viser, at topskattelettelser vil få folk til at arbejde mere. Mere konkret skrives der: “Forhandlingerne om lettelser af topskatten bliver uden tvivl et af efterårets største politiske emner og kan ende med at blive helt afgørende for regeringens overlevelse. Og ifølge [en] ny undersøgelse vil det øge arbejdsudbuddet, hvis man sænkede topskatten.”

Der er ingen tvivl omkring, at skattelettelser vil blive et emne på den politiske dagsorden, og når emner bliver aktuelle, kommer der også et hav af rapporter og studier, der skal “nuancere” den offentlige debat. Det interessante i denne sammenhæng er, at det empiriske materiale i undersøgelsen er en meningsmåling af meget ringe kvalitet. Den beskrives i artiklen som følger: “Den nye undersøgelse er foretaget af analyse- og konsulentfirmaet Moos-Bjerre & Lange på eget initiativ. De har i en webbaseret spørgeskemaundersøgelse spurgt 1.243 tilfældigt udvalgte danskere, som enten er i beskæftigelse eller under uddannelse, om deres forhold til lettelser af topskatten og villighed til at arbejde mere. Et billede, der ofte er blevet brugt i denne sammenhæng, er, om topskattelettelser vil blive en gulerod for at tage mere arbejde, eller om det vil blive en hængekøje, hvormed arbejdsudbuddet ikke stiger. Af den nye analyse fremgår det, at den positive nettoeffekt på arbejdsudbuddet er på 14,4 pct. Altså er konklusionen i undersøgelsen klar: Gulerods-effekten er simpelthen større end hængekøje-effekten.”

Når man læser ovenstående, er der en række spørgsmål, der trænger sig på. For det første er det på ingen måde klart, hvem der har foretaget meningsmålingen. Det formidles, at det er konsulentfirmaet, men har de en webbaseret platform, hvorfra de kan spørge 1.243 tilfældigt udvalgte danskere? Og så her i sommerperioden, hvor det er vanskeligt at få fat i bestemte grupper? Og ikke alene repræsentative for danskerne, men de danskere der er relevante at spørge? Jeg vil være meget påpasselig med at kalde resultaterne her for repræsentative, især når konsulentfirmaet ikke har givet flere informationer herom (der heller ikke er at finde i deres rapport).

For det andet skal vi se på, hvem man har valgt at inkludere i meningsmålingen. Det interessante er her, at det ikke er i nærheden af 1.243 respondenter, man bruger svarene fra, men den gruppe af respondenter, der siger, at de har mulighed for at tage mere arbejde. Disse mennesker er blevet spurgt: “Har du mulighed for at tage overarbejde på din arbejdsplads og derved tjene lidt ekstra?”. Bemærk her, at det ikke er blevet spurgt om, hvorvidt man har mulighed for at arbejde mere eller mindre, men blandt andet om at arbejde mere og tjene lidt ekstra. Her gør konsulentfirmaet hvad de kan for at påvirke respondenternes svar (ved at få dem til at tænke på at tjene ekstra). Samlet set er gruppen af personer, der har mulighed for at arbejde mere på 624 personer. Er gruppen af de 624 personer stadig repræsentativ for den population af danskere, der kan tage mere arbejde? Jeg tvivler.

For det tredje er det ikke tilfældigt, hvilke grupper der svarer, at de kan tage mere arbejde. Ud af de 624 personer, der kan tage mere arbejde, er omkring 168 studerende (den gruppe af respondenter, hvor flest svarer ja til, at de kan tage mere arbejde). Jeg er ikke økonom, men jeg finder det relevant at diskutere, hvor meget man kan lære om de dynamiske effekter af en ændring i topskatten på arbejdsudbuddet ved at spørge personer, der endnu ikke er i nærheden af at betale topskat.

For det fjerde skrives der i artiklen hos Berlingske, at “den positive nettoeffekt på arbejdsudbuddet er på 14,4 pct.” Men hvad menes der med dette? Man får let det indtryk, at meningsmålingen viser, at det vil have positive samfundsøkonomiske konsekvenser at sænke topskatten. Tallet viser dog blot differensen mellem dem, der siger, at de vil arbejde mere og dem der vil arbejde mindre (og dette er endvidere ikke for topskatten). Udfordringen er, at det ikke er muligt at sige, om dem der vil arbejde mindre, er dem der betaler topskat, hvorved det hypotetisk set kan have negative effekter på arbejdsudbuddet.

Der er noget komisk ved meningsmålinger, der ikke alene ønsker at belyse, om danskerne vil arbejde mere, men om et bestemt tiltag vil have en kausal effekt på, om danskerne vil arbejde mere. Dette bliver ikke mindre komisk af, at man spørger en masse mennesker, der ikke vil blive ramt af disse tiltag. Som altid kan det undre en, at journalisten ikke er mere kritisk i forhold til den undersøgelse, man finder nyhedsværdig og vælger at formidle.

Derfor vil jeg også blot bruge den samme konklusion som for fem år siden, altså at meningsmålingen blot illustrerer, at bestemte grupper har “en klar interesse i at fremme bestemte synspunkter i den offentlige debat, og det kan meget nemt tænkes, at de har et ønske om at meningsmålingerne viser noget bestemt i dette tilfælde.”


Potpourri: Statistik #32

Advice for learning to code from scratch
Vectorization in R: Why?
Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations
The Simpsons as a Chart
Causal Empiricism in Quantitative Research (ungated)
Methods workshop: Automated Text Analysis with R
Spring du bare den næste meningsmåling over
Weekly Updates from the Entire R Community
Good Books for All Things Data
Ten Simple Rules for Effective Statistical Practice


« ældre indlæg