Meningsmålinger og eksperternes gættelege

Sigge Winther Nielsen, ph.d.-studerende ved KU, har skrevet et fint indlæg på Politiken.dk, hvor han korrekt nævner flere af de faldgruber, der er forbundet med at udtale sig på baggrund af variationer på tværs af meningsmålinger over tid.

Problemet er, som Sigge pointerer, at de konklusioner der laves, ikke altid giver mening, da samvariation ikke er det samme som en årsagssammenhæng. Eller som han formulerer det: »At SF har fået en ny formand (A) og er gået frem i meningsmålingerne (B), betyder ikke, at A fører til B.«

Når Sigge åbenlyst har så godt styr på disse svagheder forbundet med at forholde sig til kausaleffekter i denne slags meningsmålinger, fremstår det tragikomisk, at han selv flittigt udtaler sig om lige præcis dette. Lad os blot tage udgangspunkt i eksemplet med SFs nye formand og SFs elektorale opbakning i meningsmålingerne.

Der har været foretaget et par meningsmålinger efter valget af Annette Vilhelmsen som ny formand for SF, og disse har Sigge Winther Nielsen forholdt sig til. Den ene meningsmåling viser en fremgang til SF, den anden en tilbagegang1.

Meningsmåling 1, 23. okt: Fremgang hos SF, YouGov for metroXpress. Her konkluderes det, at SF har fået ny formand (A) og en større vælgertilslutning (B). Jævnfør Sigge kan denne effekt (A → B) være en såkaldt formandseffekt: »Vi så den samme umiddelbare effekt, da Helle Thorning-Schmidt (S) og Villy Søvndal (SF) blev valgt til nye partiformænd i 2005. Da oplevede SF og Socialdemokraterne også en hurtigt [sic] fremgang, men de tabte den lige så hurtigt igen. Man ved faktisk ikke, hvorfor vælgerne reagerer sådan, men et godt gæt er, at de tiltrækkes af det nye og spændende, men hurtigt mister interessen igen«

Meningsmåling 2, 25. okt: Tilbagegang hos SF, Megafon for Politiken og TV 2. Her konkluderes det, at SF har fået ny formand (A), og ikke har fået en større vælgertilslutning (B). Jævnfør Sigge kan denne manglende effekt tilskrives det faktum, at vælgerne er kritisk afventende: »Jeg ser målingen som et udtryk for, at vælgerne er kritisk afventende. De vil give Vilhelmsen mere tid, før de vælger, om det er et hold, de springer over på«

For at opsummere: 23. oktober fortæller Sigge, at vælgerne tiltrækkes af det nye og spændende, og 25. oktober, at vælgerne er kritisk afventende. Vel at mærke i forhold til det samme fænomen. Det må per definition være en selvmodsigelse.

Jeg er derfor heller ikke nødvendigvis enig med Sigge, når han skriver: »Derfor kan medierne godt ranke ryggen og forlange mere journalistik (af den strengt metodiske slags) i deres egne meningsmålinger. Hvis det ikke sker, vil den kvalificerede gættekonkurrence fortsætte.«. Den kvalificerede gættekonkurrence fortsætter kun så længe politiske kommentatorer og eksperter fejlagtigt kommer med konklusioner, der ikke er belæg for, hvor fluktuationer i meningsmålingerne (der sjældent er så store de kan tilskrives andet end statistisk usikkerhed), betragtes som var de eksperimentelt isolerede effekter.

Journalisterne er ikke altid eminente til hverken at formidle eller fortolke meningsmålinger, men det legitimerer på ingen måde eksperternes gættelege. Der er intet galt i de meningsmålinger der foretages, så længe eksperter og journalister kan formidle de begrænsninger, der er forbundet med den slags.

  1. Jeg er ikke overbevist om, at variationen er så stor, at den kan tilskrives andet end statistisk usikkerhed og andre tilfældigheder, men det gør på ingen måde sagen bedre. []

Tidsskriftsartikel: Mediernes formidling af meningsmålinger: Indholdsanalyse af folketingsvalg, 2005-2011

I en artikel i det nye nummer af Tidsskriftet Politik undersøger Simon Grundt Straubinger og undertegnede kvaliteten af danske mediers formidling af politiske meningsmålinger. Konkret undersøger vi hvordan Politiken, Berlingske, Jyllands-Posten og Ekstra Bladet formidler fornødne informationer i aviserne og på internettet under de seneste tre folketingsvalgkampe (2005, 2007 og 2011).

Studiet bidrager med følgende: 1) Viden om danske mediers formidling af meningsmålinger, der sammenlignet med viden fra udlandet har været mangelfuld. 2) En vurdering af resultaterne i forhold til internationale studiers resultater. 3) En analyse af hvilke forhold der kan forklare, at nogle artikler formidler meningsmålinger bedre end andre.

Resumé fra DJØF Forlag:

This article examines the information the Danish news media provide when reporting public opinion polls. The study has been done through quantitative content analysis of 424 newspaper and Internet articles from four major Danish dailies during the last three parliamentary elections. The study found that only about half of the seven ESOMAR/WAPOR-requirements included here were reported. The results from the estimated regression show that the media in general provides more methodological information in newspaper articles than on the Internet, and that the media becomes better at reporting public opinion polls over time. Compared with studies conducted in other countries we find no systematic deviation in how public opinion polls are reported in Denmark.

Resultaterne fra studiet viser blandt andet:

  • Over tid bliver der formidlet relativt flere meningsmålinger på internettet end i aviserne.
  • Intet taler for at meningsmålinger bliver formidlet systematisk dårligere i Danmark end i andre lande.
  • Meningsmålinger bliver formidlet bedre i aviserne end på internettet.

Introduktion til eksport af regressionstabeller med estout i Stata

Det kan være forbundet med en masse unødigt arbejde at skulle konstruere regressionstabeller fra bunden, når man skal formidle sine statistiske analyser fra Stata. Der findes heldigvis flere pakker til Stata, der kan være én behjælpelig med at få eksporteret regressionstabeller fra Stata til Word (eller LaTeX, HTML osv.). En af de bedste pakker til at gøre dette er estout (Jann 2005 2007).

Dette indlæg 1) introducerer hvordan man med pakken estout kan eksportere regressionstabeller fra Stata og 2) giver en oversigt over hvilke aspekter man skal være opmærksom på, når man integrerer en eksporteret regressionstabel.

1. Installation af estout

Den nemmeste måde at installere estout på, er ved at skrive følgende i kommandolinjen:

. ssc install estout, replace

Er estout allerede installeret, tjekker Stata om dine filer er opdateret. Såfremt estout ikke er installeret og det ikke resulterer i installationen af estout, kan det også installeres manuelt.

2. Konstruktion af regressionstabel

Det smarte ved estout er, at når vi gennemfører en regression, gemmes estimaterne i hukommelsen, og vi kan så få dem vist i en tabel (skal vi have flere modeller i samme tabel, klarer estout dermed også det). På den måde kan vi også få vist det mest essentielle, uden at få hele standard outputtet, der gives i Stata.

Som et eksempel vil jeg bruge data fra tabel 1 i Matthews (2000, 37). Der er tale om det klassiske eksempel med korrelationen mellem storke og fødselsraten. Datasættet kan, for interesserede, åbnes i Stata med:

. use https://erikgahner.dk/files/data/storksbabies.dta

Det første vi gør er at rydde hukommelsen for eventuelle tidligere gemte regressioner. Dette er ikke nødvendigt hvis hukommelsen i forvejen er tom, men ikke desto mindre er det en sund vane, når man begynder på konstruktionen af en ny tabel:

. eststo clear

Det eneste du så skal gøre nu for at gemme en regression i hukommelsen, er at skrive “eststo:” før kommandoen for din regression. På den måde gemmes resultaterne fra din estimation. I vores storkeeksempel vil det sige:

. eststo: reg birthrate storks

Har du flere regressionsmodeller, der skal være i din tabel, skal du bruge eststo-kommandoen flere gange. Altså:

. eststo: reg y x1
. eststo: reg y x1 x2

Derefter kan vi i vores storkeeksempel skrive esttab, for at få vist regressionstabellen. Til dette har vi en række muligheder (“options”), vi ligeledes kan anvende, for eksempel som i nedenstående, hvor vi fortæller Stata, at vi også gerne vil have vist determinationskoefficient (r2) og standardfejl (se):

. esttab, r2 se

----------------------------
                      (1)   
                birthrate   
----------------------------
storks             0.0288** 
                (0.00940)   

_cons               225.0*  
                  (93.56)   
----------------------------
N                      17   
R-sq                0.385   
----------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

For en oversigt over hvilke muligheder der er, se hjælpefilen til esttab (help esttab). Tabellen er meget mere overskuelig end det normale output fra Stata, og vi har mulighed for nemt at eksportere ovenstående til for eksempel Word.

3. Eksport af regressionstabel

Det er muligt at eksportere ens regressionstabel til forskellige dokumentformater, hvor den mest udbredte er den frit tilgængelige standard .rtf (Rich Text Format). Det er ikke muligt at eksportere ens tabel i .doc eller .docx (man kan selvfølgelig altid blot åbne .rtf-filen efterfølgende i Word og gemme den som .docx).

Ved at tilføje "using" til esttab-kommandoen samt angive filnavn og filtype, gemmer Stata filen med tabellen i ens Working Directory. Vil vi gemme ovenstående tabel i en rtf-fil med navnet birthrate, skriver vi følgende:

. esttab using birthrate.rtf, r2 se

Dette giver et output a la:


(1)
birthrate

storks 0.0288**
(0.00940)
 
_cons 225.0*
(93.56)

N 17
R2 0.385

Standard errors in parentheses

* p < 0.05, ** p < 0.01, *** p < 0.001

For at opsummere, har vi til nu gjort følgende:

// Installerer estout
. ssc install estout, replace

// Nulstiller hukommelsen
. eststo clear

// Åbner datasæt til eksemplet
. use https://erikgahner.dk/files/data/storksbabies.dta

// Gemmer regression i hukommelsen
. eststo: reg birthrate storks

// Viser regressionstabel (med r2 og standardfejl)
. esttab, r2 se

// Eksporterer regressionstabel
. esttab using birthrate.rtf, r2 se

For et ekstra eksempel på eksport af en regressionstabel med estout, kan jeg henvise til Sønderskov (2011, 168f). Den tabel vi har eksporteret, er dog på ingen måde færdig endnu, da der er brug for visse modifikationer.

4. Tilpasning af regressionstabel

Jeg har haft den fornøjelse at læse flere opgavebesvarelser, hvor estout er anvendt til at eksportere regressionstabeller til brug i Word. Jeg har i den forbindelse også haft mulighed for at identificere nogle af de faldgruber, der er forbundet med brugen af estout. For at brugen af estout skal være tilfredsstillende, er det ikke tilstrækkeligt blot at eksportere tabellen, inkludere den i sit dokument og stoppe legen der. Der er med andre ord et par forhold, man skal notere sig.

I. Læs og applicer råd i Beck (2010)
Der er et par gode pointer i den pågældende artikel. Sørg for at tabellen er meningsfuld og letlæselig. Sørg for at variabelnavne og lignende indhold i tabellen giver mening for dig selv såvel som læseren. Lad desuden være med at angive flere decimaler end dem der har betydning. (Råd nr. 9 i artiklen ser jeg bort fra i denne sammenhæng.)

II. Oversæt til dansk
Hvis ens besvarelse er på dansk, skal tabellen også være det. Hvis du er i tvivl om hvad et statistisk begreb hedder på dansk, kan du give denne ordliste et visit. Husk ligeledes at anvende korrekt decimalseparator (komma hvis dit dokument er på dansk).

III. Tilføj tabeloverskrift
Alle tabeller skal have en titel. Husk det.

IV. Tilpas andre tabeller
Såfremt der i dit dokument er andre tabeller, skal der ganske logisk være en konsistent brug af skrifttype, skriftstørrelse, afstande m.v., der er identisk i alle tabeller. Det betyder med andre ord, at regressionstabellen skal tilpasses andre tabeller, der måtte være i din besvarelse. Lad være med at bruge Times New Roman i den ene tabel, for derefter at bruge Calibri i den næste tabel.

5. Afsluttende bemærkning

Jeg har i nærværende introduktion til hvordan man eksporterer regressionstabeller fra Stata begrænset mig til et meget simpelt (og forhåbentligt pædagogisk) eksempel, men fremgangsmåden er akkurat den samme ved mere omfangsrige regressionstabeller (med flere modeller). For mere information omkring estout henvises der til estout: Making Regression Tables in Stata, samt hjælpefunktionen:

. h estout

Skulle noget af ovenstående forvolde problemer, er du velkommen til at skrive en kommentar til indlægget.

Referencer

Beck, N. 2010. “Making Regression and Related Output More Helpful to Users.” The Political Methodologist 18(1):4-9.

Jann, B. 2005. “Making regression tables from stored estimates.” The Stata Journal 5(3):288-308.

Jann, B. 2007 “Making regression tables simplified.” The Stata Journal 7(2):227-244.

Matthews, R. 2000. “Storks Deliver Babies (p = 0.008).” Teaching Statistics 22(2):36-38.

Sønderskov, K. M. 2011. Stata - en praktisk introduktion. København: Hans Reitzels Forlag.

Stemmeseddel anno 1938

Fra Wikipedia: Voting ballot from 10 April 1938. The ballot text reads “Do you agree with the reunification of Austria with the German Reich that was enacted on 13 March 1938, and do you vote for the party of our leader Adolf Hitler?” The large circle is labelled “Yes”, the smaller “No”.

Game Change (2012)

Det amerikanske præsidentvalg følges med stor iver og spænding af ikke kun amerikanere, men af alle med bare den mindste interesse i politik. Mens vi venter at få svar på om Barack Obama bliver genvalgt som præsident, kan vi mindes forrige præsidentvalg og se HBO-filmen Game Change (2012).

Game Change er en filmatisering af bogen af samme navn, hvor sidstnævnte bærer undertitlen Obama and the Clintons, McCain and Palin, and the Race of a Lifetime. Bogen er bygget op i flere dele, der fokuserer på forskellige dele af den amerikanske valgkamp, med et primært fokus på valg af præsidentkandidat og vicepræsidentkandidat i den demokratiske og republikanske lejr.

Filmen fokuserer på den del af bogen der omhandler John McCains valg af daværende guvernør Sarah Palin som vicepræsidentkandidat. John McCain havde i 2008 brug for en vicepræsident i spillet, der kunne udgøre en seriøs trussel til Obamas planer om at vinde præsidentposten. Sarah Palin formåede som bekendt ikke at få McCain ind i det hvide hus, og der tales sågar om en »Palin-effekt«, der påvirkede vælgernes valg af præsidentkandidat negativt, hvorved republikanerne mistede midtervælgere på hende1.

I filmen bygges rammerne op for situationen der lå til grund for, at Palin blev valgt, og vi følger gennem filmen implikationerne deraf. Der stilles skarpt på de beslutningssituationer og dilemmaer centrale personer i McCains stab skulle forholde sig til, og selvom man som seer kender plottet, gør det ikke eksekveringen mindre interessant. Det bliver gjort på bedste vis, og Julianne Moore spiller Sarah Palin intet mindre end fantastisk. Dertil kommer Woody Harrelsons og Ed Harris’ præstationer, der ligeledes er nævneværdige.

Der er derfor tale om en film, man godt kan være sig selv bekendt at se. Der er dog på ingen måde tale om en film, der legitimerer, at man ikke læser bogen. Bogen er fyldt med detaljerige episoder fra de respektive præsidentkandidaters kampagner, og ønsker man et indblik i maskinrummet i kandidaternes kampagner, er bogen et must read. I bogen fangede især Bill Clinton min interesse, og hele den del omhandlende demokraternes valg af Obama som kandidat, er interessant, humoristisk og lærerig.

Jeg kan derfor kun opfordre at du, såfremt du ikke har læst bogen, bruger et par dejlige solskinsdage i selskab med den nu her i sommerdagene, og når efteråret, mørket og præsidentvalget nærmer sig, kan du tage en hyggelig aften på sofaen i selskab med Julianne Moore som Sarah Palin. God fornøjelse.

  1. Knuckey, J. 2012. “The “Palin Effect” in the 2008 U.S. Presidential Election.” Political Research Quarterly 65(2):275-289. []

Potpourri: The Political Methodologist

Jeg har siddet og kigget i forskellige numre af The Political Methodologist, og nogle af artiklerne deri kan måske have interesse for læsere af denne blog. Nedenstående er et udpluk af introducerende tekster og andet godt, som gerne skulle forhindre den flittige læser i at kede sig. Artiklerne bringes i omvendt kronologisk rækkefølge (nyeste først), og hyperlinks er til det nummer hvor artiklen er i.

Healy, K. 2011. “Choosing Your Workflow Applications.” The Political Methodologist 18(2):9-19.

Beck, N. 2010. “Making Regression and Related Output More Helpful to Users.” The Political Methodologist 18(1):4-9.

Döring, H. 2008. “Evaluating Scripting Languages: How Python Can Help Political Methodologists.” The Political Methodologist 16(1):8-12.

Ramirez, M. D. & J. E. Monogan, III 2008. “Posters in LaTeX.” The Political Methodologist 15(2):17-22.

J. S. Krueger & Lewis-Beck, M. S. 2007. “Goodness-of-Fit: R-Squared, SEE and ‘Best Practice’.” The Political Methodologist 15(1):2-4.

Yohai, I. 2006. “PowerPoint for LaTeX: The beamer Class.” The Political Methodologist 14(1):19-21.

Rudloff, P. 2005. “An Introduction to Sweave.” The Political Methodologist 13(1):8-13.

Teo, T. K. 2004. “LaTeX 102.” The Political Methodologist 12(1):6-9.

Jackman, S. 2003. “R For the Political Methodologist.” The Political Methodologist 11(2):20-22.

Morton, R. B. 2003. “Tips for the First Time Experimentalist.” The Political Methodologist 11(2):14-16.

Gill, J. 2002. “Wielding LaTeX To Greater Effect.” The Political Methodologist 11(1):15-20.

Nam, C. H. 2001. “Using LaTeX for the first time: A Text-Processing System.” The Political Methodologist 10(1):32-35.

Janda, K. 2001. “Teaching Research Methods: The Best Job in the Department.” The Political Methodologist 10(1):6-7.

Der er flere gode artikler at finde i The Political Methodologist, så ovenstående er på ingen måde udtømmende, men blot nogle af de bidrag jeg vil anbefale. Det er desuden komisk at se hvilken udvikling der er sket i brugen af statistisk software over tid, når man kigger på de forskellige numre helt tilbage fra slutfirserne til i dag.

Hvor glade er danskerne for deres fagforening?

TV Avisen havde her til aften et indslag om, at danskerne er glade for deres fagforening. Titlen på indslaget er »Flertal ønsker fagforbund«, og det bygger på en meningsmåling foretaget af Epinion for DR Nyheder. Denne meningsmåling er kort fortalt ligegyldig, og konklusionen er så banal, at det kun kan være licensmidler, der er brugt til at finansiere den.

Hvorfor er meningsmålingen banal? Fordi det eneste den siger, er, at et flertal af de mennesker der er med i en fagforening, er glade for at være i en fagforening. No shit, Sherlock. Der er dermed ikke tale om et flertal af danskerne, blot et flertal af fagforeningsmedlemmerne. Meningsmålingen bygger på svar fra 1115 respondenter, hvor djævelske 666 af disse er medlem af en fagforening. De godt 40 pct. af respondenterne der ikke er medlem af en fagforening, er altså ikke medtaget i undersøgelsen.

På DR Nyheder skrives der, at »[u]ndersøgelsen er lavet midt i konflikten om restaurant Vejlegården, hvor der er blevet sat spørgsmålstegn ved fagforeningers brug af blokade i en arbejdskamp.«, men da meningsmålingen, så vidt jeg kan læse, ikke sondrer mellem traditionelle og gule fagforbund, er det ikke muligt at vurdere, om det er udtryk for en opbakning til de traditionelle fagforeninger (og dermed brugen af blokade i en arbejdskamp).

Man kan måske ligefrem vurdere på baggrund af meningsmålingen, at det at 15 pct. af fagforeningsmedlemmerne overvejer at melde sig ud af deres nuværende fagforening, ikke er et godt tegn for fagforeningerne.

Den bedste måde at vurdere hvor glade danskerne er for deres fagforening, er ved at se på udviklingen i medlemstal. Her ser vi da også, at traditionelle fagforbund har mistet en meget stor andel af deres medlemmer over de senere år, og der er intet der tyder på, at den udvikling vender lige foreløbigt.

DRs meningsmåling kan udelukkende bruges til at sige noget om de nuværende fagforeningsmedlemmers tilfredshed, og da det alt andet lige er plausibelt at forvente, at de der er utilfredse melder sig ud (eller skifter fagforening), er det en yderst banal nyhed, at et »flertal ønsker fagforbund«.