– Guess the Correlation
– Chart Suggestions – A Thought-Starter 
– 2015: The Year in Visual Stories and Graphics
– Some advantages of sharing your data and code
– R for Stata Users
– Links to scientific practices workshop materials
– The Power of the “Power Pose”
– 100 “must read” R-bloggers’ posts for 2015
Det meste af det der skrives i medierne er sandfærdigt og ædrueligt, men der formidles også en væsentlig mængde bullshit. Dette stiller store krav til læserne, der skal skelne mellem skidt og kanel. En af konsekvenserne heraf er, at vi over de senere år har set, at der er et kommet en øget efterspørgsel efter et ganske basalt journalistisk produkt: Faktatjek.
For nogle år siden nedfældede jeg et par overvejelser omkring selve faktatjek-formatet, og med enkelte undtagelser indfanger de rammende det perspektiv, jeg stadig har på formatet. Overordnet har faktatjek en forebyggende og korrigerende opgave. Førstnævnte ved at de der udtaler sig i medierne, tænker sig om en ekstra gang, før de skyder udokumenterede påstande ud i æteren. Sidstnævnte ved at stille de mennesker til ansvar, der – bevidst eller ubevidst – taler usandt.
I Danmark associeres faktatjek i overvejende grad med DRs Detektor, der begyndte som en radioudsendelse på DR1 i 2011 og senere samme år fik sin TV-debut på DR2. Programmet er personificeret ved journalisten Thomas Buch Andersen, der interviewer fagfolk såvel som de personer, der i de bedste tilfælde har haft et lemfældigt forhold til sandheden – og i de værste tilfælde et løgnagtigt forhold. Dette er der også kommet en bog ud af, der bærer titlen Fup, fejl og fordrejninger: Bliv din egen detektor, og er skrevet af nævnte Thomas Buch Andersen samt Mads Bøgh Johansen. Sidstnævnte er tidligere redaktør på Detektor på P1.
Bogen er, som undertitlen indikerer, skrevet med det formål, at gøre læseren mere kritisk i forhold til de fakta, man præsenteres for i medierne. Der beskrives i bogens indledning tre grunde til, at der nu – mere end nogensinde før – er brug for faktatjek, og derfor også en (praktisk) bog om emnet. For det første er debatterne i medierne (herunder også de sociale medier) blevet skarpere, hvor forskellige parter refererer til forskellige fakta. For det andet er der kommet flere nyheder på flere platforme i et øget tempo – og altså flere fakta, man som medieforbruger skal forholde sig til. For det tredje er der i dag lige så mange folk, der arbejder med presse og kommunikation, som der er journalister, og som der skrives i bogen: “Der er altså lige så mange, der er ansat til at få os til at acceptere et særligt billede af virkeligheden, som der er til ideelt at nuancere og tjekke den.” (side 18)
Udgangspunktet for bogen er godt: Det handler ikke om at pege fingre. Der er en klar erkendelse af, at “de eneste, der ikke laver fejl, er dem, der ikke laver noget” (side 15). Det er menneskeligt at fejle, og faktatjek tjener et dybere formål end at udstille folk, der har lavet en fejl. Det handler om faktuelle påstande, ikke personer. Dette illustreres rammende med et eksempel, hvor Detektor selv tog fejl i en sag, og pointerer, at man vitterligt skal forholde sig kritisk til alt.
Bogen er bygget op omkring en række kapitler, der hver især introducerer nogle nøglebegreber. Strukturen i bogens respektive kapitler er identisk, hvor der gives en lang række af eksempler på påstande, der af forskellige grunde var forkerte, og en beskrivelse af, hvad der overordnet går galt i disse eksempler. Kapitlerne indeholder så forskellige spørgsmål i punktform, man som læser kan applicere på nyheder og analyser, når man skal være “sin egen detektor”. Disse fremstår dog i de fleste tilfælde mere som en gentagelse af det man lige har læst, og i nogle tilfælde gentagelser fra andre kapitler, som når der eksempelvis spørges “Hvad er det egentlig, der er talt op?” (side 34) og “Hvordan er tallet opgjort?” (side 48).
Disse spørgsmål, der skal sætte ord på de kritiske refleksioner, man som læser bør gøre sig, fungerer dog bedre i teorien end i praksis. I de bedste tilfælde formår de at opsummere og gentage en vigtig pointe, men ellers er der blot tale om overflødigt indhold. I de værste tilfælde er spørgsmålene så generelle og vage, at de i bund og grund spørger “Er der noget galt her?”. Dette ser man eksempelvis i relation til cherry-picking, hvor et af spørgsmålene er “Er det det fulde billede, der her er tegnet?” (side 76). Well, det er jo gerne det, nogle guidelines bør kunne hjælpe læseren med at besvare.
Det er dog ikke kun de anbefalede spørgsmål, der ikke tjener andet formål end at fylde siderne ud. Mellem hvert kapitel er der et par sider med ligegyldige overvejelser fra politikere og andre aktører, der tager del i den offentlige debat. Her kommer de med deres tanker, overvejelser, frustrationer, ros og så videre i relation til Detektor og journalistisk faktatjek. Dette bidrager absolut ikke med noget og kan ignoreres uden noget indholdstab.
Dette betyder dog ikke, at bogen ikke lykkedes med sin ambition om at hjælpe læseren med at blive “sin egen detektor”. Dette sker dog på trods af – snarere end på grund af – de anbefalede spørgsmål. Dette bringer os til styrken ved bogen: Det enorme materiale af historier, der er at trække på. Programmet har kørt i flere år, og der er talrige eksempler i bogen, der ingenlunde er tilfældigt udvalgt, men blandt de gode eksempler, der for de fleste læsere vil være ikke alene lærerig men også sjov læsning. Implikationen og ulempen er omvendt, at hvis man har været en stor tilhænger af både Detektor på radio og i TV, er der ikke meget nyt under solen her, der gør bogen værd at bruge tid på, hvis man ser bort fra genkendelsens glæde og en mere systematisk kategorisering af mange af eksemplerne.
Til trods for at langt størstedelen af eksemplerne er velvalgte, er især de eksempler, der formår at beskrive processen fra vidensproduktion til mediernes dagsorden, blandt de bedste. Dette er ofte historier om, hvordan en fjer bliver til fem høns. Hvordan et tal tages ud af en kontekst, får fjernet alle forbehold, bliver mistolket og ellers brugt efter forgodtbefindende, af de aktører, der har en klar interesse heri. Disse eksempler illustrerer rammende, hvor mange forskellige steder i en proces, at viden kan blive misforstået, mistolket og misbrugt.
Omvendt formår “Fup, fejl og fordrejninger” ikke rigtigt at hæve sig over eksemplernes individuelle styrker. Det er med andre ord de enkelte historier og eksempler, der giver læseren et indblik i, hvorfor man skal være kritisk (ligesom Detektor-udsendelserne), snarere end de generelle overvejelser omkring den journalistiske praksis. Et eksempel på dette er at finde på side 45, hvor følgende lovmæssighed overvejes: “Der synes nærmest at være den sammenhæng, at jo større det journalistiske behov for at forenkle er – nogle gange ned til et enkelt tal – jo mere kompleks og nuanceret er sagen.” (side 45). Dette er korrekt, og vel nærmest en selvfølge, hvorfor det også bliver en letkøbt kritik af den måde, journalister arbejder på, der ikke formår at anerkende – og derved tage udgangspunkt i – de journalistiske valg, der til hver en tid og altid skal træffes. Journalister skal altid forsimple virkeligheden (og nogle gange formidle den med blot enkle tal). Dette kan man gøre på måder, der er bedre end andre, og her ville det være at foretrække, hvis bogen – såfremt den vitterlig ønsker at berøre disse generelle aspekter – var mere eksplicit i sin diskussion, end blot at koge den ned til, at journalister forsimpler en kompliceret virkelighed (og at det sker i højere grad, når virkeligheden er særdeles kompliceret).
Nuvel, der er ikke tale om et videnskabeligt værk, men en bog der er skrevet med henblik på, at blive læst af andre/nogen. Dette ændrer dog ikke på, at det ville styrke bogen, havde den haft langt flere referencer. Der er noget ironisk ved at en bog, der skal vække læserens lyst til at dykke ned i rapporter, undersøge tal og så videre, ikke har så meget som én henvisning, til de udsendelser eller undersøgelser (herunder videnskabelige tidsskriftsartikler), der refereres til. Igen: der er ikke tale om et videnskabeligt stykke arbejde med dertilhørende krav om referencer, men når man eksempelvis fortæller om et videnskabeligt studie af Oscar-vinderes levetid, der ikke tog højde for en immortal time bias, ville det være perfekt, hvis de forskere, der oprindeligt formulerede denne kritik af studiet, blev krediteret.
Overordnet ændrer de kritiske indvendinger dog ikke på, at bogen varmt kan anbefales til de læsere, der går op i journalistik, medier og faktatjek. Dette være sig lige fra universitetsstuderende til journalister, hvor den især blandt sidstnævnte gruppe bør være pligtlæsning, så sandsynligheden for, at der er materiale nok til en toer af nærværende bog, formindskes.
En stor andel af den danske befolkning bruger facebook. Hvilke implikationer har det, at man bruger facebook? Bliver man mere lykkelig af at have en bruger på facebook? Eller ulykkelig? Dette er relevante spørgsmål, men det er også spørgsmål, der er vanskelige at besvare. Dette fordi det på ingen måde er tilfældigt, hvem der bruger facebook, hvorfor vi ikke bare kan sammenligne personer, der bruger facebook, med personer der ikke bruger facebook.
For at belyse disse spørgsmål har Institut for Lykkeforskning derfor gennemført et eksperiment, hvor de ønsker at belyse følgende: “Hvordan påvirker sociale medier vores livskvalitet? Vi laver ofte sociale sammenligninger. Hvordan klarer jeg mig sammenlignet med andre? Derfor kan en konstant strøm af nyheder om brylluper, eksotiske rejser og fede jobs i New York påvirke hvordan vi evaluerer vores liv. Det undersøgte vi i et eksperiment med over 1000 danskere.” Rapporten konkluderer, at facebook gør brugerne ulykkelige, fordi vi bruger facebook til at lave sociale sammenligninger. Det vil med andre ord sige, at når jeg bliver eksponeret for andre brugeres positive oplevelser, er jeg mere tilbøjelig til at evaluere mit eget liv negativt.
Eksperimentet er bygget op således, at folk der alle bruger facebook er tilfældigt inddelt i to forskellige grupper. En (kontrol)gruppe skulle fortsætte med at bruge facebook, og en (stimuli)gruppe skulle stoppe med at bruge facebook. Forsøgsdeltagerne blev forud for den tilfældige inddeling spurgt omkring en lang række forhold, herunder hvor tilfredse de var med livet. Forsøget er bygget op som illustreret i rapporten:
Eksperimentet finder signifikante effekter på en lang række af forskellige afhængige variable (det er værd at huske på, at jo flere afhængige variable et studie inkluderer, desto større er sandsynligheden for, at man vil finde som minimum én variabel, hvor der er en signifikant forskel). Som det eksempelvis vises i rapporten, bliver stimuligruppen, altså den gruppe der stoppede med at bruge facebook, mere tilfredse med deres liv:
Lad os se bort fra det faktum, at y-aksen ikke begynder ved nulpunktet, hvorfor det ligner, at effekterne er større, end de er, da effekterne til trods for dette er substantielt interessante. Det er heller ikke uden grund, at dette resultat har fået omtale i flere danske medier som Politiken, Berlingske, Ekstra Bladet, DR2 og TV2 såvel som i udlandet (se eksempelvis her, her, her, her, her og her).
Der er dog grunde til, at jeg ikke tror på de effekter, der er rapporteret i studiet og formidlet i medierne. Teoretisk tror jeg ikke på, at “sociale sammmenligninger”, altså andres positive oplevelser, fører til, at man evaluerer sit eget liv mere negativt. For det første er der studier, der tyder på, at det modsatte er tilfældet1. For det andet er der intet i studiet, der indikerer, at det er en sådan mekanisme, der fører til signifikante forskelle mellem grupperne.
Hvad tror jeg så på, kan være grunden til, at eksperimentet finder de pågældende effekter? For det første det faktum, at forsøgsdeltagerne selv valgte at være med i et eksperiment, der skulle undersøge, om det at droppe facebook ville gøre dem lykkelige. Det vil sige, at forsøgsdeltagerne vidste, at de var med i et eksperiment, og de vidste, om de var placeret i kontrol- eller stimuligruppen. Nedenstående viser således den tekst, man som forsøgsdeltager først blev vist, da de skulle besvare spørgeskemaet:
Det handler dog ikke alene om, at forsøgsdeltagerne var informeret om, at de deltog i “Facebook-eksperimentet”, men at de valgte netop at være med i et eksperiment, hvor stimuli var ikke at bruge facebook i en uge. Hvorfor er dette af betydning for effekterne? Fordi det ikke længere er tilfældigt, hvem der deltager i forsøget og hvem der fuldfører det. Hvis du tilmelder dig et forsøg, der handler om, at du ikke vil bruge facebook, er du nok den type, der kan forestille dig, at den slags initiativer vil være sjove at deltage i. Dem der ikke tilmelder sig, vil omvendt være dem, der ikke kan forestille sig, at der kommer noget godt ud af, at droppe facebook i en uge.
Dette bliver ikke bedre af, at der før eksperimentet blev iværksat, blev informeret offentligt om, hvad eksperimentet ønskede at komme frem til. Således havde Politiken en artikel før eksperimentet blev iværksat med titlen “Lykkeforskere søger testpersoner: Gør Facebook os lykkelige?”, hvor hypotesen bliver fremstillet af en af personerne bag studiet: “Det har en effekt, når alle vores venner bliver gift, får fede jobs i New York og viser det hele frem på Facebook, mens jeg sidder hjemme og spiser rester. Det betyder noget for os at blive disponeret for de her ting på de sociale medier.” Med andre ord er deltagerne ikke alene vidende om, hvad forsøget handler om, men også hvilke forventninger, forskerne har til forsøgsdeltagerne (og det forhold at der angiveligt er en effekt).
Det korte af det lange er, at folkene bag eksperimentet her gør alt hvad de kan for, bevidst eller ubevidst, at få en effekt af deres stimuli. Det interessante er videre at overveje, hvordan man som forsøgsperson vil agere, når man glædeligt tilmelder sig et eksperiment, hvor man skal droppe facebook i en uge, men så får at vide, at man er endt i kontrolgruppen, og bare skal fortsætte med at bruge facebook. I dette studie havde det to implikationer, der begge gør, at eksperimentet fejler. For det første valgte flere i kontrolgruppen også at bruge facebook mindre i den pågældende uge2. For det andet valgte flere i kontrolgruppen at sige “Fuck it, I’m outta here“. Frafaldsprocenten i kontrolgruppen var således 26 procent, hvilket vil sige, at en fjerdedel af alle dem, der fik at vide, at de bare skulle fortsætte med at bruge facebook, ikke valgte at deltage i resten af eksperimentet3.
For at opsummere står vi derfor tilbage med en gruppe, der forventer, at de vil blive mere glade af ikke at bruge facebook i en uge. Selv hvis vi antager, at der ikke var problemer med skævheder mellem kontrol- og stimuligruppe, vil de andre forbehold gøre, at ingen af de rapporterede estimater er pålidelige.
Der er forskellige måder at adressere ovenstående problematiske aspekter på. Det første vil selvfølgelig være at undgå disse aspekter i designet af studiet, herunder ved at de rekrutterede forsøgsdeltagere ikke bliver informeret om, hvorfor de er med i studiet (eller ligefrem tilmelder sig med henblik på ikke at bruge facebook). I forlængelse heraf vil det også være fornuftigt, ikke at informere forsøgspersonerne om, hvilke hypoteser man har.
Hvis vi antager, at problemerne ikke var betydelige, var der statistiske løsninger på udfordringerne4. De rapporterede effekter er ikke effekterne af ikke at bruge facebook, men effekten af at få at vide, at man ikke skal bruge facebook5. Her kunne man bruge en instrumentel variabel-tilgang, altså anse ens stimuli som et instrument6. En sådan tilgang ville give et mindre skævt estimat af det eksperimentelle stimuli.
For at konkludere er jeg ikke overbevist om, at facebook gør folk mindre lykkelige. Det er interessant med denne slags studier, men man skal være meget varsom med at drage for store konklusioner – og formidle det ukritisk. Rapporten giver ikke mange informationer, og i stedet for at sige, at det giver journalisterne en grund til ukritisk at formidle den information, de så har til rådighed, burde de indhente betydeligt flere informationer, der kan belyse nogle af de åbenlyse svagheder, der er forbundet med et studie som dette. Dette er ligeledes en pointe
Kresten Roland Johansen har bragt i forbindelse med nærværende eksperiment: “Undersøgelsen er interessant. Og der kommer sikkert endnu mere interessante opfølgende undersøgelser. Gerne med lidt større detaljeringsgrad og metodeformidling i både afrapportering og den journalistiske formidling.”
Har sammen med Zoltan Fazekas en artikel i det nye nummer af British Journal of Political Science (46, 1). Artiklen bærer titlen “Media Content and Political Behavior in Observational Research: A Critical Assessment” og kan findes her. Reproduktionsmaterialet kan findes på Harvard Dataverse.
For godt et år siden læste jeg en artikel publiceret i tidsskriftet Proceedings of the National Academy of Sciences. Jeg skrev en kritisk kommentar til artiklen, der blev omtalt i et indlæg af Andrew Gelman. Efterfølgende sendte jeg en kommentar til tidsskriftet Frontiers in Psychology, der efter nogle runders peer-review er accepteret og online. Kommentaren kan findes her og reproduktionsmaterialet kan findes på GitHub.