Er statskundskabsstuderende de mest kæphøje?

Hos Berlingske kan man læse, at studerende der læser Statskundskab, er de mest kæphøje: “Selvtillid er godt, men selvfedme er bedre. Det ser ud til at være mottoet for i hvert fald et udsnit af statskundskabsstuderende i et stort videnskabeligt forsøg, der har undersøgt graden af selvovervurdering hos studerende”. Det omtalte studie kan ligeledes findes omtalt hos blandt andre Videnskab.dk, der skriver: “Dem, der overvurderer deres egen præstation allermest, er de statskundskabsstuderende”.

Studiet, der bærer titlen Overconfidence and Career Choice og er publiceret i PLOS ONE, bygger på data fra 711 førsteårsstuderende i Schweiz. I forsøget blev de studerende stillet en række faglige spørgsmål relateret til årstallet for bestemte begivenheder. Efterfølgende blev de studerende spurgt om, hvordan de selv syntes, de havde klaret sig. Jo større diskrepans mellem faktisk og opfattet kunnen, desto mere havde den studerende overvurderet sine evner (eller undervurderet, hvis den studerende troede, at vedkommende havde klaret sig dårligere, end tilfældet var). Hovedresultaterne fra studiet er at finde i Figur 1 i artiklen, hvor gennemsnitsovervurderingen er vist for de respektive uddannelser:

Da jeg så ovenstående figur tænkte jeg, at til trods for at Berlingske kalder det for et “stort videnskabeligt forsøg”, er et trecifret antal forsøgspersoner ikke ret meget, når man har ni forskellige grupper, inden for hvilke der må forventes at være en høj grad af heterogenitet i, hvor meget de studerende overvurderer egne evner. Derfor reproducerede jeg figuren fra artiklen, men tilføjede en ekstra feature: 95% konfidensintervaller.

Som det kan ses, er der intet der tyder på, at statskundskabsstuderende grundlæggende set overvurderer egne evner mere end andre studerende (eller med andre ord er mere kæphøje). Overordnet set er der intet der tyder på, at der er nogle signifikante forskelle for langt de fleste af uddannelsesgrupperne.

Som Berlingske også nævner, skal man dog også være varsom med at drage konklusioner i forhold til de studerende i andre lande. Også selvom der ikke rigtigt er noget at konkludere. Det er ikke sikkert, at “resultaterne” kan generaliseres til andre studerende (heller ikke andre studerende i Schweiz). Det kan desuden være svært at sammenligne statskundskabere i forskellige lande, især fordi relationen mellem uddannelse og arbejdsmarked varierer betydeligt på tværs af lande.

Det ændrer dog selvfølgelig ikke på, at det altid er sjovt at placere statskundskabere i kasser, og mon ikke de fleste statskundskabere tager det som en kompliment, at blive kaldt for kæphøj.

Anmeldelse: Fup, fejl og fordrejninger

Det meste af det der skrives i medierne er sandfærdigt og ædrueligt, men der formidles også en væsentlig mængde bullshit. Dette stiller store krav til læserne, der skal skelne mellem skidt og kanel. En af konsekvenserne heraf er, at vi over de senere år har set, at der er et kommet en øget efterspørgsel efter et ganske basalt journalistisk produkt: Faktatjek.

For nogle år siden nedfældede jeg et par overvejelser omkring selve faktatjek-formatet, og med enkelte undtagelser indfanger de rammende det perspektiv, jeg stadig har på formatet. Overordnet har faktatjek en forebyggende og korrigerende opgave. Førstnævnte ved at de der udtaler sig i medierne, tænker sig om en ekstra gang, før de skyder udokumenterede påstande ud i æteren. Sidstnævnte ved at stille de mennesker til ansvar, der – bevidst eller ubevidst – taler usandt.

I Danmark associeres faktatjek i overvejende grad med DRs Detektor, der begyndte som en radioudsendelse på DR1 i 2011 og senere samme år fik sin TV-debut på DR2. Programmet er personificeret ved journalisten Thomas Buch Andersen, der interviewer fagfolk såvel som de personer, der i de bedste tilfælde har haft et lemfældigt forhold til sandheden – og i de værste tilfælde et løgnagtigt forhold. Dette er der også kommet en bog ud af, der bærer titlen Fup, fejl og fordrejninger: Bliv din egen detektor, og er skrevet af nævnte Thomas Buch Andersen samt Mads Bøgh Johansen. Sidstnævnte er tidligere redaktør på Detektor på P1.

Bogen er, som undertitlen indikerer, skrevet med det formål, at gøre læseren mere kritisk i forhold til de fakta, man præsenteres for i medierne. Der beskrives i bogens indledning tre grunde til, at der nu – mere end nogensinde før – er brug for faktatjek, og derfor også en (praktisk) bog om emnet. For det første er debatterne i medierne (herunder også de sociale medier) blevet skarpere, hvor forskellige parter refererer til forskellige fakta. For det andet er der kommet flere nyheder på flere platforme i et øget tempo – og altså flere fakta, man som medieforbruger skal forholde sig til. For det tredje er der i dag lige så mange folk, der arbejder med presse og kommunikation, som der er journalister, og som der skrives i bogen: “Der er altså lige så mange, der er ansat til at få os til at acceptere et særligt billede af virkeligheden, som der er til ideelt at nuancere og tjekke den.” (side 18)

Udgangspunktet for bogen er godt: Det handler ikke om at pege fingre. Der er en klar erkendelse af, at “de eneste, der ikke laver fejl, er dem, der ikke laver noget” (side 15). Det er menneskeligt at fejle, og faktatjek tjener et dybere formål end at udstille folk, der har lavet en fejl. Det handler om faktuelle påstande, ikke personer. Dette illustreres rammende med et eksempel, hvor Detektor selv tog fejl i en sag, og pointerer, at man vitterligt skal forholde sig kritisk til alt.

Bogen er bygget op omkring en række kapitler, der hver især introducerer nogle nøglebegreber. Strukturen i bogens respektive kapitler er identisk, hvor der gives en lang række af eksempler på påstande, der af forskellige grunde var forkerte, og en beskrivelse af, hvad der overordnet går galt i disse eksempler. Kapitlerne indeholder så forskellige spørgsmål i punktform, man som læser kan applicere på nyheder og analyser, når man skal være “sin egen detektor”. Disse fremstår dog i de fleste tilfælde mere som en gentagelse af det man lige har læst, og i nogle tilfælde gentagelser fra andre kapitler, som når der eksempelvis spørges “Hvad er det egentlig, der er talt op?” (side 34) og “Hvordan er tallet opgjort?” (side 48).

Disse spørgsmål, der skal sætte ord på de kritiske refleksioner, man som læser bør gøre sig, fungerer dog bedre i teorien end i praksis. I de bedste tilfælde formår de at opsummere og gentage en vigtig pointe, men ellers er der blot tale om overflødigt indhold. I de værste tilfælde er spørgsmålene så generelle og vage, at de i bund og grund spørger “Er der noget galt her?”. Dette ser man eksempelvis i relation til cherry-picking, hvor et af spørgsmålene er “Er det det fulde billede, der her er tegnet?” (side 76). Well, det er jo gerne det, nogle guidelines bør kunne hjælpe læseren med at besvare.

Det er dog ikke kun de anbefalede spørgsmål, der ikke tjener andet formål end at fylde siderne ud. Mellem hvert kapitel er der et par sider med ligegyldige overvejelser fra politikere og andre aktører, der tager del i den offentlige debat. Her kommer de med deres tanker, overvejelser, frustrationer, ros og så videre i relation til Detektor og journalistisk faktatjek. Dette bidrager absolut ikke med noget og kan ignoreres uden noget indholdstab.

Dette betyder dog ikke, at bogen ikke lykkedes med sin ambition om at hjælpe læseren med at blive “sin egen detektor”. Dette sker dog på trods af – snarere end på grund af – de anbefalede spørgsmål. Dette bringer os til styrken ved bogen: Det enorme materiale af historier, der er at trække på. Programmet har kørt i flere år, og der er talrige eksempler i bogen, der ingenlunde er tilfældigt udvalgt, men blandt de gode eksempler, der for de fleste læsere vil være ikke alene lærerig men også sjov læsning. Implikationen og ulempen er omvendt, at hvis man har været en stor tilhænger af både Detektor på radio og i TV, er der ikke meget nyt under solen her, der gør bogen værd at bruge tid på, hvis man ser bort fra genkendelsens glæde og en mere systematisk kategorisering af mange af eksemplerne.

Til trods for at langt størstedelen af eksemplerne er velvalgte, er især de eksempler, der formår at beskrive processen fra vidensproduktion til mediernes dagsorden, blandt de bedste. Dette er ofte historier om, hvordan en fjer bliver til fem høns. Hvordan et tal tages ud af en kontekst, får fjernet alle forbehold, bliver mistolket og ellers brugt efter forgodtbefindende, af de aktører, der har en klar interesse heri. Disse eksempler illustrerer rammende, hvor mange forskellige steder i en proces, at viden kan blive misforstået, mistolket og misbrugt.

Omvendt formår “Fup, fejl og fordrejninger” ikke rigtigt at hæve sig over eksemplernes individuelle styrker. Det er med andre ord de enkelte historier og eksempler, der giver læseren et indblik i, hvorfor man skal være kritisk (ligesom Detektor-udsendelserne), snarere end de generelle overvejelser omkring den journalistiske praksis. Et eksempel på dette er at finde på side 45, hvor følgende lovmæssighed overvejes: “Der synes nærmest at være den sammenhæng, at jo større det journalistiske behov for at forenkle er – nogle gange ned til et enkelt tal – jo mere kompleks og nuanceret er sagen.” (side 45). Dette er korrekt, og vel nærmest en selvfølge, hvorfor det også bliver en letkøbt kritik af den måde, journalister arbejder på, der ikke formår at anerkende – og derved tage udgangspunkt i – de journalistiske valg, der til hver en tid og altid skal træffes. Journalister skal altid forsimple virkeligheden (og nogle gange formidle den med blot enkle tal). Dette kan man gøre på måder, der er bedre end andre, og her ville det være at foretrække, hvis bogen – såfremt den vitterlig ønsker at berøre disse generelle aspekter – var mere eksplicit i sin diskussion, end blot at koge den ned til, at journalister forsimpler en kompliceret virkelighed (og at det sker i højere grad, når virkeligheden er særdeles kompliceret).

Nuvel, der er ikke tale om et videnskabeligt værk, men en bog der er skrevet med henblik på, at blive læst af andre/nogen. Dette ændrer dog ikke på, at det ville styrke bogen, havde den haft langt flere referencer. Der er noget ironisk ved at en bog, der skal vække læserens lyst til at dykke ned i rapporter, undersøge tal og så videre, ikke har så meget som én henvisning, til de udsendelser eller undersøgelser (herunder videnskabelige tidsskriftsartikler), der refereres til. Igen: der er ikke tale om et videnskabeligt stykke arbejde med dertilhørende krav om referencer, men når man eksempelvis fortæller om et videnskabeligt studie af Oscar-vinderes levetid, der ikke tog højde for en immortal time bias, ville det være perfekt, hvis de forskere, der oprindeligt formulerede denne kritik af studiet, blev krediteret.

Overordnet ændrer de kritiske indvendinger dog ikke på, at bogen varmt kan anbefales til de læsere, der går op i journalistik, medier og faktatjek. Dette være sig lige fra universitetsstuderende til journalister, hvor den især blandt sidstnævnte gruppe bør være pligtlæsning, så sandsynligheden for, at der er materiale nok til en toer af nærværende bog, formindskes.

Hvilken effekt har facebook på brugernes lykke?

En stor andel af den danske befolkning bruger facebook. Hvilke implikationer har det, at man bruger facebook? Bliver man mere lykkelig af at have en bruger på facebook? Eller ulykkelig? Dette er relevante spørgsmål, men det er også spørgsmål, der er vanskelige at besvare. Dette fordi det på ingen måde er tilfældigt, hvem der bruger facebook, hvorfor vi ikke bare kan sammenligne personer, der bruger facebook, med personer der ikke bruger facebook.

For at belyse disse spørgsmål har Institut for Lykkeforskning derfor gennemført et eksperiment, hvor de ønsker at belyse følgende: “Hvordan påvirker sociale medier vores livskvalitet? Vi laver ofte sociale sammenligninger. Hvordan klarer jeg mig sammenlignet med andre? Derfor kan en konstant strøm af nyheder om brylluper, eksotiske rejser og fede jobs i New York påvirke hvordan vi evaluerer vores liv. Det undersøgte vi i et eksperiment med over 1000 danskere.” Rapporten konkluderer, at facebook gør brugerne ulykkelige, fordi vi bruger facebook til at lave sociale sammenligninger. Det vil med andre ord sige, at når jeg bliver eksponeret for andre brugeres positive oplevelser, er jeg mere tilbøjelig til at evaluere mit eget liv negativt.

Eksperimentet er bygget op således, at folk der alle bruger facebook er tilfældigt inddelt i to forskellige grupper. En (kontrol)gruppe skulle fortsætte med at bruge facebook, og en (stimuli)gruppe skulle stoppe med at bruge facebook. Forsøgsdeltagerne blev forud for den tilfældige inddeling spurgt omkring en lang række forhold, herunder hvor tilfredse de var med livet. Forsøget er bygget op som illustreret i rapporten:

Eksperimentet finder signifikante effekter på en lang række af forskellige afhængige variable (det er værd at huske på, at jo flere afhængige variable et studie inkluderer, desto større er sandsynligheden for, at man vil finde som minimum én variabel, hvor der er en signifikant forskel). Som det eksempelvis vises i rapporten, bliver stimuligruppen, altså den gruppe der stoppede med at bruge facebook, mere tilfredse med deres liv:

Lad os se bort fra det faktum, at y-aksen ikke begynder ved nulpunktet, hvorfor det ligner, at effekterne er større, end de er, da effekterne til trods for dette er substantielt interessante. Det er heller ikke uden grund, at dette resultat har fået omtale i flere danske medier som Politiken, Berlingske, Ekstra Bladet, DR2 og TV2 såvel som i udlandet (se eksempelvis her, her, her, her, her og her).

Der er dog grunde til, at jeg ikke tror på de effekter, der er rapporteret i studiet og formidlet i medierne. Teoretisk tror jeg ikke på, at “sociale sammmenligninger”, altså andres positive oplevelser, fører til, at man evaluerer sit eget liv mere negativt. For det første er der studier, der tyder på, at det modsatte er tilfældet1. For det andet er der intet i studiet, der indikerer, at det er en sådan mekanisme, der fører til signifikante forskelle mellem grupperne.

Hvad tror jeg så på, kan være grunden til, at eksperimentet finder de pågældende effekter? For det første det faktum, at forsøgsdeltagerne selv valgte at være med i et eksperiment, der skulle undersøge, om det at droppe facebook ville gøre dem lykkelige. Det vil sige, at forsøgsdeltagerne vidste, at de var med i et eksperiment, og de vidste, om de var placeret i kontrol- eller stimuligruppen. Nedenstående viser således den tekst, man som forsøgsdeltager først blev vist, da de skulle besvare spørgeskemaet:

Det handler dog ikke alene om, at forsøgsdeltagerne var informeret om, at de deltog i “Facebook-eksperimentet”, men at de valgte netop at være med i et eksperiment, hvor stimuli var ikke at bruge facebook i en uge. Hvorfor er dette af betydning for effekterne? Fordi det ikke længere er tilfældigt, hvem der deltager i forsøget og hvem der fuldfører det. Hvis du tilmelder dig et forsøg, der handler om, at du ikke vil bruge facebook, er du nok den type, der kan forestille dig, at den slags initiativer vil være sjove at deltage i. Dem der ikke tilmelder sig, vil omvendt være dem, der ikke kan forestille sig, at der kommer noget godt ud af, at droppe facebook i en uge.

Dette bliver ikke bedre af, at der før eksperimentet blev iværksat, blev informeret offentligt om, hvad eksperimentet ønskede at komme frem til. Således havde Politiken en artikel før eksperimentet blev iværksat med titlen “Lykkeforskere søger testpersoner: Gør Facebook os lykkelige?”, hvor hypotesen bliver fremstillet af en af personerne bag studiet: “Det har en effekt, når alle vores venner bliver gift, får fede jobs i New York og viser det hele frem på Facebook, mens jeg sidder hjemme og spiser rester. Det betyder noget for os at blive disponeret for de her ting på de sociale medier.” Med andre ord er deltagerne ikke alene vidende om, hvad forsøget handler om, men også hvilke forventninger, forskerne har til forsøgsdeltagerne (og det forhold at der angiveligt er en effekt).

Det korte af det lange er, at folkene bag eksperimentet her gør alt hvad de kan for, bevidst eller ubevidst, at få en effekt af deres stimuli. Det interessante er videre at overveje, hvordan man som forsøgsperson vil agere, når man glædeligt tilmelder sig et eksperiment, hvor man skal droppe facebook i en uge, men så får at vide, at man er endt i kontrolgruppen, og bare skal fortsætte med at bruge facebook. I dette studie havde det to implikationer, der begge gør, at eksperimentet fejler. For det første valgte flere i kontrolgruppen også at bruge facebook mindre i den pågældende uge2. For det andet valgte flere i kontrolgruppen at sige “Fuck it, I’m outta here“. Frafaldsprocenten i kontrolgruppen var således 26 procent, hvilket vil sige, at en fjerdedel af alle dem, der fik at vide, at de bare skulle fortsætte med at bruge facebook, ikke valgte at deltage i resten af eksperimentet3.

For at opsummere står vi derfor tilbage med en gruppe, der forventer, at de vil blive mere glade af ikke at bruge facebook i en uge. Selv hvis vi antager, at der ikke var problemer med skævheder mellem kontrol- og stimuligruppe, vil de andre forbehold gøre, at ingen af de rapporterede estimater er pålidelige.

Der er forskellige måder at adressere ovenstående problematiske aspekter på. Det første vil selvfølgelig være at undgå disse aspekter i designet af studiet, herunder ved at de rekrutterede forsøgsdeltagere ikke bliver informeret om, hvorfor de er med i studiet (eller ligefrem tilmelder sig med henblik på ikke at bruge facebook). I forlængelse heraf vil det også være fornuftigt, ikke at informere forsøgspersonerne om, hvilke hypoteser man har.

Hvis vi antager, at problemerne ikke var betydelige, var der statistiske løsninger på udfordringerne4. De rapporterede effekter er ikke effekterne af ikke at bruge facebook, men effekten af at få at vide, at man ikke skal bruge facebook5. Her kunne man bruge en instrumentel variabel-tilgang, altså anse ens stimuli som et instrument6. En sådan tilgang ville give et mindre skævt estimat af det eksperimentelle stimuli.

For at konkludere er jeg ikke overbevist om, at facebook gør folk mindre lykkelige. Det er interessant med denne slags studier, men man skal være meget varsom med at drage for store konklusioner – og formidle det ukritisk. Rapporten giver ikke mange informationer, og i stedet for at sige, at det giver journalisterne en grund til ukritisk at formidle den information, de så har til rådighed, burde de indhente betydeligt flere informationer, der kan belyse nogle af de åbenlyse svagheder, der er forbundet med et studie som dette. Dette er ligeledes en pointe
Kresten Roland Johansen har bragt i forbindelse med nærværende eksperiment: “Undersøgelsen er interessant. Og der kommer sikkert endnu mere interessante opfølgende undersøgelser. Gerne med lidt større detaljeringsgrad og metodeformidling i både afrapportering og den journalistiske formidling.”

  1. Se evt. Kramer et al. (2014), hvor forskere manipulerede med brugernes News Feed. []
  2. Man kan indvende, at dette blot vil føre til, at man underestimerer den gennemsnitlige treatment effekt, men der er intet der taler for, at man overhovedet vil være i nærheden af et sandt estimat, når designet introducerer så fundamentale fejlkilder. []
  3. Til sammenligning valgte omkring en tiendedel (12%) i stimuligruppen at hoppe fra. []
  4. Husk: “You can’t fix by analysis what you bungled by design“ []
  5. Med andre ord er det en intention-to-treat analyse. []
  6. Paul Rosenbaum (2002, 131f) beskriver et instrument som følger: “An instrument is a random nudge to accept a treatment, where the nudge may or may not induce acceptance of the treatment, and the nudge can affect the outcome only if it does succeed in inducing acceptance of the treatment. […] In an encouragement design, the experimenter hopes that encouraged individuals will accept the treatment and individuals who are not encouraged will decline the treatment; however, some individuals may in fact decline the treatment despite encouragement, and others may take the treatment in the absence of encouragement.” []

Artikel i British Journal of Political Science: Media Content and Political Behavior in Observational Research

Har sammen med Zoltan Fazekas en artikel i det nye nummer af British Journal of Political Science (46, 1). Artiklen bærer titlen “Media Content and Political Behavior in Observational Research: A Critical Assessment” og kan findes her. Reproduktionsmaterialet kan findes på Harvard Dataverse.

Kommentar i Frontiers in Psychology: People search for meaning when they approach a new decade in chronological age

For godt et år siden læste jeg en artikel publiceret i tidsskriftet Proceedings of the National Academy of Sciences. Jeg skrev en kritisk kommentar til artiklen, der blev omtalt i et indlæg af Andrew Gelman. Efterfølgende sendte jeg en kommentar til tidsskriftet Frontiers in Psychology, der efter nogle runders peer-review er accepteret og online. Kommentaren kan findes her og reproduktionsmaterialet kan findes på GitHub.

Hvilke meningsmålinger bliver delt?

Det er ikke alle politiske meningsmålinger, der bliver delt. Det er ligeledes heller ikke tilfældigt, hvilke meningsmålinger der bliver delt. Her den anden dag kunne FiveThirtyEight således illustrere, at den republikanske præsidentkandidat Donald Trump primært deler meningsmålinger, der favoriserer ham selv.

Dette fik mig til at undersøge, om det var muligt at finde lignende eksempler i en dansk sammenhæng. Den eneste politiker, jeg kunne finde, der har delt relativt mange meningsmålinger på de sociale medier, er formanden for Liberal Alliance, Anders Samuelsen. Han har i år delt 18 meningsmålinger med sine venner og andre følgere på facebook.

Nedenstående figur viser Liberal Alliances opbakning i meningsmålingerne i henholdsvis de meningsmålinger, der blive delt af Anders Samuelsen, og alle andre meningsmålinger. De røde punkter viser meningsmålinger, Anders Samuelsen har delt, hvor de blå punkter er meningsmålinger, der ikke er delt. Ikke så overraskende er der en tendens til, at det især er de meningsmålinger, hvor Liberal Alliance klarer sig godt, der bliver delt.

I figuren har jeg udelukkende inkluderet specifikke meningsmålinger, og dermed ikke exit polls, vægtede gennemsnit, særlige meningsmålinger (eksempelvis målinger udelukkende med unge vælgere). Der er meget få datapunkter, så der skal ikke tolkes for meget ud af figuren. Ikke desto mindre er det altid interessant, når man kan blive bekræftet i, at politikere er selektive i forhold til den viden, de deler med deres følgere.

(Som altid kan data og script findes på GitHub)

Potpourri: Statistik #27

R Markdowns
The Quartz guide to bad data
Statistikere dybt uenige: Får sorte fodboldspillere flere røde kort end hvide?
Bayesian Inference: an interactive visualization
Understanding Bayes: Evidence vs. Conclusions
A Bayesian Model to Calculate Whether My Wife is Pregnant or Not
Not Even Scientists Can Easily Explain P-values
Habits and open data: Helping students develop a theory of scientific mind
Who’s afraid of Open Data
Statistisk talt

20 spørgsmål journalister skal stille til meningsmålinger

Meningsmålinger er kommet for at blive. Medierne og andre politiske aktører bruger betydelige ressourcer på at få lavet meningsmålinger, og intet tyder på, at der vil blive brugt færre ressourcer på dem i fremtiden. Tværtimod. Det triste er, at disse ressourcer øjensynligt ikke i samme omfang bruges på at sørge for, at journalisterne kan tolke og formidle disse meningsmålinger. I dette indlæg giver jeg mit bud på, hvilke 20 spørgsmål journalisterne bør stille til enhver meningsmåling og tage med i deres journalistiske overvejelser.

Vigtigheden af disse spørgsmål varierer alt efter hvilken meningsmåling, der er tale om, men det er alligevel forsøgt at placere disse spørgsmål i en systematisk rækkefølge. Tanken er ikke, at journalister altid skal stille disse spørgsmål, men om ikke andet være bekendt med disse spørgsmål og give udtryk for samme.

Nærværende indlæg er et forsøg på at skrive en mere sammenhængende oversigt over, hvad man skal være opmærksom på. Dette er i kontrast til de indlæg, der normalt skrives, som fremhæver ét eller flere – ofte problematiske – aspekter ved en specifik måling. Listen er skrevet til journalister, men tanken er selvfølgelig, at det i lige så høj grad er en læsevejledning til artikler, der formidler en meningsmåling, for alle interesserede.

Det er desuden vigtigt at fremhæve, at jeg med listen også forsøger at fjerne opmærksomheden fra andre spørgsmål, man også kunne stille, hvorfor bestemte spørgsmål ikke er taget med. Eksempler på dette kan være spørgsmål som ”Hvem har foretaget målingen?” og ”Hvor mange er blevet spurgt?”. Til trods for at disse informationer er med på diverse lister over vigtige metodiske informationer (ESOMAR/WAPOR, AAPOR etc.), er de kun i yderst sjældne tilfælde relevante og fjerner i mange tilfælde opmærksomheden fra det essentielle. Dette er ikke det samme som, at medierne ikke bør rapportere dem, men blot at de i mange tilfælde er sekundære. Her følger de relevante spørgsmål:

1. Hvad er konteksten for meningsmålingen?
Vi kan i princippet foretage meningsmålinger om alt, lige fra undersøgelser af danskernes præference for coleslaw med spidskål til spørgsmål om den hvor mange flygtninge danskerne mener, der er er plads til i Danmark. Det er derfor – som det første – afgørende, at man kan forstå og formidle konteksten for en meningsmåling. Med andre ord er det nødvendigt at spørge om, givet at en meningsmåling ikke bare kommer ud af det blå, hvorfor vi får netop denne meningsmåling nu. Hvis ikke en meningsmåling kan kobles på noget aktuelt emne, taler det mere for, at formålet netop er at gøre et emne aktuelt.

2. Hvad kan meningsmålingen bidrage med?
Meningsmålinger er som bekendt ”målte meninger”, og det er ikke altid, at meningsmålinger har noget at bidrage med i forhold til den kontekst, de forsøges at blive placeret i. Det er eksempelvis ikke altid, at et repræsentativt udsnit af en bestemt gruppe menneskers holdninger bidrager med noget som helst til et bestemt emne, og i nogle tilfælde kan det sågar fjerne fokus fra det der – journalistisk set – burde være i fokus. Det er derfor vigtigt at spørge om, hvor relevant meningsmålingen er, altså med andre ord hvad meningsmålingen helt specifikt vil kunne bidrage med til det pågældende emne. Dette aspekt bliver desuden blot vigtigere når nedenstående spørgsmål skal besvares med henblik på at vurdere, om meningsmålingen så også kan bidrage med det, man ønsker, at den skal bidrage med.

3. Hvordan dækker andre medier målingen?
Der er per definition kun ét medie, der kan være først med en meningsmåling. Når man som medie ikke er først med en meningsmåling, er der et par ekstra spørgsmål, man skal besvare, herunder hvilke informationer der bringes (og hvilke der udelades), hvordan konteksten formidles – og hvordan koblingen er mellem meningsmålingen og konteksten. Vigtigt er det især, om der er flere vinkler, end det der allerede er rapporteret. Desværre er der en tendens til, at når først meningsmålingen er formidlet én gang, hopper andre journalister ukritisk med på denne historie (på samme måde som man taler om, at meningsmålinger kan have bandwagon-effekter på vælgerne, kan de ligeledes have det på journalisterne).

4. Hvad viser tidligere meningsmålinger?
Meningsmålinger foretages ofte i relation til emner som indvandring, politikere, skat, klima, velfærd og så videre. Dette er emner der ofte er på mediernes dagsorden, hvorfor det hører til sjældenhederne, at der er tale om den første meningsmåling nogensinde om et specifikt spørgsmål. Dette gør at man som journalist, for så vidt det er muligt, bør undersøge hvad tidligere meningsmålinger viser, og især om der er væsentlige forskelle. Hvilke målinger er blevet lavet? Hvad siger målingerne? Hvad var konteksten for de pågældende målinger? Og så videre.

5. Hvilke eksperter ved noget om emnet?
Det kan ej forventes at journalister ved noget – endsige tilstrækkeligt – om det emne, en meningsmåling omhandler. Derfor er det ofte at foretrække, at eksperter bidrager med et kvalificeret perspektiv på meningsmålingen. Dette behøves selvfølgelig ikke være til citat, men en ekspert vil ofte kunne spotte åbenlyse faldgruber ved en meningsmåling og placere den i dens retmæssige kontekst. Her er det især godt at spørge eksperter, der tidligere har udtalt sig om samme emne i relation til meningsmålinger. En god tommelfingerregel er desuden ikke at spørge de eksperter (det være sig kommentatorer, forskere m.v.), der altid er i medierne, som ofte er de mindst kritiske.

6. Hvem betaler gildet?
Dette er, hvis ikke det væsentligste spørgsmål, så i hvert fald et spørgsmål, man aldrig må se bort fra. Ingen betaler for at få gennemført en meningsmåling for deres blå øjnes skyld. Interesseorganisationer vil eksempelvis gerne have det til at se ud som om, at de ikke selv har betalt for en meningsmåling, da det øger legitimiteten, hvis det er journalisterne selv, der ser ud til at have finansieret den.

Det vigtige er, at dem der betaler for en meningsmåling, også har magten over, hvordan meningsmålingen skal gennemføres. Dette har, som nedenstående spørgsmål også fremhæver, væsentlige implikationer for, hvordan en meningsmåling kommer til at se ud. En journalistisk kerneopgave er dermed at gå yderst kritisk til værks i forhold til, hvem der har betalt for meningsmålingen.

Et godt hypotetisk spørgsmål, der kan stilles til de fleste meningsmålinger, er: Ville meningsmålingen også være offentliggjort, hvis resultaterne var radikalt anderledes? Ville en interessesammenslutning af organisationer med fokus på udviklingsbistand have lanceret en meningsmåling, hvis den havde vist, at danskerne foretrak skattelettelser frem for ulandsbistand? Sandsynligvis ikke.

Mange meningsmålinger betales dog af medierne selv, hvorfor journalisten, der skal skrive en historie om den, ofte har en aktie i, at den får læsere. Dette skaber i sig selv nogle incitamenter, der ofte kan være uhensigtsmæssige. I disse tilfælde er der ikke så meget andet at gøre, end at være kritisk som læser – eller som journalist, når man skal dække en meningsmåling, et andet medie har betalt for og ønsker omtalt så meget som muligt.

7. Hvilke respondenter blev rekrutteret – og hvordan?
Sandsynligheden for, at jeg deltager i en spørgeskemaundersøgelse er noget nær nul. Hvis det lykkedes et analyseinstitut at ringe mig op, takker jeg pænt nej. Det samme er ikke tilfældet for mange andre mennesker, der glædeligt tilmelder sig diverse paneler, som gør sandsynligheden til noget nær en for, at man vil deltage i en spørgeskemaundersøgelse. Dette er en udfordring de fleste analyseinstitutter står med, nemlig at nogle mennesker er nemmere at rekruttere end andre.

Før vi overhovedet begynder at kigge nærmere på meningsmålingen, er det derfor vigtigt at se på, hvem vi overhovedet spørger. Hvordan har vi fået fat i alle disse mennesker? Er der blevet brugt økonomiske incitamenter som et redskab til at sørge for, at respondenterne deltager i meningsmålingen? Har selve rekrutteringen af respondenterne grund til at lade os være skeptiske i forhold til, hvad meningsmålingen vil vise?

Dette spørgsmål er især vigtigt, når det omhandler befolkningsgrupper, der normalt ikke er nemme at nå. Hvis en meningsmåling eksempelvis rekrutterer unge, muslimer eller en helt tredje specifik gruppe, er det ekstra relevant at kigge på, hvordan et analyseinstitut har magtet denne opgave, og om den anvendte procedure er tilfredsstillende (altså om vi kan forvente, at den gruppe der så er rekrutteret, er repræsentativ og dermed noget nær identisk med en tilfældig stikprøve af populationen).

8. Hvem blev sorteret fra?
Når vi har en oversigt over, hvem der deltager i meningsmålingen, er det vigtigt at se på, hvem der så får lov til at svare på de spørgsmål, der skal stilles i en meningsmåling. Med andre ord er vi ikke kun interesseret i hvem der har svaret, men lige så meget hvem der ikke har svaret. For godt tre år siden pointerede jeg eksempelvis det problematiske ved en meningsmåling, der viste, at danskerne var glade for fagforeninger. Det problematiske var helt specifikt, at man ikke spurgte de respondenter, der ikke var med i en fagforening, hvorfor man ikke kan sige, at undersøgelsen er repræsentativ i forhold til danskerne.

Et nyere eksempel har vi fra sommerferien, hvor DR2 i en kampagne meldte ud, at 83% mente, at DR2 spiller en vigtig rolle for samfundsdebatten. Hvad de ikke meldte ud i kampagnen var, at de udelukkende spurgte de mennesker, der så DR2, og dermed var meningsmålingen på ingen måde repræsentativ. Detektor skrev mere om den specifikke kampagne her.

9. Hvornår blev folk spurgt?
Når vi har styr på, hvem der er blevet spurgt – og ikke er blevet spurgt – er det vigtigt at se på, hvornår respondenterne blev spurgt. Dette er vigtigt, da perioden folk er blevet spurgt i, kan have betydning for, hvordan respondenterne vil svare på de spørgsmål, de bliver stillet. Igen, det er sjældent tilfældigt om en bestemt meningsmåling bliver gennemført eller ej, og når danskerne bliver spurgt om indvandring i disse dage, vil svarene højst sandsynligt være påvirket af den aktuelle dagsorden i medierne med EU, flygtninge m.v.

Det er desuden vigtigt at se nærmere på, hvor lang en periode folk er blevet spurgt over. Nogle meningsmålinger, eksempelvis relateret til partivalg, gennemføres normalt over et par dage, hvorfor det er usandsynligt, at respondenterne interviewet i begyndelsen af dataindsamlingsperioden vil være i en anden kontekst end dem interviewet senere. Omvendt kan konteksten variere for respondenterne, hvis dataindsamlingen har stået på over flere uger, hvilket man oftest ser, når minoritetsgruppers holdninger er hovedfokus i en meningsmåling (altså målinger der vedrører grupper, som er svære at rekruttere).

10. Hvordan er folk blevet interviewet?
Når vi har styr på hvilke respondenter, der deltager i meningsmålingen og hvornår de gør det, skal vi se på, hvordan respondenterne er blevet interviewet. I de fleste af de meningsmålinger man finder i medierne i dag, interviewes respondenterne enten via telefon eller besvarer et spørgeskema på internettet (nogle meningsmålingerne kombinerer svar indsamlet vha. nævnte metoder). Vigtigheden af hvordan respondenterne er blevet interviewet kan variere betydeligt alt efter hvilket emne der er tale om, hvor mange svarmuligheder respondenten gives, sandsynligheden for frafald midt i en meningsmåling og så videre. Det korte af det lange er her blot, at man bør reflektere over (og i den bedste af alle verdener undersøge), om meningsmålingens resultater ville have været anderledes, hvis folk i stedet for at have besvaret et spørgeskema på internettet, var interviewet af en person – og vice versa.

11. Hvor mange spørgsmål blev der stillet?
Nu kommer vi så til det, vi oftest interesserer os mest for: spørgsmålene. Mange artikler der omhandler meningsmålinger, formidler et eller to specifikke spørgsmål, respondenterne er blevet spurgt om. I de fleste tilfælde bliver respondenterne dog stillet talrige spørgsmål (når man nu alligevel har dem i røret eller ved tasterne). Derfor er det godt at have styr på, hvor mange spørgsmål respondenten blev stillet – og om dette kan have betydning for, hvad meningsmålingen vil vise. Om ikke andet er det i hvert fald vigtigt, at man er bekendt med omfanget af meningsmålingen og har styr på, hvad der er blevet spurgt om og hvad der ikke er blevet spurgt om.

12. Hvilke spørgsmål blev der stillet?
Dernæst er det vigtigt at fokusere på spørgsmålenes helt konkrete ordlyd. Talrige studier har vist, at ordlyden ofte påvirker, hvilke svar respondenterne giver. Et eksempel på dette, og som en reminder om at huske på, hvem der finansierer en meningsmåling, fik både LO og Dansk Arbejdsgiverforening for år tilbage gennemført hver deres meningsmåling, der ville undersøge, om danskerne var parate til at arbejde mere. I den ene meningsmåling blev vælgerne spurgt om de var klar til at arbejde mere, hvis det resulterede i en senere fyraften, og i den anden om de var klar til at arbejde mere, hvis det var for at undgå velfærdsbesparelser. Det er nok ikke den store overraskelse, at de to meningsmålinger ikke viste samme opbakning til at arbejde mere.

13. Hvilken rækkefølge blev spørgsmålene stillet i?
Når vi ved hvor mange og hvilke spørgsmål der er stillet, skal vi forholde os til eventuelle rækkefølgeeffekter. Kort fortalt: Kan svarene til det ene spørgsmål være påvirket af, at det er besvaret i forlængelse af et andet spørgsmål? Der findes her også talrige eksempler på, at respondenterne ikke besvarer et spørgsmål uafhængigt af, hvad de lige har besvaret. Man ønsker som respondent især at være konsistent i sine svar, og nogle spørgsmål kan prime respondenten til at tænke over de kommende spørgsmål på en bestemt måde.

Den bedste metode til at reducere systematiske skævheder som følge af rækkefølgen, er at gøre det tilfældigt i hvilken rækkefølge de enkelte spørgsmål bliver præsenteret for respondenten. I det tilfælde kan man sågar i nogle tilfælde estimere, om den bestemte rækkefølge respondenterne er blevet præsenteret for et spørgsmål på, har betydning for, hvilke svar de giver.

14. Hvilke svarmuligheder blev givet?
De fleste spørgsmål respondenterne gives i en meningsmåling har specifikke svarmuligheder, man kan vælge mellem. Antallet af svarmuligheder og udformningen af disse svarmuligheder kan ligeledes have betydning for, hvordan respondenterne svarer. Derfor er det afgørende, at svarmulighederne formuleres på en sådan måde, at betydningen af svarmulighederne reduceres så meget som muligt. Med andre ord ønsker vi ikke, at det meningsmålingen viser, blot er et produkt af de muligheder, vi har givet respondenterne.

Cevea fik for et par år siden lavet en meningsmåling, der viste, at danskerne mente, at millionærerne og bankerne skulle betale prisen for den økonomiske krise. Her blev respondenterne ikke bedt om at svare frit fra hoften, men derimod præsenteret for nogle bestemte svarmuligheder, der foruden de nævnte, blandt andet inkluderede ”de arbejdsløse” og ”de nedslidte”. Sådanne svarmuligheder har højst sandsynligt påvirket de svar, meningsmålingen har vist, og det er vigtigt at holde sig for øje.

15. Hvor mange svarede ”ved ikke”?
Havde respondenterne en mulighed for at svare ”ved ikke” til de enkelte spørgsmål, eller blev de tvunget til at afgive et svar? Og når der er mulighed for at svare ”ved ikke”, hvad gør man så med dem, der har svaret ”ved ikke”? Når man spørger vælgernes om deres partivalg, er der forskellige standarder for, hvordan man forholder sig til de respondenter, der ikke ved, hvilket parti de vil stemme på. Nogle analyseinstitutter undlader at spørge nærmere ind til dette, hvor andre stiller opfølgende spørgsmål med henblik på at presse et svar ud af respondenten.

Som med de andre spørgsmål kan vigtigheden af ”ved ikke” muligheden variere alt efter andre specifikke karakteristika ved meningsmålingen, men ikke desto mindre er det vigtigt at være transparent omkring, hvilke muligheder respondenten har haft for at svare ”ved ikke” og hvad man ellers har gjort med disse svar.

16. Hvor stor er den statistiske usikkerhed?
Ingen meningsmåling kommer uden statistisk usikkerhed. Vi kan med andre ord ikke være 100 procent sikre på, at det lige netop er 5,1 procent af vælgerne, der vil stemme på Alternativet, hvis der er valg i morgen. Der kan skrives meget om den statistiske usikkerhed i meningsmålingerne (og jeg har gjort det talrige gange), men det kan koges ned til følgende: Rapporter altid den statistiske usikkerhed og lad være med at tolke på meningsmålinger som var de med en statistisk usikkerhed på nul.

17. Er meningsmålingen valid?
Når vi har styr på ovenstående spørgsmål, kan vi begynde at forholde os til, om meningsmålingen har en sådan kvalitet, at vi ikke bør smide den direkte i skraldespanden men rent faktisk kan sige noget meningsfuldt om ”målte meninger”. Det er med andre ord her, at vi begynder at sammenfatte svarene til de ovenstående individuelle spørgsmål relateret til den specifikke meningsmåling, og spørger om meningsmålingen overordnet set er valid. Pointen er her, at det kan være svært at vurdere kvaliteten af en meningsmåling udelukkende på baggrund af svaret til ét af de ovenstående spørgsmål.

18. Hvordan kan målingen frames?
Spørgsmål 3 handlede om, hvordan andre medier omtalte meningsmålingen, og det er nu vigtigt at spørge, om det er den bedste måde at formidle meningsmålingen. Ingen tal taler for sig selv, og meningsmålinger skal derfor altid formidles på én måde i stedet for en anden.

19. Hvilke spørgsmål står vi tilbage med?
Er der noget vi skal vide, før vi kan vurdere, om der er tale om en interessant og vigtig meningsmåling? Hvilke forbehold må læseren ikke være foruden? Er det vigtigt at få med, hvad vi ikke kan sige med udgangspunkt i meningsmålingen?

20. Er meningsmålingen nyhedsværdig?
Tilbage står ét spørgsmål: Er meningsmålingen nyhedsværdig? Først når ovenstående spørgsmål er besvaret, kan vi besvare, om meningsmålingen rent faktisk er læsernes opmærksomhed værdig. Dette indebærer også, at ikke alle meningsmålinger er nyhedsværdige. Jeg har intet overblik over, hvor ofte journalister beslutter sig for ikke at formidle en bestemt meningsmåling, så jeg kan desværre ikke belyse, hvor vigtigt nærværende spørgsmål er. Omvendt kan jeg dog konkludere, når man ser på mange af de meningsmålinger af lav kvalitet, der bliver formidlet, at spørgsmålet er vigtigt og i højere grad end tilfældet er i dag, oftere bør være et spørgsmål, journalister stiller sig selv.

I den bedste af alle verdener ville vi stille de 19 forudgående spørgsmål før vi stiller dette spørgsmål, og dette er selvfølgelig ikke, hvad der sker eller kommer til at ske, men ikke desto mindre er det vigtigt at forsøge at have en sådan tjekliste i baghovedet, hver gang der kommer en ny meningsmåling, så man hurtigt kan identificere, hvilke potentielle faldgruber der kan være.