Erik Gahner Larsen

Hvilken effekt har facebook på brugernes lykke?

En stor andel af den danske befolkning bruger facebook. Hvilke implikationer har det, at man bruger facebook? Bliver man mere lykkelig af at have en bruger på facebook? Eller ulykkelig? Dette er relevante spørgsmål, men det er også spørgsmål, der er vanskelige at besvare. Dette fordi det på ingen måde er tilfældigt, hvem der bruger facebook, hvorfor vi ikke bare kan sammenligne personer, der bruger facebook, med personer der ikke bruger facebook.

For at belyse disse spørgsmål har Institut for Lykkeforskning derfor gennemført et eksperiment, hvor de ønsker at belyse følgende: “Hvordan påvirker sociale medier vores livskvalitet? Vi laver ofte sociale sammenligninger. Hvordan klarer jeg mig sammenlignet med andre? Derfor kan en konstant strøm af nyheder om brylluper, eksotiske rejser og fede jobs i New York påvirke hvordan vi evaluerer vores liv. Det undersøgte vi i et eksperiment med over 1000 danskere.” Rapporten konkluderer, at facebook gør brugerne ulykkelige, fordi vi bruger facebook til at lave sociale sammenligninger. Det vil med andre ord sige, at når jeg bliver eksponeret for andre brugeres positive oplevelser, er jeg mere tilbøjelig til at evaluere mit eget liv negativt.

Eksperimentet er bygget op således, at folk der alle bruger facebook er tilfældigt inddelt i to forskellige grupper. En (kontrol)gruppe skulle fortsætte med at bruge facebook, og en (stimuli)gruppe skulle stoppe med at bruge facebook. Forsøgsdeltagerne blev forud for den tilfældige inddeling spurgt omkring en lang række forhold, herunder hvor tilfredse de var med livet. Forsøget er bygget op som illustreret i rapporten:

Eksperimentet finder signifikante effekter på en lang række af forskellige afhængige variable (det er værd at huske på, at jo flere afhængige variable et studie inkluderer, desto større er sandsynligheden for, at man vil finde som minimum én variabel, hvor der er en signifikant forskel). Som det eksempelvis vises i rapporten, bliver stimuligruppen, altså den gruppe der stoppede med at bruge facebook, mere tilfredse med deres liv:

Lad os se bort fra det faktum, at y-aksen ikke begynder ved nulpunktet, hvorfor det ligner, at effekterne er større, end de er, da effekterne til trods for dette er substantielt interessante. Det er heller ikke uden grund, at dette resultat har fået omtale i flere danske medier som Politiken, Berlingske, Ekstra Bladet, DR2 og TV2 såvel som i udlandet (se eksempelvis her, her, her, her, her og her).

Der er dog grunde til, at jeg ikke tror på de effekter, der er rapporteret i studiet og formidlet i medierne. Teoretisk tror jeg ikke på, at “sociale sammmenligninger”, altså andres positive oplevelser, fører til, at man evaluerer sit eget liv mere negativt. For det første er der studier, der tyder på, at det modsatte er tilfældet1. For det andet er der intet i studiet, der indikerer, at det er en sådan mekanisme, der fører til signifikante forskelle mellem grupperne.

Hvad tror jeg så på, kan være grunden til, at eksperimentet finder de pågældende effekter? For det første det faktum, at forsøgsdeltagerne selv valgte at være med i et eksperiment, der skulle undersøge, om det at droppe facebook ville gøre dem lykkelige. Det vil sige, at forsøgsdeltagerne vidste, at de var med i et eksperiment, og de vidste, om de var placeret i kontrol- eller stimuligruppen. Nedenstående viser således den tekst, man som forsøgsdeltager først blev vist, da de skulle besvare spørgeskemaet:

Det handler dog ikke alene om, at forsøgsdeltagerne var informeret om, at de deltog i “Facebook-eksperimentet”, men at de valgte netop at være med i et eksperiment, hvor stimuli var ikke at bruge facebook i en uge. Hvorfor er dette af betydning for effekterne? Fordi det ikke længere er tilfældigt, hvem der deltager i forsøget og hvem der fuldfører det. Hvis du tilmelder dig et forsøg, der handler om, at du ikke vil bruge facebook, er du nok den type, der kan forestille dig, at den slags initiativer vil være sjove at deltage i. Dem der ikke tilmelder sig, vil omvendt være dem, der ikke kan forestille sig, at der kommer noget godt ud af, at droppe facebook i en uge.

Dette bliver ikke bedre af, at der før eksperimentet blev iværksat, blev informeret offentligt om, hvad eksperimentet ønskede at komme frem til. Således havde Politiken en artikel før eksperimentet blev iværksat med titlen “Lykkeforskere søger testpersoner: Gør Facebook os lykkelige?”, hvor hypotesen bliver fremstillet af en af personerne bag studiet: “Det har en effekt, når alle vores venner bliver gift, får fede jobs i New York og viser det hele frem på Facebook, mens jeg sidder hjemme og spiser rester. Det betyder noget for os at blive disponeret for de her ting på de sociale medier.” Med andre ord er deltagerne ikke alene vidende om, hvad forsøget handler om, men også hvilke forventninger, forskerne har til forsøgsdeltagerne (og det forhold at der angiveligt er en effekt).

Det korte af det lange er, at folkene bag eksperimentet her gør alt hvad de kan for, bevidst eller ubevidst, at få en effekt af deres stimuli. Det interessante er videre at overveje, hvordan man som forsøgsperson vil agere, når man glædeligt tilmelder sig et eksperiment, hvor man skal droppe facebook i en uge, men så får at vide, at man er endt i kontrolgruppen, og bare skal fortsætte med at bruge facebook. I dette studie havde det to implikationer, der begge gør, at eksperimentet fejler. For det første valgte flere i kontrolgruppen også at bruge facebook mindre i den pågældende uge2. For det andet valgte flere i kontrolgruppen at sige “Fuck it, I’m outta here“. Frafaldsprocenten i kontrolgruppen var således 26 procent, hvilket vil sige, at en fjerdedel af alle dem, der fik at vide, at de bare skulle fortsætte med at bruge facebook, ikke valgte at deltage i resten af eksperimentet3.

For at opsummere står vi derfor tilbage med en gruppe, der forventer, at de vil blive mere glade af ikke at bruge facebook i en uge. Selv hvis vi antager, at der ikke var problemer med skævheder mellem kontrol- og stimuligruppe, vil de andre forbehold gøre, at ingen af de rapporterede estimater er pålidelige.

Der er forskellige måder at adressere ovenstående problematiske aspekter på. Det første vil selvfølgelig være at undgå disse aspekter i designet af studiet, herunder ved at de rekrutterede forsøgsdeltagere ikke bliver informeret om, hvorfor de er med i studiet (eller ligefrem tilmelder sig med henblik på ikke at bruge facebook). I forlængelse heraf vil det også være fornuftigt, ikke at informere forsøgspersonerne om, hvilke hypoteser man har.

Hvis vi antager, at problemerne ikke var betydelige, var der statistiske løsninger på udfordringerne4. De rapporterede effekter er ikke effekterne af ikke at bruge facebook, men effekten af at få at vide, at man ikke skal bruge facebook5. Her kunne man bruge en instrumentel variabel-tilgang, altså anse ens stimuli som et instrument6. En sådan tilgang ville give et mindre skævt estimat af det eksperimentelle stimuli.

For at konkludere er jeg ikke overbevist om, at facebook gør folk mindre lykkelige. Det er interessant med denne slags studier, men man skal være meget varsom med at drage for store konklusioner – og formidle det ukritisk. Rapporten giver ikke mange informationer, og i stedet for at sige, at det giver journalisterne en grund til ukritisk at formidle den information, de så har til rådighed, burde de indhente betydeligt flere informationer, der kan belyse nogle af de åbenlyse svagheder, der er forbundet med et studie som dette. Dette er ligeledes en pointe
Kresten Roland Johansen har bragt i forbindelse med nærværende eksperiment: “Undersøgelsen er interessant. Og der kommer sikkert endnu mere interessante opfølgende undersøgelser. Gerne med lidt større detaljeringsgrad og metodeformidling i både afrapportering og den journalistiske formidling.”

  1. Se evt. Kramer et al. (2014), hvor forskere manipulerede med brugernes News Feed. [↩]
  2. Man kan indvende, at dette blot vil føre til, at man underestimerer den gennemsnitlige treatment effekt, men der er intet der taler for, at man overhovedet vil være i nærheden af et sandt estimat, når designet introducerer så fundamentale fejlkilder. [↩]
  3. Til sammenligning valgte omkring en tiendedel (12%) i stimuligruppen at hoppe fra. [↩]
  4. Husk: “You can’t fix by analysis what you bungled by design“ [↩]
  5. Med andre ord er det en intention-to-treat analyse. [↩]
  6. Paul Rosenbaum (2002, 131f) beskriver et instrument som følger: “An instrument is a random nudge to accept a treatment, where the nudge may or may not induce acceptance of the treatment, and the nudge can affect the outcome only if it does succeed in inducing acceptance of the treatment. […] In an encouragement design, the experimenter hopes that encouraged individuals will accept the treatment and individuals who are not encouraged will decline the treatment; however, some individuals may in fact decline the treatment despite encouragement, and others may take the treatment in the absence of encouragement.” [↩]

Hvilken effekt har meningsmålinger på vælgerne?

Forleden kom der et nyt arbejdspapir fra Center for Valg og Partier på Københavns Universitet, der undersøger, hvilken effekt politiske meningsmålinger har på opbakningen til de politiske partier. Undersøgelsen fik en del medieomtale (blandt andre hos Politiken, DR og Berlingske) og kommer i kølvandet på DR/Epinion-fadæsen ved det seneste kommunalvalg (sidstnævnte foranledigede at jeg skrev en kommentar i Berlingske).

Der er tale om et solidt stykke håndværk, som man kun kan ønske sig mere af – især i selve mediedækningen af politologisk forskning. Kort opsummeret er studiet et surveyeksperiment, der giver respondenter forskellige typer af information med henblik på at estimere, hvor stor en effekt bestemt information har på respondenternes holdninger. På godt (intern validitet) og ondt (ekstern validitet) reducerer vi en kompleks, støjfyldt virkelighed og ser, hvilken effekt en bestemt type af information har i en bestemt informationskontekst.

Den slags metodiske tilgange til at blive klogere på verden er ikke velkendte i alle kredse. Voxmeter var ude med en kritik af arbejdet, fordi “selvsamme undersøgelse begår præcis samme fejl som de meningsmålinger, der peger i øst og vest, på grund af et tvivlsomt datagrundlag”. Kritikken af undersøgelsen er forfejlet og et udtryk for Voxmeters egen agenda, hvor de gør en stor dyd ud af at tage afstand fra YouGov. Man kan ikke bebrejde Voxmeter at skrive en sådan kritik af undersøgelsen, men det er vanskeligt at se, hvad den har med resultaterne fra den pågældende undersøgelse at gøre. (En kritik ville kunne være, at respondenterne i den pågældende sample er mere (mindre) påvirkelige, hvorved man overestimerer (underestimerer) effekten af meningsmålingerne, men det er ikke sådan en potentiel problematik, Voxmeter adresserer.)

Meningsmålinger fortæller os, hvor stor opbakningen er til bestemte forslag, partier, personer m.v. Det interessante spørgsmål, og som et hav af studier har undersøgt, er, om der er såkaldte feedback effekter, altså hvorvidt informationen om den offentlige mening kan påvirke den offentlige mening. Grundlæggende kan man tale om to typer af effekter, som meningsmålinger kan have: 1) mobiliseringseffekter og 2) stemmeeffekter. Førstnævnte handler om, hvorvidt en meningsmåling kan få flere til at gå ned og stemme (eller sågar få folk til at blive hjemme), hvor sidstnævnte handler om, hvorvidt en meningsmåling kan påvirke, hvilket parti man stemmer på.

Sondringen er interessant i denne sammenhæng, da begge dele blev diskuteret i forlængelse af kommunalvalget 2013, som undersøgelsen som bekendt skulle belyse. Forskerne er eksplicitte omkring, at der ikke bliver fokuseret på effekten på valgdeltagelsen (side 11), men det er ikke desto mindre der, at nogle af de interessante spørgsmål ligger gemt. Fik den såkaldte exitprognose eksempelvis sofaglade socialdemokrater til at genoverveje, om de gad gå ned at stemme? Spørgsmålet om hvorvidt den i stemmeboksen fik færre til at sætte et kryds ved Socialdemokraterne, vil jeg vurdere er mindre aktuelt. Gør det undersøgelsen mindre relevant? Overhovedet ikke, men det er vigtigt at holde sig for øje, hvad den ikke belyser i forhold til den kontekst, den er blevet diskuteret inden for.

Kigger vi nærmere på det konkrete forskningsdesign, bliver respondeterne delt ind i fem grupper. En kontrolgruppe, som alle eksperimenter bør have, og så fire grupper der varierede på parti (Socialdemokraterne og de Konservative) og meningsmålingsresultat (fremgang og tilbagegang). Selve forskningsdesignet er vist på side 14 i rapporten:

Der er tale om et stærkt design, der alt andet lige giver gode muligheder for at undersøge, om informationen respondenterne får, skaber systematiske forskelle i de svar, der gives senere (altså et between subjects design). Den interne validitet er høj, og det er svært at forestille sig et bedre design til formålet her. Observeres skal det dog, at fremgangen (og tilbagegangen) på henholdsvis to og fem procentprocent ikke manipuleres på tværs af Socialdemokraterne og de Konservative. Med andre ord kan det ikke undersøges, om eventuelle forskelle hos partierne skyldes partiet eller størrelsen på forandringen. (Derfor vil jeg i det resterende heller ikke diskutere nærmere, hvorfor der i eksperimentet kan være forskellige resultater for Socialdemokraterne og de Konservative, men mestendels fokusere på resultaterne fra Socialdemokraterne, der også har fået mest omtale i medierne.)

Kigger vi nærmere på det materiale respondenterne har læst, har hver respondent (minus dem i kontrolgruppen), læst en artikel om et parti der er gået frem eller tilbage i en meningsmåling, hvortil en ekspert udtaler, at det er gode eller dårlige nyheder for partiet, alt efter retningen på forandringen for partiet i meningsmålingen. Et eksempel på en artikel respondenterne har læst, er vist på side 35 (eksemplet viser Socialdemokraterne, der går fem procentpoint tilbage):

Artiklerne, der anvendes i eksperimentet, er af gode grunde lavet med henblik på, at skulle virke realistisk i forhold til artikler, der ville kunne bringes i en “rigtig” avis. Her skal vi dog holde os mindst fire ting for øje, hvad angår det materiale respondenterne er blevet forevist, der blandt andet vedrører eksperimentets økologiske validet. For det første er alle respondenterne i treatmentgrupperne blevet tvunget til at se artiklen i mindst 30 sekunder. Dette er (heldigvis) ikke sådan mennesker bliver konfronteret med meningsmålinger i deres hverdag, hvor det ligeledes heller ikke er tilfældigt, hvem der overhovedet læser artikler med meningsmålinger. Jo længere tid man i et eksperiment tvinger respondenterne til at bearbejde og tænke over stimulimaterialet, desto mere kan det forventes, at det vil kunne afspejles i svarene derefter, men ikke nødvendigvis matche den måde meningsmålinger bearbejdes på i normalt medieforbrug.

For et andet er det meget sjældent at artikler, der formidler en meningsmåling, udelukkende nævner ét parti. Dette fordi procentpoint i en meningsmåling er et nulsumsspil, og hvis ét parti går frem eller tilbage, påvirker det andre partiers tilslutning i meningsmålingen, der som regel også får et ord eller to med på vejen. Her kan man forvente, at når først man begynder at øge kompleksiteten og præsentere tal for andre partier, forskelle til de andre partier m.v., vil det øge forskellene i hvad læserne fokuserer på i artiklen, hvordan de bearbejder informationen, og dermed effekten af informationerne på opbakningen til partierne.

For det tredje er der visuel information, der viser forandringen for det ene parti. Det er langt fra i alle artikler, at den slags informationer bliver visualiseret, og hvis forskelle bliver visualiseret, er det som regel de fleste partiers opbakning, der bliver vist i forhold til hinanden. I ovenstående eksempel med Socialdemokraternes tilbagegang behøves man knap nok aflæse tallene, da man uden de store vanskeligheder vil kunne se, at der er tale om en nedtur.

For det fjerde er der i alle artikler en ekspert, der fortolker meningsmålingen. I ovenstående eksempel udtales der, at meningsmålingen viser, at det er umuligt at se en vej ud fra krisen for Socialdemokraterne. De kilder der anvendes i artikler har væsentlig betydning for, hvordan læseren bearbejder information i forhold til de beslutninger der skal træffes efterfølgende (i dette tilfælde partivalg). Hvis der bruges en pålidelig kilde, hvilket alt andet lige er tilfældet i nærværende eksperiment, vil det kun kunne bidrage til at gøre effekten af meningsmålingen større. Det er selvfølgelig – igen – sjældent at meningsmålinger kun beskæftiger sig med ét parti, og ofte, når der inddrages kilder, får politikere også mulighed for at udtale sig. Jeg tror ikke der findes tilfælde, hvor en artikel kun har nævnt ét parti ifm. en meningsmåling uden at interviewe en politiker fra det pågældende parti.

Ovenstående indvendinger er interessante, da artiklen er skruet sådan sammen, at man med de valgte elementer opbygger de bedste betingelser for at finde effekter. Langt de fleste politologiske eksperimenter er skruet sådan sammen, at de sjældent er en direkte kritisk test af de teoretiske forventninger, og dette gælder også for dette studie. Med andre ord har vi at gøre med et setup, hvor et fravær af en effekt ikke kan tilskrives det faktum, at folk ikke er blevet præsenteret for klar og tydelig information.

Med dette in mente kan vi se nærmere på, hvilken effekt meningsmålingerne så har. Kresten Roland Johansen, projektleder og underviser på Danmarks Medie- og Journalisthøjskole, har rejst en kritik af undersøgelsens hovedresultater, der sammenfattes i følgende to kritikpunkter:

Pointe 1: Havde der været tale om virkelige meningsmålinger hver især baseret på ca. 600 svar og med samme fremgang i tilslutningen til Socialdemokraterne, ville fagpersoner rådgive journalister til ikke at vinkle på forskellen pga. den statistiske usikkerhed. Med henvisning til eksperimentets høje intervaliditet og evidens fra lignende eksperimenter mener forskerne, at det er forsvarligt her. Det fremgår dog ingen steder i rapporten eller i medieomtalen, at der er tale om marginal signifikans.

Pointe 2: Tilbagegangseffekterne er insignifikante, dvs. ikke sandsynliggjort i undersøgelsen. Men når det er tilfældet, hvordan kan rapporten så konkludere en tendens til, at dårlige målinger kan sende partierne tilbage? Det virker ikke stærkt underbygget i eksperimentets resultater.

Første pointe relaterer til, at der ikke er tale om p-værdier der når under de konventionelle signifikansværdier. Det er korrekt, at det er vigtigt at se på, hvor store forskellene er, men en p-værdi alene fortæller os ikke så meget, og slet ikke om effektstørrelsen. På side 16 i rapporten vises der grafisk, hvordan opbakningen til Socialdemokraterne varierer på tværs af tre grupper (kontrol, fremgang for Socialdemokraterne og tilbagegang for Socialdemokraterne):

Det interessante her er at se, om gennemsnitsforskellene i de to grupper er forskellige fra kontrolgruppen. Nævnes skal det, at det ikke er 95 pct. konfidensintervaller på ovenstående figur, men 90 procent. Her har Kresten en pointe i, at det ikke virker sandsynliggjort, at tilbagegangen er så stor for Socialdemokraterne, efter en dårlig meningsmåling. Dette fund er især aktuelt i kommunalvalg ’13-sammenhængen, da det netop var spørgsmålet om, hvorvidt en dårlig meningsmåling havde nogle implikationer, der blev diskuteret.

Hvad angår testen af fremgangseffekten, er der to pointer, der kan fremhæves; den ene i forhold til teorien, den anden i forhold til, hvornår man kan kalde noget for signifikant. I begyndelsen af rapporten beskrives det helt korrekt, at der er forskellige teoretiske bud på, hvilken effekt meningsmålinger kan have. Den ene er en underdog-effekt, altså hvor vælgerne vil bakke op om et parti i ren sympati, og den anden er en bandwagon-effekt. I tilfældet med Socialdemokraternes dårlige meningsmåling kan man altså teoretisk set forestille sig to forskellige effekter: 1) at vælgerne stemmer på Socialdemokratiet, når de går tilbage og 2) at vælgerne skrider fra Socialdemokratiet. Når vi har sådanne to forskellige teoretiske forventninger, der kan have effekter i samme retning, motiverer det, at vi laver to-sidede hypotesetests, og det uddybes ikke, hvorfor man afviger fra den praksis.

Når vi så vurderer, om effekten i fremgangsartiklen er signifikant, må vi forholde os til, hvornår vi kan tale om statistisk signifikans. Når forfatterne i rapporten skriver, at forskellen er signifikant med en p-værdi på 0,075 i en ensidet test (side 17), er det i min verden slang for insignifikant, men igen – der er ingen universelle regler, og det skal selvfølgelig tolkes i forhold til samplestørrelsen.

Eksperimentet er som sagt godt håndværk, og det er god politologisk forskning, der gør os klogere på, hvilken effekt bestemte meningsmålinger har. For journalisterne må det især være interessant at diskutere, hvor stor betydning det har på vælgernes holdninger, når de selv formidler meningsmålinger i en meget kompliceret virkelighed, hvor der ofte bliver offentliggjort meningsmålinger med få dages mellemrum, der viser forskellige tendenser. Netop af denne grund må det for mange være overraskende, hvor inkompetente journalister virker i forhold til at perspektivere sådanne resultater. Jeg har dog efterhånden mødt en pæn andel journalister, så jeg er selvfølgelig ikke overrasket.

Hvor længe holder sådanne effekter eksempelvis? I eksperimentet bliver deltagerne spurgt lige efter de har læst artiklen. Hvis man lod der går et kvarters tid, ville effekterne så være de samme? I virkeligheden er der ikke opklistret den seneste meningsmåling i stemmeboksen, men hvis der er en effekt, og den holder ved, kan det have store betydninger. Og hvad hvis man bliver præsenteret for forskellige meningsmålinger, der viser forskellige ting? Bliver man mere kritisk overfor meningsmålinger, og lader sig påvirke mindre, eller påvirkes man lige meget af hver meningsmåling? Reagerer alle ens på meningsmålinger? Nogle vælgere er mere sikre i deres partivalg, nogle er rent personlighedsmæssigt mere tilbøjelige til at blive påvirket af bestemte typer af information og så videre. Er det kun folk der i forvejen interesserer sig for politik og har en aktie i et parti, der følger meningsmålingerne og måske er de mindst påvirkelige?

Mindst lige så interessant er det at diskutere, hvilke implikationer det skal have, at vælgerne måske påvirkes af meningsmålinger. Foredragsholder Johannes Andersen har i forlængelse af rapporten advokeret for, at der skulle være en pause for meningsmålinger to uger op til et valg. Vi ved fra årtiers forskning at vælgerne påvirkes af alt mellem himmel og jord – især af medier (framing, priming – you name it), og det giver ingen mening at forsøge at forhindre eksempelvis bestemte typer af mediedækning, fordi det kan give vælgere bedre mulighed for at danne deres egen mening (hvad man så end mener med det).

Hvis sandheden er, at Socialdemokraterne går frem, er det så ikke journalisternes opgave at formidle dette? Er der noget forkert i, at vælgerne lader sig påvirke af den information, de får fra medierne? Nej. Hvis Socialdemokraterne går frem og nogle vælgere vælger at reagere på det, er det jo bare sådan, at politik fungerer. Problemet opstår, hvis det er løgn, at Socialdemokraterne går frem (altså at meningsmålingen giver et misvisende billede af virkeligheden), men det er en helt anden diskussion, og vedbliver at være et problem selvom meningsmålinger ikke skulle have nogen effekt.

Det korte af det lange er, at det er meget svært at konkludere noget endeligt i forhold til, om meningsmålinger har en effekt på vælgernes partivalg, men der er umiddelbart intet der har overbevist mig om, at der er tale om store effekter. Der er ligeledes intet der taler for, at der er brug for regulering af, hvornår der må formidles meningsmålinger. Det eneste der er brug for er, at journalisterne formidler meningsmålinger, der er sande (men det er som beskrevet et helt andet emne).