Erik Gahner Larsen

Får Carl Holst laveste karakter nogensinde?

Megafon har for Politiken og TV2 lavet en meningsmåling, der viser, at forsvarsminister Carl Holst ikke er blandt de mest populære ministre i disse dage. Hos Ekstra Bladet kan man således læse, at Carl Holst scorer ufattelige 0,0 pct. i en chokmåling. Dette er angiveligt den laveste karakter nogensinde.

Tallet overraskede mig, da popularitetsmålinger over politikere i almindelighed og ministre i særdeleshed normalt ikke skaber overskrifter med popularitetsmål omkring 0 procent. Ligeledes irriterede det mig, at man skrev ”nogensinde”, da jeg ved, at det er vanskeligt at sammenligne sådanne meningsmålinger over tid. Dette især på grund af spørgsmålsformuleringen, der ikke altid er den samme. YouGov stillede eksempelvis forrige år spørgsmålet ”Uanset dine poliske præferencer, hvad synes du så om følgende personer”, for at finde den mest og mindst populære minister, hvor Annette Vilhelmsen indtog sidstepladsen med 2,11 point. I en meningsmåling foretaget af Epinion for DR i 2013 var Lars Barfoed den mindst populære politiker med en PDI-score på -45 (positive vurderinger minus negative vurderinger).

Hvordan kan vi så vurdere Carl Holsts opbakning i forhold til andre målinger? Det kan vi ikke. Spørgsmålet der er stillet, er slet ikke stillet med henblik på at sige noget om, hvor dårligt ministrene har klaret sig, men udelukkende at finde ud af, hvilke ministre, der klarer sig bedst. Således lyder spørgsmålet ”Hvilke af regeringens ministre, mener du, klarer sig bedst?”, hvor hver respondent maksimalt måtte vælge tre ministre. 1125 respondenter afgav i alt 1838 svar.

Hvorfor er dette problematisk? Fordi de nul procent ikke er det samme som, at 0 procent af vælgerne bakker op om Carl Holst. Kigger man således på tallene, får Eva Kjer Hansen, Esben Lunde Larsen, Ellen Trane Nørby, Hans Christian Schmidt, Jørn Neergaard Larsen, Troels Lund Poulsen og Lars Christian Lilleholt alle hver især mindre end fem procent (og de tre sidstnævnte får én procent). Det at ingen nævner de nævnte ministre som værende de mest populære, er ikke det samme som, at de er upopulære.

Ikke nok med, at meningsmålingen ikke er lavet til at undersøge om en minister er upopulær, var en af svarmulighederne ”Jeg mener ikke, at nogen af ministrene har klaret sig godt”. Med andre ord kan vi ikke sige ret meget om, hvor upopulære de enkelte ministre er med udgangspunkt i det pågældende spørgsmål. Dette er selvfølgelig blot endnu et eksempel på en misvisende meningsmåling. Normalt når Megafon plejer at stille dette spørgsmål med henblik på at finde ud af, hvilke ministre der er upopulære, spørger de eksplicit respondenterne om, hvilke ministre, der har klaret sig dårligst.

Det bliver dog værre endnu. Anders Langballe konkluderer på baggrund af målingen, at: ”Det er helt entydigt, at ingen peger på Carl Holst. Det viser hvor stort et problem han er for Venstre. Han er en klods om benet på regeringen.”. Det giver ingen mening. Betyder det også, at dem der kun nævnes én procent af gangene også er en klods om benet på regeringen? Spørgsmålet er retorisk.

Carl Holst er ikke en populær minister i disse dage, men det er ingen undskyldning for at journalister og politiske kommentatorer kan tage tal ud af en kontekst og misbruge dem efter forgodtbefindende.

Det uetiske ved randomiserede forsøg i offentlig politik

Det er af afgørende betydning, at offentlige politikker har den ønskede virkning. Det giver eksempelvis ingen mening at gennemføre sociale tiltag, hvis de ikke har nogen effekt (eller ligefrem en modsatrettet effekt af den ønskede). Den bedste (og ofte eneste) måde at klarlægge, om en politik virker, er ved at gennemføre eksperimenter. Der er heldigvis flere og flere offentlige institutioner, der er ved at åbne øjnene op for, hvilke specifikke styrker den eksperimentelle metode har, og det er åbenlyst, at vi kun vil se endnu flere eksperimenter i fremtiden. Især i takt med at ønsket om og behovet for evidensbaseret politik stiger.

Eksperimenter er dog også forbundet med diverse svagheder, og et af de kritikpunkter man ofte hører, er relateret til det uetiske ved, at ikke alle personer i et eksperimentelt studie får den samme behandling. Og hvad endnu værre er: Det er tilfældigt, hvem der får behandlingen. Problemet er bare, at tilfældighedsaspektet, altså randomiseringen, ikke alene er ønskværdigt, men en forudsætning for, at kunne undersøge effekten af offentlige politikker.

I Weekendavisen fra den 11. september kan man læse en interessant artikel, ”Må vi kigge over skulderen?”, der blandt andet kommer ind på det etiske aspekt ved randomiserede forsøg: ”At det også er vanskeligt at lave randomiserede kontrollerede studier af det specialiserede socialområde, har SFI erfaret. Her måtte man sidste år opgive at undersøge effekten af behandlingsprogrammet Treatment Foster Care Oregon. Det er målrettet børn og unge i alderen 12-18 år med adfærdsproblemer, som midlertidigt anbringes i en træningsfamilie, og er en af de ni metoder, som Socialstyrelsen anbefaler. I første omgang sagde otte ud af 18 kommuner ja til at medvirke i et forsøg, hvor metoden skulle sammenlignes med en traditionel anbringelse. Men efterfølgende fik sagsbehandlerne kolde fødder. De fandt det uetisk at lade lodtrækning afgøre, hvilket tilbud børnene skulle have.”

Dette er hverken den første eller sidste historie, hvor hovedfortællingen er, at et eksperiment bliver aflyst, fordi dem der står med ansvaret, finder det uetisk at lade tilfældigheder afgøre, hvilke tiltag borgerne får (i ovenstående tilfælde børnene). Det triste er, at vi opgiver forsøget på at opnå en viden om sociale sammenhænge (altså at blive klogere på verdenen), fordi der tilsyneladende hersker en illusion om, at status quo er bedre.

Det vigtige er, at vi ikke kan vide om alternativet til en bestemt politik er bedre uden først at undersøge det. Udfordringen er her, at der ofte allerede er en bestemt politik på et givent område, og denne politik eksisterer ikke uden at offentligt ansatte har en opfattelse af, at den pågældende politik har en eller anden intenderet virkning. Når man dermed ønsker at undersøge, om en anden politik (eller ingen politik) virker bedre, skal man først overbevise de ansvarlige om, at en bestemt gruppe mennesker ikke skal udsættes for status quo. Det giver bare ingen mening at sige, at dette er uetisk, da grunden til vi netop ønsker at gennemføre et eksperiment er at finde ud af, om status quo er den bedste løsning. Først når noget er undersøgt i et eksperiment, kan vi diskutere, om det er uetisk at lade tilfældigheder afgøre, hvem der skal udsættes for en bestemt politik.

Her kommer vi så til det paradoksale: Det at designe eksperimenter kræver en viden om, hvad der virker. En viden som først opnås, når man har gennemført et eksperiment. Det er denne viden de ansvarlige føler, at de besidder forud for et eksperiment, hvorved det er uetisk at gennemføre eksperimentet. Opgaven for forskere og andre personer med et ønske om evidensbaseret politik, er at overbevise de ansvarlige om, at eksperimenter ikke er uetiske, men en forudsætning for at kunne belyse sociale sammenhænge og i mange tilfælde blive fundamentalt klogere på, hvordan man bedst opnår de ønskede mål for færrest mulige offentlige midler.

Summa summarum: Det er altid vigtigt at forholde sig til de etiske aspekter af et eksperiment (dette gælder for al slags forskning), men når det kommer til de etiske aspekter forbundet med spørgsmålet om, hvorvidt vi skal bruge randomiserede kontrollede forsøg til at blive klogere på verdenen, er det ikke uetisk at lave eksperimenter, men tværtimod – i de fleste tilfælde – uetisk ikke at gennemføre eksperimenter.

Analyse i Politiken: Er analyseinstitutterne uden partifarve?

Under folketingsvalgkampen havde jeg en analyse i Politiken forfattet sammen med min gode kollega Zoltan Fazekas. Analysen havde den misvisende titel “Er analyseinstitutterne uden partifarve?” og kigger nærmere på, om de enkelte analyseinstitutter systematisk giver flere eller færre stemmer til de forskellige partier i meningsmålingerne vis-à-vis de andre analyseinstitutter. Den tekniske betegnelse for sådanne forskelle mellem analyseinstitutterne er “huseffekter”.

Som en bonusinfo kan det tilføjes, at analysen efterfølgende affødte en artikel (også hos Politiken), der gav læserne mulighed for at kigge nærmere på de enkelte tal for partierne i Folketinget:

Får størstedelen af amerikanerne deres nyheder fra Facebook og Twitter?

Politiken kunne her den anden dag berette, at størstedelen af amerikanerne får deres nyheder fra Facebook og Twitter. Mere specifikt så rubrik og underrubrik i artiklen ud som følger:

Jeg læste artiklen og kunne se, at der ikke var tale om en repræsentativ undersøgelse, men kun en analyse af de amerikanere, der bruger sociale medier. Journalisten blev informeret herom og svarede tilbage, at: ”En rubrik kan aldrig være helt dækkende. Derfor har man underrubrik og artikel”. Da jeg senere læste artiklen igen, var underrubrikken ændret og så ud som følger:

Point til journalisten for at gøre underrubrikken mindre misvisende. Lad os kigge nærmere på, hvad der ellers skrives om den amerikanske undersøgelse: ”En ny undersøgelse fra den amerikanske tænketank Pew Research Center viser, at hele 63 procent af de amerikanske brugere af sociale medier melder, at de får deres nyheder fra sociale medier. Og den andel er stigende. På to år er tallet steget med henholdsvis 11 og 16 procentpoint for Twitter og Facebook. Men hvad betyder det, at vi alle sammen mere eller mindre får kurateret vores verdensbillede via de sociale medier og dem vi følger – i stedet for en papir-, net-, tv- eller radioavis hvor der sidder en journalistisk redaktion og prioriterer og vægter verdens nyheder for os?”

Undersøgelsen kan findes her. Efter at have kigget nærmere på undersøgelsen er der som minimum tre aspekter ved ovenstående, der er værd at kommentere på. For det første er det vigtigt at huske på, som antydet ovenfor, at 63 procent af de amerikanske brugere af sociale medier ikke er det samme som 63 procent af den amerikanske befolkning.

For det andet konkluderer artiklen, at brugere af sociale medier har valgt de traditionelle medier fra. Dette er der dog ikke belæg for, men blot at undersøgelsen finder, at “clear majorities of Twitter (63%) and Facebook users (63%) now say each platform serves as a source for news about events and issues outside the realm of friends and family”. Med andre ord: Det er ikke undersøgt, om de amerikanske brugere i mindre grad følger traditionelle medier. Tværtimod er der tal i rapporten der viser, at brugerne nok ikke valgte mere traditionelle medier fra til fordel for de sociale medier, eller som følgende tabel i rapporten viser (side 13):

Til tabellen skrives der: “Both Twitter and Facebook serve as important sources of news for some users, but only a small core consider them a top source of news”. Det er svært at finde en empirisk overensstemmelse med formidlingen af undersøgelsen i Politiken, når journalisten skriver, at brugere af de sociale medier har valgt disse medier “i stedet for en papir-, net-, tv- eller radioavis”.

For det tredje er det forsimplet at tale om forholdet mellem traditionelle og sociale medier på en måde, hvor brugerne fravælger traditionelle medier til fordel for sociale medier. I langt de fleste tilfælde kan det tænkes, at det brugerne finder på facebook og twitter, er henvisninger til de traditionelle medier, og i mange tilfælde at det er ved at følge et traditionelt medie på et af de sociale medier. Eksempelvis har Politiken omkring 165 tusinde følgere på facebook, der synes godt om deres side.

Det stopper dog ikke her. Journalisten refererer til endnu en rapport, der viser, ”at 47 procent af danskerne finder deres nyheder via de sociale medier. Udviklingen går hurtigt, men danskerne er indtil videre mere trofaste overfor traditionelle nyhedsmedier end amerikanerne”. Omtalte undersøgelse er Reuters Digital News Report 2015, og kan findes her. Forskellen mellem denne undersøgelse og Pew Research Center er, at nærværende undersøgelse er repræsentativ for borgere i en lang række lande, der har adgang til internettet (herunder også USA). Som ved rapporten fra Pew Research Center er det dog heller ikke her muligt at konkludere, at brugere af sociale medier i højere grad vælger traditionelle medier fra.

Spørgsmålet som et repræsentativt udsnit af borgere i 12 lande er blevet spurgt, er: ”Which, if any, of the following have you used in the last week as a source of news? Please select all that apply.” Her har de adspurgte så – blandt andre muligheder – kunne vælge sociale medier. De 47 procent, som der refereres til i artiklen hos Politiken, er at finde på side 53 i rapporten (de røde søjler er tallene fra 2015, de blå fra 2014):

Det sjove ved denne figur er, at tallene fra USA også er at finde her, og de viser to ting: 1) ikke engang størstedelen af amerikanerne anvender de sociale medier som en kilde til nyheder og 2) flere danskere anvender sociale medier som en kilde til nyheder end amerikanere. Vi kan derfor konkludere, at ikke alene er rubrikken på artiklen hos Politiken lodret forkert, men der er intet belæg for, at danskerne er mere trofaste end amerikanerne.

Sociale medier betyder mere og mere i takt med at flere bruger dem, og de genererer trafik til de traditionelle mediers hjemmesider, og det er vigtigt at diskutere implikationerne for de traditionelle medier. Når man vælger at formidle og diskutere disse spørgsmål på baggrund af flere rapporter, er det dog vigtigt, at man har styr på, hvad rapporterne helt præcist kan fortælle os (og ikke fortælle os).

Potpourri: Statistik #23

Vi ved ikke hvad der gik galt med analyseinstitutternes vurdering af Dansk Folkepartis vælgeropbakning

Et af de store spørgsmål i forlængelse af det seneste folketingsvalg har været, hvad der gik galt med analyseinstitutternes vurdering af Dansk Folkepartis opbakning blandt vælgerne (se eksempelvis her, her, her, her, her, her, her, her, her, her, her og her). Det korte af det lange er, at vi ikke er blevet klogere på, hvad der er sket, og det er desværre tvivlsomt, at vi bliver klogere på dette spørgsmål.

Hvad er historien bag Dansk Folkepartis vælgeropbakning i valgperioden 2011 til 2015? Historien om Dansk Folkeparti kan koges ned til følgende: Noget nær ren fremgang frem til perioden før valget, hvor vi ser et fald i kølvandet på terrorangrebet den 14. februar i år. Tilbagegangen blev blandt andet udlagt af de politiske kommentatorer således, at vælgerne havde fået nok af den hårde terror-retorik, og der var ganske enkelt ikke flere stemmer at vinde på den dagsorden. Nedenstående figur viser opbakningen til Dansk Folkeparti i den nu afsluttede valgperiode.

Den stiplede linje viser Dansk Folkepartis opbakning ved folketingsvalget 2015. Det er selvfølgelig vigtigt at huske på, at der ikke er noget der taler for, at Dansk Folkeparti fik den opbakning på nogen anden dag end valgdagen, hvorfor den blot skal vise, hvor meningsmålingerne gerne burde ligge på valgdagen (+/- den statistiske usikkerhed). Det er tydeligt, at langt de fleste meningsmålinger ikke ramte Dansk Folkepartis valgresultat i den periode, hvor de gerne burde have gjort det.

Der kan være to forklaringer herpå: Tilfældige fejl og systematiske fejl. Førstnævnte er meget usandsynligt og kan ikke forklare, at langt de fleste meningsmålinger systematisk undervurderede Dansk Folkeparti. Hvad angår systematiske fejl har analyseinstitutterne især fremhævet det aspekt, at respondenterne kan have løjet om deres partivalg. Dette er muligt, men det er også sandsynligt, at analyseinstitutterne selv kan have truffet fejlagtige beslutninger. Det er vigtigt at huske på, at vi ikke har nogen idé om, hvad analyseinstitutterne kan finde på at gøre med deres data, før de bliver offentliggjort. Vi ved eksempelvis at Megafon vejer respondenternes svar i meningsmålingerne efter dagsordenen i medierne. Vi kan også sandsynliggøre, at analyseinstitutterne er bevidste omkring, hvordan andre analyseinstitutter vurderer vælgeropbakningen for de respektive partier. Dette er forhold der meget nemt kan resultere i skævheder.

Der er grund til bekymring, når analyseinstitutterne ikke er mere åbne omkring den slags procedurer. Især når der ikke er noget, der taler for, at de vil informere om, hvad og hvor det med al sandsynlighed gik galt. Flere analyseinstitutter meldte ud, at de nu skulle kigge nærmere på, hvad der var gået galt. Siden da har vi intet hørt, og intet tyder på, at der kommer noget som helst fra institutterne. Dette er især mærkværdigt, når vi ser de første meningsmålinger foretaget efter valget, hvor Dansk Folkeparti – som forventet – ligger meget tæt på valgresultatet. Hvordan er institutterne kommet frem til de tal? Har de taget valgresultatet og vejet det efter hvordan nogle respondenter har svaret i en meningsmåling? Hvis analyseinstitutterne havde en oprigtig interesse i at gøre os klogere på, hvad der var gået galt, ville de formidle, hvordan de nu kommer frem til en opbakning til Dansk Folkeparti, der til forveksling ligner valgresultatet.

Ovenstående figur viser meningsmålingerne fra i år. Det er især Gallup og Voxmeter, der er interessante, da de begge har gennemført en meningsmåling efter valget. I begge tilfælde ser vi en betydelig forandring i opbakningen til Dansk Folkeparti. I Gallups tilfælde ser det sågar ud til at være en tilbagevenden til den opbakning, man gav partiet før valgkampen. Hvordan, Gallup? Hvad har I gjort?

Det triste ved alt dette er, at tilliden til meningsmålingernes validitet falder, når institutterne ikke er mere transparente omkring deres metoder. I værste fald ender vi i en situation, hvor politiske kommentatorer sidder i Deadline og konkluderer, at hvis de havde opholdt sig mere i Jylland under valgkampen, ville de kunne have forudset Dansk Folkepartis reelle opbakning bedre end meningsmålingerne (læs: David Trads). Vi ved ikke, hvad der gik galt, og det ville klæde analyseinstitutterne at spille med åbne kort omkring, hvad de har gjort og hvad de vil gøre.

Er uligheden i danskernes lykke blevet større?

I Politiken kunne man den anden dag læse, at uligheden i danskernes lykke er blevet større. Mere konkret kan man læse, at en “ny undersøgelse fra Institut for Lykkeforskning viser, at mens uligheden i lykke mindskes i Europa generelt, så er den siden 2002 steget i Danmark. Uligheden i lykken er ifølge undersøgelsen således faldet med 3,4 procent for Europa som helhed i årene mellem 2002 og 2012, mens Danmark er det ene af tre lande, hvor uligheden på lykkebarometret er øget med 3,5 procent.”

Hos Berlingske drager man på baggrund af undersøgelsen den konklusion, at Finland nu er det lykkeligste land: “Kampen om at være de lykkeligste i Europa er benhård. Mens danskerne længe har tronet på toppen af lykkelisterne, har finnerne nu vippet os af pinden, i hvert fald ifølge en ny opgørelse over lykkeniveauet i europæiske lande. Her er det nemlig vores nordiske naboer i Finland, som løber med præmien som Europas lykkeligste. Det står at læse i rapporten »Happiness Equality Index – Europe 2015«, som i sidste uge blev udgivet af det danske Happiness Research Institute eller Institut for Lykkeforskning, som det kaldes her til lands.”

Rapporten er, som omtalt, udarbejdet af tænketanken Institut for Lykkeforskning og er at finde her. På baggrund af rapporten og dækningen af den, er der minimum tre spørgsmål, der er interessante at belyse. For det første: Er uligheden i danskernes lykke større nu end i 2002? For det andet: Er der tale om en udvikling over årene, hvor tendensen er, at uligheden i danskernes lykke stiger? For det tredje: Er Danmark ikke længere det mest lykkelige land?

Er uligheden i lykken større nu end i 2002?
Det omtalte Happiness Equality Index 2015 tager udgangspunkt i data fra den sjette runde af European Social Survey (ESS) fra 2012 (de danske svar er fra 2013). For at udregne (u)ligheden i danskernes og andre europæeres lykke, har man undersøgt hvor stor spredningen er i svarene i hvert land, altså standardafvigelsen, på en 11-punkts lykkevariabel, der går fra 0 til 10, hvor højere værdier indikerer mere lykke. Tallene fra dette indeks er formidlet på side 6 i rapporten:

På dette indeks har Danmark værdien 1,47. For at se om uligheden var større end i 2002 undersøger man forskellen mellem standardafvigelsen i 2002 og 2012, som vist på side 8 i rapporten:

I 2002 var standardafvigelsen i Danmark på 1,42. Forskellen mellem standardafvigelsen i 2002 og 2012 er ikke statistisk signifikant. End ikke tæt på1. Det giver derfor ikke mening at sige, at uligheden i danskernes lykke er steget.

Er der tale om en udvikling i ulighed?
I Politiken forklares det, at en ”del af forklaringen på, at Danmark har øget uligheden i forhold til følelsen af lykke, kan være den stigende økonomiske ulighed i Danmark, der ifølge blandt andre Danmarks Statistik er taget til i løbet af de seneste årtier. Det mener Meik Wiking, der er administrerende direktør for Institut for Lykkeforskning.”

Hvis der er tale om en udvikling, der er taget til over de seneste årtier, bør der om ikke andet i hvert fald være en tendens til, at uligheden stiger. Til trods for at der ikke er nogen forskel i lykken mellem 2002 og 2012, er det stadig interessant at inddrage de andre år (2002 eller 2012 kan eventuelt være en undtagelse på en ellers generel tendens). Nedenstående figur viser derfor standardafvigelserne for 2002, 2004, 2006, 2008, 2010 og 2012:

Der er intet, der taler for, at der er en udvikling i uligheden i danskernes lykke. Og der er slet intet der taler for, at denne ændring er resultatet af en årtier lang proces.

Er Danmark ikke længere det mest lykkelige land?
Som beskrevet ovenfor kan man i dækningen af rapporten hos Berlingske læse, at Danmark er blevet overhalet af Finland hvad angår de mest lykkelige indbyggere. Dette er dog decideret forkert. Det er ikke muligt at kigge på spredningen af en variabel og konkludere, at finnerne er mere lykkelige end danskerne. Danmark ligger således stadig på en førsteplads, hvis man kigger på det gennemsnitlige lykkeniveau i de respektive lande, der er med i sjette runde af ESS:

Som det kan ses, er gennemsnitsværdien højere i Danmark (DK) end i Finland (FI). I ovenstående undersøges det ikke, om der er signifikante forskelle mellem landene, men der er under alle omstændigheder ikke belæg for at konkludere, at Danmark er blevet overhalet af Finland.

For at opsummere, er der ikke empirisk belæg for at sige, 1) at uligheden i danskernes lykke er steget siden 2002, 2) at den er et systematisk produkt af øget af økonomisk ulighed samt 3) at Danmark ikke længere er det lykkeligste land. I hvert fald ikke med udgangspunkt i data fra ESS. Hvis man har interesse i at blive klogere på trivsel og lykke i et komparativt perspektiv med udgangspunkt i data fra ESS, kan man eventuelt begynde med at besøge Measuring and Reporting on Europeans’ Wellbeing: Findings from the European Social Survey.

  1. En simpel test for varianshomogenitet (Levene’s test) giver en p-værdi på 0,768, og dermed kan det ikke afvises, at variansen i de to runder er identisk.  []

Potpourri: Statistik #22