Her den anden dag fik jeg læst Jytte vender tilbage. Bogen er skrevet af Morten Münster og er en opfølger til bogen Jytte fra Marketing er desværre gået for i dag (som jeg anmeldte for Kommunikationsforum). Hvis du allerede er bekendt med grundlæggende begreber inden for statistik (eksempelvis fødselsdagsparadokset), adfærdsøkonomi (eksempelvis tabsaversion), og økonomi mere generelt (eksempelvis alternativomkostninger), er der ikke meget nyt at komme efter i denne nye bog.
Jeg havde oprindeligt ikke tænkt mig at skrive et indlæg om bogen, men ét eksempel i bogen gjorde, at end ikke en syv nationers hær ville kunne holde mine fingre fra tastaturet. Her er indledningen til kapitel 4 i bogen:
“Der findes et vidunderligt koncept inden for adfærdsforskningen, der på engelsk kaldes for 9-enders. 9-enders er mennesker, der har rund fødselsdag til næste år. De er altså fx 29, 39 eller 49 år. Vi kan kalde dem for 9’ere. Begrebet blev navngivet af de to psykologer Adam Alter og Hal Hershfield, som i et studie tilbage i 2015 undersøgte 9’ere og deres adfærd. De havde en hypotese om, at 9’ere opførte sig anderledes end os andre. For at undersøge denne hypotese fandt de forskellige større datakilder fra fx tilmeldinger til maratonløb, selvmordsrater og utroskab.”
Det var i 2014 (og ikke i 2015), at studiet blev publiceret, men lad det ligge. We got bigger fish to fry. Eksemplet var mig allerede bekendt, da jeg har brugt et utal af timer på at reproducere såvel som replikere det pågældende studie. Der er absolut intet empirisk belæg for en såkaldt 9-ender effekt. I 2015 publicerede jeg en artikel i tidsskriftet Frontiers in Psychology, hvor jeg viste, at deres data ganske enkelt ikke stemte overens med deres konklusioner. Ligeledes har de tre forskere, Simon Kühne, Thorsten Schneider og David Richter, vist, at studiet ikke lader sig replikere. Du kan derfor ånde lettet op, hvis du er 29 eller 39 eller en anden alder, der ender på 9. Det er ikke mere sandsynligt, at du vil begå selvmord af den grund.
Ovenstående er desværre et godt eksempel på, hvad der sker, når folk uden nogen som helst forskningsbaggrund kaster om sig med begreber, teorier og empiriske fund, uden at have de fornødne kvalifikationer til at kunne vurdere, om der nu også er tale om et “vidunderligt koncept” – eller i det mindste evner at foretage en simpel litteratursøgning, der nemt kunne bekræfte, at der er problemer med studiet.
Dette fik mig til at have paraderne oppe gennem resten af min læsning af bogen, og det piner mig at måtte konkludere, at der desværre er mange fejl og mangler i bogen. Alt fra fejl i titler til fremstillingen af (pseudo)videnskabelige fund i litteraturen, og andet, der intet har med (adfærds)forskning at gøre, som oser lidt for meget af at være “smart i en fart”-litteratur. Ironisk nok virker det til, at bogen primært er skrevet til mellemledere der, når de hører om Dunning–Kruger, the illusion of explanatory depth og overconfidence, kan føle sig klogere på adfærdsforskning.
Der er ét eksempel, der fortjener et par ekstra ord med på vejen som illustrerer mit problem med bogen til perfektion. Mere specifikt det eksempel, der handler om, hvordan vores (for)navn påvirker store livsbeslutninger:
Selv noget så irrelevant som vores navne påvirker vores valg i livet. Især forskeren Brett Pelham har stået bag forskning, der statistisk viser, at mennesker træffer store beslutninger på baggrund af deres navn. I sit studie Why Susie Sells Seashells by the Seashore: Implicit Egotism and Major Life Decisions viser han, at hvis du er amerikaner og hedder George, så er der større sandsynlighed for, at du bor i Georgia, og hvis du hedder Louise, er der større odds for, at du bor i Louisiana.
Dette er desværre og forventeligt for godt til at være sandt. Har man blot et minimalt kendskab til adfærdsforskningen vil man vide, at dette er et af de fund, der ikke er robust. Psykologen Uri Simonsohn har skrevet flere studier herom. I et studie viser han således, hvordan disse fund kan forklares med “a combination of cohort, geographic and ethnic confounds, and reverse causality.” I et andet studie konkluderer han, at “controlling for reverse causality entirely eliminated the name-similarity effect.” Med andre ord tyder det på, at vi “forveksler korrelation med kausalitet” (husk på denne formulering da du vil se den igen meget snart).
Hvorfor tager jeg fat i dette blandt flere eksempler i bogen? Der er trods alt flere eksempler på studier, der ikke lader sig replikere, og man kan vel ikke anfægte, at en forfatter ikke nødvendigvis kender til forskningen på området. Når jeg nævner det her, er det fordi ovenstående udpluk bliver efterfulgt af nedenstående lodret forkerte påstand:
Det er ikke lykkedes nogen at tilbagevise disse kulørte studier, selvom det jo kunne være, at vi begår den klassiske fejl og forveksler korrelation med kausalitet. Kunne det fx være, at forældre, der bor i Louisiana, synes, det er sødt at kalde deres datter for Louise? Måske. Men studier af vores velkendte navns irrationelle kraft er årelange og viser sammenhænge i besynderlige kontekster. Eksempelvis er der en statistisk overrepræsentation af folk, der hedder Dennis og Denise, som bliver ’dentists’, og det gælder også Lawrence og Larry, som bliver ’lawyers’. Om det er grunden til, at Lars Hansen er læge, må stå hen i det uvisse, men navne har vist sig at have en indflydelse på, hvilke produkter vi foretrækker, hvilke politikere vi donerer penge til, hvilke ægtefæller vi ender med, og altså også hvilke jobs vi går efter.
Det er ikke lykkedes nogen at tilbagevise disse kulørte studier? Jeg ved ikke hvilken sten, man skal have sovet under, for i 2021 – som en autoritet inden for adfærdsforskningen – at kunne fremføre sådan en påstand. Det irriterer mig, at man ikke har lavet blot den mindste litteratursøgning for at belyse, om det rent faktisk er “lykkedes nogen at tilbagevise disse kulørte studier”. Ser man på noterne til bogen, kan man også se, at forfatteren henviser til studiet med et link til en fil på Andrew Gelmans blog: “12. Du kan læse mere om Pelhams studie med navne her: http://www.stat.columbia.edu/~gelman/stuff_for_blog/susie.pdf”. Uden at sige for meget kan jeg godt røbe, at Andrew Gelman ikke har en positiv holdning til det pågældende studie.
Jeg fremhæver dette eksempel da det ikke blot handler om, at man ukritisk formidler, hvad et studie har vist. Det vi har med at gøre her er mere problematisk end ukritisk formidling, da der er tale om “kritisk” fejlagtig formidling, hvor læseren får et indtryk af, at forfatteren rent faktisk har forholdt sig kritisk til studierne og kommet frem til, at der ikke er nogen kritik. Jeg har fuld forståelse for, hvis læserne af bogen vil være overbeviste om, at førnævnte effekter er robuste og stærke, selvom efterfølgende forskning har vist, at det på ingen måde er tilfældet.
Og nu vi er ved noterne i bogen melder et andet problem sig. Der er talrige påstande, der ikke underbygges med referencer (jeg ville eksempelvis gerne se nærmere på, hvor stærk evidens der er for at påstå, at “Det viser sig, at størstedelen af de indsatte i fængslerne mener, de er mere retskafne end den gennemsnitlige borger.”). En stor del af bogen virker til at være skrevet med udgangspunkt i anekdotiske henvisninger til studier og eksempler, forfatteren ikke har kendskab til via kildematerialet, men ofte blot har hørt om i en podcast eller to.
Jeg finder desuden humoren og tonen i bogen arrogant og friskfyragtig. Det er selvfølgelig en smagssag og skal ikke forstås som en kritik (hvoraf alt andet nævnt ovenfor – hvis nogen skulle være i tvivl – så sandelig skal forstås som en kritik). Det samlede produkt får desværre bogen til at fremstå som adfærdsforskningens svar på en Big Mac. Indbydende udstråling og letfordøjeligt – men mest af alt tomme kalorier, når man kigger produktet efter i sømmene. Dette er ærgerligt, da Morten Münster uomtvisteligt er en populær formidler af adfærdsforskning.
Forhåndenværende bog er desværre et godt eksempel på, at det ingenlunde er nemt at skrive en bog, der er både engagerende og fagligt velfunderet. Adfærdsforskning er populært og der bliver solgt mange bøger inden for denne genre i disse år, men jeg kan godt være bekymret for, om populariteten sker på bekostning af en faglighed, der bør udgøre fundamentet for denne forskning og formidlingen af samme.