Hvis du gerne vil gøre dit liv lettere i akademia, er det altid godt at vide, hvordan man, når ens resultater ikke nødvendigvis gider makke ret og viser det, man havde håbet, kan få dem til at blive signifikante. De fleste forskere, der arbejder med kvantitative data, ved, at ens resultater ikke altid er signifikante i den første test. De fleste forskere, der har sendt en artikel afsted til et tidsskrift, ved også hvor vigtigt det er, at kunne vise stjerner ud for ens hjertebarn (altså resultatet ved den teoretisk begrundrede variabel) – og hellere tre end én af slagsen.
Dette blandt andet fordi der er en såkaldt publication bias, hvor negative resultater (nulfund) gennemsnitligt betragtet ikke er lige så interessante som positive resultater. Hvis forskere således ikke kan finde signifikante resultater, ender de ofte med ikke at sende deres arbejde til et tidsskrift. Der er dog heldigvis metodiske friheder (kaldet ‘researcher degrees of freedom‘), der gør, at man ofte kan få selv det mest insignifikante resultat til at være signifikant. Så ingen panik: hvis du bare er snu nok, er det en smal sag at få signifikante resultater.
I artiklen False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant vises det, hvordan metodisk fleksibilitet giver mulighed for at finde signifikante resultater. Helt specifikt tager de udgangspunkt i et scenarie, hvor man har fire forskellige situationer, hvor der er metodiske frihedsgrader: a) to afhængige variable (med en korrelation på 0,5), b) ti ekstra observationer i hver celle, c) kontrol for køn eller interaktion med køn og d) muligheden for at droppe (eller ikke droppe) en af tre grupper.
Her er den gode nyhed: ved at kombinere de fire ovenstående situationer viser studiet via simulationer, at man har 81,5% sandsynlighed for at finde et falsk positivt resultat (med en p-værdi lavere end 0,1). Det vil sige, at selvom du ikke finder nogle signifikante resultater, har du med ovenstående frihedsgrader masser af muligheder for stadig at finde noget signifikant.
Det bliver dog bedre endnu. I virkelighedens verden er der ofte mange flere metodiske frihedsgrader, der gør, at man har rig mulighed for at finde signifikante resultater. I en ny artikel, Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking, præsenteres en liste med 34 måder, hvorpå man kan forsøge at opnå signifikante resultater. Overordnet er der fem forskellige stadier, relateret til: 1) hypoteser, 2) design, 3) dataindsamling, 4) analyse og 5) formidling. Disse er præsenteret her:
Hypoteser
1. Foretag eksplorativ forskning uden specifikke hypoteser
2. Tag udgangspunkt i en vag hypotese uden forventninger til retningen af en effekt
Design
3. Lav flere uafhængige variable
4. Mål mange variable, der kan bruges som kontrolvariable, moderatorer og mediatorer
5. Mål den samme afhængige variabel på flere alternative måder
6. Mål andre koncepter der vil kunne bruges som afhængig variabel
7. Mål andre variable, der kan bruges som eksklusionskriterie senere (evt. opmærksomhed og stimulitest)
8. Undgå at foretage en power analyse
9. Undgå at lave en plan for, hvor mange små studier, der skal laves
Dataindsamling
10. Undgå tilfredsstillende randomisering
11. Undgå blindtest af forsøgsdeltagere
12. Korriger, omkod, og slet data i løbet af dataindsamlingsprocessen
13. Stop dataindsamlingen på baggrund af opnåelsen af ønsket resultat eller test for statistisk signifikans
Analyse
14. Undersøg forskellige måder at håndtere manglende data på
15. Undersøg forskellige måder at transformere data
16. Undersøg forskellige måder at håndtere forudsætningsbrud på
17. Undersøg forskellige måder at håndtere outliers på
18. Undersøg forskellige variable, der matcher den afhængige variabel
19. Undersøg forskellige måder at kode den afhængige variabel på
20. Undersøg andre variable, der kan fungere som afhængig variabel
21. Undersøg forskellige kombinationer af de uafhængige variable
22. Undersøg forskellige operationaliseringer af de primære uafhængige variable
23. Undersøg forskellige måder at inkludere uafhængige variable, herunder mediatorer og moderatorer
24. Undersøg forskellige operationaliseringer af kontrolvariable
25. Undersøg forskellige inklusions- og eksklusionskriterier for observationerne
26. Undersøg forskellige statistiske modeller
27. Undersøg forskellige estimationsmetoder, programmer og standardfejl
28. Undersøg forskellige inferenskriterier, herunder ensidede hypotesetests
Formidling
29. Undlad at sørge for, at studiet kan reproduceres
30. Undlad at sørge for, at studiet kan replikeres
31. Undlad at nævne information omkring præregistrering
32. Undlad at formidle information omkring studier, der blev foretaget men ikke inkluderet
33. Rapporter forkerte resultater og p-værdier
34. Præsenter eksplorative analyser som hypotesetestende (HARKing)
Med alle disse muligheder er det faktisk svært ikke at finde noget, der er signifikant, hvis man kører en analyse mere, end der oprindeligt var planen. Hvis du ligeledes – og for eksemplets skyld – har tre forskellige studier (evt. foretaget i tre forskellige lande), er det en smal sag at finde et mønster, der går igen i de tre datasæt.
De fleste tidsskrifter – især politologiske tidsskrifter – har meget få krav, der gør det svært at anvende ovenstående praksikker. Derfor er der rig mulighed for, at finde signifikante resultater og sende dem til dit yndlingstidsskrift. Hvis du vil være på den sikre side skal du bare lige huske at gemme en do-fil i Stata, der indeholder det datasæt, du endte med at køre den endelige analyse på, og så selvfølgelig kun indeholder de sidste analyser, du kørte. God fornøjelse.