Justitsministeriets Forskningskontor konkluderer i en ny rapport “at Danmark sammen med Island og Norge ligger i top med hensyn til tryghed ved at færdes alene i mørke i lokalområdet”. Eller som de skriver i pressemeddelelsen: “Kun overgået af islændingene er danskerne de tryggeste ved at færdes alene efter mørkets frembrud”. Rapporten bygger på data fra European Social Survey (ESS) og mere specifikt pointeres det i rapporten at “Det ses af figur 2.1, at de nordiske lande placerer sig blandt de europæiske lande med den største andel, der er meget trygge ved færden alene i mørke i deres lokalområde. Danmark ligger på andenpladsen, men afviger dog ikke signifikant fra Island, der placerer sig på førstepladsen.” (side 2). Nuvel, personen der har skrevet pressemeddelelsen har ikke kendskab til statistisk signifikans, men lad os se på figur 2.1:
Her kan det ganske rigtigt ses, at der ikke synes at være signifikante forskelle mellem Norge, Danmark og Island. Det interessante er dog, hvorfor der udelukkende kigges på andelen af respondenter, der føler sig meget trygge. I ESS kunne respondenterne, foruden “ved ikke”, vælge mellem meget utryg, utryg, tryg og meget tryg. I ovenstående figur indeholder den resterende andel dermed også de respondenter, der føler sig trygge ved at færdes alene i deres lokalområde. Er det retvisende? Nej.
Hvad sker der, når man kigger på andelen af respondenter, der føler sig enten trygge eller meget trygge i de respektive lande? I så fald ligger Slovenien øverst som det land, hvor respondenterne føler sig mest trygge. Denne forskel er statistisk signifikant i forhold til de andre lande. Selvom “Danmark sammen med Island og Norge ligger i top med hensyn til tryghed ved at færdes alene i mørke i lokalområdet”, er det misvisende ikke at inkludere andelen der føler sig trygge, hvis man gerne vil konkludere noget om andelen der føler sig trygge. I dette tilfælde virker det til, at dem der har lavet rapporten, har lavet ovenstående figur for netop at kunne skrive en fin pressemeddelelse.
Kan tilfældet dog ikke være, at forfatterne bag rapporten har fundet det ligegyldigt at sammenligne andelen af meget tryg og tryg med andelen af meget utryg og utryg, og dermed helt har overset implikationerne af dette for resultaterne? Nej. Figur 2.3 gør lige præcis dette, men som forfatterne skriver, er det muligt at gøre forskellen mellem Slovenien og de andre lande insignifikant ved eventuelt kun at kigge på kvinders svar: “Slovenien har en har [sic] signifikant lavere andel utrygge end Danmark, mens niveauet i Finland og Norge svarer til det danske. En beregning, hvor alene kvinder er inkluderet, viser en helt tilsvarende placering af Slovenien, Finland, Danmark og Norge.”. Det er lidt komisk.
Til trods for dette konkluderes der på den sidste side i rapporten, at “Undersøgelsen fra 2012 viser, at at [sic] Danmark sammen med Island og Norge ligger i top med hensyn til tryghed ved at færdes alene i mørke i lokalområdet”. Danmark ligger i top, ja, men har ikke topplaceringen. Andre af rapportens konklusioner er ligeledes misvisende eller mangler statistiske tests. Bemærk eventuelt den sjove detalje i konklusionen om “at danskernes tillid til politiet er vokset gennem de senere år”. Her er der blot tale om, at tilliden har været faldet omkring politireformen, og nu er vendt tilbage til hvad der ligner et niveau fra før politireformen.
Ligeledes er det komisk at der rapporteres ændringer over tid, uden at det undersøges statistisk om disse ændringer er signifikante. Det er selvfølgelig irriterende som læser, da rapporten skifter mellem at rapportere figurer med konfidensintervaller og figurer uden, men også fordi der er indikationer på, at nogle af tolkningerne er decideret forkerte. Tag eksempelvis figur 2.4, der viser andelen i de nordiske lande, der er utrygge eller meget utrygge, når de færdes i deres lokalområde efter mørkets frembrud:
Her skriver Justitsministeriets Forskningskontor på side 5: “Udviklingen i de nordiske landes placering viser, jf. figur 2.4, at Sverige ved alle målinger har den største andel, der angiver at føle sig utrygge i deres lokalområde.”. Hvis man kigger godt efter kan man se, at dette ganske enkelt ikke er sandt. I 2008 er der ingen forskel på Danmark og Sverige. Faktisk er tallet højere for Danmark (15,29) end for Sverige (15,12). Igen, der laves ingen egentlige tests for forskelle over tid, men der skrives om statistiske tests mellem landene for de enkelte år (de rapporteres dog ikke i nogen form – og mit gæt er at de[n] person[er], der har lavet analyserne, ikke har taget sig tid til at sammensætte de forskellige datasæt, men blot har kørt analyser på de enkelte datasæt relateret til hver ESS runde).
Danskerne er ikke de tryggeste ved at gå alene ude efter mørkets frembrud, men helt klart i den høje ende. Det ville være en helt fin pointe at formidle, men hvorfor skal det gøres på den måde? Spørgsmålet er ikke retorisk.