I juni havde jeg en kommentar i Politiken, hvor jeg kritisererede en rapport fra Justitsministeriets Forskningskontor, der konkluderede, at “risikoen for at begå ny kriminalitet falder med 15%, hvis man får en dom til samfundstjeneste i stedet for ubetinget frihedsstraf.” Hvad der desværre gik min opmærksomhed forbi var, at forfatterne af rapporten, Christian Klement og Anne-Julie Boesen Pedersen, senere samme måned svarede på min kritik.

I svaret, der er publiceret i Politiken søndag den 22. juni, skriver forfatterne af rapporten: “I Politiken 8.6. har ph.d.-studerende Erik G. Larsen (EGL) et kritisk indlæg om den undersøgelse af effekten af samfundstjeneste i forhold til ubetinget dom, som vi har gennemført. EGL påpeger, at sammenligningsgrundlaget mellem de kriminelle, der har fået betinget dom (med vilkår om samfundstjeneste), og de kriminelle, der har fået en ubetinget dom, er tvivlsomt. Det skyldes ifølge EGL, at der i undersøgelsen ikke er taget hensyn til arten af den kriminalitet, de to grupper har begået. Grunden til, at kriminalitetens art ikke indgår i de endelige modeller, der er vist i rapporten, er, at længden af den udmålte straf er inkluderet, og at denne variabel overlapper betydeligt med kriminalitetens art og dermed erstatter denne. Og det vil det forstyrre analysens resultater, hvis meget overlappende variabler indgår samtidigt (multikollinearitet). Det er undersøgt, om rapportens konklusioner ændres, hvis typen af kriminalitet indgår i stedet for længden af den udmålte straf, men det viser sig ikke at være tilfældet.”

Forfatterne har ret i, at jeg mener sammenligningsgrundlaget er tvivlsomt i forhold til den specifikke problemstilling. Min kritik kan dog ikke reduceres til den kendsgerning, at nogle statistiske modeller ikke inkluderer en variabel omhandlende kriminalitetens art. Det er med andre ord ikke et spørgsmål om, at der ikke er taget hensyn til bestemte kontrolvariable. Jeg mener stadig ikke, uafhængigt af hvor mange teoretisk motiverede kontrolvariable man kan inkludere i en model, at der er tale om en decideret effektevaluering. Det korte af det lange: Man kan ikke kontrollere sig frem til et estimat, der på en meningsfuld måde kan tolkes som en kausaleffekt af et bestemt tiltag.

Jeg blev gjort opmærksom på indlægget af en dygtig journalist fra Jyllands-Posten, der tog fat i problemstillingen. Jeg forklarede, at de forskelle der er på tværs af grupperne, som er systematisk relateret til tilbøjeligheden til at begå kriminalitet, indikerer, at vi ikke har at gøre med sammenlignelige grupper, når vi skal vurdere, om samfundstjenesten virker. Jeg henviste desuden til Jens Olav Dahlgaards indlæg på TV2 Politik, der blandt andet har samme pointe. I Jyllands-Posten den 1. december kan man så læse artiklen Ministerium anklages for at blande »æbler og pærer«. Artiklen er saglig og får formidlet kritikken af undersøgelsen såvel som et forsvar for den.

Britta Kyvsgaard, chef for Justitsministeriets Forskningskontor, siger, at der er ryddet så mange fejlkilder af vejen som muligt og at det er solidt arbejde. Jeg er ikke nødvendigvis enig i, at analyserne og tolkningerne er udført bedst muligt (se blandt andet Jens Olavs indlæg ovenfor og min uddybning nedenfor), men det er vigtigt at holde fast i, at fordi man har gjort det så godt man kunne, er det ikke det samme som, at man har et præcist effektestimat, der siger noget meningsfuldt om, hvilken effekt samfundstjenesten har. Flemming Balvig, professor i retssociologi og kriminologi ved Det Juridiske Fakultet, Københavns Universitet, siger i forlængelse heraf, at noget tyder på, at samfundstjenesten har en positiv effekt og at det er bedre end et gæt. Jeg er, som også vil blive beskrevet nedenfor, ikke enig i dette.

Det vigtige er dog først og fremmest at få fremhævet, at der ikke bare er tale om en teknisk detalje, der gør det svært at sige, om effekten er et procentpoint eller to fra den påståede. Der er tale om et grundlæggende problem med denne slags observationsdata, hvor vi antager, at ved at kontrollere for forskelle på et hav af tænkelige kontrolvariable, vil grupperne være sammenlignelige, og kontrafaktisk kunne vi – i dette tilfælde – have fået mindre kriminalitet, hvis blot dem der fik ubetinget fængselsstraf, var blevet idømt samfundstjeneste i stedet for ubetinget fængsel. Det kan vi dog ikke være sikre på (igen, læs også Jens Olavs indlæg for en udførlig beskrivelse af den grundlæggende problematik).

Når det så er sagt, undrer det mig, at man i rapporten taler om netop eksperiment- og kontrolgrupper, som om man har at gøre med et (naturligt) eksperiment. Ved nærmere eftertanke er det nok især brugen af den eksperimentelle metodes terminologi, der gjorde, at jeg i første instans valgte at skrive et indlæg til Politiken. Såfremt tilfældet havde været, at der ingen (eller begrænsede) systematiske forskelle havde været på tværs af de to grupper på et hav af observerede karakteristika, ville jeg være mere tilbøjelig til at tro, at der heller ikke ville være forskelle på andre relevante men uobserverede variable. Her kan det være interessant at spørge forfatterne, om de har forsøgt sig med matching, og hvilke implikationer det har for resultaterne. Det ville ikke løse grundlæggende problemer med designet, men eventuelle større afvigelser fra de påståede effekter, vil kunne indikere væsentlige problemer. Det er desuden vigtigt at pointere, at fordi der kontrolleres for et hav af forhold i modellerne, kontrolleres der ikke for relationerne mellem variablene, der kan have betydning for systematiske forskelle på tværs af de to grupper. Hvis eksempelvis betydningen af typen af kriminalitet er betinget af uddannelsesforhold, der også varierer systematisk på tværs af de grupper, når man bliver idømt samfundstjeneste, kan det diskuteres, om det er tilstrækkeligt bare at kontrollere for de to variable. Det korte af det lange: Verden er så fandens kompleks.

Forfatterne afslutter indlægget i Politiken med: “Konklusionen, at samfundstjeneste sammenlignet med fængsel fører til mindre tilbagefald til ny kriminalitet, står derfor fast og er tilmed baseret på et ganske solidt fundament.” Ligeledes skriver Mette Frederiksen i en kommentar i Politiken den 24. november, at: “Derfor er det med sagkundskaben i ryggen, at regeringen netop har fremsat et nyt lovforslag om øget brug af samfundstjeneste som et alternativ til fængselsstraf.”. Til trods for at jeg værdsætter forfatternes arbejde med rapporten, savner jeg – i mangel på bedre ord – en metodisk ydmyghed.

Det vigtige ord i titlen på mit første indlæg var “måske”. Jeg afviser ikke at samfundstjenesten kan have så store effekter som forfatterne påstår, men vi kan ikke vide det. Der er dog intet ved undersøgelsen der slår fast, at samfundstjenesten ikke kan have ingen nævneværdige effekter eller sågar – gennemsnitligt set – negative effekter. Der er som sådan intet i vejen med at undersøge systematiske forskelle på tværs af forskellige grupper, men i stedet for at slutte her og konkludere, at samfundstjenesten har en dokumenteret positiv effekt (hvilket jeg igen ikke mener der er belæg for), burde sådanne analyser facilitere en kritisk diskussion af, hvad der kan gøres videre for at blive klogere på, om samfundstjenesten generelt set virker, og måske ligefrem for hvilke typer af personer, samfundstjenesten virker bedst for i stedet for ubetinget fængsel.