Erik Gahner Larsen

Formidlingen af meningsmålinger i valgkampen

Meningsmålinger fylder med rette meget under en valgkamp. Et folketingsvalg er som bekendt blot en meningsmåling med en statistisk usikkerhed på 0. Derfor fungerer meningsmålinger som en pointtavle vi orienterer os mod, når vi vil blive klogere på, hvordan partierne klarer sig – og hvad vi kan forvente på selve valgdagen.

Under folketingsvalgkampen i 2011 skrev jeg, at medierne ikke altid formåede at tage højde for den statistiske usikkerhed i meningsmålingerne. Jeg forventer ikke, at denne valgkamp bliver en af den slags, hvor medierne i alle tilfælde vil tage højde for den statistiske usikkerhed i formidlingen af meningsmålingerne, men jeg har været optimistisk. Det er for det første min opfattelse, at medierne i højere grad er bevidste omkring den statistiske usikkerhed i meningsmålingerne (mere end i 2011 i hvert fald). Det er for det andet også værd at bemærke, at der har været talrige kritiske artikler omkring meningsmålingerne på det seneste, som med al tydelighed viser, at journalisterne er bevidste omkring de åbenlyse faldegruber, når det kommer til formidlingen af meningsmålinger.

På valgkampens første dag er vi blevet præsenteret for tre forskellige meningsmålinger. En meningsmåling foretaget af Gallup for Berlingske, der taler om et gyservalg (altså at rød blok kommer tættere på de 50 procent). En anden meningsmåling foretaget af Megafon for TV2 og Politiken, der viser, at der ikke er sket det store i løbet af det seneste døgn. En tredje meningsmåling foretaget af Epinion for DR viser, at rød blok går tilbage.

Med andre ord: Fremgang, tilbagegang og status quo for rød blok. Så er vi vist også dækket ind i forhold til journalistiske vinkler på meningsmålingerne. Det der nu bør være åbenlyst er, at de tre meningsmålinger må vise noget forskelligt. Dette er dog på ingen måde tilfældet. Nedenstående figur viser opbakningen til de 10 opstillingsberettigede partier, som analyseinstitutterne inkluderer.

Figuren viser, at de tre meningsmålinger ligger meget tæt op ad hinanden. Faktisk ligger de så tæt, at der ikke er nogle partier, der står signifikant dårligere eller bedre i én måling i forhold til en anden måling. Når vi kigger på blokkene, hvor rød blok består af Socialdemokraterne, Radikale, SF, Enhedslisten og Alternativet, og blå blok af Venstre, Konservative, Dansk Folkeparti, Liberal Alliance og Kristendemokraterne, ser vi da heller ikke, at der er forskelle på tværs af målingerne.

Derfor er det også interessant, at man kan skrive tre så forskellige artikler omkring hvordan partierne står i meningsmålingerne. Dette er første men helt sikkert ikke sidste gang, vi kommer til at se dette i valgkampen. Dette af to grunde. For det første bruger medierne primært deres egne målinger. DR har Epinion, Berlingske har Gallup og TV2 har Megafon. Det er en dyr fornøjelse at få lavet meningsmålinger, og derfor gør de respektive medier også hvad de kan for at sælge deres egen meningsmåling til læserne snarere end konkurrentens.

For det andet, og som konsekvens heraf, vil journalisterne have forskellige referencepunkter i løbet af valgkampen, når de skal referere til den seneste måling. Berlinske vil kigge på hvad Gallup viste dagen forinden (kig eksempelvis på Politiko, hvor man ud fra Dagens Gallup angiver forskelle på helt ned 0,2 procentpoint som en tendens), og TV2 hvad Megafon viste dagen forinden. Når der så tolkes på mindre, ubetydelige forskelle fra dag til dag, gør det også, at der vil komme vidt forskellige journalistiske narrativer, der i bund og grund ikke gør nogen klogere.

Til trods for min umiddelbare optimisme må jeg konkludere, at alt tyder på, at når der er valgkamp, har vi at gøre med business as usual. Derfor er det også blot endnu vigtigere at slå fast: Hvis du gerne vil blive klogere på, hvordan partierne (og blokkene) står i meningsmålingerne, så kig på de vægtede gennemsnit. Den journalistiske dækning er der i hvert fald, hvad angår meningsmålingerne, ingen grund til at sætte sin lid til.

Hvornår kommer folketingsvalget? De politiske kommentatorers bud #2

Så er folketingsvalget udskrevet. For et par måneder siden gav de politiske kommentatorers deres bud på, hos Berlingske og/eller TV2, hvornår danskerne kunne forvente at skulle tage turen til stemmeurnerne. Mere præcist gav de politiske kommentatorer deres bud på en valgdag den 13. marts i år. Da vi nu kender den eksakte valgdato, kan vi også se nærmere på, hvor præcise de politiske kommentatorer var og hvem der var mest præcis.

Nedenstående figur viser hvor langt de respektive politiske kommentatorer var fra at ramme rigtigt. Den røde, stiplede linje er den 18. juni, hvor der som bekendt skal være valg. Jo længere væk punktet er fra denne linje, desto mere tog den pågældende politiske kommentator fejl. Jeg har desuden tilføjet et rødt areal, der viser to standardafgivelser (en på hver side af valgdatoen).

Der er tre forhold, der bør kommenteres her. For det første kan man se, at Hans Engell og Anders Langballe var de to kommentatorer, der gættede en dato tættest på valgdagen (5 dage fra). For det andet har det ikke så meget været et spørgsmål om at skulle gætte datoen, men mere om hvorvidt Helle Thorning-Schmidt ville udskrive valget før eller efter sommerferien. For det tredje kan vi se, at Peter Mogensen var ham der var længst fra at gætte rigtigt. (Indsæt selv en sjov bemærkning om, at Peter Mogensen ikke har den bedste track record.)

Hvad kan vi bruge ovenstående til? Ikke så meget. Der er intet der taler for, at Helle Thorning-Schmidt tilbage i marts vidste, hvornår hun ville udskrive valget, og der er intet der taler for, at vi derfor for fremtiden bør stole mere på Hans Engells forudsigelser end eksempelvis Troels Mylenbergs. Det ændrer dog ikke på, at det selvfølgelig er sjovt at samle op på, hvem der klarede sig bedst.

Hvor lang er valgkampen sammenlignet med tidligere valgkampe?

Torsdag den 18. juni skal vælgerne stemme ved folketingsvalget. Med lidt simpel hovedregning fortæller det os, at det giver 23 dages valgkamp. 23 dage med omfattende mediedækning, politikerdebatter og dugfriske meningsmålinger flere gange dagligt. Der er ingen regler omkring, hvor længe en valgkamp skal være, dog udelukkende nogle praktiske grunde til, at valget udskrives omkring tre uger før selve valgdagen.

For at se nærmere på, hvor lang valgkampen er i et historisk perspektiv, har jeg indsamlet information omkring tidligere valgkampes længde (fra 1957 og frem) fra Folketingets hjemmeside og tilføjet den kommende valgdag. Den kommende valgdag er markeret med blåt i nedenstående figur:

Sammenlignet med de seneste valgkampe får vi denne gang et par dages ekstra valgkamp (og, alt andet lige, nok et par debatter og mellem 5 til 10 meningsmålinger ekstra). Vi skal tilbage til valgkampen i 1994 for at finde en valgkamp med samme længde som ved folketingsvalget 2015. Kigger man på det storre billede kunne det dog være meget værre. Vi har således set eksempler på valgkampe der forløb over en hel måned.

Afslutningsvis er her lidt trivia om valgdagen fra Politiken: “Der er afholdt 69 folketingsvalg siden 1848. Dengang faldt valget torsdag torsdag 5. oktober. Siden er størstedelen af valgene afholdt på en tirsdag – 36 i alt. Men det er ikke et krav. Faktisk er alle ugedage undtagen søndag blevet brugt til at afholde valg. Der er en gang blevet afholdt valg en lørdag. Det var 26. februar 1853. Seneste valg, 15. september 2011, blev afholdt på en torsdag.”

Hvorfor er stikprøvestørrelsen mindre i den seneste Megafon-måling?

Samtlige danske medier beretter om, at der bliver udskrevet valg i dag. Et af de afgørende aspekter for, om Helle Thorning-Schmidt udskriver valg er selvfølgelig partiernes position i meningsmålingerne. Jo tættere Socialdemokraterne og de nærmeste venner er på at kunne mønstre et parlamentarisk flertal, desto større er sandsynligheden for, at statsministeren trykker på valgknappen.

Kommentatorerne taler eksempelvis om, at Socialdemokraterne regner med at man kan flytte et par procentpoint over midten i løbet af en valgkamp, hvorfor 48 procent i meningsmålingerne vil være tilstrækkeligt for at udskrive valg. Derfor var den seneste meningsmåling fra Megafon ekstra interessant, da den viste lige præcis 48 procent til rød blok:

Der er dog ét aspekt, der undrer mig ved denne måling. Hvorfor er der kun spurgt ca. 870 personer? I disse dage hvor meningsmålingerne er af ekstra stor interesse, giver det ingen mening at spørge færre respondenter end normalt. Det giver desuden endnu mindre mening når man tager højde for det aspekt, at det ikke er de forskellige partiers opbakning man er interesseret i, men mere forholdet mellem blokkene. Dette fordi usikkerheden, der påvirkes direkte af antallet af respondenter, er større for blokkene end for de enkelte partier. Den statistiske usikkerhed for de to blokke, som er og bliver det store fokus i disse dage, er ikke op til 3 procentpoint som figuren angiver, men over 3 procentpoint (3,32 for at være lidt mere nøjagtig).

Kigger vi nærmere på samtlige meningsmålinger foretaget af Megafon i denne valgperiode, finder vi blot ét fortilfælde, hvor der har været spurgt lige så få respondenter i en måling, som tilfældet er med den seneste måling fra Megafon. Den anden måling spurgte 840 respondenter og dataindsamlingen for denne måling sluttede den 26. oktober 2011, altså lige efter folketingsvalget i 2011, hvor meningsmålingerne ikke havde samme vigtighed og interesse. Nedenstående figur viser antallet af respondenter i hver af de 50 meningsmålinger foretaget af Megafon for TV2 og Politiken i denne valgperiode:

Det gennemsnitlige antal respondenter i Megafon-målingerne i denne valgperiode er 1068. Det forekommer mig meget mærkværdigt, at man i en periode hvor meningsmålinger får så stor opmærksomhed og hvor man er endnu mere interesseret i estimater, der er forbundet med en i forvejen stor usikkerhed, vælger at gennemføre meningsmålinger med større usikkerhed end man normalt har for vane. Det giver kort fortalt ingen mening.

Det hænder ofte at jeg stiller et spørgsmål i titlen på mine indlæg og forsøger at besvare spørgsmålet efter bedste evne. I dette tilfælde har jeg dog ingen jordisk idé om, hvorfor Megafon ikke har gjort mere ud af at opnå det antal respondenter, de normalt har.

Opdatering (27. maj, 2015):
Det har vist sig, at min undren har været velbegrundet. Med hjælp fra journalisterne Hans Redder fra Jyllands-Posten og Karen Clement fra TV2 viser det sig, at Politiken lavede en fejl i deres formidling af meningsmålingen (en lignende fejl lavede TV2 i dag). De rapporterede tal var ikke det samlede antal respondenter, men blot de vælgere, der havde angivet et partivalg. Det korrekte antal respondenter i meningsmålingen er 1048.

Samfundstjeneste er måske bedre end fængsel #3

For snart et år siden havde jeg et indlæg i Politiken, hvori jeg kritiserede en rapport fra Justitsministeriet, der argumenterede for en positiv effekt af at idømme kriminelle samfundstjeneste i stedet for fængsel. I en ny rapport fra Justitsministeriet, Præventive effekter af straf og andre tiltag over for lovovertrædere – en forskningsoversigt, adresseres min kritik af samfundstjenesterapporten i fodnote 46 på side 69-70:

”Rapporten har fået nogen omtale i medierne, idet forskellige personer har anfægtet undersøgelsens resultat. I Politiken har ph.d. studerende Erik G. Larsen d. 8.6.2014 hævdet, at sammenligningen mellem grupperne er tvivlsom, idet der ikke er taget hensyn til, at de er dømt for forskellige former for kriminalitet. Denne kritik gentages i et interview i Jyllands-Posten d. 1.12.2014, og samme argument er også fremført af to bloggere, Jens Olav Dahlgaard og Martin Vinæs, TV2 18.11.2014. Som nævnt i et modindlæg i Politiken allerede d. 22.6.2014 er dette ikke korrekt, idet der har været gennemført en lang række analyser med henblik på at teste betydningen af de forskellige variabler, herunder også arten af den kriminalitet, der er dømt for. Indvendingen giver indtryk af, at kritikerne ikke er bekendt med det varsomhedsområde, der på undersøgelsestidspunktet var for brugen af samfundstjeneste, og som bevirker, at der netop opstår en skævhed mellem dem, der er idømt en fængselsstraf og dem, der har fået samfundstjeneste. Der vil således være relativt mange voldsdømte blandt dem med fængselsstraf, da samfundstjeneste skal anvendes over for denne gruppe med varsomhed – ikke fordi de er mere recidivtruede end andre, men af hensyn til retsfølelsen. Kvasieksperimentelle undersøgelser af den art, som evalueringen af samfundstjenesteordningen repræsenterer, baserer sig på antagelsen om, at domstolene ikke vurderer alle sager på fuldstændig samme måde, men at der vil være en vis variation mellem dommere og/eller byretter. Dette er da også i den tidligere rapport påvist at være tilfældet (Klement 2011). Når en væsentlig del af samfundstjenestedommene reelt angår varsomhedsområdet, vidner også dette om, at der kan være forskelle på, hvorledes varsomhedsanvisningen er blevet vurderet af de forskellige dommere. To andre væsentlige grunde til at idømme samfundstjeneste i stedet for en fængselsstraf er omfanget af tidligere kriminalitet og længden af den aktuelle straf. Samfundstjeneste gives således hyppigere til nogen med relativt få forstraffe, og som står til en kortere straf. Disse forhold er der taget hensyn til ved de gennemførte analyser. Det kan tilføjes, at der med henblik på udgivelse i et internationalt tidsskrift (artikel accepteret til udgivelse i Journal of Experimental Criminology) er gennemført en række yderligere statistiske analyser – herunder propensity score matchning – og at alle analyser har givet samme resultat. De anvendte metoder og den anvendte fremgangsmåde svarer til de gængse inden for den kriminologiske videnskab, og en meget væsentlig del af den forskning, der er omtalt i denne rapport, hviler på sådanne metoder.”

Pointerne i fodnoten kan opsummeres i to grundlæggende punkter. Én pointe er relateret til forskningsdesignet (der er forskelle på de mennesker, der har fået fængselsstraf og samfundstjeneste, og dette skyldes hensynet til retsfølelsen hos ofrene) og én relateret til de statistiske analyser (der er blevet gennemført yderligere statistiske analyser, der bekræfter resultaterne fra den oprindelige rapport). Det relevante er, at de “yderligere statistiske analyser” netop foretages for at adressere det problem, der er med forskningsdesignet, altså systematiske forskelle mellem dem, der har modtaget fængselsstraf og dem der har modtaget samfundstjeneste. Helt konkret argumenteres der for, at der er anvendt matching som en løsning på at opnå et bedre overlap mellem de to grupper.

Den grundlæggende idé med matching i denne kontekst er, at man estimerer sandsynligheder for hver kriminel for at modtage samfundstjeneste på baggrund af de relevante observerede forhold. For nogle kriminelle vil sandsynligheden for at modtage samfundstjeneste (eller fængsel) være så lille, at det ikke giver mening at inkludere dem i en analyse af effekten af samfundstjeneste. Hvis sandsynligheden for at modtage samfundstjeneste for en person eksempelvis er lig 0, giver det ingen mening at tale om et kontrafaktisk scenarie, hvor personen modtager samfundstjeneste. For de personer der har identiske sandsynlighedsværdier, men afviger i forhold til om de er blevet idømt samfundstjeneste eller fængsel, kan vi konstruere et nyt datasæt, hvor grupperne afviger mindre fra hinanden på de observerede kontrolvariable. Med andre ord er de kriminelle mere sammenlignelige (på observerede forhold) efter man har matchet.

Rosenbaum (2010) beskriver, hvad der kendetegner et godt observationsstudie (herunder også kvasieksperimenter) på side 5: “Although a direct assessment of comparability is possible only for covariates that were measured, a matched observational study typically has a table demonstrating that the matching was reasonably effective in balancing these observed covariates. Unlike randomization, matching for observed covariates provides absolutely no basis for anticipating that unmeasured covariates are similarly balanced”. Dette minder os om to forhold, vi skal være opmærksomme på. Først, selvom vi med matching kan opnå mere sammenlignelige grupper, er det ikke det samme som, at vi har sammenlignelige grupper på uobserverede forhold (til dette har vi brug for et randomiseret forsøg med dertilhørende antagelser). For det andet, at vi skal vurdere hvor gode vores matches er. Med andre ord: Har vi reduceret systematiske forskelle mellem grupperne?

Den oprindelige kritik henholdsvis undertegnede, Jens Olav Dahlgaard og Martin Vinæs ekspliciterede handlede især om netop systematiske forskelle mellem grupperne, der gjorde, at de to grupper ikke var sammenlignelige, og en eventuel forskel mellem disse grupper ikke uden videre kunne tilskrives effekten af samfundstjeneste. I mit indlæg fra december sidste år foreslog jeg derfor følgende: “Såfremt tilfældet havde været, at der ingen (eller begrænsede) systematiske forskelle havde været på tværs af de to grupper på et hav af observerede karakteristika, ville jeg være mere tilbøjelig til at tro, at der heller ikke ville være forskelle på andre relevante men uobserverede variable. Her kan det være interessant at spørge forfatterne, om de har forsøgt sig med matching, og hvilke implikationer det har for resultaterne. Det ville ikke løse grundlæggende problemer med designet, men eventuelle større afvigelser fra de påståede effekter, vil kunne indikere væsentlige problemer.”

Dette er så angiveligt, hvad der er sket nu, hvilket kun er godt. Vi kan derfor se nærmere på, om vi får de samme effektestimater, når vi sammenligner de sammenlignelige observationer (og ikke inkluderer de observationer, der ikke er sammenlignelige, som den kritik der tidligere er rejst, blandt andet bygger på). Tidsskriftsartiklen der henvises til i fodnoten kan findes her. Det er en god artikel, og jeg fandt den læseværdig i sig selv, og der er en god grund til at den er fundet værdig til publicering i det pågældende tidsskrift. Når dette er sagt ændrer ingen af de statistiske analyser på min oprindelige kritik: Der er systematiske forskelle på tværs af de to grupper, der gør, at vi ikke kan konkludere, at der er en kausal effekt af samfundstjeneste på sandsynligheden for at begå ny kriminalitet. Titlen på mit indlæg indeholder (stadig) ordet “måske” af den simple grund, at analyserne heller ikke giver belæg for modsatte.

Som det beskrives tidligt i artiklen, var “information on previous (recorded) crimes, prison length, and type of crime were available in the study and were exploited to adjust for the selection into either CS or imprisonment.” (side 7) og dette sker med henblik på at øge “the comparability of the groups analyzed” (side 8). Perfekt. Vi erkender, at grupperne – før de er matchet – har nogle systematiske forskelle på observerede variable, som vi gerne vil have reduceret, før vi estimerer den kausale effekt af samfundstjeneste.

Problemet opstår i tabel 2, der viser systematiske forskelle på de observerede variable før og efter, der er anvendt matching. For at gøre en lang historie kort: Ingen af de systematiske forskelle på tværs af grupperne reduceres. Som det beskrives i artiklen på side 9: “Table 2 illustrates that there were some significant differences in categorically measured characteristics of offenders sentenced to CS and those sentenced to imprisonment in the unmatched and matched data. The differences concerned gender, alcohol abuse, employment, housing situation, immigration/emigration, geography, and index crime type. Whether or not an individual has immigrated or emigrated (and returned to Denmark) after age 15 is an important control variable because it might mean that the individual crime record is incomplete. The mentioned differences were present before the matching and persisted after the matching.”

Hvordan skal vi tolke især sidste sætning i ovenstående citat? Det skal tolkes således, at de systematiske forskelle der er mellem folk der er idømt samfundstjeneste og fængselsstraf, stadig er til stede, og vi kan dermed ikke sige, at en forskel mellem disse to grupper (selv efter de er matchet), kan tilskrives det forhold, at nogle af dem har modtaget samfundstjeneste. Disse forskelle beskrives desuden videre i tolkningen af tabel 3: “Table 3 shows that offenders also differed in terms of continuous measures. Judicial willingness to impose CS is heavily influenced by the type and seriousness of an offender’s index crime as well as his or her prior criminal history.” (side 10), som fører til følgende vurdering af matching proceduren, der er anvendt I artiklen: “The matching only slightly improved the balance between the CS and prison group, as evident in Tables 2 and 3. The persisting baseline differences after matching in number of prior crimes, duration of index prison sentence, employment, housing situation, and gender reflect this. These differences point to the limits of matching as a remedy for selection bias in this study.” (også side 10)

Med andre ord: Vi har at gøre med skævheder, der har seriøse implikationer for de effektestimater, vi får ud af en statistisk analyse. Derfor er jeg stadig ikke overbevist om, at Justitsministeriets rapport (eller den nye artikel) på overbevisende facon dokumenterer, at samfundstjeneste har en kausal effekt, og derfor bør man også være ekstra kritisk i forhold til de policy-anbefalinger, man ekspliciterer på baggrund af sådan en rapport.

Det der især undrer mig er, at det kun er 23 individer, der falder fra i matching processen. Det åbenlyse spørgsmål er, hvad der skal til for at opnå balance mellem de to grupper, og hvilke implikationer det har for de videre analyser (og dermed den kausale effekt), som jeg efterspurgte i mit indlæg fra december. Jeg er med andre ord ikke overbevist om, at konklusionen på baggrund af matching proceduren bør være, at forskellene mellem grupperne efter matching indikerer en manglende anvendelighed af matching i denne kontekst. Det undrer mig især når der på side 9 står: “Several versions of the matching, differentiated on type of matching and independent variables, were carried out but only the selected matching is reported”. Hvilke typer er der tale om? Hvilke implikationer havde det for balancen mellem grupperne? Hvad viser alle disse forskellige procedurer? Hvorfor kun rapportere én? (Der er intet online appendix, der giver svar på disse spørgsmål.)

Det er fantastisk, at det anerkendes, at der er systematiske forskelle mellem grupperne, som vi gerne vil have reduceret, for at kunne udtale os om den kausale effekt af samfundstjeneste. Det er mindre fantastisk, at sådanne systematiske forskelle ikke reduceres. Som nævnt ovenfor er det en god artikel (betydeligt bedre end rapporten), men man skal stadig holde sig åbenlyse begrænsninger for øje, før man laver nye politiske tiltag på baggrund af de konklusioner, der fremføres i rapporten såvel som i artiklen.

Giver lotterier tvivlsomme meningsmålinger?

På Berlingske kan man læse en artikel med titlen “Advarsel! Lotterier giver tvivlsomme meningsmålinger“, der indledes med følgende: “Vind store lotterigevinster, en iPad eller optjen point til at købe en pizzaskærer med varmefast håndtag. Kampen om at få danskerne til at deltage i meningsmålinger får institutterne til at tage flere værktøjer i brug for at lokke holdningerne ud af de danske vælgere. På tærsklen til et nyt folketingsvalg, hvor vælgerne kan se frem til at blive bombarderet med daglige meningsmålinger, advarer flere forskere dog nu mod, at flere af de dagsordenssættende målinger risikerer at tegne et skævt billede af virkeligheden.”

Der er altid grund til at være skeptisk, når det handler om meningsmålinger og hvordan de gennemføres. Det britiske parlamentsvalg er den seneste reminder herom. Når dette er sagt vil jeg anfægte den påstand, at lotterier som rekrutteringsredskab til meningsmålingerne er noget, der giver tvivlsomme og skæve meningsmålinger.

Først er det selvfølgelig vigtigt at få på plads, at der ikke er én bestemt type af lotteri, som alle analyseinstitutterne anvender. Dette er vigtigt af tre grunde. For det første anvendes der også andre redskaber end lotterier til at tiltrække respondenter. Gallup, Epinion og Greens bruger lodtrækninger, hvor man kan vinde gavekort, men Norstat og Wilke har et pointsystem, hvor man kan bruge optjente point på at købe produkter (YouGov har både pointsystem og lotterier). Pointsystemer er kvalitativt forskellige fra lotterier. For det andet er det ikke alle institutter, der bruger den slags incitamenter til at rekruttere respondenter til deres politiske meningsmålinger. Megafon og Voxmeter er eksempler herpå. For tredje, og i forlængelse af de to foregående pointer, har vi dermed variation på tværs af institutter i forhold til, om de anvender lotterier, hvorfor man også kan se nærmere på, om dét aspekt medfører systematiske skævheder.

Giver disse lotterier og pointsystemer så tvivlsomme meningsmålinger, der tegner et skævt billede af virkeligheden? Det har jeg svært ved at forestille mig. Vi ved, som det også forklares i artiklen, at incitamenter tiltrækker en særlig gruppe mennesker. Det er dog ikke det samme som, at vi får et mere skævt billede af virkeligheden. Tværtimod. En af grundene til at man netop bruger penge på at rekruttere folk, er, at alternativet er målinger, der er endnu mere skæve. I den bedste af alle verdener havde alle stemmeberettigede borgere samme sandsynlighed for ikke alene at blive ringet op af et analyseinstitut, men også at deltage i en meningsmåling. Det er bare ikke den virkelighed, vi lever i, og tværtimod en virkelighed vi bevæger os endnu længere væk fra.

Der er dermed ingen grund til at frygte eller advare mod bestemte rekrutteringsredskaber til at få folk til at deltage i meningsmålinger (hvad enten de bygger på sociale normer eller økonomiske incitamenter). Man skal stadig være yderst kritisk i forhold til den måde hvorpå meningsmålinger gennemføres (og formidles!), men der er ingen grund til at forvente, at lotterier systematisk bidrager til, at meningsmålingerne bliver tvivlsomme. Jeg har med andre ord lige så stor tiltro til Gallups meningsmålinger som til Megafons, også selvom førstnævnte adskiller sig ved at anvende lotterier.

Hvordan klarer Alternativet sig i meningsmålingerne?

Da personificeringen af Alternativet, Uffe Elbæk, den 23. februar kunne meddele, at partiet havde fået de fornødne 20.260 vælgererklæringer, som er påkrævet for at blive opstillingsberettiget til Folketinget, var det kun et spørgsmål om dage, før meningsmålingerne ville begynde at tegne et billede af, hvor stor en opbakning der var til partiet.

Disse målinger kom da også i løbet af de efterfølgende uger, og det var langt hen ad vejen en fornøjelig affære at følge dækningen af Alternativet i meningsmålingerne. Kigger man eksempelvis på de første artikler, der rapporterede tal fra Alternativets vælgeropbakning, bliver den statistiske usikkerhed i de fleste tilfælde formidlet og diskuteret (se eksempelvis artikler fra Børsen og Jyllands-Posten). Overskrifterne på disse artikler kunne være langt bedre formuleret end tilfældet er, men de formår at formidle meningsmålingerne nøgternt og redeligt.

Problemet med meningsmålinger er dog, at de ofte er forbundet med en stor usikkerhed, hvorfor det er svært at drage konklusioner omkring partiernes udvikling i meningsmålingerne. Til trods for at Alternativet har en lille vælgertilslutning og dermed en mindre statistisk usikkerhed end de større partier, er det svært at konkludere noget, når de er i nærheden af to procent. Nedenstående figur viser de 26 meningsmålinger, der har inkluderet tal fra Alternativet, lige fra Greens Analyseinstitut for Børsen den 26. februar til Voxmeter for Ritzau den 3. maj.

Der er især to forhold, der er værd at bemærke. For det første er der ingen meningsmåling, der kan give statistisk belæg for den påstand, at Alternativet ligger på den gode side af spærregrænsen. I alle meningsmålingerne er det en mulighed, at Alternativet får under 2 procent. Alligevel kan man i de tilfælde hvor gennemsnitstilslutningen er over 2 procent finde overskrifter som “Ny måling: Alternativet er over spærregrænsen!“. For det andet er der meget få meningsmålinger, der ikke har et overlap, hvorfor det kun er enkelte målinger, der adskiller sig fra hinanden.

De to forhold bliver problematiske, når medierne ikke tager højde for dem. Dette kan bedst illustreres med den seneste måling fra Megafon og TV2s dækning af samme. Der er tale om den næstsidste måling vist i ovenstående figur, hvor man kan se, at Alternativet får lige akkurat 2 procent af stemmerne. Denne måling resulterede blandt andet i denne artikel, hvor det konkluderes, at for “første gang viser en Megafon-meningsmåling nu, at det nye parti Alternativet vil komme i Folketinget”.

For det første – og for at slå det fast med syvtommersøm: Der er ikke belæg for at sige, at meningsmålingen sender dem i Folketinget. Det betyder ikke, at det ikke er en mulighed, hvilket også kan være relevant at skrive en historie om, men fordi en meningsmåling rammer det runde tal 2, betyder det ikke, at den statistiske usikkerhed forsvinder. Den forrige måling fra Megafon gav Alternativet 1,8 procent. Der er ikke sket noget som helst siden sidst, men det indtryk kunne man nemt få, hvis man læser journalistens tolkning af målingen. En forskel på 0,2 procentpoint gør åbenbart en verden til forskel i en meningsmåling.

For det andet, og noget der også er relevant for den generelle dækning af meningsmålingerne, er det underfundigt, hvordan alle andre meningsmålinger fra andre medier systematisk ignoreres, når den meningsmåling ens medie selv har finansieret, skal formidles. De andre meningsmålinger er totalt fraværende i dækningen, hvorfor det gøres til en endnu større nyhed, at det er den første Megafon-måling, der viser to procent til Alternativet. Det ville være befriende, hvis journalisterne accepterede det faktum, at forskellige meningsmålinger ikke er foretaget i hvert deres univers uden nogen relation til og relevans for hverandre.

Der er ikke statistisk belæg for at sige, at Alternativet har været over spærregrænsen i meningsmålingerne. Det ville være intet mindre end fantastisk, hvis dette faktum kunne afspejle sig i dækningen af partiet i meningsmålingerne, ligesom man så det i begyndelsen af dækningen af partiet, også selvom Alternativet i nogle målinger kommer op og rammer de magiske to procent.