Erik Gahner Larsen

Meningsmålinger og eksperternes gættelege

Sigge Winther Nielsen, ph.d.-studerende ved KU, har skrevet et fint indlæg på Politiken.dk, hvor han korrekt nævner flere af de faldgruber, der er forbundet med at udtale sig på baggrund af variationer på tværs af meningsmålinger over tid.

Problemet er, som Sigge pointerer, at de konklusioner der laves, ikke altid giver mening, da samvariation ikke er det samme som en årsagssammenhæng. Eller som han formulerer det: »At SF har fået en ny formand (A) og er gået frem i meningsmålingerne (B), betyder ikke, at A fører til B.«

Når Sigge åbenlyst har så godt styr på disse svagheder forbundet med at forholde sig til kausaleffekter i denne slags meningsmålinger, fremstår det tragikomisk, at han selv flittigt udtaler sig om lige præcis dette. Lad os blot tage udgangspunkt i eksemplet med SFs nye formand og SFs elektorale opbakning i meningsmålingerne.

Der har været foretaget et par meningsmålinger efter valget af Annette Vilhelmsen som ny formand for SF, og disse har Sigge Winther Nielsen forholdt sig til. Den ene meningsmåling viser en fremgang til SF, den anden en tilbagegang1.

Meningsmåling 1, 23. okt: Fremgang hos SF, YouGov for metroXpress. Her konkluderes det, at SF har fået ny formand (A) og en større vælgertilslutning (B). Jævnfør Sigge kan denne effekt (A → B) være en såkaldt formandseffekt: »Vi så den samme umiddelbare effekt, da Helle Thorning-Schmidt (S) og Villy Søvndal (SF) blev valgt til nye partiformænd i 2005. Da oplevede SF og Socialdemokraterne også en hurtigt [sic] fremgang, men de tabte den lige så hurtigt igen. Man ved faktisk ikke, hvorfor vælgerne reagerer sådan, men et godt gæt er, at de tiltrækkes af det nye og spændende, men hurtigt mister interessen igen«

Meningsmåling 2, 25. okt: Tilbagegang hos SF, Megafon for Politiken og TV 2. Her konkluderes det, at SF har fået ny formand (A), og ikke har fået en større vælgertilslutning (B). Jævnfør Sigge kan denne manglende effekt tilskrives det faktum, at vælgerne er kritisk afventende: »Jeg ser målingen som et udtryk for, at vælgerne er kritisk afventende. De vil give Vilhelmsen mere tid, før de vælger, om det er et hold, de springer over på«

For at opsummere: 23. oktober fortæller Sigge, at vælgerne tiltrækkes af det nye og spændende, og 25. oktober, at vælgerne er kritisk afventende. Vel at mærke i forhold til det samme fænomen. Det må per definition være en selvmodsigelse.

Jeg er derfor heller ikke nødvendigvis enig med Sigge, når han skriver: »Derfor kan medierne godt ranke ryggen og forlange mere journalistik (af den strengt metodiske slags) i deres egne meningsmålinger. Hvis det ikke sker, vil den kvalificerede gættekonkurrence fortsætte.«. Den kvalificerede gættekonkurrence fortsætter kun så længe politiske kommentatorer og eksperter fejlagtigt kommer med konklusioner, der ikke er belæg for, hvor fluktuationer i meningsmålingerne (der sjældent er så store de kan tilskrives andet end statistisk usikkerhed), betragtes som var de eksperimentelt isolerede effekter.

Journalisterne er ikke altid eminente til hverken at formidle eller fortolke meningsmålinger, men det legitimerer på ingen måde eksperternes gættelege. Der er intet galt i de meningsmålinger der foretages, så længe eksperter og journalister kan formidle de begrænsninger, der er forbundet med den slags.

  1. Jeg er ikke overbevist om, at variationen er så stor, at den kan tilskrives andet end statistisk usikkerhed og andre tilfældigheder, men det gør på ingen måde sagen bedre. []

3 comments

  1. Spændende indlæg – og rart at få dette perspektiv på også. Man kan ikke udelukkende placere aben hos journalisterne.

    Når det er sagt, så kan man vel ikke bebrejde Sigge og ligesindede, at de kigger efter en formandseffekt i meningsmålingerne. Og selv om en sådan kausalsammenhæng i sagens natur bliver et gæt, kan det fint være et kvalificeret gæt – hvis man fx. ser en brat og markant (signifikant) stigning hos SF og ikke umiddelbart kan pege på andre udløsende årsager.

    Det faktum, at samvariation ikke er det samme som årsagssammenhæng, udelukker jo på ingen måde kvalificerede bud på samme.

    Men jeg er da enig i, at dine eksempler bør mane til lidt selvkritisk eftertanke.

  2. Mange tak for din kommentar. Du har helt ret i, at samvariation kan give anledning til kvalificerede bud på, hvad der kan forklare denne samvariation. Der er dog et forbehold (blandt flere!) man må tage højde for, nemlig samvariationens størrelse.

    Problemet opstår når samvariationen er så minimal, at andre meningsmålinger viser det modsatte (: ingen samvariation), og eksperter kommer med modstridende forklaringer på de elektorale dynamikker, meningsmålingerne er udtryk for (i dette tilfælde så fra én og samme ekspert). Havde vi set en betydningsfuld fremgang til SF i kølvandet på formandsskiftet (så betydningsfuld at flere meningsmålinger ville observere den), ville der intet problematisk have været i at tale om en positiv formandseffekt.

    Det bør dog selvfølgelig også pointeres, at journalisterne bærer et ansvar. Tilfældet er nok desværre ofte, at journalisten fisker bestemte svar ud af eksperterne, som både journalister og eksperter ved, at der ikke er videre belæg for. Man skal ikke søge længe efter artikler, hvor journalister eksplicit giver udtryk for, at de skriver noget der ikke er belæg for (uden brug af eksperter).
    Her kan SFs formandsskifte give os endnu et fint eksempel, ifm. Voxmeters meningsmåling for Ritzau, hvor en journalist hos sidstnævnte skriver:

    SF går endda tilbage til mindre end før valget af Vilhelmsen til efterfølger for Villy Søvndal. Nu står SF til 6,5 procent af stemmerne mod 7,9 procent for en uge siden og 7,1 procent for en måned siden.

    Målingen skal tages med det forbehold, at den har en usikkerhed på op til plus eller minus 2,9 procentpoint for de største partier og mindre for de mindste.

    Så jeg er helt enig i, at samvariation på ingen måde udelukker muligheden for at give kvalificerede bud på samme, men journalister såvel som eksperter bør være meget påpasselige og tage højde for statistiske/metodiske såvel som substantielle forbehold.

  3. Tak for replikken – og ja, det er dødssygt at tage forbehold for den statistiske usikkerhed og så samtidig køre den journalistiske vinkel (SF går endda tilbage..). Det er da at holde læserne for nar.

Comments are closed.