Forleden kom der et nyt arbejdspapir fra Center for Valg og Partier på Københavns Universitet, der undersøger, hvilken effekt politiske meningsmålinger har på opbakningen til de politiske partier. Undersøgelsen fik en del medieomtale (blandt andre hos Politiken, DR og Berlingske) og kommer i kølvandet på DR/Epinion-fadæsen ved det seneste kommunalvalg (sidstnævnte foranledigede at jeg skrev en kommentar i Berlingske).

Der er tale om et solidt stykke håndværk, som man kun kan ønske sig mere af – især i selve mediedækningen af politologisk forskning. Kort opsummeret er studiet et surveyeksperiment, der giver respondenter forskellige typer af information med henblik på at estimere, hvor stor en effekt bestemt information har på respondenternes holdninger. På godt (intern validitet) og ondt (ekstern validitet) reducerer vi en kompleks, støjfyldt virkelighed og ser, hvilken effekt en bestemt type af information har i en bestemt informationskontekst.

Den slags metodiske tilgange til at blive klogere på verden er ikke velkendte i alle kredse. Voxmeter var ude med en kritik af arbejdet, fordi “selvsamme undersøgelse begår præcis samme fejl som de meningsmålinger, der peger i øst og vest, på grund af et tvivlsomt datagrundlag”. Kritikken af undersøgelsen er forfejlet og et udtryk for Voxmeters egen agenda, hvor de gør en stor dyd ud af at tage afstand fra YouGov. Man kan ikke bebrejde Voxmeter at skrive en sådan kritik af undersøgelsen, men det er vanskeligt at se, hvad den har med resultaterne fra den pågældende undersøgelse at gøre. (En kritik ville kunne være, at respondenterne i den pågældende sample er mere (mindre) påvirkelige, hvorved man overestimerer (underestimerer) effekten af meningsmålingerne, men det er ikke sådan en potentiel problematik, Voxmeter adresserer.)

Meningsmålinger fortæller os, hvor stor opbakningen er til bestemte forslag, partier, personer m.v. Det interessante spørgsmål, og som et hav af studier har undersøgt, er, om der er såkaldte feedback effekter, altså hvorvidt informationen om den offentlige mening kan påvirke den offentlige mening. Grundlæggende kan man tale om to typer af effekter, som meningsmålinger kan have: 1) mobiliseringseffekter og 2) stemmeeffekter. Førstnævnte handler om, hvorvidt en meningsmåling kan få flere til at gå ned og stemme (eller sågar få folk til at blive hjemme), hvor sidstnævnte handler om, hvorvidt en meningsmåling kan påvirke, hvilket parti man stemmer på.

Sondringen er interessant i denne sammenhæng, da begge dele blev diskuteret i forlængelse af kommunalvalget 2013, som undersøgelsen som bekendt skulle belyse. Forskerne er eksplicitte omkring, at der ikke bliver fokuseret på effekten på valgdeltagelsen (side 11), men det er ikke desto mindre der, at nogle af de interessante spørgsmål ligger gemt. Fik den såkaldte exitprognose eksempelvis sofaglade socialdemokrater til at genoverveje, om de gad gå ned at stemme? Spørgsmålet om hvorvidt den i stemmeboksen fik færre til at sætte et kryds ved Socialdemokraterne, vil jeg vurdere er mindre aktuelt. Gør det undersøgelsen mindre relevant? Overhovedet ikke, men det er vigtigt at holde sig for øje, hvad den ikke belyser i forhold til den kontekst, den er blevet diskuteret inden for.

Kigger vi nærmere på det konkrete forskningsdesign, bliver respondeterne delt ind i fem grupper. En kontrolgruppe, som alle eksperimenter bør have, og så fire grupper der varierede på parti (Socialdemokraterne og de Konservative) og meningsmålingsresultat (fremgang og tilbagegang). Selve forskningsdesignet er vist på side 14 i rapporten:

Der er tale om et stærkt design, der alt andet lige giver gode muligheder for at undersøge, om informationen respondenterne får, skaber systematiske forskelle i de svar, der gives senere (altså et between subjects design). Den interne validitet er høj, og det er svært at forestille sig et bedre design til formålet her. Observeres skal det dog, at fremgangen (og tilbagegangen) på henholdsvis to og fem procentprocent ikke manipuleres på tværs af Socialdemokraterne og de Konservative. Med andre ord kan det ikke undersøges, om eventuelle forskelle hos partierne skyldes partiet eller størrelsen på forandringen. (Derfor vil jeg i det resterende heller ikke diskutere nærmere, hvorfor der i eksperimentet kan være forskellige resultater for Socialdemokraterne og de Konservative, men mestendels fokusere på resultaterne fra Socialdemokraterne, der også har fået mest omtale i medierne.)

Kigger vi nærmere på det materiale respondenterne har læst, har hver respondent (minus dem i kontrolgruppen), læst en artikel om et parti der er gået frem eller tilbage i en meningsmåling, hvortil en ekspert udtaler, at det er gode eller dårlige nyheder for partiet, alt efter retningen på forandringen for partiet i meningsmålingen. Et eksempel på en artikel respondenterne har læst, er vist på side 35 (eksemplet viser Socialdemokraterne, der går fem procentpoint tilbage):

Artiklerne, der anvendes i eksperimentet, er af gode grunde lavet med henblik på, at skulle virke realistisk i forhold til artikler, der ville kunne bringes i en “rigtig” avis. Her skal vi dog holde os mindst fire ting for øje, hvad angår det materiale respondenterne er blevet forevist, der blandt andet vedrører eksperimentets økologiske validet. For det første er alle respondenterne i treatmentgrupperne blevet tvunget til at se artiklen i mindst 30 sekunder. Dette er (heldigvis) ikke sådan mennesker bliver konfronteret med meningsmålinger i deres hverdag, hvor det ligeledes heller ikke er tilfældigt, hvem der overhovedet læser artikler med meningsmålinger. Jo længere tid man i et eksperiment tvinger respondenterne til at bearbejde og tænke over stimulimaterialet, desto mere kan det forventes, at det vil kunne afspejles i svarene derefter, men ikke nødvendigvis matche den måde meningsmålinger bearbejdes på i normalt medieforbrug.

For et andet er det meget sjældent at artikler, der formidler en meningsmåling, udelukkende nævner ét parti. Dette fordi procentpoint i en meningsmåling er et nulsumsspil, og hvis ét parti går frem eller tilbage, påvirker det andre partiers tilslutning i meningsmålingen, der som regel også får et ord eller to med på vejen. Her kan man forvente, at når først man begynder at øge kompleksiteten og præsentere tal for andre partier, forskelle til de andre partier m.v., vil det øge forskellene i hvad læserne fokuserer på i artiklen, hvordan de bearbejder informationen, og dermed effekten af informationerne på opbakningen til partierne.

For det tredje er der visuel information, der viser forandringen for det ene parti. Det er langt fra i alle artikler, at den slags informationer bliver visualiseret, og hvis forskelle bliver visualiseret, er det som regel de fleste partiers opbakning, der bliver vist i forhold til hinanden. I ovenstående eksempel med Socialdemokraternes tilbagegang behøves man knap nok aflæse tallene, da man uden de store vanskeligheder vil kunne se, at der er tale om en nedtur.

For det fjerde er der i alle artikler en ekspert, der fortolker meningsmålingen. I ovenstående eksempel udtales der, at meningsmålingen viser, at det er umuligt at se en vej ud fra krisen for Socialdemokraterne. De kilder der anvendes i artikler har væsentlig betydning for, hvordan læseren bearbejder information i forhold til de beslutninger der skal træffes efterfølgende (i dette tilfælde partivalg). Hvis der bruges en pålidelig kilde, hvilket alt andet lige er tilfældet i nærværende eksperiment, vil det kun kunne bidrage til at gøre effekten af meningsmålingen større. Det er selvfølgelig – igen – sjældent at meningsmålinger kun beskæftiger sig med ét parti, og ofte, når der inddrages kilder, får politikere også mulighed for at udtale sig. Jeg tror ikke der findes tilfælde, hvor en artikel kun har nævnt ét parti ifm. en meningsmåling uden at interviewe en politiker fra det pågældende parti.

Ovenstående indvendinger er interessante, da artiklen er skruet sådan sammen, at man med de valgte elementer opbygger de bedste betingelser for at finde effekter. Langt de fleste politologiske eksperimenter er skruet sådan sammen, at de sjældent er en direkte kritisk test af de teoretiske forventninger, og dette gælder også for dette studie. Med andre ord har vi at gøre med et setup, hvor et fravær af en effekt ikke kan tilskrives det faktum, at folk ikke er blevet præsenteret for klar og tydelig information.

Med dette in mente kan vi se nærmere på, hvilken effekt meningsmålingerne så har. Kresten Roland Johansen, projektleder og underviser på Danmarks Medie- og Journalisthøjskole, har rejst en kritik af undersøgelsens hovedresultater, der sammenfattes i følgende to kritikpunkter:

Pointe 1: Havde der været tale om virkelige meningsmålinger hver især baseret på ca. 600 svar og med samme fremgang i tilslutningen til Socialdemokraterne, ville fagpersoner rådgive journalister til ikke at vinkle på forskellen pga. den statistiske usikkerhed. Med henvisning til eksperimentets høje intervaliditet og evidens fra lignende eksperimenter mener forskerne, at det er forsvarligt her. Det fremgår dog ingen steder i rapporten eller i medieomtalen, at der er tale om marginal signifikans.

Pointe 2: Tilbagegangseffekterne er insignifikante, dvs. ikke sandsynliggjort i undersøgelsen. Men når det er tilfældet, hvordan kan rapporten så konkludere en tendens til, at dårlige målinger kan sende partierne tilbage? Det virker ikke stærkt underbygget i eksperimentets resultater.

Første pointe relaterer til, at der ikke er tale om p-værdier der når under de konventionelle signifikansværdier. Det er korrekt, at det er vigtigt at se på, hvor store forskellene er, men en p-værdi alene fortæller os ikke så meget, og slet ikke om effektstørrelsen. På side 16 i rapporten vises der grafisk, hvordan opbakningen til Socialdemokraterne varierer på tværs af tre grupper (kontrol, fremgang for Socialdemokraterne og tilbagegang for Socialdemokraterne):

Det interessante her er at se, om gennemsnitsforskellene i de to grupper er forskellige fra kontrolgruppen. Nævnes skal det, at det ikke er 95 pct. konfidensintervaller på ovenstående figur, men 90 procent. Her har Kresten en pointe i, at det ikke virker sandsynliggjort, at tilbagegangen er så stor for Socialdemokraterne, efter en dårlig meningsmåling. Dette fund er især aktuelt i kommunalvalg ’13-sammenhængen, da det netop var spørgsmålet om, hvorvidt en dårlig meningsmåling havde nogle implikationer, der blev diskuteret.

Hvad angår testen af fremgangseffekten, er der to pointer, der kan fremhæves; den ene i forhold til teorien, den anden i forhold til, hvornår man kan kalde noget for signifikant. I begyndelsen af rapporten beskrives det helt korrekt, at der er forskellige teoretiske bud på, hvilken effekt meningsmålinger kan have. Den ene er en underdog-effekt, altså hvor vælgerne vil bakke op om et parti i ren sympati, og den anden er en bandwagon-effekt. I tilfældet med Socialdemokraternes dårlige meningsmåling kan man altså teoretisk set forestille sig to forskellige effekter: 1) at vælgerne stemmer på Socialdemokratiet, når de går tilbage og 2) at vælgerne skrider fra Socialdemokratiet. Når vi har sådanne to forskellige teoretiske forventninger, der kan have effekter i samme retning, motiverer det, at vi laver to-sidede hypotesetests, og det uddybes ikke, hvorfor man afviger fra den praksis.

Når vi så vurderer, om effekten i fremgangsartiklen er signifikant, må vi forholde os til, hvornår vi kan tale om statistisk signifikans. Når forfatterne i rapporten skriver, at forskellen er signifikant med en p-værdi på 0,075 i en ensidet test (side 17), er det i min verden slang for insignifikant, men igen – der er ingen universelle regler, og det skal selvfølgelig tolkes i forhold til samplestørrelsen.

Eksperimentet er som sagt godt håndværk, og det er god politologisk forskning, der gør os klogere på, hvilken effekt bestemte meningsmålinger har. For journalisterne må det især være interessant at diskutere, hvor stor betydning det har på vælgernes holdninger, når de selv formidler meningsmålinger i en meget kompliceret virkelighed, hvor der ofte bliver offentliggjort meningsmålinger med få dages mellemrum, der viser forskellige tendenser. Netop af denne grund må det for mange være overraskende, hvor inkompetente journalister virker i forhold til at perspektivere sådanne resultater. Jeg har dog efterhånden mødt en pæn andel journalister, så jeg er selvfølgelig ikke overrasket.

Hvor længe holder sådanne effekter eksempelvis? I eksperimentet bliver deltagerne spurgt lige efter de har læst artiklen. Hvis man lod der går et kvarters tid, ville effekterne så være de samme? I virkeligheden er der ikke opklistret den seneste meningsmåling i stemmeboksen, men hvis der er en effekt, og den holder ved, kan det have store betydninger. Og hvad hvis man bliver præsenteret for forskellige meningsmålinger, der viser forskellige ting? Bliver man mere kritisk overfor meningsmålinger, og lader sig påvirke mindre, eller påvirkes man lige meget af hver meningsmåling? Reagerer alle ens på meningsmålinger? Nogle vælgere er mere sikre i deres partivalg, nogle er rent personlighedsmæssigt mere tilbøjelige til at blive påvirket af bestemte typer af information og så videre. Er det kun folk der i forvejen interesserer sig for politik og har en aktie i et parti, der følger meningsmålingerne og måske er de mindst påvirkelige?

Mindst lige så interessant er det at diskutere, hvilke implikationer det skal have, at vælgerne måske påvirkes af meningsmålinger. Foredragsholder Johannes Andersen har i forlængelse af rapporten advokeret for, at der skulle være en pause for meningsmålinger to uger op til et valg. Vi ved fra årtiers forskning at vælgerne påvirkes af alt mellem himmel og jord – især af medier (framing, priming – you name it), og det giver ingen mening at forsøge at forhindre eksempelvis bestemte typer af mediedækning, fordi det kan give vælgere bedre mulighed for at danne deres egen mening (hvad man så end mener med det).

Hvis sandheden er, at Socialdemokraterne går frem, er det så ikke journalisternes opgave at formidle dette? Er der noget forkert i, at vælgerne lader sig påvirke af den information, de får fra medierne? Nej. Hvis Socialdemokraterne går frem og nogle vælgere vælger at reagere på det, er det jo bare sådan, at politik fungerer. Problemet opstår, hvis det er løgn, at Socialdemokraterne går frem (altså at meningsmålingen giver et misvisende billede af virkeligheden), men det er en helt anden diskussion, og vedbliver at være et problem selvom meningsmålinger ikke skulle have nogen effekt.

Det korte af det lange er, at det er meget svært at konkludere noget endeligt i forhold til, om meningsmålinger har en effekt på vælgernes partivalg, men der er umiddelbart intet der har overbevist mig om, at der er tale om store effekter. Der er ligeledes intet der taler for, at der er brug for regulering af, hvornår der må formidles meningsmålinger. Det eneste der er brug for er, at journalisterne formidler meningsmålinger, der er sande (men det er som beskrevet et helt andet emne).