Meningsmålinger er kommet for at blive. Medierne og andre politiske aktører bruger betydelige ressourcer på at få lavet meningsmålinger, og intet tyder på, at der vil blive brugt færre ressourcer på dem i fremtiden. Tværtimod. Det triste er, at disse ressourcer øjensynligt ikke i samme omfang bruges på at sørge for, at journalisterne kan tolke og formidle disse meningsmålinger. I dette indlæg giver jeg mit bud på, hvilke 20 spørgsmål journalisterne bør stille til enhver meningsmåling og tage med i deres journalistiske overvejelser.
Vigtigheden af disse spørgsmål varierer alt efter hvilken meningsmåling, der er tale om, men det er alligevel forsøgt at placere disse spørgsmål i en systematisk rækkefølge. Tanken er ikke, at journalister altid skal stille disse spørgsmål, men om ikke andet være bekendt med disse spørgsmål og give udtryk for samme.
Nærværende indlæg er et forsøg på at skrive en mere sammenhængende oversigt over, hvad man skal være opmærksom på. Dette er i kontrast til de indlæg, der normalt skrives, som fremhæver ét eller flere – ofte problematiske – aspekter ved en specifik måling. Listen er skrevet til journalister, men tanken er selvfølgelig, at det i lige så høj grad er en læsevejledning til artikler, der formidler en meningsmåling, for alle interesserede.
Det er desuden vigtigt at fremhæve, at jeg med listen også forsøger at fjerne opmærksomheden fra andre spørgsmål, man også kunne stille, hvorfor bestemte spørgsmål ikke er taget med. Eksempler på dette kan være spørgsmål som ”Hvem har foretaget målingen?” og ”Hvor mange er blevet spurgt?”. Til trods for at disse informationer er med på diverse lister over vigtige metodiske informationer (ESOMAR/WAPOR, AAPOR etc.), er de kun i yderst sjældne tilfælde relevante og fjerner i mange tilfælde opmærksomheden fra det essentielle. Dette er ikke det samme som, at medierne ikke bør rapportere dem, men blot at de i mange tilfælde er sekundære. Her følger de relevante spørgsmål:
1. Hvad er konteksten for meningsmålingen?
Vi kan i princippet foretage meningsmålinger om alt, lige fra undersøgelser af danskernes præference for coleslaw med spidskål til spørgsmål om den hvor mange flygtninge danskerne mener, der er er plads til i Danmark. Det er derfor – som det første – afgørende, at man kan forstå og formidle konteksten for en meningsmåling. Med andre ord er det nødvendigt at spørge om, givet at en meningsmåling ikke bare kommer ud af det blå, hvorfor vi får netop denne meningsmåling nu. Hvis ikke en meningsmåling kan kobles på noget aktuelt emne, taler det mere for, at formålet netop er at gøre et emne aktuelt.
2. Hvad kan meningsmålingen bidrage med?
Meningsmålinger er som bekendt ”målte meninger”, og det er ikke altid, at meningsmålinger har noget at bidrage med i forhold til den kontekst, de forsøges at blive placeret i. Det er eksempelvis ikke altid, at et repræsentativt udsnit af en bestemt gruppe menneskers holdninger bidrager med noget som helst til et bestemt emne, og i nogle tilfælde kan det sågar fjerne fokus fra det der – journalistisk set – burde være i fokus. Det er derfor vigtigt at spørge om, hvor relevant meningsmålingen er, altså med andre ord hvad meningsmålingen helt specifikt vil kunne bidrage med til det pågældende emne. Dette aspekt bliver desuden blot vigtigere når nedenstående spørgsmål skal besvares med henblik på at vurdere, om meningsmålingen så også kan bidrage med det, man ønsker, at den skal bidrage med.
3. Hvordan dækker andre medier målingen?
Der er per definition kun ét medie, der kan være først med en meningsmåling. Når man som medie ikke er først med en meningsmåling, er der et par ekstra spørgsmål, man skal besvare, herunder hvilke informationer der bringes (og hvilke der udelades), hvordan konteksten formidles – og hvordan koblingen er mellem meningsmålingen og konteksten. Vigtigt er det især, om der er flere vinkler, end det der allerede er rapporteret. Desværre er der en tendens til, at når først meningsmålingen er formidlet én gang, hopper andre journalister ukritisk med på denne historie (på samme måde som man taler om, at meningsmålinger kan have bandwagon-effekter på vælgerne, kan de ligeledes have det på journalisterne).
4. Hvad viser tidligere meningsmålinger?
Meningsmålinger foretages ofte i relation til emner som indvandring, politikere, skat, klima, velfærd og så videre. Dette er emner der ofte er på mediernes dagsorden, hvorfor det hører til sjældenhederne, at der er tale om den første meningsmåling nogensinde om et specifikt spørgsmål. Dette gør at man som journalist, for så vidt det er muligt, bør undersøge hvad tidligere meningsmålinger viser, og især om der er væsentlige forskelle. Hvilke målinger er blevet lavet? Hvad siger målingerne? Hvad var konteksten for de pågældende målinger? Og så videre.
5. Hvilke eksperter ved noget om emnet?
Det kan ej forventes at journalister ved noget – endsige tilstrækkeligt – om det emne, en meningsmåling omhandler. Derfor er det ofte at foretrække, at eksperter bidrager med et kvalificeret perspektiv på meningsmålingen. Dette behøves selvfølgelig ikke være til citat, men en ekspert vil ofte kunne spotte åbenlyse faldgruber ved en meningsmåling og placere den i dens retmæssige kontekst. Her er det især godt at spørge eksperter, der tidligere har udtalt sig om samme emne i relation til meningsmålinger. En god tommelfingerregel er desuden ikke at spørge de eksperter (det være sig kommentatorer, forskere m.v.), der altid er i medierne, som ofte er de mindst kritiske.
6. Hvem betaler gildet?
Dette er, hvis ikke det væsentligste spørgsmål, så i hvert fald et spørgsmål, man aldrig må se bort fra. Ingen betaler for at få gennemført en meningsmåling for deres blå øjnes skyld. Interesseorganisationer vil eksempelvis gerne have det til at se ud som om, at de ikke selv har betalt for en meningsmåling, da det øger legitimiteten, hvis det er journalisterne selv, der ser ud til at have finansieret den.
Det vigtige er, at dem der betaler for en meningsmåling, også har magten over, hvordan meningsmålingen skal gennemføres. Dette har, som nedenstående spørgsmål også fremhæver, væsentlige implikationer for, hvordan en meningsmåling kommer til at se ud. En journalistisk kerneopgave er dermed at gå yderst kritisk til værks i forhold til, hvem der har betalt for meningsmålingen.
Et godt hypotetisk spørgsmål, der kan stilles til de fleste meningsmålinger, er: Ville meningsmålingen også være offentliggjort, hvis resultaterne var radikalt anderledes? Ville en interessesammenslutning af organisationer med fokus på udviklingsbistand have lanceret en meningsmåling, hvis den havde vist, at danskerne foretrak skattelettelser frem for ulandsbistand? Sandsynligvis ikke.
Mange meningsmålinger betales dog af medierne selv, hvorfor journalisten, der skal skrive en historie om den, ofte har en aktie i, at den får læsere. Dette skaber i sig selv nogle incitamenter, der ofte kan være uhensigtsmæssige. I disse tilfælde er der ikke så meget andet at gøre, end at være kritisk som læser – eller som journalist, når man skal dække en meningsmåling, et andet medie har betalt for og ønsker omtalt så meget som muligt.
7. Hvilke respondenter blev rekrutteret – og hvordan?
Sandsynligheden for, at jeg deltager i en spørgeskemaundersøgelse er noget nær nul. Hvis det lykkedes et analyseinstitut at ringe mig op, takker jeg pænt nej. Det samme er ikke tilfældet for mange andre mennesker, der glædeligt tilmelder sig diverse paneler, som gør sandsynligheden til noget nær en for, at man vil deltage i en spørgeskemaundersøgelse. Dette er en udfordring de fleste analyseinstitutter står med, nemlig at nogle mennesker er nemmere at rekruttere end andre.
Før vi overhovedet begynder at kigge nærmere på meningsmålingen, er det derfor vigtigt at se på, hvem vi overhovedet spørger. Hvordan har vi fået fat i alle disse mennesker? Er der blevet brugt økonomiske incitamenter som et redskab til at sørge for, at respondenterne deltager i meningsmålingen? Har selve rekrutteringen af respondenterne grund til at lade os være skeptiske i forhold til, hvad meningsmålingen vil vise?
Dette spørgsmål er især vigtigt, når det omhandler befolkningsgrupper, der normalt ikke er nemme at nå. Hvis en meningsmåling eksempelvis rekrutterer unge, muslimer eller en helt tredje specifik gruppe, er det ekstra relevant at kigge på, hvordan et analyseinstitut har magtet denne opgave, og om den anvendte procedure er tilfredsstillende (altså om vi kan forvente, at den gruppe der så er rekrutteret, er repræsentativ og dermed noget nær identisk med en tilfældig stikprøve af populationen).
8. Hvem blev sorteret fra?
Når vi har en oversigt over, hvem der deltager i meningsmålingen, er det vigtigt at se på, hvem der så får lov til at svare på de spørgsmål, der skal stilles i en meningsmåling. Med andre ord er vi ikke kun interesseret i hvem der har svaret, men lige så meget hvem der ikke har svaret. For godt tre år siden pointerede jeg eksempelvis det problematiske ved en meningsmåling, der viste, at danskerne var glade for fagforeninger. Det problematiske var helt specifikt, at man ikke spurgte de respondenter, der ikke var med i en fagforening, hvorfor man ikke kan sige, at undersøgelsen er repræsentativ i forhold til danskerne.
Et nyere eksempel har vi fra sommerferien, hvor DR2 i en kampagne meldte ud, at 83% mente, at DR2 spiller en vigtig rolle for samfundsdebatten. Hvad de ikke meldte ud i kampagnen var, at de udelukkende spurgte de mennesker, der så DR2, og dermed var meningsmålingen på ingen måde repræsentativ. Detektor skrev mere om den specifikke kampagne her.
9. Hvornår blev folk spurgt?
Når vi har styr på, hvem der er blevet spurgt – og ikke er blevet spurgt – er det vigtigt at se på, hvornår respondenterne blev spurgt. Dette er vigtigt, da perioden folk er blevet spurgt i, kan have betydning for, hvordan respondenterne vil svare på de spørgsmål, de bliver stillet. Igen, det er sjældent tilfældigt om en bestemt meningsmåling bliver gennemført eller ej, og når danskerne bliver spurgt om indvandring i disse dage, vil svarene højst sandsynligt være påvirket af den aktuelle dagsorden i medierne med EU, flygtninge m.v.
Det er desuden vigtigt at se nærmere på, hvor lang en periode folk er blevet spurgt over. Nogle meningsmålinger, eksempelvis relateret til partivalg, gennemføres normalt over et par dage, hvorfor det er usandsynligt, at respondenterne interviewet i begyndelsen af dataindsamlingsperioden vil være i en anden kontekst end dem interviewet senere. Omvendt kan konteksten variere for respondenterne, hvis dataindsamlingen har stået på over flere uger, hvilket man oftest ser, når minoritetsgruppers holdninger er hovedfokus i en meningsmåling (altså målinger der vedrører grupper, som er svære at rekruttere).
10. Hvordan er folk blevet interviewet?
Når vi har styr på hvilke respondenter, der deltager i meningsmålingen og hvornår de gør det, skal vi se på, hvordan respondenterne er blevet interviewet. I de fleste af de meningsmålinger man finder i medierne i dag, interviewes respondenterne enten via telefon eller besvarer et spørgeskema på internettet (nogle meningsmålingerne kombinerer svar indsamlet vha. nævnte metoder). Vigtigheden af hvordan respondenterne er blevet interviewet kan variere betydeligt alt efter hvilket emne der er tale om, hvor mange svarmuligheder respondenten gives, sandsynligheden for frafald midt i en meningsmåling og så videre. Det korte af det lange er her blot, at man bør reflektere over (og i den bedste af alle verdener undersøge), om meningsmålingens resultater ville have været anderledes, hvis folk i stedet for at have besvaret et spørgeskema på internettet, var interviewet af en person – og vice versa.
11. Hvor mange spørgsmål blev der stillet?
Nu kommer vi så til det, vi oftest interesserer os mest for: spørgsmålene. Mange artikler der omhandler meningsmålinger, formidler et eller to specifikke spørgsmål, respondenterne er blevet spurgt om. I de fleste tilfælde bliver respondenterne dog stillet talrige spørgsmål (når man nu alligevel har dem i røret eller ved tasterne). Derfor er det godt at have styr på, hvor mange spørgsmål respondenten blev stillet – og om dette kan have betydning for, hvad meningsmålingen vil vise. Om ikke andet er det i hvert fald vigtigt, at man er bekendt med omfanget af meningsmålingen og har styr på, hvad der er blevet spurgt om og hvad der ikke er blevet spurgt om.
12. Hvilke spørgsmål blev der stillet?
Dernæst er det vigtigt at fokusere på spørgsmålenes helt konkrete ordlyd. Talrige studier har vist, at ordlyden ofte påvirker, hvilke svar respondenterne giver. Et eksempel på dette, og som en reminder om at huske på, hvem der finansierer en meningsmåling, fik både LO og Dansk Arbejdsgiverforening for år tilbage gennemført hver deres meningsmåling, der ville undersøge, om danskerne var parate til at arbejde mere. I den ene meningsmåling blev vælgerne spurgt om de var klar til at arbejde mere, hvis det resulterede i en senere fyraften, og i den anden om de var klar til at arbejde mere, hvis det var for at undgå velfærdsbesparelser. Det er nok ikke den store overraskelse, at de to meningsmålinger ikke viste samme opbakning til at arbejde mere.
13. Hvilken rækkefølge blev spørgsmålene stillet i?
Når vi ved hvor mange og hvilke spørgsmål der er stillet, skal vi forholde os til eventuelle rækkefølgeeffekter. Kort fortalt: Kan svarene til det ene spørgsmål være påvirket af, at det er besvaret i forlængelse af et andet spørgsmål? Der findes her også talrige eksempler på, at respondenterne ikke besvarer et spørgsmål uafhængigt af, hvad de lige har besvaret. Man ønsker som respondent især at være konsistent i sine svar, og nogle spørgsmål kan prime respondenten til at tænke over de kommende spørgsmål på en bestemt måde.
Den bedste metode til at reducere systematiske skævheder som følge af rækkefølgen, er at gøre det tilfældigt i hvilken rækkefølge de enkelte spørgsmål bliver præsenteret for respondenten. I det tilfælde kan man sågar i nogle tilfælde estimere, om den bestemte rækkefølge respondenterne er blevet præsenteret for et spørgsmål på, har betydning for, hvilke svar de giver.
14. Hvilke svarmuligheder blev givet?
De fleste spørgsmål respondenterne gives i en meningsmåling har specifikke svarmuligheder, man kan vælge mellem. Antallet af svarmuligheder og udformningen af disse svarmuligheder kan ligeledes have betydning for, hvordan respondenterne svarer. Derfor er det afgørende, at svarmulighederne formuleres på en sådan måde, at betydningen af svarmulighederne reduceres så meget som muligt. Med andre ord ønsker vi ikke, at det meningsmålingen viser, blot er et produkt af de muligheder, vi har givet respondenterne.
Cevea fik for et par år siden lavet en meningsmåling, der viste, at danskerne mente, at millionærerne og bankerne skulle betale prisen for den økonomiske krise. Her blev respondenterne ikke bedt om at svare frit fra hoften, men derimod præsenteret for nogle bestemte svarmuligheder, der foruden de nævnte, blandt andet inkluderede ”de arbejdsløse” og ”de nedslidte”. Sådanne svarmuligheder har højst sandsynligt påvirket de svar, meningsmålingen har vist, og det er vigtigt at holde sig for øje.
15. Hvor mange svarede ”ved ikke”?
Havde respondenterne en mulighed for at svare ”ved ikke” til de enkelte spørgsmål, eller blev de tvunget til at afgive et svar? Og når der er mulighed for at svare ”ved ikke”, hvad gør man så med dem, der har svaret ”ved ikke”? Når man spørger vælgernes om deres partivalg, er der forskellige standarder for, hvordan man forholder sig til de respondenter, der ikke ved, hvilket parti de vil stemme på. Nogle analyseinstitutter undlader at spørge nærmere ind til dette, hvor andre stiller opfølgende spørgsmål med henblik på at presse et svar ud af respondenten.
Som med de andre spørgsmål kan vigtigheden af ”ved ikke” muligheden variere alt efter andre specifikke karakteristika ved meningsmålingen, men ikke desto mindre er det vigtigt at være transparent omkring, hvilke muligheder respondenten har haft for at svare ”ved ikke” og hvad man ellers har gjort med disse svar.
16. Hvor stor er den statistiske usikkerhed?
Ingen meningsmåling kommer uden statistisk usikkerhed. Vi kan med andre ord ikke være 100 procent sikre på, at det lige netop er 5,1 procent af vælgerne, der vil stemme på Alternativet, hvis der er valg i morgen. Der kan skrives meget om den statistiske usikkerhed i meningsmålingerne (og jeg har gjort det talrige gange), men det kan koges ned til følgende: Rapporter altid den statistiske usikkerhed og lad være med at tolke på meningsmålinger som var de med en statistisk usikkerhed på nul.
17. Er meningsmålingen valid?
Når vi har styr på ovenstående spørgsmål, kan vi begynde at forholde os til, om meningsmålingen har en sådan kvalitet, at vi ikke bør smide den direkte i skraldespanden men rent faktisk kan sige noget meningsfuldt om ”målte meninger”. Det er med andre ord her, at vi begynder at sammenfatte svarene til de ovenstående individuelle spørgsmål relateret til den specifikke meningsmåling, og spørger om meningsmålingen overordnet set er valid. Pointen er her, at det kan være svært at vurdere kvaliteten af en meningsmåling udelukkende på baggrund af svaret til ét af de ovenstående spørgsmål.
18. Hvordan kan målingen frames?
Spørgsmål 3 handlede om, hvordan andre medier omtalte meningsmålingen, og det er nu vigtigt at spørge, om det er den bedste måde at formidle meningsmålingen. Ingen tal taler for sig selv, og meningsmålinger skal derfor altid formidles på én måde i stedet for en anden.
19. Hvilke spørgsmål står vi tilbage med?
Er der noget vi skal vide, før vi kan vurdere, om der er tale om en interessant og vigtig meningsmåling? Hvilke forbehold må læseren ikke være foruden? Er det vigtigt at få med, hvad vi ikke kan sige med udgangspunkt i meningsmålingen?
20. Er meningsmålingen nyhedsværdig?
Tilbage står ét spørgsmål: Er meningsmålingen nyhedsværdig? Først når ovenstående spørgsmål er besvaret, kan vi besvare, om meningsmålingen rent faktisk er læsernes opmærksomhed værdig. Dette indebærer også, at ikke alle meningsmålinger er nyhedsværdige. Jeg har intet overblik over, hvor ofte journalister beslutter sig for ikke at formidle en bestemt meningsmåling, så jeg kan desværre ikke belyse, hvor vigtigt nærværende spørgsmål er. Omvendt kan jeg dog konkludere, når man ser på mange af de meningsmålinger af lav kvalitet, der bliver formidlet, at spørgsmålet er vigtigt og i højere grad end tilfældet er i dag, oftere bør være et spørgsmål, journalister stiller sig selv.
I den bedste af alle verdener ville vi stille de 19 forudgående spørgsmål før vi stiller dette spørgsmål, og dette er selvfølgelig ikke, hvad der sker eller kommer til at ske, men ikke desto mindre er det vigtigt at forsøge at have en sådan tjekliste i baghovedet, hver gang der kommer en ny meningsmåling, så man hurtigt kan identificere, hvilke potentielle faldgruber der kan være.