Erik Gahner Larsen

Hvilke meningsmålinger bliver delt?

Det er ikke alle politiske meningsmålinger, der bliver delt. Det er ligeledes heller ikke tilfældigt, hvilke meningsmålinger der bliver delt. Her den anden dag kunne FiveThirtyEight således illustrere, at den republikanske præsidentkandidat Donald Trump primært deler meningsmålinger, der favoriserer ham selv.

Dette fik mig til at undersøge, om det var muligt at finde lignende eksempler i en dansk sammenhæng. Den eneste politiker, jeg kunne finde, der har delt relativt mange meningsmålinger på de sociale medier, er formanden for Liberal Alliance, Anders Samuelsen. Han har i år delt 18 meningsmålinger med sine venner og andre følgere på facebook.

Nedenstående figur viser Liberal Alliances opbakning i meningsmålingerne i henholdsvis de meningsmålinger, der blive delt af Anders Samuelsen, og alle andre meningsmålinger. De røde punkter viser meningsmålinger, Anders Samuelsen har delt, hvor de blå punkter er meningsmålinger, der ikke er delt. Ikke så overraskende er der en tendens til, at det især er de meningsmålinger, hvor Liberal Alliance klarer sig godt, der bliver delt.

I figuren har jeg udelukkende inkluderet specifikke meningsmålinger, og dermed ikke exit polls, vægtede gennemsnit, særlige meningsmålinger (eksempelvis målinger udelukkende med unge vælgere). Der er meget få datapunkter, så der skal ikke tolkes for meget ud af figuren. Ikke desto mindre er det altid interessant, når man kan blive bekræftet i, at politikere er selektive i forhold til den viden, de deler med deres følgere.

(Som altid kan data og script findes på GitHub)

Potpourri: Statistik #27

20 spørgsmål journalister skal stille til meningsmålinger

Meningsmålinger er kommet for at blive. Medierne og andre politiske aktører bruger betydelige ressourcer på at få lavet meningsmålinger, og intet tyder på, at der vil blive brugt færre ressourcer på dem i fremtiden. Tværtimod. Det triste er, at disse ressourcer øjensynligt ikke i samme omfang bruges på at sørge for, at journalisterne kan tolke og formidle disse meningsmålinger. I dette indlæg giver jeg mit bud på, hvilke 20 spørgsmål journalisterne bør stille til enhver meningsmåling og tage med i deres journalistiske overvejelser.

Vigtigheden af disse spørgsmål varierer alt efter hvilken meningsmåling, der er tale om, men det er alligevel forsøgt at placere disse spørgsmål i en systematisk rækkefølge. Tanken er ikke, at journalister altid skal stille disse spørgsmål, men om ikke andet være bekendt med disse spørgsmål og give udtryk for samme.

Nærværende indlæg er et forsøg på at skrive en mere sammenhængende oversigt over, hvad man skal være opmærksom på. Dette er i kontrast til de indlæg, der normalt skrives, som fremhæver ét eller flere – ofte problematiske – aspekter ved en specifik måling. Listen er skrevet til journalister, men tanken er selvfølgelig, at det i lige så høj grad er en læsevejledning til artikler, der formidler en meningsmåling, for alle interesserede.

Det er desuden vigtigt at fremhæve, at jeg med listen også forsøger at fjerne opmærksomheden fra andre spørgsmål, man også kunne stille, hvorfor bestemte spørgsmål ikke er taget med. Eksempler på dette kan være spørgsmål som ”Hvem har foretaget målingen?” og ”Hvor mange er blevet spurgt?”. Til trods for at disse informationer er med på diverse lister over vigtige metodiske informationer (ESOMAR/WAPOR, AAPOR etc.), er de kun i yderst sjældne tilfælde relevante og fjerner i mange tilfælde opmærksomheden fra det essentielle. Dette er ikke det samme som, at medierne ikke bør rapportere dem, men blot at de i mange tilfælde er sekundære. Her følger de relevante spørgsmål:

1. Hvad er konteksten for meningsmålingen?
Vi kan i princippet foretage meningsmålinger om alt, lige fra undersøgelser af danskernes præference for coleslaw med spidskål til spørgsmål om den hvor mange flygtninge danskerne mener, der er er plads til i Danmark. Det er derfor – som det første – afgørende, at man kan forstå og formidle konteksten for en meningsmåling. Med andre ord er det nødvendigt at spørge om, givet at en meningsmåling ikke bare kommer ud af det blå, hvorfor vi får netop denne meningsmåling nu. Hvis ikke en meningsmåling kan kobles på noget aktuelt emne, taler det mere for, at formålet netop er at gøre et emne aktuelt.

2. Hvad kan meningsmålingen bidrage med?
Meningsmålinger er som bekendt ”målte meninger”, og det er ikke altid, at meningsmålinger har noget at bidrage med i forhold til den kontekst, de forsøges at blive placeret i. Det er eksempelvis ikke altid, at et repræsentativt udsnit af en bestemt gruppe menneskers holdninger bidrager med noget som helst til et bestemt emne, og i nogle tilfælde kan det sågar fjerne fokus fra det der – journalistisk set – burde være i fokus. Det er derfor vigtigt at spørge om, hvor relevant meningsmålingen er, altså med andre ord hvad meningsmålingen helt specifikt vil kunne bidrage med til det pågældende emne. Dette aspekt bliver desuden blot vigtigere når nedenstående spørgsmål skal besvares med henblik på at vurdere, om meningsmålingen så også kan bidrage med det, man ønsker, at den skal bidrage med.

3. Hvordan dækker andre medier målingen?
Der er per definition kun ét medie, der kan være først med en meningsmåling. Når man som medie ikke er først med en meningsmåling, er der et par ekstra spørgsmål, man skal besvare, herunder hvilke informationer der bringes (og hvilke der udelades), hvordan konteksten formidles – og hvordan koblingen er mellem meningsmålingen og konteksten. Vigtigt er det især, om der er flere vinkler, end det der allerede er rapporteret. Desværre er der en tendens til, at når først meningsmålingen er formidlet én gang, hopper andre journalister ukritisk med på denne historie (på samme måde som man taler om, at meningsmålinger kan have bandwagon-effekter på vælgerne, kan de ligeledes have det på journalisterne).

4. Hvad viser tidligere meningsmålinger?
Meningsmålinger foretages ofte i relation til emner som indvandring, politikere, skat, klima, velfærd og så videre. Dette er emner der ofte er på mediernes dagsorden, hvorfor det hører til sjældenhederne, at der er tale om den første meningsmåling nogensinde om et specifikt spørgsmål. Dette gør at man som journalist, for så vidt det er muligt, bør undersøge hvad tidligere meningsmålinger viser, og især om der er væsentlige forskelle. Hvilke målinger er blevet lavet? Hvad siger målingerne? Hvad var konteksten for de pågældende målinger? Og så videre.

5. Hvilke eksperter ved noget om emnet?
Det kan ej forventes at journalister ved noget – endsige tilstrækkeligt – om det emne, en meningsmåling omhandler. Derfor er det ofte at foretrække, at eksperter bidrager med et kvalificeret perspektiv på meningsmålingen. Dette behøves selvfølgelig ikke være til citat, men en ekspert vil ofte kunne spotte åbenlyse faldgruber ved en meningsmåling og placere den i dens retmæssige kontekst. Her er det især godt at spørge eksperter, der tidligere har udtalt sig om samme emne i relation til meningsmålinger. En god tommelfingerregel er desuden ikke at spørge de eksperter (det være sig kommentatorer, forskere m.v.), der altid er i medierne, som ofte er de mindst kritiske.

6. Hvem betaler gildet?
Dette er, hvis ikke det væsentligste spørgsmål, så i hvert fald et spørgsmål, man aldrig må se bort fra. Ingen betaler for at få gennemført en meningsmåling for deres blå øjnes skyld. Interesseorganisationer vil eksempelvis gerne have det til at se ud som om, at de ikke selv har betalt for en meningsmåling, da det øger legitimiteten, hvis det er journalisterne selv, der ser ud til at have finansieret den.

Det vigtige er, at dem der betaler for en meningsmåling, også har magten over, hvordan meningsmålingen skal gennemføres. Dette har, som nedenstående spørgsmål også fremhæver, væsentlige implikationer for, hvordan en meningsmåling kommer til at se ud. En journalistisk kerneopgave er dermed at gå yderst kritisk til værks i forhold til, hvem der har betalt for meningsmålingen.

Et godt hypotetisk spørgsmål, der kan stilles til de fleste meningsmålinger, er: Ville meningsmålingen også være offentliggjort, hvis resultaterne var radikalt anderledes? Ville en interessesammenslutning af organisationer med fokus på udviklingsbistand have lanceret en meningsmåling, hvis den havde vist, at danskerne foretrak skattelettelser frem for ulandsbistand? Sandsynligvis ikke.

Mange meningsmålinger betales dog af medierne selv, hvorfor journalisten, der skal skrive en historie om den, ofte har en aktie i, at den får læsere. Dette skaber i sig selv nogle incitamenter, der ofte kan være uhensigtsmæssige. I disse tilfælde er der ikke så meget andet at gøre, end at være kritisk som læser – eller som journalist, når man skal dække en meningsmåling, et andet medie har betalt for og ønsker omtalt så meget som muligt.

7. Hvilke respondenter blev rekrutteret – og hvordan?
Sandsynligheden for, at jeg deltager i en spørgeskemaundersøgelse er noget nær nul. Hvis det lykkedes et analyseinstitut at ringe mig op, takker jeg pænt nej. Det samme er ikke tilfældet for mange andre mennesker, der glædeligt tilmelder sig diverse paneler, som gør sandsynligheden til noget nær en for, at man vil deltage i en spørgeskemaundersøgelse. Dette er en udfordring de fleste analyseinstitutter står med, nemlig at nogle mennesker er nemmere at rekruttere end andre.

Før vi overhovedet begynder at kigge nærmere på meningsmålingen, er det derfor vigtigt at se på, hvem vi overhovedet spørger. Hvordan har vi fået fat i alle disse mennesker? Er der blevet brugt økonomiske incitamenter som et redskab til at sørge for, at respondenterne deltager i meningsmålingen? Har selve rekrutteringen af respondenterne grund til at lade os være skeptiske i forhold til, hvad meningsmålingen vil vise?

Dette spørgsmål er især vigtigt, når det omhandler befolkningsgrupper, der normalt ikke er nemme at nå. Hvis en meningsmåling eksempelvis rekrutterer unge, muslimer eller en helt tredje specifik gruppe, er det ekstra relevant at kigge på, hvordan et analyseinstitut har magtet denne opgave, og om den anvendte procedure er tilfredsstillende (altså om vi kan forvente, at den gruppe der så er rekrutteret, er repræsentativ og dermed noget nær identisk med en tilfældig stikprøve af populationen).

8. Hvem blev sorteret fra?
Når vi har en oversigt over, hvem der deltager i meningsmålingen, er det vigtigt at se på, hvem der så får lov til at svare på de spørgsmål, der skal stilles i en meningsmåling. Med andre ord er vi ikke kun interesseret i hvem der har svaret, men lige så meget hvem der ikke har svaret. For godt tre år siden pointerede jeg eksempelvis det problematiske ved en meningsmåling, der viste, at danskerne var glade for fagforeninger. Det problematiske var helt specifikt, at man ikke spurgte de respondenter, der ikke var med i en fagforening, hvorfor man ikke kan sige, at undersøgelsen er repræsentativ i forhold til danskerne.

Et nyere eksempel har vi fra sommerferien, hvor DR2 i en kampagne meldte ud, at 83% mente, at DR2 spiller en vigtig rolle for samfundsdebatten. Hvad de ikke meldte ud i kampagnen var, at de udelukkende spurgte de mennesker, der så DR2, og dermed var meningsmålingen på ingen måde repræsentativ. Detektor skrev mere om den specifikke kampagne her.

9. Hvornår blev folk spurgt?
Når vi har styr på, hvem der er blevet spurgt – og ikke er blevet spurgt – er det vigtigt at se på, hvornår respondenterne blev spurgt. Dette er vigtigt, da perioden folk er blevet spurgt i, kan have betydning for, hvordan respondenterne vil svare på de spørgsmål, de bliver stillet. Igen, det er sjældent tilfældigt om en bestemt meningsmåling bliver gennemført eller ej, og når danskerne bliver spurgt om indvandring i disse dage, vil svarene højst sandsynligt være påvirket af den aktuelle dagsorden i medierne med EU, flygtninge m.v.

Det er desuden vigtigt at se nærmere på, hvor lang en periode folk er blevet spurgt over. Nogle meningsmålinger, eksempelvis relateret til partivalg, gennemføres normalt over et par dage, hvorfor det er usandsynligt, at respondenterne interviewet i begyndelsen af dataindsamlingsperioden vil være i en anden kontekst end dem interviewet senere. Omvendt kan konteksten variere for respondenterne, hvis dataindsamlingen har stået på over flere uger, hvilket man oftest ser, når minoritetsgruppers holdninger er hovedfokus i en meningsmåling (altså målinger der vedrører grupper, som er svære at rekruttere).

10. Hvordan er folk blevet interviewet?
Når vi har styr på hvilke respondenter, der deltager i meningsmålingen og hvornår de gør det, skal vi se på, hvordan respondenterne er blevet interviewet. I de fleste af de meningsmålinger man finder i medierne i dag, interviewes respondenterne enten via telefon eller besvarer et spørgeskema på internettet (nogle meningsmålingerne kombinerer svar indsamlet vha. nævnte metoder). Vigtigheden af hvordan respondenterne er blevet interviewet kan variere betydeligt alt efter hvilket emne der er tale om, hvor mange svarmuligheder respondenten gives, sandsynligheden for frafald midt i en meningsmåling og så videre. Det korte af det lange er her blot, at man bør reflektere over (og i den bedste af alle verdener undersøge), om meningsmålingens resultater ville have været anderledes, hvis folk i stedet for at have besvaret et spørgeskema på internettet, var interviewet af en person – og vice versa.

11. Hvor mange spørgsmål blev der stillet?
Nu kommer vi så til det, vi oftest interesserer os mest for: spørgsmålene. Mange artikler der omhandler meningsmålinger, formidler et eller to specifikke spørgsmål, respondenterne er blevet spurgt om. I de fleste tilfælde bliver respondenterne dog stillet talrige spørgsmål (når man nu alligevel har dem i røret eller ved tasterne). Derfor er det godt at have styr på, hvor mange spørgsmål respondenten blev stillet – og om dette kan have betydning for, hvad meningsmålingen vil vise. Om ikke andet er det i hvert fald vigtigt, at man er bekendt med omfanget af meningsmålingen og har styr på, hvad der er blevet spurgt om og hvad der ikke er blevet spurgt om.

12. Hvilke spørgsmål blev der stillet?
Dernæst er det vigtigt at fokusere på spørgsmålenes helt konkrete ordlyd. Talrige studier har vist, at ordlyden ofte påvirker, hvilke svar respondenterne giver. Et eksempel på dette, og som en reminder om at huske på, hvem der finansierer en meningsmåling, fik både LO og Dansk Arbejdsgiverforening for år tilbage gennemført hver deres meningsmåling, der ville undersøge, om danskerne var parate til at arbejde mere. I den ene meningsmåling blev vælgerne spurgt om de var klar til at arbejde mere, hvis det resulterede i en senere fyraften, og i den anden om de var klar til at arbejde mere, hvis det var for at undgå velfærdsbesparelser. Det er nok ikke den store overraskelse, at de to meningsmålinger ikke viste samme opbakning til at arbejde mere.

13. Hvilken rækkefølge blev spørgsmålene stillet i?
Når vi ved hvor mange og hvilke spørgsmål der er stillet, skal vi forholde os til eventuelle rækkefølgeeffekter. Kort fortalt: Kan svarene til det ene spørgsmål være påvirket af, at det er besvaret i forlængelse af et andet spørgsmål? Der findes her også talrige eksempler på, at respondenterne ikke besvarer et spørgsmål uafhængigt af, hvad de lige har besvaret. Man ønsker som respondent især at være konsistent i sine svar, og nogle spørgsmål kan prime respondenten til at tænke over de kommende spørgsmål på en bestemt måde.

Den bedste metode til at reducere systematiske skævheder som følge af rækkefølgen, er at gøre det tilfældigt i hvilken rækkefølge de enkelte spørgsmål bliver præsenteret for respondenten. I det tilfælde kan man sågar i nogle tilfælde estimere, om den bestemte rækkefølge respondenterne er blevet præsenteret for et spørgsmål på, har betydning for, hvilke svar de giver.

14. Hvilke svarmuligheder blev givet?
De fleste spørgsmål respondenterne gives i en meningsmåling har specifikke svarmuligheder, man kan vælge mellem. Antallet af svarmuligheder og udformningen af disse svarmuligheder kan ligeledes have betydning for, hvordan respondenterne svarer. Derfor er det afgørende, at svarmulighederne formuleres på en sådan måde, at betydningen af svarmulighederne reduceres så meget som muligt. Med andre ord ønsker vi ikke, at det meningsmålingen viser, blot er et produkt af de muligheder, vi har givet respondenterne.

Cevea fik for et par år siden lavet en meningsmåling, der viste, at danskerne mente, at millionærerne og bankerne skulle betale prisen for den økonomiske krise. Her blev respondenterne ikke bedt om at svare frit fra hoften, men derimod præsenteret for nogle bestemte svarmuligheder, der foruden de nævnte, blandt andet inkluderede ”de arbejdsløse” og ”de nedslidte”. Sådanne svarmuligheder har højst sandsynligt påvirket de svar, meningsmålingen har vist, og det er vigtigt at holde sig for øje.

15. Hvor mange svarede ”ved ikke”?
Havde respondenterne en mulighed for at svare ”ved ikke” til de enkelte spørgsmål, eller blev de tvunget til at afgive et svar? Og når der er mulighed for at svare ”ved ikke”, hvad gør man så med dem, der har svaret ”ved ikke”? Når man spørger vælgernes om deres partivalg, er der forskellige standarder for, hvordan man forholder sig til de respondenter, der ikke ved, hvilket parti de vil stemme på. Nogle analyseinstitutter undlader at spørge nærmere ind til dette, hvor andre stiller opfølgende spørgsmål med henblik på at presse et svar ud af respondenten.

Som med de andre spørgsmål kan vigtigheden af ”ved ikke” muligheden variere alt efter andre specifikke karakteristika ved meningsmålingen, men ikke desto mindre er det vigtigt at være transparent omkring, hvilke muligheder respondenten har haft for at svare ”ved ikke” og hvad man ellers har gjort med disse svar.

16. Hvor stor er den statistiske usikkerhed?
Ingen meningsmåling kommer uden statistisk usikkerhed. Vi kan med andre ord ikke være 100 procent sikre på, at det lige netop er 5,1 procent af vælgerne, der vil stemme på Alternativet, hvis der er valg i morgen. Der kan skrives meget om den statistiske usikkerhed i meningsmålingerne (og jeg har gjort det talrige gange), men det kan koges ned til følgende: Rapporter altid den statistiske usikkerhed og lad være med at tolke på meningsmålinger som var de med en statistisk usikkerhed på nul.

17. Er meningsmålingen valid?
Når vi har styr på ovenstående spørgsmål, kan vi begynde at forholde os til, om meningsmålingen har en sådan kvalitet, at vi ikke bør smide den direkte i skraldespanden men rent faktisk kan sige noget meningsfuldt om ”målte meninger”. Det er med andre ord her, at vi begynder at sammenfatte svarene til de ovenstående individuelle spørgsmål relateret til den specifikke meningsmåling, og spørger om meningsmålingen overordnet set er valid. Pointen er her, at det kan være svært at vurdere kvaliteten af en meningsmåling udelukkende på baggrund af svaret til ét af de ovenstående spørgsmål.

18. Hvordan kan målingen frames?
Spørgsmål 3 handlede om, hvordan andre medier omtalte meningsmålingen, og det er nu vigtigt at spørge, om det er den bedste måde at formidle meningsmålingen. Ingen tal taler for sig selv, og meningsmålinger skal derfor altid formidles på én måde i stedet for en anden.

19. Hvilke spørgsmål står vi tilbage med?
Er der noget vi skal vide, før vi kan vurdere, om der er tale om en interessant og vigtig meningsmåling? Hvilke forbehold må læseren ikke være foruden? Er det vigtigt at få med, hvad vi ikke kan sige med udgangspunkt i meningsmålingen?

20. Er meningsmålingen nyhedsværdig?
Tilbage står ét spørgsmål: Er meningsmålingen nyhedsværdig? Først når ovenstående spørgsmål er besvaret, kan vi besvare, om meningsmålingen rent faktisk er læsernes opmærksomhed værdig. Dette indebærer også, at ikke alle meningsmålinger er nyhedsværdige. Jeg har intet overblik over, hvor ofte journalister beslutter sig for ikke at formidle en bestemt meningsmåling, så jeg kan desværre ikke belyse, hvor vigtigt nærværende spørgsmål er. Omvendt kan jeg dog konkludere, når man ser på mange af de meningsmålinger af lav kvalitet, der bliver formidlet, at spørgsmålet er vigtigt og i højere grad end tilfældet er i dag, oftere bør være et spørgsmål, journalister stiller sig selv.

I den bedste af alle verdener ville vi stille de 19 forudgående spørgsmål før vi stiller dette spørgsmål, og dette er selvfølgelig ikke, hvad der sker eller kommer til at ske, men ikke desto mindre er det vigtigt at forsøge at have en sådan tjekliste i baghovedet, hver gang der kommer en ny meningsmåling, så man hurtigt kan identificere, hvilke potentielle faldgruber der kan være.

Datatilgængelighed og forskningstroværdighed

Der sker spændende ting i det videnskabelige miljø i disse år hvad angår åbenhed. Forleden var der eksempelvis et godt arrangement på Syddansk Universitet omkring open science. Fokus var især på open data, altså tilgængeligheden af forskningsdata. Når man taler om videnskab i relation til åbenhed, tænker man blandt andet på begreber som open access, open source, open methodology, open peer-review og selvfølgelig open data.

Det interessante ved open science er, at det jævnfør de videnskabelige principper vi arbejder ud fra, er en pleonasme. Det giver således ingen mening at tale om closed science, da det i sin natur er at betragte som contradictio in adjecto. Det symptomatiske ved brugen af open er, at meget af det forskere har gjort og i stor grad stadig gør, har været og er præget af meget lidt åbenhed; det være sig i det teoretiske arbejde, registreringen af hypoteser, dataindsamlingsprocessen osv.

Det undrer mig dog betydeligt, at der stadig i 2015 er forskere, der ikke ser fordelene ved at dele data med deres fagfæller. Forleden læste jeg således et studie, som jeg tænkte, kunne være relevant at benytte i min undervisning. Jeg kontaktede forskerne, fortalte at jeg gerne ville have adgang til deres data – selvfølgelig i en anonymiseret version og udelukkende til brug i min undervisning (altså ikke noget, der ville blive delt med andre, end ikke de studerende). Først fik jeg en positiv tilbagemelding, men før jeg fik svaret tilbage, kom der endnu en henvendelse fra forskerne om, at de ved nærmere eftertanke ikke ville dele deres data. Jeg sendte en mail og spurgte, om det virkelig kunne være tilfældet, hvortil de svarede tilbage, at det kunne det, og mere specifikt: ”for at sikre, at danskerne vil have tillid til at dele deres informationer med os fremover, står vi fast ved vores beslutning.”

Dette giver ingen mening. Jeg har tænkt længe over, hvordan det at dele data på nogen måde kan være ødelæggende for den tillid, danskerne har til tilliden til forskerne. Tværtimod vil jeg argumentere for, at tilliden til forskeres arbejde bør være mindre, hvis de ikke er villige til at dele deres data. Der er blandt andet noget der tyder på, at forskeres villighed til at dele data, korrelerer positivt kvaliteten af det studie, de respektive data bruges i. Der kan være forskellige forklaringer på dette, men det er svært at se, hvordan villigheden til at dele data med fagfæller, på nogen som helst måde vil kunne påvirke offentlighedens tillid til forskningen negativt.

Det korte af det lange er som følger: Datatilgængelighed er ikke en barriere for tilliden til forskeres arbejde, men en forudsætning.

Hvor trives folkeskoleeleverne bedst?

Ugebrevet A4 har fået aktindsigt i data fra en spørgeskemaundersøgelse om trivsel på folkeskolerne fra Ministeriet for Børn, Undervisning og Ligestilling. Der er mange udfordringer forbundet med at bruge den slags data til at sige noget om, hvilken betydning de enkelte skoler har for elevernes trivsel.

For det første er disse data ikke indsamlet med henblik på at sammenligne enkelte skoler og lave ranglister. Dette ville fordre en bestemt metodisk tilgang, der så vidt jeg er orienteret, ikke er anvendt i denne sammenhæng. For det andet er det ikke muligt at sige noget om effekten af de enkelte skoler, hvorfor en rangliste i forhold til hvilke skoler, der klarer sig bedst, ikke giver nogen mening. For det tredje er selve den måde man har aggregeret tallene på mærkværdig, hvilket medfører, at enkelte svar i undersøgelsen kan rykke skolernes placering drastisk. For det fjerde, og relateret hertil, vil enkeltsvar have større relativ betydning på mindre skoler, hvorfor disse i højere grad vil ligge længere fra den gennemsnitlige trivsel.

I den forbindelse udtaler jeg mig i artiklen “Små skoler rammes hårdere” i dagens udgave af Fyens Stiftstidende. Artiklen er ikke online, men de kritiske indvendinger jeg har til Ugebrevet A4s brug af den nationale trivselsmåling i folkeskolen, er som beskrevet i ovenstående.

Uge 46 som nyhedsmetode

Videnskabelige analyser af mediernes indhold skal altid forholde sig til et afgørende spørgsmål: Hvilket indhold skal analyseres? Analyser af nyheder i medierne bygger således sjældent på alle nyheder, da forskerne af ressourcemæssige årsager ganske enkelt ikke har tid og penge til at analysere alt nyhedsindhold. Derfor vælger man oftest kun at analysere en bestemt andel af mediernes indhold, der i den bedste af alle verdener er repræsentativ i forhold til alt indhold. Med andre ord: man anvender en samplingstrategi.

Hvordan kan man så gøre dette? Én ideel måde at gøre det på er at analysere tilfældige dage. På den måde vil man, gennemsnitligt set, få et repræsentativt udsnit af, hvordan mediernes dækning generelt er. Dermed sikrer man, at det indhold, der bliver analyseret, repræsenterer et gennemsnitligt udsnit af mediernes indhold.

I virkelighedens verden er det dog desværre ikke altid tilfældet, at man sampler medieindhold på en hensigtsmæssig måde. I det seneste nummer af Djøfbladet kan man eksempelvis læse, at én, der var interesseret i at undersøge, hvordan borgerne kom til tale i medierne, havde analyseret mediernes indhold i uge 46 i 2008 og uge 46 i 2014. Hertil stod der i infoboksen: “Uge 46 kaldes i mediesammenhæng for normalugen”.

Her er det interessante: Der er talrige eksempler på, at forskere, der gerne vil undersøge repræsentativt indhold fra medierne, bevidst vælger uge 46 for at få repræsentativt og gennemsnitligt indhold fra medierne. Dette kan man selvfølgelig ikke ukritisk bare gøre. Det giver derfor ingen mening, at man i medieforskningen kalder uge 46 for ”normalugen”, ”nyhedsugen” eller ”en gennemsnitlig uge” (som der – desværre – er flere eksempler på, at man gør).

Mange af de steder, uge 46 omtales som nyhedsugen, henvises der til bogen ”Først med det sidste – en nyhedsuge i Danmark”, der er redigeret af Anker Brink Lund. Ideen bag bogen er ”Projekt Nyhedsuge”, altså et projekt, hvor man vil analysere en masse indhold fra medierne i én uge. Det interessante er i denne sammenhæng, at der ikke er noget metodisk kapitel i bogen, der diskuterer uge 46 som en repræsentativ uge. Det tætteste, man kommer på metodiske overvejelser, er i et kapitel forfattet af Jørn Henrik Petersen, der eksplicit diskuterer, hvor repræsentativ uge 46 er i forhold til andre uger i 1999. Kapitlerne senere i bogen kommer kun sporadisk ind på sammenligneligheden med andre uger i 1999, som når der eksempelvis skrives, at ”uge 46 var en relativt svag nyhedsuge” (side 75).

Projektet har dog skabt præcedens, da andre projekter sidenhen konsekvent har valgt at analysere uge 46, når ”normalt” indhold fra medierne skulle analyseres. Man kan læse mere om, hvorfor nogle forskere valgte at analysere uge 46 i første instans her. Der kan være gode grunde til, at man har slået sig fast på uge 46 i et bestemt projekt. Det værste er dog, når et valg i ét projekt skaber præcedens og bliver en forfejlet metodisk standard i andre forskningsprojekter. Dette fører blot til, at man i stedet for at reflektere over, hvilket indhold man analyserer – og om det er repræsentativt – slår sig fast på, at uge 46 er en ”normal uge”.

Det problematiske er, at det ikke er selvskrevet, at vi får repræsentativt indhold ved at studere uge 46. I nogle tilfælde vil vi sågar få indhold, der er alt andet end repræsentativt. Hvad skete der eksempelvis i uge 46 i 2007, altså fra mandag den 12. november til søndag den 18. november? Der skete helt sikkert en masse normalt, men der var som bekendt også et folketingsvalg den 13. november. Ved at analysere mediernes indhold i uge 46 i 2007 i stedet for tilfældigt udvalgte dage, får man på ingen måde repræsentativt indhold.

Der findes talrige eksempler på, hvordan forskere ukritisk vælger uge 46 uden at diskutere sammenligneligheden med andre uger. I rapporten “Undersøgelse af citatpraksis ift. kreditering af mediekilder i nyheder på danske netsteder“, udgivet for snart et år siden af Center for Nyhedsforskning på RUC, argumenteres der således: ”Undersøgelsen bygger på nyhedsugemetoden (Lund, 1999), der består i en indsamling og registrering af nyhedsbilledet i uge 46 et givent år. Uge 46 betragtes som en ’normaluge’, når det gælder både den journalistiske produktion og det journalistiske genstandsfelt, og der er ingen historier eller særlige forhold, der giver anledning til at antage, at det skulle være anderledes for uge 46, 2012.” Det korte af det lange er, at det ikke giver meget mening at anvende Nyhedsugemetoden i denne sammenhæng. Der gives ingen velfunderet begrundelse for, at ”nyhedsugemetoden” er den bedste metode til rapportens formål, ej heller om uge 46 er sammenlignelig med andre uger i 2012 – eller uge 46 i de forudgående år. Derved reduceres de metodiske overvejelser til en enkelt citation omkring, at det er normal metodisk praksis på området samt en pointe om, at der ikke var nogle særlige forhold i og ved ugen.

På samme måde finder man også eksempler på tidsserieanalyser, hvor man således også har analyseret uge 46 i 2007 og antager, at den er sammenlignelig med uge 46 i 2006 og 2008. I rapporten ”Forskelle og ligheder mellem skånske og danske mediers dækning af Øresundsregionen 2002-2012” skrives der således: ”Analysen bygger på en kvantitativ indholdsanalyse af udvalgte nyhedsmediers dækning af region Øresund i uge 46 fra 2002 til 2012.”. Og det samme i artiklen ”Media Strategy and Place Branding in the Transnational European Öresund Region”: “The analysis of week 46 (an ordinary news week) is based in earlier news media research methodology in Denmark and Sweden (Lund, 2001). Overall, the analysis covers 695 Swedish news articles and 687 Danish news articles during 2002-2012 in three newspapers in the South of Sweden and five news papers and one TV-news station in Denmark (but only from 2007).” Og i en anden artikel kan man læse: ”This particular week is called ‘The News Week’ in Danish journalism research (see e.g. Wien 2005) and is in general considered as an ‘average’ week. In this way we obtained a total sample of 210 newspapers, which gives a sufficient basis for analyzing trends during the period.”

Ligeledes er det muligt at finde andre publikationer (herunder fagfællebedømte), specialer og andre opgaver, især fra RUC, der anvender “Nyhedsugemetoden” eller på anden måde er påvirket heraf. Nedenstående bringer 11 illustrative eksempler. Fælles for dem alle er, at det ikke er uden problemer, at de anvender uge 46 – og ofte sker det på bekostning af en kvalificeret samplingstrategi:

Eksempel 1: ”Uge 46 er med tiden blevet karakteriseret som ‘Nyhedsugen’ og har dannet udgangspunkt for flere, store indholdsanalyser af danske medier (Lund, 2000 og Lund, Willig og Blach-Ørsten, 2009), da den repræsenterer en gennemsnitlig uge i den danske dagspresse.”

Eksempel 2: ”Vi fokuserede oprindeligt på uge 46, som desværre gav os et for begrænset datagrundlag. Omkring uge 46 i både 2011 og 2012 blev der imidlertid forhandlet finanslovsaftaler på plads. Derfor endte vi med at fokusere på uge 45, 46 og 47 i 2011 og 2012, da perioderne både indeholder Nyhedsugen og samtidig er sammenlignelige grundet den samme politiske begivenhed.”

Eksempel 3: “Derudover har vi valgt at beskæftige os med den såkaldte nyhedsuge, uge 46, i både år 2012, før betalingsmurens indførsel, og i år 2014, efter betalingsmurens indførsel (Brink Lund et al., 2009). Denne uge må karakteriseres som en relativt normal nyhedsuge, da den ligger tilpas langt væk fra sommerferie og agurketid og ikke indbefatter nogle årligt tilbagevende begivenheder, som dækkes massivt. Dog bør det nævnes, at finansloven blev forhandlet på plads i netop uge 46 i 2014, hvilket kan være med til at skabe en grad af ubalance i den daglige nyhedsstrøm set i forhold til år 2012.”

Eksempel 4: “Analysen af den historiske udvikling tager udgangspunkt i tre punktnedslag i dansk mediehistorie, hvor indholdet i Politiken, Berlingske Tidende, Jyllands-Posten, Ekstra Bladet og BT vil blive analyseret. Det drejer sig om nyhedsindholdet i uge 46 – den såkaldte nyhedsuge, der tidligere har dannet baggrund for indgående indholdsstudier af danske nyhedsmedier (se blandt andet Lund, 2000; Lund, 2002) – som vil blivet analyseret i henholdsvis året for den danske presserevolution i 1905 (se blandt andet Bruhn Jensen, 1996), 1955 og 2002.”

Eksempel 5: “Analyzing one coherent week (week 46, 2009), as opposed to a constructed week where the weekdays are gathered from different weeks of the year, also opens up for potential problems where for instance a certain large news event during that particular week could give unintentional bias to the data material.”

Eksempel 6: “The study is based on two surveys. The source survey was sent to sources who had participated in news articles and news reports in week 46 2011 in national broadsheet newspapers and online newspapers (Berlingske, Jyllands-Posten and Politiken), local newspapers (Folketidende and Nordvestnyt) and national television (DR and TV 2). The questionnaire was distributed to 906 sources in the period 13th-21st February 2012.”

Eksempel 7: ”En optælling i otte landsdækkende danske aviser viser f.eks, at der til 52 forsideartikler var henvist til dobbelt så mange artikler inde i aviserne (egen optælling af uge 46, 2008).”

Eksempel 8: “Vi har valgt at kode ugerne 46 og 47, fordi vi med udgangspunkt i tidligere medieundersøgelser, foretaget af blandt andre Mark Blach-Ørsten og Ida Willig (RUC nyhedsforskning 10.06.2014), anerkender uge 46 som nyhedsugen, fordi der i netop denne uge altid er en del politisk aktivitet, blandt andet grundet finanslovsforhandlinger. I 2013 var der yderligere kommunalvalg, der påvirkede perioden. Uge 47 er tilføjet nyhedsugen, fordi den længere tidsperiode giver flere data og mindsker risikoen for, at dataene præges af enkeltsager.”

Eksempel 9: “Det er her ”det rigtige EU” går i arbejdstøjet. Jeg har netop valgt en sådan ”normaluge” for at få et mere nøjagtigt billede af, hvordan EU dækkes til hverdag.”

Eksempel 10: “Der er tale om uge 46, en såkaldt almindelig avisuge, der ligger midt i november hvert af de udvalgte år. Hansen m.fl. pointerer netop vigtigheden af at vælge en analyseperiode, der er fri for bias, personlige fornemmelser eller præferencer. Det opnås ved at vælge en kontinuerlig uge fra mandag til søndag og ved at undgå sæsonmæssig variation i mediedækningen, såsom højtider, sommerferie og deslige.” […] “I 1985 ser de politiske artikler anderledes ud. For det første er der tilfældigvis optakt til kommunalvalg, som foregår i uge 47.”

Eksempel 11: “Den mest interessante forskel mellem dækningen i uge 46 i 2008 og 2011 er emneprioriteringen. Emnet flygtninge og indvandrere var det mest dækkede emne i 2008, mens det i 2011 var faldet til en 4. plads. Erhverv og arbejde rykkede derimod fra en 6. plads i 2008 til en 3. plads i 2011, hvilket afspejler en ny økonomisk virkelighed efter finanskrisen.”

Ovenstående eksempler er ikke dårligt arbejde, hvorfor de netop tjener et andet formål end at blive kategoriseret og fremstillet som, ja, dårligt arbejde. De har dog den væsentlige svaghed, at vi ikke har god grund til at tro på, at konklusionerne fra de empiriske analyser (og i nogle tilfælde empiriske eksempler), lader sig generalisere til perioder, der ikke er uge 46 i bestemte år.

Det er altid befriende, når man kan stå på skuldrene af giganterne og citerere sig ud af metodiske udfordringer, men når man – i ønsket om at analysere repræsentativt indhold i medierne – forfalder til uge 46, sker det på betydelig bekostning af muligheden for at generalisere ens resultater til andre perioder. Disse udfordringer bliver ikke mindre, når man analyserer medieindhold over tid. Tværtimod.

Sidst, men ikke mindst, er der ligeledes noget der kan tyde på, at valget af uge 46 har implikationer for de data, vi i fremtiden kan have at lege med. Statsbiblioteket er eksempelvis også påvirket af netop lige præcis dette ikke-tilfældige ugevalg: ”Det blev derfor besluttet, at det ville være tilstrækkeligt med et repræsentativt udvalg. Vi startede med at indsamle to ugers udsendelser hvert år, men i de seneste år har vi været nødt til at indskrænke det til én uge årligt. Til det formål valgte vi efter ønske fra forskerne uge 46 som eksempel på en typisk ”almindelig” uge; at denne uge så i 2007 blev særdeles atypisk på grund af Folketingsvalg, fik os dog ikke til at skifte strategi.”

Der kan være gode grunde til at analysere mediernes indhold i uge 46 i bestemte år. Det vigtige er dog, at der kan være (og ofte er) tungtvejende grunde til ikke at gøre det. Hvis man ønsker at analysere repræsentativt indhold i medierne, er det ikke tilstrækkeligt blot at tage udgangspunkt i indhold fra uge 46, fordi det så angiveligt stammer fra en ”almindelig nyhedsuge”.

Har Jyllands-Posten indført en bedre metode?

Hos Jyllands-Posten kan man læse, at “Jyllands-Posten og Wilke indfører en ny metode for opinionsmålinger. Målet er at opnå større præcision.” Kort opsummeret vil Jyllands-Posten og Wilke introducere ”en ny standard” for politiske meningsmålinger i Danmark. Dette vil ske med følgende tiltag: 1) en fordobling af antallet af respondenter, 2) en fortsættelse af hidtidige praksis, 3) en ændring i udvælgelsen af respondenter, 4) en ændring i vægtningsproceduren og 5) en højere svarprocent.

Det er svært at se, hvor de nye standarder er – og hvilke problemer, de vil løse. Husk på, at der stadig ikke har været nogle udmeldinger om, hvad der gik galt under det seneste folketingsvalg. Og når vi ikke kender årsagen til problemet, er det som bekendt vanskeligt at komme med en løsning. Vi ved, at institutterne ikke var gode til at ramme Dansk Folkepartis vælgeropbakning, men vi ved ikke om det var på grund af udvælgelsen af respondenter, svarprocenten, vægtningen af svarene eller noget helt fjerde (eller en kombination af nævnte, som Jyllands-Posten står på mål for her).

Det er også rimeligt at antage, at andre analyseinstitutter arbejder på at opnå en højere svarprocent, have den bedste vægtningsprocedure og udvælge respondenterne på den bedste måde. Så længe vi ikke adresserer hvordan Wilkes metode afviger fra andre analyseinstitutters metoder, er det svært at konkludere, at der er nogle nye standarder/metoder her. Det er med andre ord svært at se, hvad der er nyt i disse standarder, som de fleste andre analyseinstitutter ikke allerede (også) arbejder ud fra. Dette beskriver Jyllands-Posten ikke med ét ord, og det er nok fordi, at der ikke er så meget nyt under solen her. Gammel vin på nye flasker.

Der er dog ét punkt, hvor Jyllands-Posten er eksplicit omkring, hvordan deres praksis afviger fra andres: ”Hidtil har Wilkes meningsmålinger bestået af ca. 1.000 interview, fordelt på internet og telefon. Dette antal er normen i Danmark. Fremover øger vi dog antallet af interview til ca. 2.000”. Hvis man ser bort fra, at der er undtagelser på dette (Epinion, der laver meningsmålinger for DR, har som regel over 1.700 respondenter i hver måling), er det svært at se, hvorfor dette er en kvalitet i sig selv. Det er ikke kun i et lille land som Danmark, at 1.000 respondenter er normen, men i alle lande.

Dette af gode statistiske grunde: Vi får mere ud af at interviewe respondent nummer 980 end respondent nummer 1.980. Uafhængigt af populationens størrelse, forstås. Kritiske tunger kan derfor indvende, at i stedet for at bruge penge på at interviewe 2.000 i stedet for 1.000, ville pengene være givet bedre ud på at forbedre andre forhold ved meningsmålingen. Eller med andre ord: Bruge pengene på at opnå større validitet end reliabilitet.

Generelt er der et alt for stort fokus på – og tiltro til – stikprøvestørrelsen og den statistiske usikkerhed, der følger med. Den statistiske usikkerhed er kun meningsfuld, hvis vi har et validt estimat. Præcision er dermed ikke en kvalitet i sig selv, hvis vi blot rammer forkert med stor præcision. Med andre ord kan det sågar blot medføre, at man tager fejl med større præcision og dermed – lettere komisk – ligger endnu længere væk fra det sande estimat, taget den statistiske usikkerhed i betragtning (som det eksempelvis var tilfældet under folketingsvalget, når man arbejdede med aggregerede meningsmålinger).

Den statistiske usikkerhed kan da også være svær at tolke. I den første meningsmåling fra Wilke for Jyllands-Posten, skrives der: “Usikkerheden er det interval, målingen med 95 pct. sandsynlighed rammer inden for.” Dette er lidt kludret formuleret og ikke helt korrekt. Som bekendt er den rigtige tolkning, at hvis vi fik gennemført meningsmålingen igen og igen, ville den statistiske usikkerhed 19 ud af 20 gange indeholde den rigtige opbakning. For en let og god illustration af dette, se denne guide. Igen: Det vigtige er, at en præcis meningsmåling ikke nødvendigvis er en sand meningsmåling. Det virker derfor mest af alt som en gratis (=dyr) reklame for Wilkes målinger, når man sælger 2.000 respondenter som en kvalitet.

Det er formidabelt, at Jyllands-Posten arbejder på at gøre det bedre i deres dækning af meningsmålinger, især i forhold til frekvensen af dem. Ligeledes har Jyllands-Posten og Wilke måske lavet forandringer til det bedre, men umiddelbart er der intet der tyder på, at vi skal stole mere på meningsmålinger fra Wilke end fra Epinion, Gallup og de andre analyseinstitutter – også efter indførelsen af den “ny metode”.