Erik Gahner Larsen

Month: October 2015

Uge 46 som nyhedsmetode

Videnskabelige analyser af mediernes indhold skal altid forholde sig til et afgørende spørgsmål: Hvilket indhold skal analyseres? Analyser af nyheder i medierne bygger således sjældent på alle nyheder, da forskerne af ressourcemæssige årsager ganske enkelt ikke har tid og penge til at analysere alt nyhedsindhold. Derfor vælger man oftest kun at analysere en bestemt andel af mediernes indhold, der i den bedste af alle verdener er repræsentativ i forhold til alt indhold. Med andre ord: man anvender en samplingstrategi.

Hvordan kan man så gøre dette? Én ideel måde at gøre det på er at analysere tilfældige dage. På den måde vil man, gennemsnitligt set, få et repræsentativt udsnit af, hvordan mediernes dækning generelt er. Dermed sikrer man, at det indhold, der bliver analyseret, repræsenterer et gennemsnitligt udsnit af mediernes indhold.

I virkelighedens verden er det dog desværre ikke altid tilfældet, at man sampler medieindhold på en hensigtsmæssig måde. I det seneste nummer af Djøfbladet kan man eksempelvis læse, at én, der var interesseret i at undersøge, hvordan borgerne kom til tale i medierne, havde analyseret mediernes indhold i uge 46 i 2008 og uge 46 i 2014. Hertil stod der i infoboksen: “Uge 46 kaldes i mediesammenhæng for normalugen”.

Her er det interessante: Der er talrige eksempler på, at forskere, der gerne vil undersøge repræsentativt indhold fra medierne, bevidst vælger uge 46 for at få repræsentativt og gennemsnitligt indhold fra medierne. Dette kan man selvfølgelig ikke ukritisk bare gøre. Det giver derfor ingen mening, at man i medieforskningen kalder uge 46 for ”normalugen”, ”nyhedsugen” eller ”en gennemsnitlig uge” (som der – desværre – er flere eksempler på, at man gør).

Mange af de steder, uge 46 omtales som nyhedsugen, henvises der til bogen ”Først med det sidste – en nyhedsuge i Danmark”, der er redigeret af Anker Brink Lund. Ideen bag bogen er ”Projekt Nyhedsuge”, altså et projekt, hvor man vil analysere en masse indhold fra medierne i én uge. Det interessante er i denne sammenhæng, at der ikke er noget metodisk kapitel i bogen, der diskuterer uge 46 som en repræsentativ uge. Det tætteste, man kommer på metodiske overvejelser, er i et kapitel forfattet af Jørn Henrik Petersen, der eksplicit diskuterer, hvor repræsentativ uge 46 er i forhold til andre uger i 1999. Kapitlerne senere i bogen kommer kun sporadisk ind på sammenligneligheden med andre uger i 1999, som når der eksempelvis skrives, at ”uge 46 var en relativt svag nyhedsuge” (side 75).

Projektet har dog skabt præcedens, da andre projekter sidenhen konsekvent har valgt at analysere uge 46, når ”normalt” indhold fra medierne skulle analyseres. Man kan læse mere om, hvorfor nogle forskere valgte at analysere uge 46 i første instans her. Der kan være gode grunde til, at man har slået sig fast på uge 46 i et bestemt projekt. Det værste er dog, når et valg i ét projekt skaber præcedens og bliver en forfejlet metodisk standard i andre forskningsprojekter. Dette fører blot til, at man i stedet for at reflektere over, hvilket indhold man analyserer – og om det er repræsentativt – slår sig fast på, at uge 46 er en ”normal uge”.

Det problematiske er, at det ikke er selvskrevet, at vi får repræsentativt indhold ved at studere uge 46. I nogle tilfælde vil vi sågar få indhold, der er alt andet end repræsentativt. Hvad skete der eksempelvis i uge 46 i 2007, altså fra mandag den 12. november til søndag den 18. november? Der skete helt sikkert en masse normalt, men der var som bekendt også et folketingsvalg den 13. november. Ved at analysere mediernes indhold i uge 46 i 2007 i stedet for tilfældigt udvalgte dage, får man på ingen måde repræsentativt indhold.

Der findes talrige eksempler på, hvordan forskere ukritisk vælger uge 46 uden at diskutere sammenligneligheden med andre uger. I rapporten “Undersøgelse af citatpraksis ift. kreditering af mediekilder i nyheder på danske netsteder“, udgivet for snart et år siden af Center for Nyhedsforskning på RUC, argumenteres der således: ”Undersøgelsen bygger på nyhedsugemetoden (Lund, 1999), der består i en indsamling og registrering af nyhedsbilledet i uge 46 et givent år. Uge 46 betragtes som en ’normaluge’, når det gælder både den journalistiske produktion og det journalistiske genstandsfelt, og der er ingen historier eller særlige forhold, der giver anledning til at antage, at det skulle være anderledes for uge 46, 2012.” Det korte af det lange er, at det ikke giver meget mening at anvende Nyhedsugemetoden i denne sammenhæng. Der gives ingen velfunderet begrundelse for, at ”nyhedsugemetoden” er den bedste metode til rapportens formål, ej heller om uge 46 er sammenlignelig med andre uger i 2012 – eller uge 46 i de forudgående år. Derved reduceres de metodiske overvejelser til en enkelt citation omkring, at det er normal metodisk praksis på området samt en pointe om, at der ikke var nogle særlige forhold i og ved ugen.

På samme måde finder man også eksempler på tidsserieanalyser, hvor man således også har analyseret uge 46 i 2007 og antager, at den er sammenlignelig med uge 46 i 2006 og 2008. I rapporten ”Forskelle og ligheder mellem skånske og danske mediers dækning af Øresundsregionen 2002-2012” skrives der således: ”Analysen bygger på en kvantitativ indholdsanalyse af udvalgte nyhedsmediers dækning af region Øresund i uge 46 fra 2002 til 2012.”. Og det samme i artiklen ”Media Strategy and Place Branding in the Transnational European Öresund Region”: “The analysis of week 46 (an ordinary news week) is based in earlier news media research methodology in Denmark and Sweden (Lund, 2001). Overall, the analysis covers 695 Swedish news articles and 687 Danish news articles during 2002-2012 in three newspapers in the South of Sweden and five news papers and one TV-news station in Denmark (but only from 2007).” Og i en anden artikel kan man læse: ”This particular week is called ‘The News Week’ in Danish journalism research (see e.g. Wien 2005) and is in general considered as an ‘average’ week. In this way we obtained a total sample of 210 newspapers, which gives a sufficient basis for analyzing trends during the period.”

Ligeledes er det muligt at finde andre publikationer (herunder fagfællebedømte), specialer og andre opgaver, især fra RUC, der anvender “Nyhedsugemetoden” eller på anden måde er påvirket heraf. Nedenstående bringer 11 illustrative eksempler. Fælles for dem alle er, at det ikke er uden problemer, at de anvender uge 46 – og ofte sker det på bekostning af en kvalificeret samplingstrategi:

Eksempel 1: ”Uge 46 er med tiden blevet karakteriseret som ‘Nyhedsugen’ og har dannet udgangspunkt for flere, store indholdsanalyser af danske medier (Lund, 2000 og Lund, Willig og Blach-Ørsten, 2009), da den repræsenterer en gennemsnitlig uge i den danske dagspresse.”

Eksempel 2: ”Vi fokuserede oprindeligt på uge 46, som desværre gav os et for begrænset datagrundlag. Omkring uge 46 i både 2011 og 2012 blev der imidlertid forhandlet finanslovsaftaler på plads. Derfor endte vi med at fokusere på uge 45, 46 og 47 i 2011 og 2012, da perioderne både indeholder Nyhedsugen og samtidig er sammenlignelige grundet den samme politiske begivenhed.”

Eksempel 3: “Derudover har vi valgt at beskæftige os med den såkaldte nyhedsuge, uge 46, i både år 2012, før betalingsmurens indførsel, og i år 2014, efter betalingsmurens indførsel (Brink Lund et al., 2009). Denne uge må karakteriseres som en relativt normal nyhedsuge, da den ligger tilpas langt væk fra sommerferie og agurketid og ikke indbefatter nogle årligt tilbagevende begivenheder, som dækkes massivt. Dog bør det nævnes, at finansloven blev forhandlet på plads i netop uge 46 i 2014, hvilket kan være med til at skabe en grad af ubalance i den daglige nyhedsstrøm set i forhold til år 2012.”

Eksempel 4: “Analysen af den historiske udvikling tager udgangspunkt i tre punktnedslag i dansk mediehistorie, hvor indholdet i Politiken, Berlingske Tidende, Jyllands-Posten, Ekstra Bladet og BT vil blive analyseret. Det drejer sig om nyhedsindholdet i uge 46 – den såkaldte nyhedsuge, der tidligere har dannet baggrund for indgående indholdsstudier af danske nyhedsmedier (se blandt andet Lund, 2000; Lund, 2002) – som vil blivet analyseret i henholdsvis året for den danske presserevolution i 1905 (se blandt andet Bruhn Jensen, 1996), 1955 og 2002.”

Eksempel 5: “Analyzing one coherent week (week 46, 2009), as opposed to a constructed week where the weekdays are gathered from different weeks of the year, also opens up for potential problems where for instance a certain large news event during that particular week could give unintentional bias to the data material.”

Eksempel 6: “The study is based on two surveys. The source survey was sent to sources who had participated in news articles and news reports in week 46 2011 in national broadsheet newspapers and online newspapers (Berlingske, Jyllands-Posten and Politiken), local newspapers (Folketidende and Nordvestnyt) and national television (DR and TV 2). The questionnaire was distributed to 906 sources in the period 13th-21st February 2012.”

Eksempel 7: ”En optælling i otte landsdækkende danske aviser viser f.eks, at der til 52 forsideartikler var henvist til dobbelt så mange artikler inde i aviserne (egen optælling af uge 46, 2008).”

Eksempel 8: “Vi har valgt at kode ugerne 46 og 47, fordi vi med udgangspunkt i tidligere medieundersøgelser, foretaget af blandt andre Mark Blach-Ørsten og Ida Willig (RUC nyhedsforskning 10.06.2014), anerkender uge 46 som nyhedsugen, fordi der i netop denne uge altid er en del politisk aktivitet, blandt andet grundet finanslovsforhandlinger. I 2013 var der yderligere kommunalvalg, der påvirkede perioden. Uge 47 er tilføjet nyhedsugen, fordi den længere tidsperiode giver flere data og mindsker risikoen for, at dataene præges af enkeltsager.”

Eksempel 9: “Det er her ”det rigtige EU” går i arbejdstøjet. Jeg har netop valgt en sådan ”normaluge” for at få et mere nøjagtigt billede af, hvordan EU dækkes til hverdag.”

Eksempel 10: “Der er tale om uge 46, en såkaldt almindelig avisuge, der ligger midt i november hvert af de udvalgte år. Hansen m.fl. pointerer netop vigtigheden af at vælge en analyseperiode, der er fri for bias, personlige fornemmelser eller præferencer. Det opnås ved at vælge en kontinuerlig uge fra mandag til søndag og ved at undgå sæsonmæssig variation i mediedækningen, såsom højtider, sommerferie og deslige.” […] “I 1985 ser de politiske artikler anderledes ud. For det første er der tilfældigvis optakt til kommunalvalg, som foregår i uge 47.”

Eksempel 11: “Den mest interessante forskel mellem dækningen i uge 46 i 2008 og 2011 er emneprioriteringen. Emnet flygtninge og indvandrere var det mest dækkede emne i 2008, mens det i 2011 var faldet til en 4. plads. Erhverv og arbejde rykkede derimod fra en 6. plads i 2008 til en 3. plads i 2011, hvilket afspejler en ny økonomisk virkelighed efter finanskrisen.”

Ovenstående eksempler er ikke dårligt arbejde, hvorfor de netop tjener et andet formål end at blive kategoriseret og fremstillet som, ja, dårligt arbejde. De har dog den væsentlige svaghed, at vi ikke har god grund til at tro på, at konklusionerne fra de empiriske analyser (og i nogle tilfælde empiriske eksempler), lader sig generalisere til perioder, der ikke er uge 46 i bestemte år.

Det er altid befriende, når man kan stå på skuldrene af giganterne og citerere sig ud af metodiske udfordringer, men når man – i ønsket om at analysere repræsentativt indhold i medierne – forfalder til uge 46, sker det på betydelig bekostning af muligheden for at generalisere ens resultater til andre perioder. Disse udfordringer bliver ikke mindre, når man analyserer medieindhold over tid. Tværtimod.

Sidst, men ikke mindst, er der ligeledes noget der kan tyde på, at valget af uge 46 har implikationer for de data, vi i fremtiden kan have at lege med. Statsbiblioteket er eksempelvis også påvirket af netop lige præcis dette ikke-tilfældige ugevalg: ”Det blev derfor besluttet, at det ville være tilstrækkeligt med et repræsentativt udvalg. Vi startede med at indsamle to ugers udsendelser hvert år, men i de seneste år har vi været nødt til at indskrænke det til én uge årligt. Til det formål valgte vi efter ønske fra forskerne uge 46 som eksempel på en typisk ”almindelig” uge; at denne uge så i 2007 blev særdeles atypisk på grund af Folketingsvalg, fik os dog ikke til at skifte strategi.”

Der kan være gode grunde til at analysere mediernes indhold i uge 46 i bestemte år. Det vigtige er dog, at der kan være (og ofte er) tungtvejende grunde til ikke at gøre det. Hvis man ønsker at analysere repræsentativt indhold i medierne, er det ikke tilstrækkeligt blot at tage udgangspunkt i indhold fra uge 46, fordi det så angiveligt stammer fra en ”almindelig nyhedsuge”.

Har Jyllands-Posten indført en bedre metode?

Hos Jyllands-Posten kan man læse, at “Jyllands-Posten og Wilke indfører en ny metode for opinionsmålinger. Målet er at opnå større præcision.” Kort opsummeret vil Jyllands-Posten og Wilke introducere ”en ny standard” for politiske meningsmålinger i Danmark. Dette vil ske med følgende tiltag: 1) en fordobling af antallet af respondenter, 2) en fortsættelse af hidtidige praksis, 3) en ændring i udvælgelsen af respondenter, 4) en ændring i vægtningsproceduren og 5) en højere svarprocent.

Det er svært at se, hvor de nye standarder er – og hvilke problemer, de vil løse. Husk på, at der stadig ikke har været nogle udmeldinger om, hvad der gik galt under det seneste folketingsvalg. Og når vi ikke kender årsagen til problemet, er det som bekendt vanskeligt at komme med en løsning. Vi ved, at institutterne ikke var gode til at ramme Dansk Folkepartis vælgeropbakning, men vi ved ikke om det var på grund af udvælgelsen af respondenter, svarprocenten, vægtningen af svarene eller noget helt fjerde (eller en kombination af nævnte, som Jyllands-Posten står på mål for her).

Det er også rimeligt at antage, at andre analyseinstitutter arbejder på at opnå en højere svarprocent, have den bedste vægtningsprocedure og udvælge respondenterne på den bedste måde. Så længe vi ikke adresserer hvordan Wilkes metode afviger fra andre analyseinstitutters metoder, er det svært at konkludere, at der er nogle nye standarder/metoder her. Det er med andre ord svært at se, hvad der er nyt i disse standarder, som de fleste andre analyseinstitutter ikke allerede (også) arbejder ud fra. Dette beskriver Jyllands-Posten ikke med ét ord, og det er nok fordi, at der ikke er så meget nyt under solen her. Gammel vin på nye flasker.

Der er dog ét punkt, hvor Jyllands-Posten er eksplicit omkring, hvordan deres praksis afviger fra andres: ”Hidtil har Wilkes meningsmålinger bestået af ca. 1.000 interview, fordelt på internet og telefon. Dette antal er normen i Danmark. Fremover øger vi dog antallet af interview til ca. 2.000”. Hvis man ser bort fra, at der er undtagelser på dette (Epinion, der laver meningsmålinger for DR, har som regel over 1.700 respondenter i hver måling), er det svært at se, hvorfor dette er en kvalitet i sig selv. Det er ikke kun i et lille land som Danmark, at 1.000 respondenter er normen, men i alle lande.

Dette af gode statistiske grunde: Vi får mere ud af at interviewe respondent nummer 980 end respondent nummer 1.980. Uafhængigt af populationens størrelse, forstås. Kritiske tunger kan derfor indvende, at i stedet for at bruge penge på at interviewe 2.000 i stedet for 1.000, ville pengene være givet bedre ud på at forbedre andre forhold ved meningsmålingen. Eller med andre ord: Bruge pengene på at opnå større validitet end reliabilitet.

Generelt er der et alt for stort fokus på – og tiltro til – stikprøvestørrelsen og den statistiske usikkerhed, der følger med. Den statistiske usikkerhed er kun meningsfuld, hvis vi har et validt estimat. Præcision er dermed ikke en kvalitet i sig selv, hvis vi blot rammer forkert med stor præcision. Med andre ord kan det sågar blot medføre, at man tager fejl med større præcision og dermed – lettere komisk – ligger endnu længere væk fra det sande estimat, taget den statistiske usikkerhed i betragtning (som det eksempelvis var tilfældet under folketingsvalget, når man arbejdede med aggregerede meningsmålinger).

Den statistiske usikkerhed kan da også være svær at tolke. I den første meningsmåling fra Wilke for Jyllands-Posten, skrives der: “Usikkerheden er det interval, målingen med 95 pct. sandsynlighed rammer inden for.” Dette er lidt kludret formuleret og ikke helt korrekt. Som bekendt er den rigtige tolkning, at hvis vi fik gennemført meningsmålingen igen og igen, ville den statistiske usikkerhed 19 ud af 20 gange indeholde den rigtige opbakning. For en let og god illustration af dette, se denne guide. Igen: Det vigtige er, at en præcis meningsmåling ikke nødvendigvis er en sand meningsmåling. Det virker derfor mest af alt som en gratis (=dyr) reklame for Wilkes målinger, når man sælger 2.000 respondenter som en kvalitet.

Det er formidabelt, at Jyllands-Posten arbejder på at gøre det bedre i deres dækning af meningsmålinger, især i forhold til frekvensen af dem. Ligeledes har Jyllands-Posten og Wilke måske lavet forandringer til det bedre, men umiddelbart er der intet der tyder på, at vi skal stole mere på meningsmålinger fra Wilke end fra Epinion, Gallup og de andre analyseinstitutter – også efter indførelsen af den “ny metode”.