Erik Gahner Larsen

Skaber sociale medier ekkokamre?

Fungerer sociale medier som ekkokamre, hvor borgerne har ideelle betingelser for udelukkende at se indhold, der behager dem? Den underliggende præmis i flere analyser af borgernes brug af sociale medier er, at politisk indhold konsumeres i ekkokamre, hvor man har rig mulighed for at vælge information, der bekræfter en i rigtigheden af ens holdninger.

Dette bliver især koblet sammen med sociale mediers algoritmer, der kan forstærke disse valg, så man som bruger kan sidde i et skræddersyet digitalt univers, hvor der ikke gives modspil til ens egne overbevisninger. Dette har blandt andet foranlediget artikler som ‘Vi skal ud af Facebooks ekkokammer‘, og for et par måneder siden kunne man ligeledes læse nyheden ‘Danskerne er trætte af Facebooks ekkokamre‘. I forhåndenværende indlæg betvivler jeg den påstand, at sociale medier skaber ekkokamre.

Først er det vigtigt at få på plads, at dette indlæg ikke er et forsvar eller en salgstale for sociale mediers demokratiske potentiale, da der er masser af aspekter, man kan og bør forholde sig kritisk til. Dette indlæg forsøger i al beskedenhed blot at referere til nogle af de undersøgelser, der kan bruges til at forstå sociale mediers rolle i forhold til førnævnte. Fælles for disse undersøgelser er, at de ikke bekræfter dommedagsprofetien om, at sociale medier fører til politiske ekkokamre, hvor ingen udsættes for andet indhold end det, der bekræfter egne overbevisninger.

Der er flere interessante undersøgelser, men et ideelt sted at begynde er med et to år gammelt studie udført af tre forskere affilieret med Facebook1. I dette studie undersøgte de ikke alene hvilke politiske holdninger Facebook-brugere og deres venner havde, men også hvilket indhold de blev eksponeret for. Her fandt de at Facebook-brugere – i lighed med in real life – har venner med politiske holdninger a la ens egne, men at der skam også er venner med divergerende politiske holdninger. Disse holdninger, der altså afviger fra ens egne, bliver man også eksponeret for. Dette skaber ikke ekkokamre, men omvendt at man udsættes for forskellige holdninger på sociale medier: “Rather than people browsing only ideologically aligned news sources or opting out of hard news altogether, our work shows that social media exposes individuals to at least some ideologically cross-cutting viewpoints.”

Hvordan kan sociale medier føre til, at man udsættes for andre politiske holdninger end ens egne? I den “virkelige” verden er politik primært noget man taler om med de mennesker, man har et stærkt bånd til. Disse mennesker er – i de fleste tilfælde – nogen man er politisk enige med. Sådan fungerer det bare ikke på de sociale medier, hvor man har et hav af venner, hvor der også er tale om forbindelser med svage bånd, der udsætter en for forskellige politiske synspunkter.

Disse dynamikker viser Pablo Barberá overbevisende i et arbejdspapir, hvor han konkret undersøger Twitter-brugeres adfærd i USA, Tyskland og Spanien2. Her vises det, at brugere af sociale medier udsættes for ideologisk forskelligt indhold, og at denne eksponeringen fører til mindre ekstreme holdninger. Dette fører til konklusionen: “Contrary to conventional wisdom, my analysis provides evidence that social media usage reduces mass political polarization.”

Der er med andre ord ikke evidens for, at sociale medier skaber ekkokamre. Når dette er sagt er det selvfølgelig vigtigt at holde for øje, at forskellige mennesker bruger sociale medier forskelligt. I et studie af amerikanske Twitter-brugere vises det således, at mere konservative og ekstreme brugere er mere tilbøjelige til at følge ideologisk ligesindede brugere3. Dette taler for, at sociale medier ikke skaber ekkokamre, men at ekstremister på sociale medier har det med at hænge ud med andre ekstremister.

Det faktum at de fleste brugere af sociale medier 1) har venner med divergerende politiske holdninger og 2) bliver udsat for disse holdninger, er selvfølgelig ikke ensbetydende med, at man vælger at læse politisk indhold, man er uenig med. For at undersøge dette nærmere, er det i et nyt studie blevet undersøgt, om brugere af Facebook går mere efter bestemt politisk indhold end hvad deres venner deler4. Dette studie fandt frem til, at Facebook-brugere havde interesse i nyheder i overensstemmelse med ens egne holdninger og nyheder der afveg herfra, når blot det kom fra ens venner. Selve det om det politiske indhold bekræfter ens egne overbevisninger er altså ikke det vigtigste.

Ovenstående taler for, at sociale medier i og for sig ikke skaber ekkokamre, men om noget det modsatte: Sociale medier eksponerer borgerne for synspunkter og information, de ellers ikke ville have læst. Implikationen af dette er, at man bør finde mindre polariserede holdninger blandt brugere af sociale medier. Ganske interessant er det også, hvad forskningen på området viser.

I et studie foretaget af Levi Boxell, Matthew Gentzkow og Jesse M. Shapiro, finder de, at polariseringen i politiske holdninger er størst blandt de borgere, der bruger sociale medier mindst (primært ældre borgere)5. Dette er selvfølgelig ikke det samme som, at sociale medier ikke kan føre til ekkokamre, men at det er svært at finde det empiriske belæg for, at det skulle være tilfældet.

Ovenstående studier – der må betegnes som værende noget af den bedste forskning på området i skrivende stund – bekræfter ikke påstanden om, at sociale medier skaber ekkokamre. Disse studier er primært foretaget i en amerikansk kontekst, men der er intet der umiddelbart taler for, at det burde være anderledes i Danmark. Tværtimod. Der er, såvidt jeg er orienteret, ingen systematiske studier af sociale medier og ekkokamre i Danmark, men der er tal, der kunne indikere, at Facebook-brugere i Danmark ikke flokkes i ekkokamre.

Som pointeret indledningsvist er det vigtigt at forholde sig kritisk til sociale medier. Vi kan kun i begrænset omfang udtale os om, hvordan brugere af sociale medier vil bruge dem i fremtiden, hvilke effekter brugen af sociale medier har og så videre. Det vil dog være decideret forkert, eller som minimum i konflikt med forskningen på området, at påstå, at sociale medier skaber ekkokamre.

  1. Bakshy, E., S. Messing & L. A. Adamic. 2015. Exposure to ideologically diverse news and opinion on Facebook. Science 348(6239):1130-1132. []
  2. Barberá, P. 2015. How Social Media Reduces Mass Political Polarization. Evidence from Germany, Spain, and the U.S. Arbejdspapir. []
  3. Boutyline, A. & R. Willer. 2017. The Social Structure of Political Echo Chambers: Variation in Ideological Homophily in Online Networks. Political Psychology 38(3):551-569. []
  4. Anspach, N. M. 2017. The New Personal Influence: How Our Facebook Friends Influence the News We Read. Political Communication. []
  5. Boxell, L., M. Gentzkow & J. M. Shapiro. 2017. Is the Internet Causing Political Polarization? Evidence from Demographics. NBER arbejdspapir. []

Potpourri: Statistik #38

Hvor stor er Pape-effekten?

Da Søren Pape Poulsen i 2014 afløste Lars Barfoed som politisk leder for de Konservative, kunne BT rapportere, at “10 pct. af vælgerne overvejer at stemme på De Konservative”. Artiklen kaldte det for Pape-effekten, altså en fremgang til partiet, der kunne tilskrives den nye partileder.

Hvor stor var denne Pape-effekt? Figur 1 viser hvordan det gik de Konservative i meningsmålingerne, efter Søren Pape tiltrådte som ny formand for partiet. Den stiplede linje i figuren angiver tiltrædelsesdatoen. Overordnet betragtet er det ikke til at se, at der har været en klar og synlig positiv effekt af, at Søren Pape tiltrådte som partileder.

Figur 1: Konservative i meningsmålingerne, juli 2014-maj 2015

Dengang lå partiets opbakning på mellem 5 og 6 procent i meningsmålingerne. Over de seneste par år er partiet blot faldet mere i målingerne, og vi har været et pænt stykke fra at nå det niveau, partiet lå på, da Søren Pape Poulsen blev formand.

Ganske interessant er dette ikke den eneste gang, der er blevet talt om en Pape-effekt. I den seneste Megafon-måling ligger Konservative til at få hele 5,8 procent af stemmerne. Figur 2 viser de Konservative i meningsmålingerne her i 2017, med en angivelse af, hvor den seneste Megafon-måling befinder sig i forhold til de andre målinger.

Figur 2: Konservative i meningsmålingerne, 2017

Dette bliver i artiklen hos TV 2 kaldt for en klar Pape-effekt: “Konservative står til fremgang. Og det er i høj grad, Søren Pape Poulsens fortjeneste”. Journalist Peter Lautrup-Larsen konkluderer således, at: “Det er afgjort en Pape-effekt. Han er blevet minister på et område, der passer ham og de konservative værdier.”

Der er tre interessante aspekter ved påstanden om en ny Pape-effekt. For det første er det svært at se en stigning i de målinger, der har været i de første måneder i 2017. Dette rejser det interessante spørgsmål, hvad der helt præcist gør, at der er tale om en effekt af noget som helst. For det andet er partiets opbakning i bedste fald på niveau med, hvordan partiet lå, da Søren Pape Trådte til som formand. Der er med andre ord tale om en meningsmåling, hvor de Konservative måske er ved at være på det niveau, de lå på, da Søren Pape blev formand. For det tredje er der ingen evidens for, at hvis der er tale om en fremgang til partiet, kan den tilskrives Søren Pape. Det kan skyldes et hav af andre begivenheder, herunder blandt andet utilfredshed med Liberal Alliance.

Til dette skal det selvfølgelig tilføjes, som det også kan læses af Figur 2, at Megafon-målingen er den mest ekstreme, der har været i 2017. Der er potentielt set rigtig meget støj og meget lidt signal i målingen, og det er i bedste fald fyldt med betydelige forbehold at konkludere, at der afgjort er tale om en Pape-effekt.

Problems with the Big Five assessment in the World Values Survey

I have a new short paper titled Problems with the Big Five assessment in the World Values Survey in Personality and Individual Differences (co-authored with Steven Ludeke). In the paper, we examine basic psychometric properties of the Big Five personality traits included in Wave 6 of the World Values Survey. The abstract:

Publicly-available data from the World Values Survey (WVS) is an extremely valuable resource for social scientists, serving as the basis for thousands of research publications. The most recent assessment (Wave 6) was the first to assess Big Five personality traits, and this data has already been used in published research. In the present paper, we show for the first time that the Big Five data from WVS Wave 6 is extremely problematic: items from the same trait correlate negatively with each other as often as not, occasionally to truly extreme degrees. Particular caution is warranted for any future research aiming to use this data, as we do not identify any straightforward solution to the data’s challenges.

In Figure 2 in the paper, also presented below, we show the distribution of item-item correlations for the Big Five personality traits in all countries. Ideally, the item-item correlations would be positive and strong. However, in most cases, the correlations are weak and/or going in the wrong direction.

There are multiple potential problems with the data and, alas, we are unable to identify a single issue explaining why there is a problem and thus provide guidelines on how to correct it. Noteworthy, some blog posts examine the data in further detail and discuss issues such as coding errors, translation errors and acquiescence bias, e.g. Rene Bekkers blog post, Hunting Game: Targeting the Big Five, and Florian Brühlmanns blog post, Can we trust Big Five data from the WVS?.

Reproducibility material for the paper can be retrieved at GitHub and the Harvard Dataverse.

Potpourri: Statistik #37

Selektion på den afhængige variabel: Parforhold

TV 2 skriver, at halvdelen af alle ægteskaber ender i opløsning, men at det ikke afspejler sig i danskernes vurderinger af deres parforhold. Dette fremstilles som noget tilnærmelsesvist paradoksalt, hvorfor der konkluderes: “Derfor er det også overraskende for eksperter, at danskerne er tilfredse i deres parforhold.”

Det interessante er selvfølgelig, at det på ingen måde er overraskende, at danskerne er tilfredse i deres forhold. Hvorfor? Fordi de personer, der ikke er tilfredse i deres forhold, i de fleste tilfælde vælger ikke at være i et forhold længere.

Artiklen hos TV 2 bygger på en meningsmåling som Megafon har foretaget for TV 2, hvor 90 procent af de adspurgte svarer, at de føler sig glade og tilfredse i deres parforhold. Den interessante historie burde om nogen være, at 10 procent af de adspurgte er i et forhold, de ikke er glade for eller tilfredse med.

Seinfeld

Seinfeld (1989–1998) er en fremragende sitcom. Sammen med serier som Frasier (1993-2004) og Friends (1994-2004) står den som en af de stærkeste komedieserier fra 90’erne, der stadig kan ses i 2017. For nyligt valgte jeg at gense seriens 173 afsnit, der er fordelt over 9 sæsoner, og jeg kan kun anbefale, at man får den (gen)set.

I forbindelse med at jeg så serien, fik jeg også læst Seinfeldia: How a Show About Nothing Changed Everything, der leverer en minutiøs gennemgang af historien bag serien. Den var lidt for detaljerig til min smag, men for de virkelige fans af serien, kan den også varmt anbefales.

For hvert afsnit jeg så af serien, valgte jeg også – som med det meste af det jeg ser – at vurdere det på IMDb. På IMDb, der er en forkortelse for Internet Movie Database, vurderede jeg således hvert afsnit af Seinfeld på en skala fra 1 til 10.

Det var heldigvis ikke kun mig, der valgte at gense Seinfeld og vurdere hvert afsnit af serien på IMDb. Det samme gjorde min gode ven Knud. Dette giver et datasæt, hvor vi kan sætte lidt tal på, hvordan vi hver især har det med serien. Figur 1 viser fordelingen af vores respektive vurderinger af alle afsnittene af Seinfeld.

Figur 1: Fordeling af vurderinger, afsnit af Seinfeld

Figuren viser med al tydelighed, at Knud gennemsnitligt er mere glad for de enkelte afsnit af Seinfeld end jeg er. Knuds gennemsnitlige vurdering er således 7,46, hvor min er 6,67. Dette skyldes især, at jeg har været ekstra hård ved de afsnit, som jeg synes er subpar.

Den laveste vurdering jeg giver et afsnit er 2, hvor det for Knud er 3. Overordnet giver jeg 39 afsnit vurderingen 2, 3, 4 eller 5, hvor dette kun er tilfældet for Knud ved to afsnit. Dette afspejler sig også i standardafvigelsen for vores vurderinger, hvor denne er 1,07 for Knud og 1,88 for mig.

Der gemmer sig dog mere relevant information end blot fordelingen af vurderinger. Det viser sig, at jeg bliver mere skeptisk over tid. Figur 2 viser vores vurderinger over tid, samt de gennemsnitlige vurderinger for hvert afsnit på IMDb fra alle brugerne på IMDb, der har vurderet de respektive afsnit.

Figur 2: Vurderinger af afsnit over tid

Her ser vi for det første, at Knud følger IMDbs vurderinger meget fint, om end med et lidt lavere gennemsnit. Jeg er klart mere positiv i mine vurderinger af de første sæsoner (altså de tidligere 90’ere). Det var især sæson 8 og 9, jeg havde det svært med. Præmissen i mange af afsnittene var simpelthen for ringe, og til trods for at det ikke var elendige afsnit, var det langt under den standard, som der blev etableret i løbet af de tidligere sæsoner af serien.

Ovenstående viser også, at det er begrænset, hvor mange afsnit vi giver en topkarakter, altså 10 ud af 10. Konkret er der blot otte afsnit af Seinfeld, der har fået 10 af enten Knud eller mig. Tabel 1 viser hvilke afsnit, der er tale om. Første kolonne angiver hhv. sæson og afsnit, anden kolonne titlen på afsnittet, tredje kolonne min vurdering, fjerde kolonne Knuds vurdering og så IMDbs gennemsnitsvurdering i femte kolonne.

Tabel 1: Afsnit som minimum en af os har givet vurderingen 10

Afsnit Vurdering: Erik Vurdering: Knud Vurdering: IMDb
3.16 The Fix Up 10 9 8,5
3.17 The Boyfriend: Part 1 10 9 9,0
3.18 The Boyfriend: Part 2 10 9 8,9
4.11 The Contest 10 9 9,6
4.17 The Outing 10 9 9,4
5.20 The Hamptons 10 10 9,1
6.12 The Label Maker 10 9 8,7
7.6 The Soup Nazi 9 10 9,6

Her ser vi for det første, at jeg har givet flere afsnit 10 ud af 10. Knud har givet to afsnit 10 ud af 10, hvor det ene af dem er et, jeg også har givet 10 (det fantastiske afsnit The Hamptons). For det andet kan vi se, at vi ikke er uenige omkring disse afsnit. For de otte afsnit hvor en har givet 10, giver den anden som minimum 9. The Soup Nazi gav Knud 10 ud af 10, og det ligger med en gennemsnitsvurdering på 9,6 på IMDb, og det er da også et rigtig godt afsnit, men det er ikke lige så godt som seriens bedste afsnit (som eksempelvis The Fix Up og The Contest).

Som sagt indledningsvist er der tale om en fremragende sitcom. Jo længere tid der går, desto større er sandsynligheden for, at man møder folk, der ikke har set den. Det er en skam, for den holder stadig den dag i dag, og er betydeligt bedre end de sitcoms, der kører i TV i disse år.

KV13: Analyser af kommunalvalget 2013

Hvis du har den mindste interesse i dansk politik, og i særdeleshed kommunalvalg, kan jeg anbefale dig at kaste dine lommepenge efter den nye bog, KV13: Analyser af kommunalvalget 2013, der kan bestilles her.

Bogen har et eksplicit fokus på kommunalvalget 2013, men de emner og spørgsmål bogens kapitler beskæftiger sig med, har relevans for kommunalvalg i almindelighed (herunder selvfølgelig kommunalvalget til november). Bogen kan bedst beskrives som en samling af kapitler, der giver en indføring i, hvad vi har lært om og fra studiet af kommunalvalg siden det seneste kommunalvalg.

Nogle af kapitlerne beskæftiger sig således med sager, der fik megen opmærksomhed før, under og efter kommunalvalget, eksempelvis GGGI-skandalen og DR’s prognoseskandale, hvor andre kapitler beskæftiger sig med mere generelle spørgsmål, eksempelvis hvilken rolle placeringen på stemmesedlen har for valgresultatet.

Selv har jeg sammen med Ulrik Kjær og Klaus Levinsen et kapitel med i bogen (Kapitel 5), hvor vi fokuserer på den kommunale valgretsalder, og især hvordan vælgerne så på dette spørgsmål i forbindelse med kommunalvalget 2013.

Påvirker boganmeldelser salget af bøger?

I en artikel i Weekendavisen den 2. december (i 2016) argumenterer forfatter og data scientist Lasse Hjorth Madsen for, at boganmeldelser ikke har nogen effekt på en bogs økonomiske succes. Og i det omfang der er tale en effekt, har vi at gøre med en negativ effekt. Mere konkret skrives der:

De flotte og håndgribelige roser giver både omtale og mersalg. Formentlig gavner de gode karakterer også biblioteksudlånene, hvilket igen får bibliotekerne til at anskaffe mange eksemplarer af de efterspurgte bøger, hvilket igen udløser bibliotekspenge. Kort sagt: Der er penge i hjerterne. Problemet er bare, at det er forkert.
Undersøger man systematisk sammenhængen mellem den modtagelse, en bog får af anmelderne, og den læserinteresse, der kan spores i form af biblioteksudlån, opdager man, at den ikke blot er svag, den har det forkerte fortegn: Ganske vist gavner det ikke udlånet med en decideret afklapsning i form af et enkelt hjerte eller stjerne, men bøger med småringe anmeldelser klarer sig gennemsnitligt en anelse bedre på bibliotekerne end bøger med fremragende anmeldelser.

Dette vil nok undre de fleste, inklusiv undertegnede, hvorfor jeg læste videre. Kan det virkelig passe, at småringe anmeldelser til en bog hænger sammen med at klare sig en anelse bedre på bibliotekerne? Det viser sig heldigvis, at der ligger hårde tal bag, for som der skrives om metoden:

Det lyder som en uhyrlig påstand, men der ligger hårde tal bag: Bogsitet bog.nu har været så venlige at stille deres database med anmeldelser til rådighed. Den indeholder 31.616 anmeldelser fra perioden 2010-2016. Dansk Bibliotekscenter offentliggør på deres hjemmeside data, som blandt andet omfatter en liste med 44,7 millioner udlån af i alt 387.000 bogtitler fra danske biblioteker. Vrider man armen om på disse to datakilder og sender dem i tvangsægteskab med hinanden, ender man med 6.436 bogtitler, for hvilke der både foreligger tal for det samlede udlån og for det gennemsnitlige antal hjerter eller stjerner, som de er blevet tildelt i anmeldelserne.

Så langt, så godt. Den substantielle tolkning af resultaterne er som følger: “Bøger, der har høstet mellem tre og fire hjerter eller stjerner, blev i perioden udlånt i gennemsnit 1146 gange. For bøger med mindst fem hjerter eller stjerner var tallet 886.” Teksten bliver ledsaget af denne figur:

Figuren viser ikke noget interessant i forhold til et generelt mønster, der omtales i artiklen, men viser blot titlerne på nogle af de bøger, der har klaret sig hhv. godt og dårligt blandt anmelderne og på bibliotekerne. Der er således også gode grunde til at være kritisk i forhold til artiklens pointer, hvorfor den heller ikke bliver mødt uden kritik. Ugen efter (9. december) har økonomistuderende Mads Schnoor Nielsen således et læserbrev i Weekendavisen, hvor han bringer følgende kritik:

Hvis man skal analysere effekten af anmeldelser, bliver man nødt til at gruppere bøger, som ville have det samme forventede oplag og læserskare og derfra analysere, hvorvidt en god eller en dårlig anmeldelse signifikant kan påvirke salgstallet.

Den 23. december svarer Lasse Hjorth Madsen på kritikken i et læserbrev (også i Weekendavisen), hvor han pointerer, at kritikken ikke har noget på sig:

Mads Schnoor Nielsen anbefaler at inddrage oplysninger om bøgernes »forventede oplag og læserskare« i analysen. Det er heldigvis også netop det, jeg gør. Eller mere præcist: Jeg gør det bedste, data giver mulighed for, nemlig ser på, om den manglende sammenhæng mellem anmelderroser og læserinteresser gælder på tværs af genrer. Blandt andet fordi visse genrer (krimier) typisk oplever en større læserinteresse end andre genrer (digte og noveller). Det er den delanalyse, der sætter mig i stand til at konkludere, at netop for digte og noveller lader positive anmeldelser til at gavne læserinteressen. Det står alt sammen i artiklen.

Og læserbrevet konkluderes med ordene:

Jeg tror, det vil glæde Mads Schnoor Nielsen og andre analytisk indstillede læsere at vide, at en række regressionsmodeller og test for statistisk signifikans har været under anvendelse, før jeg konkluderede, som jeg gjorde. Den er god nok: Flot anmeldte bøger får, alt andet lige og i gennemsnit, ikke større interesse fra læserne end middelmådigt anmeldte bøger.

Jeg er ikke tilfreds. Der er gode grunde til, at de anvendte data ikke kan bruges til at konkludere, at boganmeldelser ikke har nogen effekt på salget af bøger (eller udlån af samme). Problemet med de pågældende data kan koges ned til, at de ikke udgør et tilfældigt valg af bogtitler, men tværtimod et valg af bøger, der ikke giver gode betingelser for at undersøge hypotesen om, at bedre anmeldelser giver flere udlån.

Bøgerne i analysen har det tilfælles, at de har haft et minimum af succes (udlån m.v.). Bemærk at der er 387.000 bogtitler fra danske biblioteker i det datasæt, der anvendes, men kun godt 1 procent af disse bøger kan inkluderes i analysen. Denne lille andel (6.436 bogtitler) er på ingen måde repræsentativ for andre bøger, men netop de bøger, der enten har fået gode anmeldelser eller er blevet udlånt af andre grunde (eksempelvis på grund af en mainstream/kendt forfatter).

Teknisk set har vi at gøre med Berksons paradoks, hvor vi betinger på en endogen variabel i vores ikke-tilfældige selektion af observationer. Har dette implikationer for resultaterne, hvor der i nærværende tilfælde om noget er en negativ korrelation mellem gode anmeldelser og hvor mange gange en bog bliver udlånt? Det er meget sandsynligt.

Stephen L. Morgan og Christopher Winship giver et godt eksempel på problemet i Counterfactuals and Causal Inference, hvor de kigger på et hypotetisk college, hvor man enten kan blive optaget ved at være motiveret til en samtale eller dygtig i en test. I eksemplet er der ingen korrelation mellem hvor motiveret man er og ens testscore. Her kommer det interessante: Hvis vi kun kigger på de personer, der er blevet optaget, vil vi se, at der er en negativ korrelation mellem at være motiveret og dygtig (altså cirklerne i nedenstående figur):

Den negative korrelation opstår fordi vi ikke tager højde for, at det netop er enten det at være motiveret eller det at få en høj testscore, der gør, at man bliver optaget. Derfor vil dem der er mere motiveret – gennemsnitligt set – score mindre på testen og vice versa.

I vores eksempel med bøgerne er det netop kun de bøger, der har fået omtale og er blevet udlånt, der er en del af datamaterialet. De bøger, der ikke har fået lige så gode anmeldelser som andre bøger, kan være de bøger, der ville blive udlånt uafhængigt af, om de fik gode anmeldelser eller ej.

Dette problem med datasættet – altså et problem i forhold til, hvad man gerne vil bruge det til – er så presserende, at det ikke lader sig løse med statistiske værktøjer (eksempelvis en række regressionsmodeller og test for statistisk signifikans). Derfor kan den slags analyser på det pågældende datamateriale ikke glæde mig.

Dermed er min pointe ikke, at positive anmeldelser har en positiv effekt på en bogs succes, men det kan ikke udelukkes, og på ingen måde modbevises med udgangspunkt i et datasæt med de 6.436 bogtitler, der er blevet undersøgt i omtalte artikel i Weekendavisen.


Tilføjet (2. februar 2017):

Har haft en konstruktiv mailudveksling med Lasse Hjorth Madsen, der havde følgende kommentarer:

De 6.436 titler udgør i princippet hele populationen af bøger, der er blevet anmeldt i landedækkende, trykte medier i perioden og har kunnet lånes på danske biblioteker.

Hvis man vil undersøge sammenhængen mellem antal stjerner eller hjerter og antallet af udlån, giver det jo ikke mening, at inkludere bøger som ikke er blevet anmeldt, eller som ikke har være til rådighed på bibliotekerne. (Der kan godt gå lidt tid, før bøgerne er indkøbt og klar til udlån.)

Det er altså kun et meget lille mindretal af de nævnte ca. 387.000 bibliotekstitler, der blevet anmeldt i aviserne og som derfor indgår i populationen. Tallet er ikke specielt relevant for analysen, og jeg nævner det blot, for at illustrere volumen af udlånsdatasættet fra DBC.

Du har ret i, at figuren kun viser en lille del af datasættet. Jeg ville ønske, at det fremgik lidt klarere.

Formålet med figuren er primært at give en læselig smagsprøve med nogle markante værker. Figuren siger således blot, at den lille delmængde af populationen bestående af de 100 mest populære titler, heller ikke udviser en korrelation mellem antal stjerne/hjerter og antal udlån.

Analysen kan selvfølgelig, som alle andre analyser, kritiseres. Hvis man specifikt vil forfølge problemstillingen omkring systematisk selektion, kunne man fx se på, om datasættet med anmeldelser fra bog.nu er komplet. De har en ambition om at registrere alle anmeldelser, men overser sikkert én i ny og næ. Det er dog svært at forestille sig, at der ligger den helt store selektionsbias her.

Potentielt mere alvorlige er de tekniske problemer, der opstår, når udlånsdatasættet flettes sammen med anmeldelsesdatasættet. Ingen af de to rummer desværre ISBN, så jeg måtte bruge en renset udgave af titel og forfatternavn til at matche de to. Det kan fejle, fx hvis en titel eller et forfatternavn har flere varianter. Men igen: Det er svært at forestille sig, at frafald af denne type er særlig systematisk.

Der er altså, i hvert fald principielt, tale om et datasæt der rummer hele populationen og altså ikke fejler på samme måde, som dit eksempel med collage studerende.

Det er med disse data svært at komme uden om, at ringe anmeldte bøger bliver udlånt mindst lige så meget, som godt anmeldte bøger. Men det er nu heller ikke så besynderligt, når man ser på de konkrete titler: De professionelle litterater lader til at have en noget anden smag end det brede publikum. Tænk prisvindende litteratur kontra krimiserier.