Ulikhetens pris: Svar til Håvard Nilsen

Håvard Friis Nilsen i Res Publica etterlyser i Klassekampen 19.2. svar på tre faglige utfordringer. Det skal han få. Det er fremkommet en rekke innvendinger til metodene i Ulikhetens pris. Forfatterne siterer annen forskning på misvisende måte, de overdriver egne og andres forskningsresultater, og de tar for få forbehold. Kort sagt: Dette er svak forskningsformidling. Og jeg er ikke den eneste som mener det, skriver Marius Doksheim.

Marius Doksheim

Publisert: 26. februar 2014

Av Marius Doksheim, fagsjef i Civita.

Håvard Friis Nilsen i Res Publica etterlyser i Klassekampen 19.2. svar på tre faglige utfordringer han ga meg i sitt innlegg om boken Ulikhetens pris 12.2. Det skal han få.

La meg først si at jeg ikke er overrasket over at Friis Nilsen ikke fester lit til mine vurderinger. Det har han heller ikke gjort når vi tidligere har diskutert denne boken. Derfor svarte jeg, i mitt innlegg (15.2.), ved å vise til forskere jeg antok Friis Nilsen hadde større tiltro til. Dessverre viser det seg at Friis Nilsen ikke fester lit til kritikk fra ellers anerkjente Robert Putnam, Angus Deaton og Kalle Moene heller.

Derfor har jeg ikke store forhåpninger om at Friis Nilsen skal bli fornøyd når jeg svarer denne gangen heller. Men faglige utfordringer er artige, så la meg likevel utdype.

1. Den første innvendingen fra Friis Nilsen er at argumentet mitt om statistiske uteliggere er feil. Friis Nilsen mener denne innvendingen er ”gjendrevet flere ganger”. La meg først gjenta at disse uteliggerne bare er ett av mange eksempler på at ”statistikk- og forskningsbruken i boken er for enkel, og at grundigere analyser gir langt mer nyanserte og ofte helt andre resultater,” slik jeg skrev i forrige innlegg. Kritikken mot boken henger derfor ikke på dette argumentet alene. Jeg mener likevel det er en god illustrasjon.

Det jeg skrev om statistiske uteliggere, outliers, var at ”Sammenhengen mellom drapsrate og ulikhet, som Wilkinson og Pickett finner, helt og holdent er en sammenheng som oppstår i dataene fordi USA har høy ulikhet og mange drap. Det er ingen sammenheng mellom drapsrate og ulikhet for andre rike land. På samme måte er sammenhengen mellom levealder og ulikhet nesten fraværende, om man ser bort fra at Japan har lav ulikhet og høy levealder.” Mer generelt er problemet at enkeltland i for stor grad påvirker forfatternes resultater, uten at det forklares at de gjør det og hvorfor. Det er også andre «uteliggere» i boken.

Outliers i et datasett gjør at man må vurdere: Hva forklarer denne ekstreme verdien, som er så forskjellig fra de andre verdiene? Skal verdien inkluderes i analysen, eller står analysen seg best om den tas ut? Drømmen for enhver forsker er å få robuste svar, som holder, selv om noen enkeltfunn holdes utenfor, eller modellen justeres.

Det finnes ikke faste regler for hva man gjør med slike outliers, og det er ingen enighet om hvorvidt «uteliggerne» i The Spirit Level burde vært inkludert eller ikke. Men det er, så vidt jeg kan se, ingen nevneverdig uenighet om at de nevnte verdiene er «uteliggere», at de har stor betydning for resultatet, og at de derfor burde vært vurdert og bedømt nærmere. Aller mest trenger de en forklaring: Hvorfor har USA så mange drap, og hvorfor har japanerne så høy levealder? Leser man Ulikhetens pris, får man inntrykk av at den viktigste forklaringen er at USA har høy ulikhet og Japan lav. Det virker, for å si det forsiktig, unyansert, blant annet fordi antallet drap i USA er redusert samtidig som ulikhetene har økt, og levealderen i Japan fortsetter å stige til tross for at forskjellene øker.

Friis Nilsen mener altså at denne kritikken er ”gjendrevet flere ganger”. Han oppgir ikke kilder, men jeg antar at han i tillegg til Wikinson og Pickett selv viser til Hugh Noble, som har skrevet en rapport om statistikkbruken i boken for Wilkinson og Picketts hjemmesider, og som kritiserer én av kritikerne, Peter Saunders, for svake analyser. I parentes bemerket: Jeg er enig i en del av Nobles innvendinger til Saunders kritikk av boken. Det er derfor det var viktig for meg å påpeke at Civita ikke har oversatt Saunders rapport, slik Friis Nilsen hevdet, i forrige innlegg. Undertegnede har fremmet noe av den samme kritikken, men jeg har gjort et utvalg og ikke brukt de samme metodene som Saunders.

Men så til poenget, for selv Noble er kritisk til innflytelsen fra slike uteliggere:

”I am uncomfortable with regression lines which depend so much on a few datum points which stand out from the rest. I do not suggest, as Saunders does, that these (or the other ones which spoiled his preferred thesis) should be removed from the analysis. But I do think some discussion is required into why there are such marked differences.”

Dette er tilnærmet ordrett den samme kritikken jeg har rettet mot analysene. Disse uteliggerne burde vært drøftet nærmere og forklart bedre enn Wilkinson og Pickett gjorde i førsteutgaven, og de burde tatt større forbehold i konklusjonene sine.

Selv Wilkinson og Pickett har vært mer åpne for kritikk på dette punktet enn Friis Nilsen er. De nevnte ikke uteliggere når disse stred mot deres funn i førsteutgaven av boken, men etter kritikk har de skrevet et etterord der de innrømmer at slike finnes, og at det er gjort et valg om å inkludere dem i analysen for å oppnå konsistens. Det er greit og redelig, og det er det vanligste å gjøre i samfunnsvitenskapen, men da er det også på sin plass å antyde hvordan sammenhengene oppstår og hvordan ekstremtilfellene kan forklares. Det gjør de fortsatt ikke. Hadde de gjort det, hadde de måttet moderere flere av påstandene sine.

2. Friis Nilsen mener deretter at en artikkel i The Oxford Handbook of Economic Inequality, som jeg siterte for å vise at ”grundigere analyser gir langt mer nyanserte og ofte helt andre resultater”, er ”beryktet for store mangler”, og viser spesielt til at den ikke inkluderer noen spesifikke forskningsarbeider. Jeg har ikke noe behov for å forsvare denne boken slik Friis Nilsen forsvarer Ulikhetens pris – men da jeg kun finner én kritikk av den på nettet, som for øvrig bare viser til at den kan bli kontroversiell, siden den ikke konkluderer med det samme som Ulikhetens pris, er den utvilsomt mindre kritisert enn Ulikhetens pris – men la gå, det er mulig den mangler viktig forskning. Det rokker imidlertid ikke ved mitt poeng: Svært mye annen forskning kommer til andre, eller langt mer forsiktige, resultater enn de som vises frem i Ulikhetens pris. Det betyr selvsagt ikke at det ikke finnes (mye) forskning som støtter Wilkinson og Picketts hypoteser, men forskerne er langt mer uenige enn man får inntrykk av ved å lese boken.

3. Den tredje innvendingen er min manglende kildehenvisning for påstanden ”Richard Wilkinson og Kate Pickett mener at ulikhetene er langt viktigere enn landets rikdom, innbyggernes frihet og alle andre faktorer.” Kildehenvisningen her er selvsagt boken selv. Del 1 av boken brukes til å vise at ulikhet nå, ifølge dem, er viktigere enn ytterligere rikdom for å oppnå bedre resultater. Del 2 brukes til å vise at ulikhet er den viktigste forklaringen på ulike resultater i ulike land – de mener altså at det er viktigere enn andre faktorer (hvis de for eksempel mente mer forskning på medisiner var det viktigste, ville de vel skrevet en bok om det i stedet). I del 3 kommer løsningene, som jeg mener viser at de er mer opptatt av mindre forskjeller enn av innbyggernes frihet: De vil helst ha tiltak som er ”mindre sårbare for skiftende regjeringers innfall”, og er skeptiske til modellen med individuelt eierskap av selskaper. De ønsker høyere skatt og mer styring av økonomien. Også vi som er for skatt, anerkjenner avveiingen mellom skattenivå og skattebetalernes frihet til å bestemme over sine midler. Når Wilkinson og Pickett trekker frem reduserte ulikheter som løsningen på ”alt”, er det ikke å trekke dem spesielt langt å si at de er mer opptatt av ulikhet enn alt annet.

Jeg hadde også andre momenter i mine to første innlegg. Det er fremkommet en rekke innvendinger til metodene Wilkinson og Pickett bruker. De siterer annen forskning på misvisende måte, de overdriver egne og andres forskningsresultater, og de tar for få forbehold. Kort sagt: Dette er svak forskningsformidling. Og jeg er ikke den eneste som mener det. Noen eksempler, flere av dem publisert i fagfellevurderte tidsskrifter:

M. Karlsson, CH. Lyttkens, T.Nilsson, Lunds Universitet og Technische Universität Darmstadt: ”Vi är en grupp hälsoekonomer som under flera år studerat sambandet mellan ojämnlikhet och hälsa, med betydligt mer detaljerat datamaterial og betydligt mer sofistikerade metoder än de W&P använder. … Vår analys antyder att det inte finns något enkelt svar – utan tvärtom att den ofte slående korrelationen mellom ojämlikhet och hälsa till stor del undandrar sig de förklaringar som föreslågits.”
Andrew Leigh, professor i økonomi og representant for det australske Arbeiderpartiet: ”Inequality, some contend, is associated with worse outcomes in areas that society cares about, such as health, crime, savings and growth. This argument is put most strongly in The Spirit Level, by Richard Wilkinson and Kate Pickett. It is an argument that I used to believe. Indeed, I deeply want (it) to be true, but my own research persuades me otherwise. The closer you get to these asserted effects, the more fragile are the findings. If there are negative effects of inequality on those social outcomes, they must be extremely small.”
John Kay, professor i økonomi og skribent i Financial Times: ”The book will probably irritate most economists, including those who, like me, are sympathetic to its basic stance. … The evidence presented in the book is mostly a series of scatter diagrams, with a regression line drawn through them. No data is provided on the estimated equations, or on relevant statistical tests. If you remove the bold lines from the diagram, the pattern of points mostly looks random, and the data dominated by a few outliers.”
John Goldthorpe, professor i sosiologi ved Oxford: ”I increasingly regretted that Richard Wilkinson and Kate Pickett had written a book of this kind because it seemed to me to be adressing very important issues, but in an unduly simplistic and unduly overconfident way. If Wilkinson and Pickett (or anyone else for that matter) had wanted to write a general book, bringing this range of issues to a wider audience, then I think that would have been a very worthwhile project. But it would have had to be done in a very different way – in a way that certainly brought out the very great importance of these issues, but also brought out their complexity and gave a much more balanced view of where research had reached, what issues remain controversial and undecided.”
Colin Mills, professor i sosiologi ved Oxford: ”you appear not to be playing it straight with your readers, not all of whom, I assume, will look too closely at the figures or be alert to what could be considered a bit of textual leger de main. … Over and over again you tell us that the weight of the evidence is on your side and that there is a broad consensus amongst experts working in the field. But this simply isn’t true, is it?”
Stefan Liebig, professor i sosiologi ved Universitetet i Bielefeld: ”whenever simple solutions are offered for complex problems and correlations, a degree of skepticism is healthy. And that is true of this book in particular. … Overall, this book thus does not provide adequate—in the sense of methodologically sound—empirical findings which, first, allow an interpretation of the observed social problems that attributes them solely to income inequalities and, second, support the assumption that a reduction of income inequality would lead to a reduction of the social problems identified.”
Ron Johnston, professor i samfunnsgeografi ved Universitetet i Bristol: “The evidence presented in Wilkinson and Pickett’s (2009) latest book is certainly not overwhelming. It consists of nothing more than a series of simple scattergraphs with a regression line added if the correlation is statistically significant. The parameters of the regressions are not given and there is no realisation that more sophisticated modelling could cast substantial doubt on their claims … Weak evidence is being used as the basis for outrageous claims.”
Richard Reeves, daværende leder av den sosialdemokratiske tankesmien Demos: “There are problems with this approach. Drawing a line through a series of data points signals nothing concrete about statistical significance. … the force of these findings is diminished by the sense that the authors have simply scoured the data for signs of malignancy in unequal societies.”

Alle disse sier de tilhører venstresiden, eller at de i utgangspunktet skulle håpe Wilkinson og Pickett hadde rett. I tillegg kommer alle de fra høyresiden som har kritisert boken. Av disse vil jeg bare nevne Christian Bjørnskov (fra Århus Universitet, men også tilknyttet Cepos), som anmeldte boken i tidsskriftet Population and Development Review. Han skriver blant annet: ”to readers with a background in economics or political science, the evidence in the book is wanting. When seeing strong conclusions drawn from scatter plots and other simple figures, for example, one has to ask three questions: 1) are the relations driven by outlier observations; 2) are the findings robust to controlling for other relevant factors; and 3) are the relations likely to be causal? Surprisingly often, Wilkinson and Pickett’s claims fail to address one or more of these questions.”

Friis Nilsen mener det er misvisende når jeg sier boken er ”omdiskutert og kontroversiell”. Andre kan bedømme selv.

Til slutt: Friis Nilsen klandrer meg for å drive en negativ reklamekampanje mot boken han har oversatt og gitt ut. Civita kritiserte denne boken da den kom ut på engelsk, lenge før Res Publica ga den ut på norsk.

Jeg kan forstå at Friis Nilsen vil selge boken, men jeg tror det er nødvendig med en noe større ydmykhet og toleranse for andre meninger og motstridende fakta.

En kortversjon av innlegget er på trykk i Klassekampen 26.2.14.

Publisert: 19. mars 2024