Ny studie: Forskernes egne meninger påvirker svarene om innvandring

Kan forskere legge egne politiske meninger til side? En ny studie tyder på at svaret ofte er nei. Da 158 forskere analyserte de samme tallene om innvandring og velferd, sprikte konklusjonene kraftig – og forskernes egne holdninger ser ut til å ha påvirket resultatene.

Det spørsmålet har fått ny aktualitet etter at forskerne George J. Borjas og Nate Breznau publiserte en analyse i Science Advances om ideologisk slagside i samfunnsforskning. Studien bygger på et større forskningsopplegg der 158 forskere, fordelt på 71 team, fikk nøyaktig det samme datasettet og det samme spørsmålet: Reduserer innvandring folks støtte til velferdsordninger?

Svaret ble ikke ett felles resultat. Tvert imot sprikte konklusjonene kraftig.

Noen forskerteam fant at innvandring hadde en tydelig negativ effekt på oppslutningen om velferd. Andre fant en positiv effekt. Mellom ytterpunktene lå en lang rekke ulike tolkninger.

Det er nettopp dette som gjør studien oppsiktsvekkende: Når forskerne sitter med de samme tallene, men likevel havner på helt forskjellige konklusjoner, reises et ubehagelig spørsmål om hva som egentlig styrer forskningsresultatene.

De samme tallene ga helt ulike svar

Bakgrunnen for studien er et eksperiment fra 2022, der mange forskere samtidig ble invitert til å analysere data fra ISSP, et internasjonalt program som samler informasjon om folks holdninger til politikk og økonomi over tid.

Alle skulle teste den samme hypotesen: at økt innvandring fører til lavere støtte til velferdsstaten.

I stedet for å nærme seg én felles konklusjon, viste resultatene et stort sprik. Ingen grupper gjorde helt de samme hovedvalgene i analysene. Ulike forskere valgte ulike statistiske modeller, ulike definisjoner av variabler og ulike avgrensninger i materialet.

Borjas og Breznau gikk derfor tilbake til materialet og stilte et nytt spørsmål: Var det tilfeldig hvilke modeller forskerne valgte? Eller hang det sammen med deres egne holdninger til innvandring?

Fant tydelig mønster

Ifølge den nye analysen var det et klart mønster.

Forskerne som i utgangspunktet hadde de mest positive holdningene til innvandring, kom oftere fram til resultater som pekte i positiv retning. Forskerne som ønsket strengere innvandringspolitikk, fant oftere mer negative effekter.

Det avgjørende var ikke nødvendigvis at forskerne manipulerte tallene bevisst. Snarere peker studien på noe mer hverdagslig og samtidig mer urovekkende: at ideologi kan påvirke hvilke metodiske valg forskere oppfatter som mest rimelige, mest presise eller mest relevante.

Dermed blir selve forskningsdesignet et slags filter.

Forskjellen oppstår ikke fordi noen forfalsker data, men fordi samfunnsforskning ofte innebærer mange små valg underveis. Hvilke land skal med? Hvilke år skal veie tyngst? Hvordan skal «støtte til velferd» måles? Skal man bruke én type modell eller en annen?

Når mange slike valg trekker i samme retning, kan sluttsvaret bli farget av forskerens eget verdensbilde.

Fem valg forklarte mye av forskjellen

Borjas og Breznau fant at særlig fem metodiske valg forklarte store deler av spriket mellom forskerteamene.

Det gjaldt hvordan støtte til velferd ble definert, hvordan innvandring ble målt, om forskerne brukte multilevel-modeller, hvilke land som ble inkludert, og om de tok med de nyeste dataene etter flyktningkrisen i 2015.

Ifølge forskerne var ikke disse valgene nøytrale i praksis. Team med ulike politiske holdninger valgte oftere ulike spesifikasjoner – og disse valgene ledet ofte til ulike resultater.

Dermed flyttes diskusjonen bort fra forestillingen om at forskningsbias først og fremst handler om fusk eller «p-hacking». I stedet peker studien på et mer grunnleggende problem: at forskernes egne vurderinger, intuisjoner og preferanser kan styre dem mot bestemte analyser lenge før resultatene blir publisert.

Når mange forskere bruker de samme tallene og får ulike svar, må vi også spørre hva som styrer valgene underveis

Også norske forskere har sett lignende mønstre

Henning Finseraas, professor ved Institutt for sosiologi og statsvitenskap ved NTNU, mener funnene er interessante, men ikke overraskende.

Han sier til forskning.no at denne typen skjevhet er kjent fra tidligere forskning, og viser blant annet til en norsk studie fra 2022. Der undersøkte Finseraas sammen med Arnfinn H. Midtbøen og Kjersti Thorbjørnsrud hvordan forskere vurderte kvaliteten på fiktive studier om majoritets–minoritet-relasjoner.

Resultatet var at forskere oftere vurderte forskning som bedre når konklusjonene lå nærmere deres egne ideologiske preferanser.

–Forskere er mennesker som alle andre, sier han til forskning.no

Det er et enkelt utsagn, men det peker mot et stort problem. For samfunnsforskningen hviler nettopp på forestillingen om at forskeren skal være i stand til å analysere politisk konfliktfylte temaer med størst mulig avstand til egne holdninger.

Når det idealet slår sprekker, blir også tilliten til forskningen satt på prøve.

Ikke bare et spørsmål om innvandring

Selv om studien handler om innvandring og velferd, er implikasjonene langt bredere.

Dette gjelder alle forskningsfelt der temaene er politiserte og der forskeren må ta mange valg underveis i analysen. Det kan dreie seg om kriminalitet, integrering, kjønnsforskjeller, sosial ulikhet eller klima.

På slike felt er det sjelden én enkel modell som automatisk gir «det rette» svaret. Tvert imot finnes det ofte mange statistiske veier inn i materialet. Og når flere av disse veiene er faglig forsvarlige, åpnes også rommet for at forskerens egne oppfatninger kan påvirke hvilken vei som velges.

Det er nettopp derfor Borjas og Breznau advarer mot å lese enkeltstudier som endelige sannheter i betente samfunnsspørsmål.

Kan svekke tilliten – men også gjøre forskningen bedre

Funnene kan lett brukes av dem som vil avvise forskning som «bare politikk». Men Finseraas advarer mot å trekke den konklusjonen.

Han mener det fortsatt er grunn til å stole på forskning, men understreker at det krever et kritisk blikk og en kultur for å stille vanskelige spørsmål – også til egne resultater.

Til forskning.no sier han at «det er viktig å ha et kritisk blikk».

Det betyr blant annet å se studier i sammenheng med annen forskning, heller enn å la ett enkelt funn definere hele sannheten. Det betyr også å være åpen om usikkerhet, alternative modellvalg og hvilke avveininger som er gjort underveis.

I tillegg peker flere forskere på preregistrering som et viktig verktøy. Da må forskerne på forhånd beskrive hva de skal undersøke og hvordan de skal gjøre det, før de ser resultatene. Det kan gjøre det vanskeligere å justere analysene i retning av et mer «pent» eller ideologisk tilfredsstillende svar.

En advarsel til både forskere, medier og politikere

Den nye studien er ikke bare en påminnelse til forskere. Den er også en advarsel til medier og politikere.

I offentlig debatt brukes forskning ofte som fasit. En studie blir gjerne løftet fram som bevis for at innvandring styrker fellesskapet – eller for at innvandring svekker velferdsstaten. Men når forskere som analyserer de samme dataene kan ende på helt ulike svar, blir det tydelig hvor forsiktig slike konklusjoner må behandles.

Det betyr ikke at alt er relativt. Det betyr at vitenskapelig kunnskap i politisk betente spørsmål ofte er mer sårbar, mer usikker og mer avhengig av analytiske valg enn offentligheten liker å tro.

Kanskje er det nettopp her den viktigste lærdommen ligger: Ikke at forskningen skal forkastes, men at den må møtes med mer åpenhet om tvil, metode og uenighet.

For når forskningen handler om mennesker, politikk og makt, er det ikke bare dataene som teller. Det gjør også menneskene som leser dem.

Få ukentlig GRATIS nyhetsbrev utrop.no/nyhetsbrev