Foto: KI
Forskerne undersøkte svar fra ChatGPT, Gemini, Claude, Copilot, DeepSeek og Dola AI. Systemene ble brukt til å besvare 50 åpne spørsmål om Koranen, hadith, islamsk juss, etikk og personlig religiøs veiledning.
Spørsmålene var utformet for å ligne det vanlige brukere kan finne på å spørre en chatbot om. Eksempler var om musikk er tillatt i islam, hva som bryter den rituelle vasken før bønn, hva man skal gjøre dersom man har gått glipp av en bønn, og hvordan islam vurderer renter, forsikring og tatoveringer.
Svarene ble samlet inn av deltakere i Storbritannia og Australia. Forskerne vurderte blant annet faktanøyaktighet, kildebruk, hallusinasjoner, håndtering av usikkerhet og om systemene klarte å gjengi forskjellige islamske lovskoler på en korrekt måte.
Manuskriptet, som ble publisert på arXiv forrige uke, er skrevet av forskere tilknyttet University of Sydney, Macquarie University og University of New South Wales.
Best på Koranen – svakest på islamsk juss
KI-verktøyene fikk sin høyeste samlede vurdering på spørsmål om korantolkning, med omtrent 4,4 av 5 poeng. Generell etisk veiledning fikk litt over 4 poeng, mens personlig og åndelig veiledning fikk rundt 3,8.
Resultatet var svakere for forklaring av hadither, som fikk omtrent 3 av 5 poeng. Forskerne fant blant annet manglende hadithnumre, ufullstendige kildeopplysninger og påstander som var vanskelige å kontrollere.
Svakest var systemene på fiqh – islamsk rettslære – og spørsmål der svaret avhenger av hvilken lovskole som legges til grunn. Disse områdene fikk henholdsvis rundt 2,1 og 2,3 poeng.
Forskerne vurderte samtidig risikoen for misvisende veiledning som høyest innen fiqh og spørsmål om uenighet mellom lovskolene.
«KI bør brukes som et hjelpemiddel – ikke som en autoritativ religiøs rådgiver», konkluderer forskerne.
Velformulerte svar kan skjule feil
Alle de seks systemene produserte stort sett flytende og overbevisende tekst. ChatGPT fikk den høyeste vurderingen for språklig flyt.
Forskerne understreker imidlertid at et godt formulert svar ikke nødvendigvis er korrekt. Nettopp evnen til å skrive sikkert og pedagogisk kan gjøre feil vanskeligere å oppdage.
Problemer med kildehenvisninger gikk igjen i flere av systemene. Svar kunne eksempelvis vise generelt til Sahih al-Bukhari eller Sahih Muslim uten å oppgi hvilket hadithnummer det gjaldt. Andre svar viste til «lærde» eller «flertallet av lærde» uten å navngi personer, verk eller institusjoner.
Gemini fikk høyest vurdering for fullstendige kildehenvisninger, etterfulgt av Claude og ChatGPT. Ingen av systemene leverte likevel konsekvent dokumentasjon som gjorde alle religiøse påstander enkle å etterprøve.
Manuskriptet beskriver også et tilfelle der et KI-system ga en teknisk feil forklaring av en regel for koranresitasjon, samtidig som svaret ble presentert med stor sikkerhet.
Lovskolene gjør enkle svar vanskelige
Islamsk juss består ikke av én samlet regelbok. De forskjellige lovskolene kan komme til ulike konklusjoner om samme spørsmål, blant annet fordi de bruker kilder og juridiske metoder på forskjellige måter.
Et svar om bønn, økonomi eller religiøse plikter kan derfor være riktig innenfor én lovskole, men ikke representere synet til andre. Et KI-system som ikke forklarer dette, kan gi inntrykk av at en omstridt vurdering er en regel alle muslimer følger.
Studien fant at Gemini og Claude oftere anerkjente legitim faglig uenighet og presenterte flere mulige syn. ChatGPT, DeepSeek, Copilot og Dola AI viste større variasjon og kunne gi forenklede eller for sikre svar.
Forskerne anbefaler at KI-verktøy oppgir hvilken lovskole eller faglig tradisjon et svar bygger på. De bør også gi presise koran- og hadithhenvisninger og si tydelig fra når et spørsmål ikke har ett allment akseptert svar.
En liten og ikke fagfellevurdert studie
Resultatene må tolkes med forsiktighet. Manuskriptet er publisert på arXiv og har ikke gjennomgått ordinær fagfellevurdering.
Datagrunnlaget er også begrenset. Studien inneholdt 50 spørsmål fordelt på ti sett, men forfatterne opplyser at den kvalitative konklusjonen bygger på de fem settene der de mottok komplette svar.
Deltakerne kunne dessuten selv velge KI-verktøy, abonnementstype, modellversjon og hvordan samtalen skulle gjennomføres. Forsøket var dermed ikke en kontrollert sammenligning der alle modellene fikk nøyaktig samme spørsmål under identiske forhold.
Studien kan derfor ikke brukes til å fastslå hvilket KI-verktøy som generelt er best eller dårligst på islam. Den gir først og fremst en tidlig indikasjon på hvilke typer religiøse spørsmål dagens systemer har størst problemer med.
Vet ikke hvor mange norske muslimer som bruker KI som imam
Studien undersøkte ikke norske forhold og gir ikke svar på hvor utbredt det er at unge norske muslimer bruker ChatGPT eller andre KI-verktøy for religiøs veiledning.
Den reiser likevel spørsmål om hva som skjer når brukere spør en chatbot om personlige valg knyttet til ekteskap, økonomi, seksualitet eller religiøs praksis – og får ett sikkert formulert svar uten å vite hvilken lovskole eller kilde svaret bygger på.
Forskerne mener KI kan være nyttig til innledende læring og til å finne temaer som brukeren kan undersøke videre. Ved spørsmål om religiøse regler anbefaler de at svarene kontrolleres mot autentiske primærkilder og kvalifiserte fagpersoner.
