Treffrate for kredittfaktor – hva er det og hvordan brukes det?

Hva er credit factor hit rate?

Credit factor hit rate, på norsk ofte kalt treffrate for kredittfaktor, er et nøkkeltall innen kredittmodellering. Det måler andelen ganger en bestemt faktor i en kredittscoremodel korrekt forutsier et utfall – for eksempel betalingsmislighold eller en betalingsanmerkning. Enkelt sagt: Hvis faktoren «betalinger over 30 dager forsinket» har en treffrate på 70 %, betyr det at i 70 % av tilfellene der faktoren slo ut, endte låntakeren faktisk med å misligholde. Metrikken er avgjørende for å validere og forbedre kredittmodeller, og den brukes aktivt av banker, kredittopplysningsbyråer og investorer som analyserer selskapers kredittverdighet. I Norge har treffrate blitt mer aktuell etter hvert som maskinlæringsbaserte modeller har erstattet enklere regnearkbaserte vurderinger.

Forstå credit factor hit rate

For å forstå treffrate må man først kjenne til at en kredittmodell består av flere faktorer som hver får en vekt. Treffraten er et mål på hvor ofte en faktor «treffer» målet – det vil si at når faktoren indikerer høy risiko, viser det seg i etterkant at risikoen var reell. Metrikken ligner på presisjon i maskinlæring, men skiller seg ved at den ofte beregnes per faktor, ikke per modell. En faktor med høy treffrate er pålitelig, men den kan samtidig ha lav dekningsgrad (recall) – den fanger bare en liten andel av alle mislighold. Derfor må treffrate alltid ses i sammenheng med andre mål som dekningsgrad og total modellnøyaktighet. I praksis vil kredittanalytikere i en norsk bank for eksempel se på treffraten for faktoren «gjeldsgrad» for å avgjøre om denne faktoren bør vektes tyngre i modellen.

Hvordan fungerer credit factor hit rate?

Treffraten beregnes ved å ta antall korrekte positive prediksjoner (faktoren slo ut og mislighold inntraff) og dele på summen av korrekte positive og falske positive (faktoren slo ut, men mislighold inntraff ikke). Formelen er enkel: Treffrate = (sanne positive) / (sanne positive + falske positive). La oss si at en norsk kredittmodell har faktoren «høy kredittkortgjeld». I en testperiode på 1000 låntakere ga faktoren utslag hos 200 personer. Av disse 200 endte 150 opp med betalingsproblemer (sanne positive), mens 50 ikke fikk problemer (falske positive). Treffraten blir da 150 / 200 = 0,75 eller 75 %. Det betyr at når faktoren indikerer høy risiko, har låntakeren 75 % sannsynlighet for å faktisk misligholde. Modellbyggere bruker slike tall for å justere terskler og vekter. I Norge er det vanlig å rekalibrere modeller årlig fordi folks betalingsatferd endrer seg over tid.

Historisk bakgrunn

Kredittscoring slik vi kjenner den i dag oppsto i USA på 1950-tallet med FICO-score. De første modellene var enkle poengsystemer basert på få faktorer som betalingshistorikk og inntekt. Treffrate som begrep ble først formalisert på 1990-tallet da statistiske metoder som logistisk regresjon ble vanlige. I Norge kom kredittscoring for alvor på 2000-tallet med etableringen av selskaper som Bisnode (nå en del av Enento) og Experian. Før dette baserte banker seg i stor grad på skjønn og lokalkunnskap. Etter finanskrisen i 2008 ble det stilt strengere krav til modellvaliditet, og treffrate ble et standard verktøy i modellvalidering. I dag brukes avanserte maskinlæringsalgoritmer som gradient boosting og nevrale nettverk, men treffrate er fortsatt en av de mest intuitive måtene å kommunisere modellkvalitet på til forretningssiden.

Praktisk eksempel

Tenk deg at du som investor vurderer å kjøpe obligasjoner i et norsk eiendomsselskap. Du får tilgang til en kredittmodell som brukes av en bank. Modellen inneholder fem faktorer: betalingshistorikk, gjeldsgrad, likviditetsgrad, bransjerisiko og ledelseserfaring. Tabellen under viser hypotetiske treffrater for disse faktorene basert på historiske data fra norske selskaper:

Fordeler og ulemper

Fordelene med treffrate er at den er enkel å forstå og kommunisere, den gir direkte innsikt i hvorfor en modell gir et bestemt signal, og den kan brukes til å sammenligne faktorer internt i samme modell. Ulempene er at treffrate alene ikke forteller hele historien – en faktor kan ha høy treffrate, men svært lav dekningsgrad, slik at den bare fanger et fåtall av alle mislighold. I tillegg kan treffraten være misvisende hvis utvalget er skjevt (for eksempel få mislighold i dataene). I norsk sammenheng er det også en utfordring at treffrate beregnet på historiske data ikke nødvendigvis gjelder for fremtiden, spesielt i perioder med store økonomiske endringer som under koronapandemien. Derfor anbefales det å alltid se treffrate sammen med andre metrikker som AUC-ROC og Gini-koeffisient.

Vanlige misforståelser

En vanlig misforståelse er at høy treffrate automatisk betyr at modellen er god. Det stemmer ikke, fordi en faktor kan ha høy treffrate ved å være svært konservativ – den slår bare ut når risikoen er ekstremt høy, og da bommer den sjelden. Men da fanger den ikke opp mange moderate risikoer. En annen misforståelse er at treffrate kan sammenlignes på tvers av ulike modeller eller datagrunnlag. Det kan den ikke, fordi treffraten avhenger av terskelverdier og populasjonens sammensetning. I Norge har noen trodd at en treffrate på 90 % er et mål på modellens generelle nøyaktighet, men det er feil – det er kun et mål på faktorens presisjon i positive utslag. En tredje misforståelse er at alle faktorer bør ha like høy treffrate. I praksis er det naturlig at noen faktorer har lavere treffrate fordi de måler mer nyanserte eller sjeldne forhold.

Oppsummering

Treffrate for kredittfaktor er et verdifullt verktøy for å forstå og forbedre kredittmodeller, enten du er bank, kredittopplysningsbyrå eller investor. Metrikken gir et konkret mål på hvor ofte en faktor treffer riktig når den slår ut. For å få et fullstendig bilde må den suppleres med dekningsgrad, AUC-ROC og andre mål. I Norge er treffrate spesielt relevant i en tid hvor stadig flere beslutninger automatiseres, og hvor investorer etterspør gjennomsiktighet i kredittvurderinger. Husk at en faktor med lav treffrate ikke nødvendigvis er verdiløs – den kan fange opp viktige signaler som andre faktorer overser. Ved å forstå treffrate kan du stille bedre spørsmål til kredittanalyser og ta mer informerte investeringsbeslutninger.