Out-of-sample test – test av strategi på nye data

Hva er out-of-sample test?

Når du utvikler en investeringsstrategi, starter du gjerne med å analysere historiske aksjekurser for å finne mønstre. Du kan for eksempel oppdage at aksjer med høy relativ styrke (momentum) har gitt god avkastning de siste ti årene. Men hvordan vet du om dette mønsteret er ekte eller bare et resultat av tilfeldigheter? Her kommer out-of-sample test inn.

En out-of-sample test går ut på å teste strategien på data som ikke ble brukt da du bygde den. Du reserverer en del av historikken – for eksempel de siste tre årene – og lar strategien være helt uavhengig av disse dataene under utviklingen. Deretter kjører du strategien på den reserverte perioden og sammenligner resultatene.

Hvis strategien gir like gode eller nesten like gode resultater på de nye dataene, har du større grunn til å tro at den har prediktiv kraft. Hvis resultatene derimot stuper, er strategien sannsynligvis overtilpasset (overfitted) – den har lært seg støy og tilfeldigheter i treningsdataene i stedet for ekte markedsmekanismer.

Forstå out-of-sample test

For å forstå out-of-sample test må du først kjenne til begrepet overtilpasning. Overtilpasning oppstår når en modell blir for kompleks og tilpasser seg hver eneste lille svingning i historiske data. Den kan da gi fantastiske resultater på treningdataene, men svikte fullstendig når den møter nye data. Dette er et velkjent problem i både maskinlæring og kvantitativ finans.

Out-of-sample test er den viktigste metoden for å avdekke overtilpasning. Ved å holde tilbake en del av historikken simulerer du en situasjon der strategien må prestere på ukjente markedsforhold. Dette tvinger deg til å fokusere på robuste mønstre som sannsynligvis vil gjenta seg, i stedet for å jage støy.

I praksis deler du datasettet i to: in-sample (treningssett) og out-of-sample (testsett). En vanlig tommelfingerregel er å bruke 70–80 % av dataene til trening og 20–30 % til testing. Det er også mulig å bruke flere utvalg, for eksempel gjennom walk-forward-analyse, der du rullerende flytter testperioden fremover i tid. Dette gir enda mer robuste resultater.

Hvordan fungerer out-of-sample test?

Prosessen med out-of-sample test kan deles inn i fire trinn:

1. Datautvalg: Velg en historisk periode og del den i to deler. Sørg for at testperioden ligger etter treningsperioden i tid, slik at du unngår fremoverskuende bias. For eksempel: treningsdata fra 2010 til 2015, testdata fra 2016 til 2020.

2. Strategiutvikling: Bruk kun treningsdataene til å utvikle og optimalisere strategien. Du kan justere parametere, velge indikatorer og sette regler for kjøp og salg. Det er viktig at du ikke ser på testdataene i dette steget.

3. Testing: Når strategien er ferdig utviklet, kjører du den på testdataene uten å gjøre noen endringer. Noter resultater som avkastning, Sharpe ratio, maksimalt tap og treffprosent.

4. Evaluering: Sammenlign resultatene fra testperioden med resultatene fra treningsperioden. En liten nedgang er forventet, men store avvik tyder på overtilpasning. Hvis strategien presterer omtrent like bra på begge settene, kan du ha større tillit til at den vil fungere i fremtiden.

Det er også vanlig å gjøre flere runder med walk-forward-analyse, der du deler dataene i flere overlappende perioder. Dette gir en mer detaljert vurdering av strategiens stabilitet over tid.

Historisk bakgrunn

Konseptet med å teste modeller på uavhengige data har røtter i statistisk læringsteori og ble utviklet på midten av 1900-tallet. I finansverdenen ble out-of-sample testing for alvor tatt i bruk på 1990- og 2000-tallet, i takt med fremveksten av kvantitative hedgefond og datadrevne strategier.

En av de mest kjente advarslene mot overtilpasning kom fra forskeren David Leinweber, som viste at man kunne lage en modell som «perfekt» forklarte S&P 500-avkastningen ved å inkludere variabler som smørproduksjon i Bangladesh. Slike absurde sammenhenger forsvinner umiddelbart i en out-of-sample test.

I dag er out-of-sample testing en standard del av due diligence for profesjonelle investorer. Mange meglerhus og fond forlanger at strategier valideres på out-of-sample data før de får kapital. For private investorer som bruker backtesting-verktøy, er det like viktig å forstå forskjellen mellom in-sample og out-of-sample resultater.

Praktisk eksempel

La oss ta et konkret eksempel med en norsk investor som vil teste en enkel momentumstrategi på Oslo Børs. Strategien går ut på å kjøpe de 10 aksjene med høyest avkastning siste 12 måneder og holde dem i én måned, før porteføljen rebalanseres.

Investoren har kursdata fra 2010 til 2020. Han setter av perioden 2010–2015 som in-sample (trening) og 2016–2020 som out-of-sample (test). Under utviklingen justerer han terskelen for antall aksjer og beholdningsperiode kun basert på 2010–2015-dataene.

Resultatene blir som følger:

Hadde out-of-sample avkastningen vært negativ eller nær null, ville det vært et klart tegn på at strategien bare fungerte på grunn av tilfeldigheter i treningsperioden.

Fordeler og ulemper

Fordeler:

• Reduserer risikoen for å satse penger på en strategi som kun er overtilpasset historiske data.
• Gir et mer realistisk bilde av forventet avkastning og risiko.
• Øker tilliten til strategien når resultatene er konsistente på tvers av perioder.
• Hjelper deg med å velge mellom flere strategier – den med best out-of-sample resultater er ofte å foretrekke.

Ulemper:

• Krever tilstrekkelig med historiske data. For korte tidsserier (for eksempel nye aksjer) kan det være vanskelig å få en pålitelig out-of-sample test.
• En vellykket out-of-sample test er ingen garanti for fremtidig suksess. Markedsregimer kan endre seg, og det som fungerte i testperioden, kan svikte i morgen.
• Det er fristende å justere strategien etter å ha sett out-of-sample resultatene. Da blir dataene i realiteten en del av treningssettet, og testen mister sin verdi.
• Out-of-sample test kan ikke fange opp plutselige strukturelle brudd, som finanskriser eller nye reguleringer, med mindre de allerede finnes i testperioden.

Vanlige misforståelser

«En vellykket out-of-sample test betyr at strategien alltid vil fungere.» Dette er feil. Markeder er dynamiske og påvirkes av utallige faktorer. En strategi som presterte godt i testperioden, kan likevel mislykkes i fremtiden. Out-of-sample test reduserer risikoen, men eliminerer den ikke.

«Jeg kan justere strategien etter out-of-sample testen og fortsatt kalle den out-of-sample.» Nei. Når du endrer strategien basert på testresultatene, blir testperioden i praksis en del av treningsprosessen. Du må da reservere en ny, helt uavhengig periode for å få en ny out-of-sample test.

«Out-of-sample test er det samme som backtesting.» Backtesting er et bredere begrep som omfatter testing av en strategi på historiske data generelt. Backtesting kan være både in-sample og out-of-sample. Mange backtesting-verktøy rapporterer kun in-sample resultater med mindre du aktivt deler dataene. Det er derfor viktig å skille mellom dem.

«Jo flere data jeg bruker til trening, jo bedre.» Mer data er ofte bra, men hvis du bruker alt til trening, har du ingenting igjen til testing. En balanse er nødvendig. For korte tidsserier kan det være bedre å bruke teknikker som kryssvalidering i stedet for en enkel todeling.

Oppsummering

Out-of-sample test er en uunnværlig metode for alle som utvikler investeringsstrategier. Ved å reservere en del av historien til testing, kan du avdekke om strategien virkelig har prediktiv kraft eller bare er overtilpasset støy. Metoden er enkel i teorien, men krever disiplin i praksis: du må la være å justere strategien etter at du har sett testresultatene.

Selv om out-of-sample test ikke gir noen garantier, er det et av de beste verktøyene vi har for å skille mellom robuste strategier og tilfeldige mønstre. Kombiner det med sunn fornuft, god risikostyring og en forståelse av at markeder endrer seg, så har du et solid grunnlag for å ta bedre investeringsbeslutninger.

Husk: En strategi som fungerer på papiret, må også fungere i virkeligheten. Out-of-sample test er broen mellom teori og praksis.