onsdag 1. juli 2015

Sannsynlighetsberegning - et uungåelig onde?

Jeg har tidligere skrevet om risikohåndtering som en del av cybersikkerhet (1,2), og er blant dem som mener at å beregne sannsynlighet for visse typer cyberangrep ikke bare er meningløst, det er direkte farlig.

Jeg fikk dessverre ikke anledning til å overvære FFIs fremleggelse av sin rapport "Tilnærminger til risikoanalyse for tilsiktede uønskede handlinger", men jeg har diskutert dette tema med flere av forskerne ved FFI. Jeg har selv brukt både kvantitative og kvalitative metoder for risikovurderinger, og kjenner godt til hva det innebærer å bruke sannsynlighetsvurderinger i det arbeidet.

Det var derfor med interesse at jeg leste Lillian Røstads (Difi) innlegg om dette på digi.no (3). Jeg er imidlertid ikke enig i alt hun skriver, og denne blogposten skal forklare hvorfor. Kort merknad til hvorfor jeg svarer her, og ikke i kommentarfeltet på digi.no: Jeg ønsker å samle denne type argumentasjon på ett sted for fremtidig bruk, samt at jeg kan legge til figurer her.

Først til det vi er enige om. 
Begrepsbruken innen cybersikkerhet er preget både av at språket vårt er fattig i forhold til engelsk, og at ord or uttrykk ikke har et meningsinnhold som alle er enige om. Et klassisk eksempel er hvordan enkelte blander sammen begrepene trussel og sårbarhet. En skulle tro at så sentrale begreper ble brukt riktig, men det gjøre de ikke. Sannsynlighet er et annet slikt begrep som dessverre blir tillagt ulikt meningsinnhold av ulike mennesker og miljøer. 

Matematisk sannsynlighet og statistikk en én type sannsynlighetsberegning som brukes innen cybersikkerhet. Det kan enten være for å angi hvor hyppig en hendelse forekommer, eller hvor stor sannsynlighet det er for at den skal oppstå én gang. Denne type sannsynlighetsberegning er en del av de kvantitative metodene som gjerne også inkluderer beregninger for hvor mange hendelser en kan tåle før kostnadene blir for store, hvor dyre mottiltakene kan være osv. Det var flere presentasjoner på RSA 2015 som viste at disse metodene blir brukt innen finans og forsikringsbransjen. 

En annen type sannsynlighetsangivelse er de subjektive. Ekspertene vurderer subjektivt hvor sannsynlig det er at noe skal skje, og tilordner en verdi. Høy sannsynlighet.  75%. Tallverdi 4 (av 5). Fargen Gul. Disse verdiene er ofte basert på ekspertens gut-feeling, og jeg har vanskelig for å tro at de er særlig treffsikre for fremtiden. Dette gjelder spesielt for det FFI sin rapport omhandler, nemlig tilsiktede uønskede handliger. Å bruke fortidens erfaringer til å spå om fremtiden, er en dårlig idé om man skal tro Nassim Nicholas Taleb i sin bok om "low probability, high impact events" (4). Spesielt når det er snakk om målrettede angrep i komplekse adaptive systemer. Og det er det jo. 

Vi må rydde opp i begrepsbruken, der er vi helt enige.

På engelsk skiller man mellom probable (sannsynlig) og likely (trolig/mulig). Selv om det ikke alltid er klokt å innføre nye begreper i et allerede "begrepsforvirret" område, tror jeg at vi ville ha nytte av å skille tydeligere på dette på norsk.

En annen ting vi er enige om er at cybersikkerhet ikke må eksistere på "sin egen planet". Hvis cybersikkerhet ikke blir integrert i virksomheten, så feiler de ansvarlige. En virksomhet har mange typer risiki, og risiko i mot den delen av virksomheten som skjer ved hjelp av IKT kan selvfølgelig ikke adskilles fra virksomhetens totale risikostyring. Dette er ekstremt viktig fordi tilsynelatende riktige og viktige cybersikkerhetstiltak kan direkte motvirke virksomhetens behov på andre områder. De fleste som driver profesjonelt med cybersikkerhet vet dette. 

... men så blir vi uenige
Når Røstad beskriver risikotrekanten Verdi, Trussel, Sårbarhet, spør hun om ikke det bare er en annen måte å angi sannsynlighet på. Jeg mener at det ikke er det.

Allerede i 2003 innså det fremste informasjonssikkerhetsmiljøet i Forsvaret at den tradisjonelle (kvantitative) metoden for risikoanalyser ikke var egnet for å beskrive den reelle risikoen mot de IKT-løsningene som blir brukt i militære opersjoner. En ROS-analyse med risikokvadranter og det hele var et klassisk eksempel på at subjektive (sannsynlighets) vurderinger ble dyttet inn i en beregningsmodell som var laget for et helt annet formål. Resultatene kunne ikke brukes inn i de øvrige risikovurderingene, og sjefene forsto ikke det som ble forsøkt formidlet. Informasjonssikkerheten levde på sin egen planet.

Da vi startet opp med å vurdere risiko etter den nye metoden, lykkes vi med å formidle risiko til ledelsen slik at de kunne vurdere denne risikoen opp mot øvrige risiki mot sin avdeling og sitt oppdrag. Tiltakene kunne vurderes opp mot den operative konteksten, og han fikk økt sitt handlingsrom ved å kunne velge tiltak som normalt ligger utenfor området "cybersikkerhet". 



Jeg velger å fremstille risikotrekanten som overlappende sirkler. Den eneste reelle risiko er i skjæringspunktet mellom verdi, trussel og sårbarhet. Hvordan bruker vi denne metoden?

Verdivurdering
En slik risikovurdering begynner alltid med verdivurderingen. Denne gjennomføres sammen med lederen for virksomheten, eller en som har inngående kjennskap til virksomheten. Vi gjennomfører et halvveis strukturert intervju, der vi stiller spørsmål som: Hva er formålet med denne virksomheten? Hva er oppdraget? Hvilke ressurser/enheter har du for å løse oppdraget? Hvem er dine overordnede? Hvilket konsept for ledelse har de overfor deg? Hvilket konsept for ledelse har du overfor dine underlagte enheter? Mot slutten av intervjuet kommer vi inn på spøsmål som: Hvilken informasjon er du avhengig av for å ta beslutninger? Hvilken informasjon er det kritisk av du får formidlet til dine underlagte enheter? Hvilke systemer er bærer/behandler for denne informasjonen? Hva vil skje med opdraget dersom noen slår ut eller manipulerer de mest kritiske IT systemene?

Denne samtalen er viktig av flere grunner. For det første må risikoanalytikeren forstå virksomheten han skal vurdere. Det er ikke nok at han kjenner det tekniske godt, han må også vite hva formålet med virksomheten er og hvilke kortsiktige og langsiktige mål den har. Dette er viktig både for risikofastsettelsen og for å vurdere hvilke tiltak som er hensiktsmessige.

For det andre skaper denne samtalen er felles forståelse for hva som er det mest viktige, og hva konsekvensene kan være dersom noen angriper de kritiske IT systemene.
Samtalen er også grunnlaget for å utarbeide det kritiske informasjonsbehovet i forkant av sårbarhetsvurderingen.

Sårbarhetsvurdering
Så langt det er mulig gjør vi tekniske målinger eller penetrasjonstestinger. Generelt vil vi vite om den kritiske IT-løsningen inneholder de komponenter, tjenester og systemer det skal, eller om noen har plassert inn noe som ikke skal være der. Dernest vil vi vite om det som verdivurderingen har fastsatt som kritisk har sårbarheter. I Forsvaret måler man både tradisjonelle sårbarheter i IT løsningene, og muligheten for tap av informasjon gjennom elektromagnetisk stråling.

Et vesentlig poeng med sårbarhetsvurderingen er at det skal være faktiske målinger, ikke antakelser. Jeg har sett risikorapporter som inneholder vurderinger som "... virksomheten er avhengig av sin webserver, og slike er gjerne preget av feil som kan muliggjøre angrep mot serveren". Dette er nærmest verdiløse utsagn. Vi ønsker å vite helt konkret om webserveren har sårbarheter, hvilke det er, hvordan de utnyttes og hva de kan utnyttes til. Om en sårbarhet krever fysisk tilstedeværelse på webserveren, er selvsagt ikke en aktivistgruppe i Iran i stand til å utnytte den selv om de kan være en uttalt motstander av virksomheten.

En del av sårbarhetsvurderingen er hvor enkelt det er å utnytte den.  Dette kan også brukes til å vurdere hvilke trusler en skal bry seg om. Dersom utnyttelse av en sårbarhet krever svært dyrt utstyr eller høyt kompetanse og treningsnivå, så kan vi utelukke en del trusler. 

Trusselvurdering
Er det slik at dette bare er en annen måte å vurdere sannsynlighet? Nei, absolutt ikke.
Husk at malware ikke er en trussel. Heartbleed er ikke en trussel. En falsk epost som forsøker å lure deg til å oppgi DnB påloggingsinformasjonen er ikke en trussel.

En trussel er en person, gruppe, organisasjon, virksomhet eller nasjon som har vilje og evne til å angripe eller påvirke deg eller din virksomhet. Vi vil vite hvem denne gruppen er. Hvilke metoder de bruker. Hva deres intensjon er. Hvilke verktøy de bruker. Hva deres handlingsmønster er. Hvordan de vil reagere dersom vi iverksetter mottiltak osv. Dette er ikke noe annet enn det man gjør for annen type etterretningsinnhenting. For Forsvaret betyr det at denne type trusler blir beskrevet og behandlet på akkurat samme måte som øvrige trusler. Noen ganger er det jo faktisk de samme truslene som bruker ulike virkemidler for å oppnå sine mål.

Etterretningskildene kan være mange. I tillegg til det ens egen cyberhåndteringsenhet bygger opp av kunnskap om truslene, finnes det mange andre klilder. I Norge er det mange som får informasjon fra EOS-tjenestene. Flere store virksomheter, i tillegg til Forsvaret, har fokus på egne etterretninger om aktuelle trusler. I tillegg kan slik informasjon kjøpes fra stadig flere tilbydere av "threat intelligence". Her skal man imidlertid være litt på vakt. Noen ytterst få leverer etterretningsprodukter som kan sammenlignes med vanlig etterretning, men de fleste tilbydere av "threat intelligence" leverer teknisk informasjon om verktøy og metoder som truslene bruker. Det er ikke det samme.

Trusselbildet er i kontinuerlig endring. Nye trusler kan oppstå, og eksisterende trusler kan utvikle sine metoder over tid. For håndtering av målrettede angrep vil imidlertid fokus på et oppdatert trusselbilde være til svært stor hjelp når risiko skal fastsettes og til å håndtere hendelser når de skjer.
En systematisk tilnærming slik f.eks. Andrew Jones (QinetiQ) beskriver kan være til stor hjelp.

Risiko
Risikofastsettelsen skjer når vi vurderer de konkrete sårbarhetene vi har avdekket opp mot det vi vet om truslene, primært for de mest kritiske IT løsningene. Vi er selvsagt ikke naive. En sårbarhet kan enkelte ganger være så alvorlig i seg selv, at den skal håndteres selv om vi ikke er kjent med en trussel som har intensjon og evne til å utnytte den. På samme måte kan vi stå over for en trussel som vi vet har intensjon og evne, men der vi vet for lite om deres metoder. 

Denne tilnærmingen fjerner behovet for å gjette og vi snakker samme språk i cybersikkerhet som i virksomheten forøvrig. Trusler og risiko blir vurdert mer helhetlig, og tiltakene kan vurderes i en operativ kontekst. 

Risiko ved tilsiktede hendelser
Dette er de målrettede angrepene, de som skjer når virksomheten din står i en konfliktsituasjon med en trussel som har både evne og vilje til å gjennomføre cyberangrep. 

Forsvaret har tidligere fortalt om målrettede angrep der trusselaktøren gjennomførte delvis vellykkede angrep. Motstanderne det er snakk om har cybervirkemidler som en liten del av sitt repertoar. Angrepene ble oppdaget gjennom etterretninger, og håndteringen ble gjennomført som en del av den "normale" virksomheten.

For kort tid siden ble et målrettet angrep avverget før det fant sted som en direkte følge av etterretninger. Et hvert forsøk på å skulle kvantifsere en sannsynlighet for de hendelsene i forkant fremstår som en helt meningsløs oppgave. 

De samme erfaringene har andre store norske virksomheter gjort. En av dem er Telenor, som gikk ut med informasjon om de hendelsene de var utsatt for i forbindelse med virksomheten i India. Hva skulle den subjektive sannsynligheten for de angrepene vært anslått til? 75% Medium? Rød?

For tilsiktede uønskede hendelser vil tradisjonell risikovurdering basert på subjektive sannsynlighetsberegninger være en katastrofe. De er unøyaktige og villedende og vil enten føre til at trusler blir underkommunisert, eller at de blir overkommunisert og at unødvendige tiltak forhindrer at virksomheten når sine mål. 

Avslutningsvis vil jeg medgi at kvantitative metoder og matematiske sannsynligheter kan ha noe for seg i visse sammenhenger. For en gitt malware kan de hende at du har nok empiri til å kunne beregne hvor stor sannsynlighet det er for at du vil bli forsøkt rammet. Om du kjenner spredningsmekansmen trenger du kanskje ikke empiri heller, dersom du kan analysere spredningsmekanismen i forhold til ditt digitale fotavtrykk. Dette gjelder imidlertid kun for hendelser som rammer tilfeldig, ikke for målrettede angrep.

1 kommentar:

  1. Bra artikkel Bjarte. Jeg vil understreke viktigheten av verdivurderingen. Som sikkerhetsfolk møter man ofte teknisk personell i virksomheter, da sikkerhetstiltak ofte har tekniske aspekter. I mange tilfeller har dette personellet liten eller ingen oversikt over hva som er de viktigste verdiene og prosessene for virksomheten. Dette fører til at sikkerhet ikke blir vurdert i rett kontekst og ender opp, som du sier, på en "egen planet". Vi som driver med informasjonssikkerhet har en utfordring i å nå de rette personene og integrere cybersikkerhet og risikostyring med annen risiko- og virksomhetsstyring. Trussel og sårbarhet kan i stor grad overlates til sikkerhetsfolk med kompetanse rundt dette. Verdivurderingen krever foretningsforståelse og må gjennomføres av personer med eierskap til og forståelse av sentrale foretningsprosesser.

    SvarSlett